
隨著5G網(wǎng)絡(luò)部署、物聯(lián)網(wǎng)設(shè)備普及、邊緣計(jì)算發(fā)展等新技術(shù)推動(dòng)下,隨著5G網(wǎng)絡(luò)部署、物聯(lián)網(wǎng)設(shè)備普及、邊緣計(jì)算發(fā)展等新技術(shù)推動(dòng)下,全球大數(shù)據(jù)行業(yè)市場(chǎng)規(guī)模將持續(xù)增長(zhǎng)。各國(guó)政府將出臺(tái)更多有利于促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展與監(jiān)管的政策措施,比如資金支持、稅收優(yōu)惠、人才培養(yǎng)等。
一、大數(shù)據(jù)行業(yè)概述
1、定義與特點(diǎn)
根據(jù)市場(chǎng)調(diào)研報(bào)告指出,大數(shù)據(jù)是指數(shù)據(jù)量規(guī)模巨大,數(shù)據(jù)類型豐富多樣,以至于傳統(tǒng)的數(shù)據(jù)處理方式難以對(duì)其進(jìn)行有效處理和分析的數(shù)據(jù)集合。它具有以下幾個(gè)顯著特點(diǎn):
規(guī)模性(Volume):大數(shù)據(jù)的規(guī)模極其龐大,通常以 TB(太字節(jié))、PB(拍字節(jié))甚至 EB(艾字節(jié))、ZB(澤字節(jié))等為單位計(jì)量。數(shù)據(jù)量的不斷增加來(lái)源于眾多的數(shù)據(jù)生成源,像社交媒體平臺(tái)每天都會(huì)產(chǎn)生海量的用戶動(dòng)態(tài)、評(píng)論、分享等信息,傳感器網(wǎng)絡(luò)時(shí)刻在收集著環(huán)境、設(shè)備運(yùn)行狀態(tài)等數(shù)據(jù),還有各類交易記錄等。例如,F(xiàn)acebook 每天產(chǎn)生超過(guò) 600TB 的數(shù)據(jù),而 Google 每天也需處理超過(guò) 3.5 億次的搜索請(qǐng)求,如此龐大的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)數(shù)據(jù)處理系統(tǒng)所能承載的范圍。
多樣性(Variety):其涵蓋的數(shù)據(jù)類型十分多樣,包括結(jié)構(gòu)化的數(shù)據(jù)(如常見的數(shù)據(jù)庫(kù)表中的數(shù)據(jù),有著清晰的格式和固定的字段定義)、半結(jié)構(gòu)化的數(shù)據(jù)(像 XML、JSON 等格式的數(shù)據(jù),有一定的結(jié)構(gòu)但又相對(duì)靈活)以及非結(jié)構(gòu)化的數(shù)據(jù)(例如文本、圖像、音頻、視頻等,它們沒(méi)有統(tǒng)一的結(jié)構(gòu)規(guī)范)。互聯(lián)網(wǎng)上的用戶行為數(shù)據(jù)、傳感器數(shù)據(jù)、地理位置數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)等都屬于大數(shù)據(jù)的范疇,面對(duì)如此多樣化的數(shù)據(jù),需要運(yùn)用不同的數(shù)據(jù)處理和分析技術(shù),才能從中提取出有價(jià)值的信息。
高速性(Velocity):大數(shù)據(jù)的產(chǎn)生和處理速度都非常快,需要具備實(shí)時(shí)或近實(shí)時(shí)的響應(yīng)能力。在當(dāng)今數(shù)字化時(shí)代,社交媒體上的數(shù)據(jù)實(shí)時(shí)在更新,傳感器監(jiān)測(cè)的數(shù)據(jù)源源不斷地傳輸,電子商務(wù)交易數(shù)據(jù)瞬間生成,這些都要求能夠快速對(duì)數(shù)據(jù)進(jìn)行分析處理,以便及時(shí)響應(yīng)市場(chǎng)變化、環(huán)境變化以及用戶需求等,而這依賴于先進(jìn)的計(jì)算技術(shù)和大規(guī)模并行處理能力來(lái)確保在短時(shí)間內(nèi)處理大量的數(shù)據(jù)。
價(jià)值密度低(Value):盡管大數(shù)據(jù)的總量極大,但并非所有數(shù)據(jù)都具有同等價(jià)值,其價(jià)值密度相對(duì)較低。就好比在海量的監(jiān)控視頻數(shù)據(jù)中,真正有用的關(guān)鍵信息可能只是其中某個(gè)瞬間的畫面或者片段,需要通過(guò)有效的分析和挖掘手段,才能從海量數(shù)據(jù)中篩選出對(duì)決策和業(yè)務(wù)發(fā)展有幫助的信息,進(jìn)而發(fā)現(xiàn)其潛在價(jià)值,實(shí)現(xiàn)數(shù)據(jù)的 “增值”。
2、發(fā)展歷程
大數(shù)據(jù)的發(fā)展歷程可以追溯到上個(gè)世紀(jì),總體上經(jīng)歷了多個(gè)階段,不斷演變并對(duì)各行業(yè)產(chǎn)生日益深刻的影響,其發(fā)展脈絡(luò)大致如下:
萌芽期(1980 年 - 2008 年):1980 年,未來(lái)學(xué)家托夫勒在其所著的《第三次浪潮》一書中,首次提出 “大數(shù)據(jù)” 一詞,將大數(shù)據(jù)稱贊為 “第三次浪潮的華彩樂(lè)章”,不過(guò)在當(dāng)時(shí)大數(shù)據(jù)術(shù)語(yǔ)雖被提出,相關(guān)技術(shù)概念也得到了一定程度的傳播,但并沒(méi)有得到實(shí)質(zhì)性發(fā)展。同一時(shí)期,隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫(kù)技術(shù)的逐步成熟,一批商業(yè)智能工具和知識(shí)管理技術(shù)開始被應(yīng)用,比如數(shù)據(jù)倉(cāng)庫(kù)、專家系統(tǒng)、知識(shí)管理系統(tǒng)等。到了 2008 年 9 月,《自然》雜志推出了 “大數(shù)據(jù)” 封面專欄,進(jìn)一步讓這個(gè)概念進(jìn)入更多人的視野。
成長(zhǎng)期(2009 年 - 2012 年):在這期間,大數(shù)據(jù)市場(chǎng)迅速成長(zhǎng),互聯(lián)網(wǎng)數(shù)據(jù)呈爆發(fā)式增長(zhǎng),大數(shù)據(jù)技術(shù)也逐漸被大眾所熟悉和使用。2010 年 2 月,肯尼斯?庫(kù)克爾在《經(jīng)濟(jì)學(xué)人》上發(fā)表了長(zhǎng)達(dá) 14 頁(yè)的大數(shù)據(jù)專題報(bào)告《數(shù)據(jù),無(wú)所不在的數(shù)據(jù)》。2012 年,牛津大學(xué)教授維克托?邁爾?舍恩伯格的著作《大數(shù)據(jù)時(shí)代》開始在國(guó)內(nèi)風(fēng)靡,有力地推動(dòng)了大數(shù)據(jù)在國(guó)內(nèi)的發(fā)展,越來(lái)越多的人開始關(guān)注大數(shù)據(jù)背后所蘊(yùn)含的價(jià)值以及可能帶來(lái)的機(jī)遇。
爆發(fā)期(2013 年 - 2015 年):2013 年至 2015 年迎來(lái)了大數(shù)據(jù)發(fā)展的高潮階段,包括我國(guó)在內(nèi)的世界各個(gè)國(guó)家紛紛布局大數(shù)據(jù)戰(zhàn)略。在國(guó)內(nèi),以百度、阿里、騰訊為代表的互聯(lián)網(wǎng)公司各顯身手,充分發(fā)揮自身優(yōu)勢(shì),紛紛推出創(chuàng)新性的大數(shù)據(jù)應(yīng)用,比如阿里巴巴基于大數(shù)據(jù)構(gòu)建的精準(zhǔn)營(yíng)銷體系,為商家提供了更精準(zhǔn)的客戶畫像,助力營(yíng)銷效果大幅提升。2015 年 9 月,國(guó)務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,全面推進(jìn)我國(guó)大數(shù)據(jù)發(fā)展和應(yīng)用,進(jìn)一步提升創(chuàng)業(yè)創(chuàng)新活力和社會(huì)治理水平,從國(guó)家層面為大數(shù)據(jù)的發(fā)展提供了政策支持和引導(dǎo)。
大規(guī)模應(yīng)用期(2016 年至今以及以后):如今,大數(shù)據(jù)應(yīng)用已經(jīng)滲透到各行各業(yè),其價(jià)值不斷凸顯,數(shù)據(jù)驅(qū)動(dòng)決策和社會(huì)智能化程度大幅提高,大數(shù)據(jù)產(chǎn)業(yè)也迎來(lái)快速發(fā)展和大規(guī)模應(yīng)用實(shí)施。2019 年 5 月,《2018 年全球大數(shù)據(jù)發(fā)展分析報(bào)告》顯示,中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和技術(shù)創(chuàng)新能力有了顯著提升。這一時(shí)期,學(xué)術(shù)界在大數(shù)據(jù)技術(shù)與應(yīng)用方面的研究創(chuàng)新也不斷取得突破,截至 2020 年,全球以 “big data” 為關(guān)鍵詞的論文發(fā)表量達(dá)到 64739 篇,全球共申請(qǐng)大數(shù)據(jù)領(lǐng)域的相關(guān)專利 136694 項(xiàng)。隨著我國(guó)大數(shù)據(jù)戰(zhàn)略謀篇布局的不斷展開,國(guó)家高度重視并不斷完善大數(shù)據(jù)政策支撐,正逐步從數(shù)據(jù)大國(guó)向數(shù)據(jù)強(qiáng)國(guó)邁進(jìn),大數(shù)據(jù)已然成為推動(dòng)各行業(yè)轉(zhuǎn)型升級(jí)以及經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展的重要力量。
二、大數(shù)據(jù)行業(yè)應(yīng)用領(lǐng)域
1、商業(yè)領(lǐng)域應(yīng)用
市場(chǎng)營(yíng)銷中的精準(zhǔn)營(yíng)銷:
據(jù)市場(chǎng)調(diào)研報(bào)告進(jìn)行披露,在當(dāng)今商業(yè)環(huán)境中,精準(zhǔn)營(yíng)銷借助大數(shù)據(jù)分析得以高效實(shí)現(xiàn)。以亞馬遜為例,作為全球最大的電子商務(wù)平臺(tái)之一,其憑借大數(shù)據(jù)分析用戶的瀏覽歷史、購(gòu)物行為以及興趣偏好等多維度信息,為每個(gè)用戶提供定制化的產(chǎn)品推薦。無(wú)論是在網(wǎng)站頁(yè)面展示,還是通過(guò)電子郵件推送,都能向用戶精準(zhǔn)呈現(xiàn)符合其需求和喜好的商品。這種個(gè)性化推薦模式不僅顯著提升了用戶的購(gòu)買體驗(yàn),還切實(shí)增加了銷售額,并進(jìn)一步提高了用戶忠誠(chéng)度。
同樣,京東商城在個(gè)性化推薦方面也有著出色的實(shí)踐。它利用計(jì)算機(jī)算法,根據(jù)每一位用戶的特點(diǎn),從數(shù)以百萬(wàn)計(jì)的商品中篩選出合適的商品進(jìn)行推薦,應(yīng)用場(chǎng)景涵蓋 App 首頁(yè)、商品單品頁(yè)、頻道頁(yè)、活動(dòng)頁(yè)等,實(shí)現(xiàn)了 “千人千面” 的個(gè)性化展示。對(duì)京東商城而言,這一舉措提高了用戶忠誠(chéng)度、平臺(tái)的交叉銷售能力,還增加了銷售額和營(yíng)業(yè)利潤(rùn),目前已為其貢獻(xiàn)了 10% 的訂單;對(duì)用戶來(lái)說(shuō),能接收到契合個(gè)人特征的商品推薦,優(yōu)化了購(gòu)買體驗(yàn),節(jié)省了時(shí)間成本和搜索成本。
供應(yīng)鏈管理的優(yōu)化:
眾多企業(yè)利用大數(shù)據(jù)優(yōu)化供應(yīng)鏈管理環(huán)節(jié),提高運(yùn)營(yíng)效率。例如在工程機(jī)械行業(yè),通過(guò)收集和分析生產(chǎn)環(huán)節(jié)中的各類數(shù)據(jù),包括原材料采購(gòu)數(shù)據(jù)、零部件庫(kù)存數(shù)據(jù)、生產(chǎn)設(shè)備運(yùn)行數(shù)據(jù)以及物流配送數(shù)據(jù)等,企業(yè)可以精準(zhǔn)掌握每個(gè)環(huán)節(jié)的實(shí)時(shí)情況?;诖髷?shù)據(jù)分析結(jié)果,能夠?qū)崿F(xiàn)對(duì)原材料采購(gòu)量和采購(gòu)時(shí)間的精準(zhǔn)把控,避免庫(kù)存積壓或缺貨情況;合理安排生產(chǎn)計(jì)劃,根據(jù)設(shè)備的運(yùn)行狀態(tài)及時(shí)進(jìn)行維護(hù)和調(diào)整,保障生產(chǎn)的連續(xù)性;優(yōu)化物流配送路徑和配送時(shí)間,降低運(yùn)輸成本。如此一來(lái),整個(gè)供應(yīng)鏈得以高效運(yùn)轉(zhuǎn),人力依賴程度降低,生產(chǎn)經(jīng)營(yíng)效率得到顯著提升。
金融風(fēng)控領(lǐng)域的應(yīng)用:
金融行業(yè)對(duì)大數(shù)據(jù)分析技術(shù)的應(yīng)用極為重視,尤其是在風(fēng)險(xiǎn)防控方面。銀行等金融機(jī)構(gòu)借助大數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)風(fēng)險(xiǎn)、預(yù)防詐騙欺詐行為。比如,某銀行利用大數(shù)據(jù)技術(shù)對(duì)客戶的消費(fèi)行為進(jìn)行深度分析,通過(guò)挖掘客戶的消費(fèi)習(xí)慣、交易時(shí)間、交易地點(diǎn)、交易金額等多方面的數(shù)據(jù)特征,發(fā)現(xiàn)其中的規(guī)律和異常情況。當(dāng)出現(xiàn)不符合客戶常規(guī)消費(fèi)模式的交易時(shí),如突然在異地進(jìn)行大額消費(fèi)或者短時(shí)間內(nèi)頻繁進(jìn)行高額交易等情況,系統(tǒng)能夠及時(shí)發(fā)出預(yù)警,銀行工作人員可以進(jìn)一步核實(shí)交易真實(shí)性,有效預(yù)防信用卡盜刷、詐騙轉(zhuǎn)賬等風(fēng)險(xiǎn)事件的發(fā)生。同時(shí),在信貸業(yè)務(wù)中,通過(guò)分析客戶的收入水平、信用記錄、負(fù)債情況等大數(shù)據(jù)信息,對(duì)客戶的還款能力和還款意愿進(jìn)行綜合評(píng)估,從而準(zhǔn)確判斷信貸風(fēng)險(xiǎn),合理確定信貸額度和利率水平,保障金融業(yè)務(wù)的安全穩(wěn)定開展。
2、社會(huì)領(lǐng)域應(yīng)用
交通管理方面:
隨著城市化進(jìn)程的加快,交通擁堵成為城市發(fā)展面臨的一大難題,而大數(shù)據(jù)技術(shù)為解決這一問(wèn)題提供了有效途徑。以深圳的僑香路為例,其作為智慧交通道路試點(diǎn),充分運(yùn)用了大數(shù)據(jù)技術(shù)。交通部門聯(lián)合多部門實(shí)施多桿合一的智慧多功能桿,前端硬件通過(guò)智慧路燈及智能控制系統(tǒng),外掛環(huán)境檢測(cè)、視頻攝像以及 WiFi 等設(shè)備,全面快速地采集和傳輸包括交通流量、車輛行駛速度、路口車輛排隊(duì)長(zhǎng)度等實(shí)時(shí)交通數(shù)據(jù),并將數(shù)據(jù)傳輸至后臺(tái)的智慧道路管理平臺(tái)。平臺(tái)借助大數(shù)據(jù)分析,可以實(shí)時(shí)監(jiān)控路面設(shè)施的運(yùn)營(yíng)狀態(tài),還能依據(jù)數(shù)據(jù)分析結(jié)果實(shí)時(shí)優(yōu)化道路交通組織,比如實(shí)現(xiàn) “車多放車、人多放人” 的感應(yīng)控制,動(dòng)態(tài)調(diào)整信號(hào)燈配時(shí),優(yōu)化重要路口交通組織,增設(shè)或優(yōu)化掉頭口、行人過(guò)街系統(tǒng)等,以此提高行車和行人的通行效率,緩解交通擁堵狀況。
此外,在很多城市中,通過(guò)收集出租車、網(wǎng)約車的 GPS 定位數(shù)據(jù)以及交通攝像頭的圖像識(shí)別數(shù)據(jù)等,交通管理部門可以全面掌握城市整體交通流量和擁堵情況,進(jìn)而提前對(duì)易擁堵路段進(jìn)行交通管制,如實(shí)施道路限行策略、引導(dǎo)車輛繞行等,同時(shí)也能為城市交通規(guī)劃提供科學(xué)依據(jù),例如合理規(guī)劃新道路建設(shè)、調(diào)整公交線路等。
醫(yī)療衛(wèi)生領(lǐng)域:
在醫(yī)療衛(wèi)生行業(yè),大數(shù)據(jù)挖掘技術(shù)發(fā)揮著重要作用。某醫(yī)院引入大數(shù)據(jù)技術(shù)后,建立了病人健康檔案數(shù)據(jù)庫(kù),整合了病人的基本信息、病史記錄、檢驗(yàn)檢查結(jié)果、用藥情況等多方面的數(shù)據(jù)。結(jié)合醫(yī)學(xué)專家的知識(shí),借助大數(shù)據(jù)分析對(duì)病人的病情進(jìn)行預(yù)測(cè)和分析,醫(yī)生可以更加科學(xué)地制定治療方案,提高治療效果。例如在慢性疾病管理方面,通過(guò)對(duì)大量同類患者的數(shù)據(jù)進(jìn)行分析,能夠總結(jié)出不同病情階段的特征以及對(duì)應(yīng)的最佳治療手段,為新患者提供更精準(zhǔn)的治療參考。
同時(shí),利用大數(shù)據(jù)還可以優(yōu)化醫(yī)療資源分配效率。通過(guò)分析不同地區(qū)、不同時(shí)間段的患者就診數(shù)據(jù),了解各類疾病的發(fā)病分布情況以及醫(yī)療資源的使用情況,合理調(diào)配醫(yī)護(hù)人員、醫(yī)療設(shè)備等資源,確保資源能夠優(yōu)先滿足需求較高的區(qū)域和病種,提高醫(yī)療服務(wù)的整體效率和質(zhì)量,讓更多患者能夠及時(shí)獲得有效的醫(yī)療服務(wù)。
城市規(guī)劃領(lǐng)域:
大數(shù)據(jù)分析有助于城市規(guī)劃更加貼合居民需求。通過(guò)分析居民的流動(dòng)數(shù)據(jù),例如手機(jī)信令數(shù)據(jù)、公交地鐵刷卡數(shù)據(jù)等,可以了解居民日常的出行軌跡、活動(dòng)熱點(diǎn)區(qū)域以及不同區(qū)域間的人口流動(dòng)規(guī)律。同時(shí)結(jié)合居民對(duì)各類公共服務(wù)設(shè)施(如學(xué)校、醫(yī)院、商場(chǎng)、公園等)的需求反饋數(shù)據(jù),城市規(guī)劃部門能夠精準(zhǔn)把握城市各區(qū)域的功能需求情況,進(jìn)而對(duì)城市布局進(jìn)行科學(xué)合理的改善。比如,在人口密集且休閑娛樂(lè)設(shè)施不足的區(qū)域規(guī)劃建設(shè)新的公園;根據(jù)居民通勤流向,優(yōu)化公交線路和地鐵站設(shè)置;針對(duì)新興居住區(qū)域,配套建設(shè)相應(yīng)規(guī)模的學(xué)校、醫(yī)院等公共服務(wù)設(shè)施,提升城市居民的生活質(zhì)量和幸福感。
3、個(gè)人領(lǐng)域應(yīng)用
個(gè)人健康管理方面:
在個(gè)人健康管理領(lǐng)域,大數(shù)據(jù)的應(yīng)用日益廣泛且深入。借助智能穿戴設(shè)備(如智能手環(huán)、智能手表等)和健康監(jiān)測(cè)類手機(jī)應(yīng)用,人們可以實(shí)時(shí)收集個(gè)人的健康數(shù)據(jù),像心率、血壓、步數(shù)、睡眠質(zhì)量等生理數(shù)據(jù)以及運(yùn)動(dòng)、飲食等行為數(shù)據(jù)。這些數(shù)據(jù)上傳至相應(yīng)的大數(shù)據(jù)平臺(tái)后,通過(guò)專業(yè)的算法分析,一方面能夠?yàn)橛脩籼峁﹤€(gè)性化的健康建議,例如根據(jù)用戶的睡眠情況建議調(diào)整作息時(shí)間,依據(jù)運(yùn)動(dòng)數(shù)據(jù)提醒適當(dāng)增加或減少運(yùn)動(dòng)量等;另一方面,通過(guò)對(duì)長(zhǎng)時(shí)間積累的數(shù)據(jù)進(jìn)行分析,可以對(duì)用戶未來(lái)的健康狀況進(jìn)行預(yù)測(cè),提前發(fā)現(xiàn)潛在的健康風(fēng)險(xiǎn),便于及時(shí)采取干預(yù)措施。
例如,一些健康管理平臺(tái)通過(guò)整合用戶的家族病史、日常健康監(jiān)測(cè)數(shù)據(jù)以及基因檢測(cè)數(shù)據(jù)(如果有)等多維度信息,運(yùn)用大數(shù)據(jù)分析技術(shù),為用戶制定個(gè)性化的健康管理方案,包括疾病預(yù)防建議、體檢項(xiàng)目推薦以及生活方式調(diào)整指導(dǎo)等內(nèi)容,助力用戶更好地管理自身健康,提升生活質(zhì)量。
同時(shí),在醫(yī)療服務(wù)中,醫(yī)生也可以參考這些大數(shù)據(jù)分析結(jié)果,更準(zhǔn)確地了解患者的病情發(fā)展趨勢(shì),做出更合理的診療決策,及時(shí)調(diào)整治療方案,實(shí)現(xiàn)精準(zhǔn)醫(yī)療,提高治療效果。
北京研精畢智信息咨詢有限公司(XYZResearch),系國(guó)內(nèi)領(lǐng)先的行業(yè)和企業(yè)研究服務(wù)供應(yīng)商,并榮膺CCTV中視購(gòu)物官方合作品牌。公司秉持助力企業(yè)實(shí)現(xiàn)商業(yè)決策高效化的核心宗旨,依托十年行業(yè)積累,深度整合企業(yè)研究、行業(yè)研究、數(shù)據(jù)定制、消費(fèi)者調(diào)研、市場(chǎng)動(dòng)態(tài)監(jiān)測(cè)等多維度服務(wù)模塊,同時(shí)組建由業(yè)內(nèi)資深專家構(gòu)成的專家?guī)?,打造一站式研究服?wù)體系。研精畢智咨詢憑借先進(jìn)方法論、豐富的案例與數(shù)據(jù),精準(zhǔn)把脈市場(chǎng)趨勢(shì),為企業(yè)提供權(quán)威的市場(chǎng)洞察及戰(zhàn)略導(dǎo)向。