
隨著5G網(wǎng)絡部署、物聯(lián)網(wǎng)設備普及、邊緣計算發(fā)展等新技術推動下,隨著5G網(wǎng)絡部署、物聯(lián)網(wǎng)設備普及、邊緣計算發(fā)展等新技術推動下,全球大數(shù)據(jù)行業(yè)市場規(guī)模將持續(xù)增長。各國政府將出臺更多有利于促進大數(shù)據(jù)產(chǎn)業(yè)發(fā)展與監(jiān)管的政策措施,比如資金支持、稅收優(yōu)惠、人才培養(yǎng)等。
一、大數(shù)據(jù)行業(yè)概述
1、定義與特點
根據(jù)市場調(diào)研報告指出,大數(shù)據(jù)是指數(shù)據(jù)量規(guī)模巨大,數(shù)據(jù)類型豐富多樣,以至于傳統(tǒng)的數(shù)據(jù)處理方式難以對其進行有效處理和分析的數(shù)據(jù)集合。它具有以下幾個顯著特點:
規(guī)模性(Volume):大數(shù)據(jù)的規(guī)模極其龐大,通常以 TB(太字節(jié))、PB(拍字節(jié))甚至 EB(艾字節(jié))、ZB(澤字節(jié))等為單位計量。數(shù)據(jù)量的不斷增加來源于眾多的數(shù)據(jù)生成源,像社交媒體平臺每天都會產(chǎn)生海量的用戶動態(tài)、評論、分享等信息,傳感器網(wǎng)絡時刻在收集著環(huán)境、設備運行狀態(tài)等數(shù)據(jù),還有各類交易記錄等。例如,F(xiàn)acebook 每天產(chǎn)生超過 600TB 的數(shù)據(jù),而 Google 每天也需處理超過 3.5 億次的搜索請求,如此龐大的數(shù)據(jù)量遠遠超出了傳統(tǒng)數(shù)據(jù)處理系統(tǒng)所能承載的范圍。
多樣性(Variety):其涵蓋的數(shù)據(jù)類型十分多樣,包括結構化的數(shù)據(jù)(如常見的數(shù)據(jù)庫表中的數(shù)據(jù),有著清晰的格式和固定的字段定義)、半結構化的數(shù)據(jù)(像 XML、JSON 等格式的數(shù)據(jù),有一定的結構但又相對靈活)以及非結構化的數(shù)據(jù)(例如文本、圖像、音頻、視頻等,它們沒有統(tǒng)一的結構規(guī)范)?;ヂ?lián)網(wǎng)上的用戶行為數(shù)據(jù)、傳感器數(shù)據(jù)、地理位置數(shù)據(jù)、社交網(wǎng)絡數(shù)據(jù)等都屬于大數(shù)據(jù)的范疇,面對如此多樣化的數(shù)據(jù),需要運用不同的數(shù)據(jù)處理和分析技術,才能從中提取出有價值的信息。
高速性(Velocity):大數(shù)據(jù)的產(chǎn)生和處理速度都非???,需要具備實時或近實時的響應能力。在當今數(shù)字化時代,社交媒體上的數(shù)據(jù)實時在更新,傳感器監(jiān)測的數(shù)據(jù)源源不斷地傳輸,電子商務交易數(shù)據(jù)瞬間生成,這些都要求能夠快速對數(shù)據(jù)進行分析處理,以便及時響應市場變化、環(huán)境變化以及用戶需求等,而這依賴于先進的計算技術和大規(guī)模并行處理能力來確保在短時間內(nèi)處理大量的數(shù)據(jù)。
價值密度低(Value):盡管大數(shù)據(jù)的總量極大,但并非所有數(shù)據(jù)都具有同等價值,其價值密度相對較低。就好比在海量的監(jiān)控視頻數(shù)據(jù)中,真正有用的關鍵信息可能只是其中某個瞬間的畫面或者片段,需要通過有效的分析和挖掘手段,才能從海量數(shù)據(jù)中篩選出對決策和業(yè)務發(fā)展有幫助的信息,進而發(fā)現(xiàn)其潛在價值,實現(xiàn)數(shù)據(jù)的 “增值”。
2、發(fā)展歷程
大數(shù)據(jù)的發(fā)展歷程可以追溯到上個世紀,總體上經(jīng)歷了多個階段,不斷演變并對各行業(yè)產(chǎn)生日益深刻的影響,其發(fā)展脈絡大致如下:
萌芽期(1980 年 - 2008 年):1980 年,未來學家托夫勒在其所著的《第三次浪潮》一書中,首次提出 “大數(shù)據(jù)” 一詞,將大數(shù)據(jù)稱贊為 “第三次浪潮的華彩樂章”,不過在當時大數(shù)據(jù)術語雖被提出,相關技術概念也得到了一定程度的傳播,但并沒有得到實質(zhì)性發(fā)展。同一時期,隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫技術的逐步成熟,一批商業(yè)智能工具和知識管理技術開始被應用,比如數(shù)據(jù)倉庫、專家系統(tǒng)、知識管理系統(tǒng)等。到了 2008 年 9 月,《自然》雜志推出了 “大數(shù)據(jù)” 封面專欄,進一步讓這個概念進入更多人的視野。
成長期(2009 年 - 2012 年):在這期間,大數(shù)據(jù)市場迅速成長,互聯(lián)網(wǎng)數(shù)據(jù)呈爆發(fā)式增長,大數(shù)據(jù)技術也逐漸被大眾所熟悉和使用。2010 年 2 月,肯尼斯?庫克爾在《經(jīng)濟學人》上發(fā)表了長達 14 頁的大數(shù)據(jù)專題報告《數(shù)據(jù),無所不在的數(shù)據(jù)》。2012 年,牛津大學教授維克托?邁爾?舍恩伯格的著作《大數(shù)據(jù)時代》開始在國內(nèi)風靡,有力地推動了大數(shù)據(jù)在國內(nèi)的發(fā)展,越來越多的人開始關注大數(shù)據(jù)背后所蘊含的價值以及可能帶來的機遇。
爆發(fā)期(2013 年 - 2015 年):2013 年至 2015 年迎來了大數(shù)據(jù)發(fā)展的高潮階段,包括我國在內(nèi)的世界各個國家紛紛布局大數(shù)據(jù)戰(zhàn)略。在國內(nèi),以百度、阿里、騰訊為代表的互聯(lián)網(wǎng)公司各顯身手,充分發(fā)揮自身優(yōu)勢,紛紛推出創(chuàng)新性的大數(shù)據(jù)應用,比如阿里巴巴基于大數(shù)據(jù)構建的精準營銷體系,為商家提供了更精準的客戶畫像,助力營銷效果大幅提升。2015 年 9 月,國務院發(fā)布《促進大數(shù)據(jù)發(fā)展行動綱要》,全面推進我國大數(shù)據(jù)發(fā)展和應用,進一步提升創(chuàng)業(yè)創(chuàng)新活力和社會治理水平,從國家層面為大數(shù)據(jù)的發(fā)展提供了政策支持和引導。
大規(guī)模應用期(2016 年至今以及以后):如今,大數(shù)據(jù)應用已經(jīng)滲透到各行各業(yè),其價值不斷凸顯,數(shù)據(jù)驅(qū)動決策和社會智能化程度大幅提高,大數(shù)據(jù)產(chǎn)業(yè)也迎來快速發(fā)展和大規(guī)模應用實施。2019 年 5 月,《2018 年全球大數(shù)據(jù)發(fā)展分析報告》顯示,中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和技術創(chuàng)新能力有了顯著提升。這一時期,學術界在大數(shù)據(jù)技術與應用方面的研究創(chuàng)新也不斷取得突破,截至 2020 年,全球以 “big data” 為關鍵詞的論文發(fā)表量達到 64739 篇,全球共申請大數(shù)據(jù)領域的相關專利 136694 項。隨著我國大數(shù)據(jù)戰(zhàn)略謀篇布局的不斷展開,國家高度重視并不斷完善大數(shù)據(jù)政策支撐,正逐步從數(shù)據(jù)大國向數(shù)據(jù)強國邁進,大數(shù)據(jù)已然成為推動各行業(yè)轉(zhuǎn)型升級以及經(jīng)濟社會高質(zhì)量發(fā)展的重要力量。
二、大數(shù)據(jù)行業(yè)應用領域
1、商業(yè)領域應用
市場營銷中的精準營銷:
據(jù)市場調(diào)研報告進行披露,在當今商業(yè)環(huán)境中,精準營銷借助大數(shù)據(jù)分析得以高效實現(xiàn)。以亞馬遜為例,作為全球最大的電子商務平臺之一,其憑借大數(shù)據(jù)分析用戶的瀏覽歷史、購物行為以及興趣偏好等多維度信息,為每個用戶提供定制化的產(chǎn)品推薦。無論是在網(wǎng)站頁面展示,還是通過電子郵件推送,都能向用戶精準呈現(xiàn)符合其需求和喜好的商品。這種個性化推薦模式不僅顯著提升了用戶的購買體驗,還切實增加了銷售額,并進一步提高了用戶忠誠度。
同樣,京東商城在個性化推薦方面也有著出色的實踐。它利用計算機算法,根據(jù)每一位用戶的特點,從數(shù)以百萬計的商品中篩選出合適的商品進行推薦,應用場景涵蓋 App 首頁、商品單品頁、頻道頁、活動頁等,實現(xiàn)了 “千人千面” 的個性化展示。對京東商城而言,這一舉措提高了用戶忠誠度、平臺的交叉銷售能力,還增加了銷售額和營業(yè)利潤,目前已為其貢獻了 10% 的訂單;對用戶來說,能接收到契合個人特征的商品推薦,優(yōu)化了購買體驗,節(jié)省了時間成本和搜索成本。
供應鏈管理的優(yōu)化:
眾多企業(yè)利用大數(shù)據(jù)優(yōu)化供應鏈管理環(huán)節(jié),提高運營效率。例如在工程機械行業(yè),通過收集和分析生產(chǎn)環(huán)節(jié)中的各類數(shù)據(jù),包括原材料采購數(shù)據(jù)、零部件庫存數(shù)據(jù)、生產(chǎn)設備運行數(shù)據(jù)以及物流配送數(shù)據(jù)等,企業(yè)可以精準掌握每個環(huán)節(jié)的實時情況?;诖髷?shù)據(jù)分析結果,能夠?qū)崿F(xiàn)對原材料采購量和采購時間的精準把控,避免庫存積壓或缺貨情況;合理安排生產(chǎn)計劃,根據(jù)設備的運行狀態(tài)及時進行維護和調(diào)整,保障生產(chǎn)的連續(xù)性;優(yōu)化物流配送路徑和配送時間,降低運輸成本。如此一來,整個供應鏈得以高效運轉(zhuǎn),人力依賴程度降低,生產(chǎn)經(jīng)營效率得到顯著提升。
金融風控領域的應用:
金融行業(yè)對大數(shù)據(jù)分析技術的應用極為重視,尤其是在風險防控方面。銀行等金融機構借助大數(shù)據(jù)實時監(jiān)測風險、預防詐騙欺詐行為。比如,某銀行利用大數(shù)據(jù)技術對客戶的消費行為進行深度分析,通過挖掘客戶的消費習慣、交易時間、交易地點、交易金額等多方面的數(shù)據(jù)特征,發(fā)現(xiàn)其中的規(guī)律和異常情況。當出現(xiàn)不符合客戶常規(guī)消費模式的交易時,如突然在異地進行大額消費或者短時間內(nèi)頻繁進行高額交易等情況,系統(tǒng)能夠及時發(fā)出預警,銀行工作人員可以進一步核實交易真實性,有效預防信用卡盜刷、詐騙轉(zhuǎn)賬等風險事件的發(fā)生。同時,在信貸業(yè)務中,通過分析客戶的收入水平、信用記錄、負債情況等大數(shù)據(jù)信息,對客戶的還款能力和還款意愿進行綜合評估,從而準確判斷信貸風險,合理確定信貸額度和利率水平,保障金融業(yè)務的安全穩(wěn)定開展。
2、社會領域應用
交通管理方面:
隨著城市化進程的加快,交通擁堵成為城市發(fā)展面臨的一大難題,而大數(shù)據(jù)技術為解決這一問題提供了有效途徑。以深圳的僑香路為例,其作為智慧交通道路試點,充分運用了大數(shù)據(jù)技術。交通部門聯(lián)合多部門實施多桿合一的智慧多功能桿,前端硬件通過智慧路燈及智能控制系統(tǒng),外掛環(huán)境檢測、視頻攝像以及 WiFi 等設備,全面快速地采集和傳輸包括交通流量、車輛行駛速度、路口車輛排隊長度等實時交通數(shù)據(jù),并將數(shù)據(jù)傳輸至后臺的智慧道路管理平臺。平臺借助大數(shù)據(jù)分析,可以實時監(jiān)控路面設施的運營狀態(tài),還能依據(jù)數(shù)據(jù)分析結果實時優(yōu)化道路交通組織,比如實現(xiàn) “車多放車、人多放人” 的感應控制,動態(tài)調(diào)整信號燈配時,優(yōu)化重要路口交通組織,增設或優(yōu)化掉頭口、行人過街系統(tǒng)等,以此提高行車和行人的通行效率,緩解交通擁堵狀況。
此外,在很多城市中,通過收集出租車、網(wǎng)約車的 GPS 定位數(shù)據(jù)以及交通攝像頭的圖像識別數(shù)據(jù)等,交通管理部門可以全面掌握城市整體交通流量和擁堵情況,進而提前對易擁堵路段進行交通管制,如實施道路限行策略、引導車輛繞行等,同時也能為城市交通規(guī)劃提供科學依據(jù),例如合理規(guī)劃新道路建設、調(diào)整公交線路等。
醫(yī)療衛(wèi)生領域:
在醫(yī)療衛(wèi)生行業(yè),大數(shù)據(jù)挖掘技術發(fā)揮著重要作用。某醫(yī)院引入大數(shù)據(jù)技術后,建立了病人健康檔案數(shù)據(jù)庫,整合了病人的基本信息、病史記錄、檢驗檢查結果、用藥情況等多方面的數(shù)據(jù)。結合醫(yī)學專家的知識,借助大數(shù)據(jù)分析對病人的病情進行預測和分析,醫(yī)生可以更加科學地制定治療方案,提高治療效果。例如在慢性疾病管理方面,通過對大量同類患者的數(shù)據(jù)進行分析,能夠總結出不同病情階段的特征以及對應的最佳治療手段,為新患者提供更精準的治療參考。
同時,利用大數(shù)據(jù)還可以優(yōu)化醫(yī)療資源分配效率。通過分析不同地區(qū)、不同時間段的患者就診數(shù)據(jù),了解各類疾病的發(fā)病分布情況以及醫(yī)療資源的使用情況,合理調(diào)配醫(yī)護人員、醫(yī)療設備等資源,確保資源能夠優(yōu)先滿足需求較高的區(qū)域和病種,提高醫(yī)療服務的整體效率和質(zhì)量,讓更多患者能夠及時獲得有效的醫(yī)療服務。
城市規(guī)劃領域:
大數(shù)據(jù)分析有助于城市規(guī)劃更加貼合居民需求。通過分析居民的流動數(shù)據(jù),例如手機信令數(shù)據(jù)、公交地鐵刷卡數(shù)據(jù)等,可以了解居民日常的出行軌跡、活動熱點區(qū)域以及不同區(qū)域間的人口流動規(guī)律。同時結合居民對各類公共服務設施(如學校、醫(yī)院、商場、公園等)的需求反饋數(shù)據(jù),城市規(guī)劃部門能夠精準把握城市各區(qū)域的功能需求情況,進而對城市布局進行科學合理的改善。比如,在人口密集且休閑娛樂設施不足的區(qū)域規(guī)劃建設新的公園;根據(jù)居民通勤流向,優(yōu)化公交線路和地鐵站設置;針對新興居住區(qū)域,配套建設相應規(guī)模的學校、醫(yī)院等公共服務設施,提升城市居民的生活質(zhì)量和幸福感。
3、個人領域應用
個人健康管理方面:
在個人健康管理領域,大數(shù)據(jù)的應用日益廣泛且深入。借助智能穿戴設備(如智能手環(huán)、智能手表等)和健康監(jiān)測類手機應用,人們可以實時收集個人的健康數(shù)據(jù),像心率、血壓、步數(shù)、睡眠質(zhì)量等生理數(shù)據(jù)以及運動、飲食等行為數(shù)據(jù)。這些數(shù)據(jù)上傳至相應的大數(shù)據(jù)平臺后,通過專業(yè)的算法分析,一方面能夠為用戶提供個性化的健康建議,例如根據(jù)用戶的睡眠情況建議調(diào)整作息時間,依據(jù)運動數(shù)據(jù)提醒適當增加或減少運動量等;另一方面,通過對長時間積累的數(shù)據(jù)進行分析,可以對用戶未來的健康狀況進行預測,提前發(fā)現(xiàn)潛在的健康風險,便于及時采取干預措施。
例如,一些健康管理平臺通過整合用戶的家族病史、日常健康監(jiān)測數(shù)據(jù)以及基因檢測數(shù)據(jù)(如果有)等多維度信息,運用大數(shù)據(jù)分析技術,為用戶制定個性化的健康管理方案,包括疾病預防建議、體檢項目推薦以及生活方式調(diào)整指導等內(nèi)容,助力用戶更好地管理自身健康,提升生活質(zhì)量。
同時,在醫(yī)療服務中,醫(yī)生也可以參考這些大數(shù)據(jù)分析結果,更準確地了解患者的病情發(fā)展趨勢,做出更合理的診療決策,及時調(diào)整治療方案,實現(xiàn)精準醫(yī)療,提高治療效果。
北京研精畢智信息咨詢有限公司(XYZResearch),系國內(nèi)領先的行業(yè)和企業(yè)研究服務供應商,并榮膺CCTV中視購物官方合作品牌。公司秉持助力企業(yè)實現(xiàn)商業(yè)決策高效化的核心宗旨,依托十年行業(yè)積累,深度整合企業(yè)研究、行業(yè)研究、數(shù)據(jù)定制、消費者調(diào)研、市場動態(tài)監(jiān)測等多維度服務模塊,同時組建由業(yè)內(nèi)資深專家構成的專家?guī)?,打造一站式研究服務體系。研精畢智咨詢憑借先進方法論、豐富的案例與數(shù)據(jù),精準把脈市場趨勢,為企業(yè)提供權威的市場洞察及戰(zhàn)略導向。