大數(shù)據(jù)介紹
目錄
1) 分布式文件/對(duì)象存儲(chǔ)系統(tǒng)... 3
2) 分布式關(guān)系型數(shù)據(jù)庫(kù)... 3
6) 列存儲(chǔ)數(shù)據(jù)庫(kù)... 4
8) 鍵值存儲(chǔ)數(shù)據(jù)庫(kù)... 4
1) 流式計(jì)算(Streaming compute)... 5
2) 大規(guī)模批量計(jì)算(batch compute)... 5
6) 分布式協(xié)調(diào)系統(tǒng)... 6
3. 數(shù)據(jù)倉(cāng)庫(kù)... 7
3. 數(shù)據(jù)挖掘云計(jì)算軟件... 8
4. 大數(shù)據(jù)咨詢分析服務(wù)... 8
6. 自有平臺(tái)大數(shù)據(jù)分析... 8
9. 非營(yíng)利性數(shù)據(jù)征信評(píng)價(jià)機(jī)構(gòu)... 9
五坠狡、 大數(shù)據(jù)發(fā)展趨勢(shì)... 9
趨勢(shì)一:物聯(lián)網(wǎng)... 10
趨勢(shì)三:增強(qiáng)現(xiàn)實(shí)(AR)與虛擬現(xiàn)實(shí)(VR) 10
趨勢(shì)五:語(yǔ)音識(shí)別技術(shù)... 11
大數(shù)據(jù)發(fā)展背景
最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫吨凑,麥肯錫稱:“數(shù)據(jù)喘帚,已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域贪婉,成為重要的生產(chǎn)因素反粥。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)疲迂〔哦伲”數(shù)據(jù),讓一切有跡可循尤蒿,讓一切有源可溯郑气。我們每天都在產(chǎn)生數(shù)據(jù),創(chuàng)造大數(shù)據(jù)和使用大數(shù)據(jù)腰池,只是尾组,你,仍然渾然不知示弓。
企業(yè)組織利用相關(guān)數(shù)據(jù)和分析可以幫助它們降低成本讳侨、提高效率、開(kāi)發(fā)新產(chǎn)品奏属、做出更明智的業(yè)務(wù)決策等等跨跨。大數(shù)據(jù)的價(jià)值,遠(yuǎn)遠(yuǎn)不止于此囱皿,大數(shù)據(jù)對(duì)各行各業(yè)的滲透勇婴,大大推動(dòng)了社會(huì)生產(chǎn)和生活,未來(lái)必將產(chǎn)生重大而深遠(yuǎn)的影響嘱腥。
數(shù)據(jù)治理——>數(shù)據(jù)應(yīng)用——>基礎(chǔ)技術(shù)——>數(shù)據(jù)傳輸——>數(shù)據(jù)組織集成——>數(shù)據(jù)采集
上面流程圖是大數(shù)據(jù)技術(shù)是實(shí)現(xiàn)完整的流程圖耕渴,前三部分專業(yè)太強(qiáng),不適合做普惠性的講解齿兔。我們通常說(shuō)的大數(shù)據(jù)技術(shù)主要應(yīng)用于數(shù)據(jù)組織集成橱脸,數(shù)據(jù)應(yīng)用础米,數(shù)據(jù)治理。HDFS慰技,Druid椭盏,MonetDB,Hbase吻商,Elasticsearch掏颊,Redis,Memcached艾帐,Spark等技術(shù)語(yǔ)主要用來(lái)解決數(shù)據(jù)組織集成的問(wèn)題乌叶;數(shù)據(jù)服務(wù),數(shù)據(jù)可視化柒爸,數(shù)據(jù)共享准浴,數(shù)據(jù)預(yù)警,應(yīng)用部署等術(shù)語(yǔ)都是數(shù)據(jù)應(yīng)用的主要方面捎稚;數(shù)據(jù)治理相關(guān)標(biāo)準(zhǔn)乐横,元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量今野,數(shù)據(jù)安全等是數(shù)據(jù)治理的主要內(nèi)容葡公。下面分三塊來(lái)詳細(xì)講述:
一、數(shù)據(jù)組織集成
- 數(shù)據(jù)存儲(chǔ)
大數(shù)據(jù)存儲(chǔ)面向海量条霜、異構(gòu)催什、大規(guī)模結(jié)構(gòu)化非結(jié)構(gòu)化等數(shù)據(jù)提供高性能高可靠的存儲(chǔ)以及訪問(wèn)能力,通過(guò)優(yōu)化存儲(chǔ)優(yōu)化存儲(chǔ)基礎(chǔ)設(shè)施宰睡、提供高性能蒲凶。高吞吐率、大容量的數(shù)據(jù)存儲(chǔ)方案拆内,解決巨大數(shù)據(jù)量的存儲(chǔ)問(wèn)題旋圆,同時(shí)為大規(guī)模數(shù)據(jù)分析、計(jì)算矛纹、加工提供支撐臂聋。
1) 分布式文件/對(duì)象存儲(chǔ)系統(tǒng)
分布式存儲(chǔ)系統(tǒng)面向海量數(shù)據(jù)的存儲(chǔ)訪問(wèn)與共享需求,提供基于多存儲(chǔ)節(jié)點(diǎn)的高性能或南,高可靠和可伸縮性的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力,實(shí)現(xiàn)分布式存儲(chǔ)節(jié)點(diǎn)上多用戶的訪問(wèn)共享艾君。
目前業(yè)界比較流行的分布式存儲(chǔ)系統(tǒng)如下:HDFS采够、OpenStack Swift、Ceph冰垄、GlusterFS蹬癌、Lustre、AFS、OSS逝薪。
2) 分布式關(guān)系型數(shù)據(jù)庫(kù)
隨著傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)日趨成熟隅要、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和應(yīng)用范圍的擴(kuò)大,以分布式為主要特征的數(shù)據(jù)庫(kù)系統(tǒng)的研究與開(kāi)發(fā)受到人們的注意董济。關(guān)系型數(shù)據(jù)庫(kù)也是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù)步清,借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)。由于集中式關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的不足(性能虏肾、擴(kuò)展性)廓啊,分布式關(guān)系型數(shù)據(jù)庫(kù)目前越來(lái)越多。
目前業(yè)界比較流行的分布式關(guān)系型數(shù)據(jù)庫(kù)如下:DRDS封豪、TiDB谴轮、GreenPlum、Cobar吹埠、Aurora第步、Mycat。
3) 分析型數(shù)據(jù)庫(kù)
分析數(shù)據(jù)庫(kù)是面向分析應(yīng)用的數(shù)據(jù)庫(kù)缘琅,與傳統(tǒng)的數(shù)據(jù)庫(kù)不同粘都,它可以對(duì)數(shù)據(jù)進(jìn)行在線統(tǒng)計(jì)、數(shù)據(jù)在 線分析胯杭、隨即查詢等發(fā)掘信息數(shù)據(jù)價(jià)值的工作驯杜,是數(shù)據(jù)庫(kù)產(chǎn)品一個(gè)重要的分支。
目前業(yè)界比較流行的分析型數(shù)據(jù)庫(kù)如下:Kylin做个、AnalyticDB鸽心、Druid、Clickhouse居暖、Vertica顽频、MonetDB、InfiniDB太闺、LucidDB糯景。
4) 搜索引擎
大數(shù)據(jù)時(shí)代,如何幫助用戶從海量信息中快速準(zhǔn)確搜索到目標(biāo)內(nèi)容省骂,就需要搜索引擎蟀淮。大數(shù)據(jù)搜索引擎是一個(gè)提供分布式,高性能钞澳、高可用怠惶、可伸縮的搜索和分析系統(tǒng)。
目前常見(jiàn)的搜索引擎技術(shù)如下:Elasticsearch轧粟、Solr策治、OpenSearch脓魏。
5) 圖數(shù)據(jù)庫(kù)
圖數(shù)據(jù)庫(kù)源起歐拉和圖理論,也可稱為面向/基于圖的數(shù)據(jù)庫(kù)通惫,對(duì)應(yīng)的英文是 Graph Database茂翔。圖形數(shù)據(jù)庫(kù)是 NoSQL 數(shù)據(jù)庫(kù)的一種類型,它應(yīng)用圖形理論存儲(chǔ)實(shí)體之間的關(guān)系信息履腋。圖形數(shù)據(jù)庫(kù)是一種非關(guān)系型數(shù)據(jù)庫(kù)珊燎,它應(yīng)用圖形理論存儲(chǔ)實(shí)體之間的關(guān)系信息。最常見(jiàn)例子就是社會(huì)網(wǎng)絡(luò)中人與人之間的關(guān)系府树。圖數(shù)據(jù)庫(kù)的基本含義是以“圖”這種數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)和查詢數(shù)據(jù)俐末,而不是存儲(chǔ)圖片的數(shù)據(jù)庫(kù)。它的數(shù)據(jù)模型主要是以節(jié)點(diǎn)和關(guān)系(邊)來(lái)體現(xiàn)奄侠,也可處理鍵值對(duì)卓箫。它的優(yōu)點(diǎn)是快速解決復(fù)雜的關(guān)系問(wèn)題。
目前業(yè)界比較流行的圖數(shù)據(jù)庫(kù)如下:Titan垄潮、Neo4J烹卒、ArangoDB、OrientDB弯洗、MapGraph旅急、ALLEGROGRAPH。
6) 列存儲(chǔ)數(shù)據(jù)庫(kù)
列式數(shù)據(jù)庫(kù)是以列相關(guān)存儲(chǔ)架構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)牡整,主要適合于批量數(shù)據(jù)處理和即時(shí)查詢藐吮。相對(duì)應(yīng)的是行式數(shù)據(jù)庫(kù),數(shù)據(jù)以行相關(guān)的存儲(chǔ)體系架構(gòu)進(jìn)行空間分配逃贝,主要適合于大批量的數(shù)據(jù)處理谣辞,常用于聯(lián)機(jī)事務(wù)型數(shù)據(jù)處理。
目前業(yè)界比較流行的列存儲(chǔ)數(shù)據(jù)庫(kù)如下:Phoenix沐扳、Cassandra泥从、Hbase、Kudu沪摄、Hypertable躯嫉。
7) 文檔數(shù)據(jù)庫(kù)
文檔型數(shù)據(jù)庫(kù)是 NoSQL 中非常重要的一個(gè)分支,它主要用來(lái)存儲(chǔ)杨拐、索引并管理面向文檔的數(shù)據(jù)或者類似的半結(jié)構(gòu)化數(shù)據(jù)祈餐。
目前業(yè)界比較流行的文檔型數(shù)據(jù)庫(kù)如下:MongoDb、CouchDB哄陶、OrientDB昼弟、MarkLogic。
8) 鍵值存儲(chǔ)數(shù)據(jù)庫(kù)
目前業(yè)界比較流行的鍵值存儲(chǔ)數(shù)據(jù)庫(kù)如下:Redis奕筐、Memcached舱痘、Tair。
- 數(shù)據(jù)計(jì)算
大數(shù)據(jù)計(jì)算主要完成海量數(shù)據(jù)并行處理离赫、分析挖掘等面向業(yè)務(wù)需求芭逝。大數(shù)據(jù)計(jì)算通過(guò)將海量的數(shù)據(jù)分片,多個(gè)計(jì)算節(jié)點(diǎn)并行化執(zhí)行渊胸,實(shí)現(xiàn)高性能旬盯、高可靠的數(shù)據(jù)處理,同時(shí)提供分布式任務(wù)管理和調(diào)度的支撐翎猛。針對(duì)不同的數(shù)據(jù)處理需求胖翰,主要有大規(guī)模批量處理、流式計(jì)算切厘、圖計(jì)算萨咳、即席分析等多種計(jì)算。
1) 流式計(jì)算(Streaming compute)
流式計(jì)算:利用分布式的思想和方法疫稿,對(duì)海量“流”式數(shù)據(jù)進(jìn)行實(shí)時(shí)處理培他。流式計(jì)算更加強(qiáng)調(diào)計(jì)算數(shù)據(jù)流和低時(shí)延。這邊所謂的流數(shù)據(jù)( streaming data)是一種不斷增長(zhǎng)的遗座,無(wú)限的數(shù)據(jù)集舀凛。
流式計(jì)算是否等于實(shí)時(shí)計(jì)算?習(xí)慣上實(shí)時(shí)和流式等價(jià)途蒋,但其實(shí)這種觀點(diǎn)并不完全正確猛遍。數(shù)據(jù)的發(fā)生的時(shí)間和處理時(shí)間有可能是不一致的,只能說(shuō)流式計(jì)算是一種低延遲的計(jì)算方式号坡。
注意:本文將微批處理和流處理混在一起懊烤。
業(yè)界常見(jiàn)的流式計(jì)算框架:Storm、Flink筋帖、Yahoo S4奸晴、Kafka Stream、Twitter Heron日麸、Apache Samza寄啼、Spark Streaming。
2) 大規(guī)模批量計(jì)算(batch compute)
大規(guī)模批量計(jì)算是對(duì)存儲(chǔ)的靜態(tài)數(shù)據(jù)進(jìn)行大規(guī)模并行批處理的計(jì)算代箭。批量計(jì)算是一種批量墩划、高時(shí)延、主動(dòng)發(fā)起的計(jì)算嗡综。習(xí)慣上我們認(rèn)為離線和批量等價(jià)乙帮,但其實(shí)是不準(zhǔn)確的。離線計(jì)算一般是指數(shù)據(jù)處理的延遲极景。這里有兩方面的含義第一就是數(shù)據(jù)是有延遲的察净,第二是是時(shí)間處理是延遲驾茴。在數(shù)據(jù)是實(shí)時(shí)的情況下,假設(shè)一種情況:當(dāng)我們擁有一個(gè)非常強(qiáng)大的硬件系統(tǒng)氢卡,可以毫秒級(jí)的處理 Gb 級(jí)別的數(shù)據(jù)锈至,那么批量計(jì)算也可以毫秒級(jí)得到統(tǒng)計(jì)結(jié)果。
業(yè)界常見(jiàn)的大規(guī)模批量計(jì)算框架:Tez译秦、MapReduce峡捡、Hive、Spark筑悴、Pig们拙、大數(shù)據(jù)的編程模型 Apache Beam。
3) 即席查詢分析 (ad-hoc query)
大數(shù)據(jù)進(jìn)行即席查詢分析近兩年日益成為關(guān)注領(lǐng)域阁吝。即席查詢(Ad Hoc)是用戶根據(jù)自己的需求砚婆,靈活的選擇查詢條件,系統(tǒng)能夠根據(jù)條件快速的進(jìn)行查詢分析返回結(jié)果求摇。即席查詢和分析的計(jì)算模式兼具了良好的時(shí)效性與靈活性射沟,是對(duì)批處理,流計(jì)算兩大計(jì)算模式有力補(bǔ)充与境。大規(guī)模批量計(jì)算解決了大數(shù)據(jù)量批處理的問(wèn)題验夯,而即席查詢分析則解決了適合商業(yè)智能分析人員的便捷交互式分析的問(wèn)題。
業(yè)界常見(jiàn)的框架:Impala摔刁、Hawq挥转、Dremel、Drill共屈、Phoenix绑谣、Tajo、Presto拗引、Hortonworks Stinger借宵。
4) 全量計(jì)算 & 增量計(jì)算
很多大數(shù)據(jù)的任務(wù)中,數(shù)據(jù)是一個(gè)增量收集和更新的過(guò)程矾削,這時(shí)候?qū)τ跀?shù)據(jù)的處理可以使是全量加上增量計(jì)算的方式壤玫。增量計(jì)算只對(duì)部分新增數(shù)據(jù)進(jìn)行計(jì)算來(lái)極大提升計(jì)算過(guò)程的效率,可應(yīng)用到數(shù)據(jù)增量或周期性更新的場(chǎng)合。典型例子就是搜索引擎的周期性索引更新。
相關(guān)基礎(chǔ)知識(shí):Lambda 架構(gòu)沸呐、Kappa 架構(gòu)、IOTA 架構(gòu)猎贴。
業(yè)界常見(jiàn)框架:Microsoft Kineograph、Galaxy、Google Percolator她渴、Druid达址。
5) 圖計(jì)算
圖計(jì)算是一類在實(shí)際應(yīng)用中非常常見(jiàn)的計(jì)算類型。許多大數(shù)據(jù)都是以大規(guī)模圖或網(wǎng)絡(luò)的形式呈現(xiàn)惹骂,如社交網(wǎng)絡(luò)苏携、傳染病傳播途徑、交通事故對(duì)路網(wǎng)的影響許多非圖結(jié)構(gòu)的大數(shù)據(jù)对粪,也常常會(huì)被轉(zhuǎn)換為圖模型后進(jìn)行分析。圖數(shù)據(jù)結(jié)構(gòu)很好地表達(dá)了數(shù)據(jù)之間的關(guān)聯(lián)性装蓬。要處理規(guī)模巨大的圖數(shù)據(jù)著拭,傳統(tǒng)的單機(jī)處理方式已經(jīng)無(wú)力處理,必須采用大規(guī)模機(jī)器集群構(gòu)成的并行數(shù)據(jù)庫(kù)牍帚。
相關(guān)基礎(chǔ)知識(shí):GAS 編程模型儡遮、BSP 模型、節(jié)點(diǎn)為中心編程模型暗赶、計(jì)算范型鄙币。
業(yè)界常見(jiàn)框架:Pregel、GraphChi蹂随、Spark GraphX十嘿、PowerGrah、Apache Giraph岳锁、Apache Hama绩衷。
6) 分布式協(xié)調(diào)系統(tǒng)
大規(guī)模分布式系統(tǒng)中需要解決各種類型的協(xié)調(diào)需求,例如當(dāng)當(dāng)系統(tǒng)中加入一個(gè)進(jìn)程或者物理機(jī)激率,如何自動(dòng)獲取參數(shù)和配置咳燕,當(dāng)進(jìn)程和物理機(jī)發(fā)生改變?nèi)绾瓮ㄖ渌M(jìn)程;單主控服務(wù)發(fā)生癱瘓乒躺,如何能夠從備份中選取新的主控服務(wù)招盲。分布式協(xié)調(diào)系統(tǒng)適用于大型的分布式系統(tǒng),可以提供 統(tǒng)一命名服務(wù)嘉冒、狀態(tài)同步服務(wù)曹货、集群管理、分布式應(yīng)用配置項(xiàng)的管理等服務(wù)健爬。
業(yè)界常見(jiàn)框架:Chubby控乾、阿里 Diamond、阿里 ConfigServer娜遵、zookeeper蜕衡、Eureka、Consul。
7) 集群資源管理和調(diào)度
資源管理調(diào)度的本質(zhì)是集群慨仿、數(shù)據(jù)中心級(jí)別的資源統(tǒng)一管理和分配久脯,以提高效率。其中镰吆,多租戶帘撰、彈性計(jì)算、動(dòng)態(tài)分配是資源管理系統(tǒng)要核心解決問(wèn)題万皿。
管理調(diào)度框架:Omega摧找、Brog、Mesos牢硅、Corona蹬耘、Yarn、Torca减余。
管理和監(jiān)控工具:Ambari综苔、Chukwa、Hue位岔。
8) 工作流管理引擎
隨著企業(yè)的發(fā)展如筛,他們的工作流程變得更加復(fù)雜,越來(lái)越多的有著錯(cuò)綜復(fù)雜依賴關(guān)系的工作流需要增加監(jiān)控抒抬,故障排除杨刨。如果沒(méi)有明確的血緣關(guān)系。就可能出現(xiàn)問(wèn)責(zé)問(wèn)題瞧剖,對(duì)元數(shù)據(jù)的操作也可能丟失拭嫁。這就是有向無(wú)環(huán)圖(DAG),數(shù)據(jù)管道和工作流管理器發(fā)揮作用的地方抓于。
復(fù)雜的工作流程可以通過(guò) DAG 來(lái)表示做粤。DAG 是一種圖結(jié)構(gòu)。信息必須沿特定方向在頂點(diǎn)間傳遞捉撮,但信息無(wú)法通過(guò)循環(huán)返回起點(diǎn)怕品。DAG 的構(gòu)建是數(shù)據(jù)管道,或者是一個(gè)進(jìn)程的輸入成為下一個(gè)進(jìn)程的輸入的順序進(jìn)程巾遭。
構(gòu)建這些管道可能會(huì)很棘手肉康,但幸運(yùn)的是,有幾個(gè)開(kāi)源的工作流管理器可用于解決這個(gè)問(wèn)題灼舍,允許程序員專注于單個(gè)任務(wù)和依賴關(guān)系吼和。
業(yè)界常見(jiàn)框架:Oozie、Azkaban骑素、Luigi炫乓、Airflow。
- 數(shù)據(jù)倉(cāng)庫(kù)
隨著數(shù)據(jù)庫(kù)技術(shù)和管理系統(tǒng)的不斷發(fā)展和普及,人們已不再滿足于一般的業(yè)務(wù)處理末捣。同時(shí)隨著數(shù)據(jù)量的不斷增大侠姑,如何能夠更好地利用數(shù)據(jù),將數(shù)據(jù)轉(zhuǎn)化成商業(yè)價(jià)值箩做,已經(jīng)成為人們?cè)絹?lái)越關(guān)心的問(wèn)題莽红。
舉例來(lái)說(shuō),數(shù)據(jù)庫(kù)系統(tǒng)可以很好地解決事務(wù)處理邦邦,實(shí)現(xiàn)對(duì)數(shù)據(jù)的“增刪改查”等功能安吁,但是卻不能提供很好的決策分析支持。因?yàn)槭聞?wù)處理首先考慮響應(yīng)的及時(shí)性圃酵,多數(shù)情況都是在處理當(dāng)前數(shù)據(jù)柳畔,而決策分析需要考慮的是數(shù)據(jù)的集成性和歷史性,可能對(duì)分析處理的時(shí)效性要求不高郭赐。所以為了提高決策分析的有效性和完整性,人們逐漸將一部分或者大部分?jǐn)?shù)據(jù)從聯(lián)機(jī)事物處理系統(tǒng)中剝離出來(lái)确沸,形成今天的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)捌锭。
- 數(shù)據(jù)挖掘
分析挖掘是通過(guò)算法從大數(shù)據(jù)紅提煉出具有價(jià)值的信息和知識(shí)的過(guò)程。以機(jī)器和算法為主導(dǎo)罗捎,充分發(fā)揮機(jī)器在數(shù)據(jù)分析挖掘中的效率和可靠性的優(yōu)勢(shì)观谦,提供對(duì)結(jié)構(gòu)化數(shù)據(jù)以及文本、圖像桨菜、視頻和語(yǔ)言等非結(jié)構(gòu)數(shù)據(jù)分析挖掘豁状。數(shù)據(jù)分析挖掘包括一些通用的數(shù)據(jù)挖掘方法,也包括深度學(xué)習(xí)倒得,機(jī)器學(xué)習(xí)泻红,統(tǒng)計(jì)分析等。
二霞掺、數(shù)據(jù)應(yīng)用
大數(shù)據(jù)應(yīng)用是整個(gè)大數(shù)據(jù)生命周期中最重要的一個(gè)環(huán)節(jié)之一谊路。隨著大數(shù)據(jù)應(yīng)用越來(lái)越廣泛,應(yīng)用的行業(yè)也越來(lái)越低菩彬,每天都可以看到大數(shù)據(jù)的一些新奇的應(yīng)用缠劝,從而幫助人們從中獲取到真正有用的價(jià)值。大數(shù)據(jù)應(yīng)用方面相關(guān)技術(shù)有數(shù)據(jù)服務(wù)骗灶,數(shù)據(jù)可視化惨恭,數(shù)據(jù)共享,數(shù)據(jù)預(yù)警耙旦,應(yīng)用部署脱羡。
三、數(shù)據(jù)治理
過(guò)去的十年,我們經(jīng)歷了數(shù)據(jù)量高速膨脹的時(shí)期轻黑,這些海量的糊肤、分散在不同角落的異構(gòu)數(shù)據(jù)導(dǎo)致了數(shù)據(jù)資源的價(jià)值低、應(yīng)用難度大等問(wèn)題氓鄙。如何將海量數(shù)據(jù)應(yīng)用于決策馆揉、營(yíng)銷和產(chǎn)品創(chuàng)新?如何利用大數(shù)據(jù)平臺(tái)優(yōu)化產(chǎn)品抖拦、流程和服務(wù)升酣?如何利用大數(shù)據(jù)更科學(xué)地制定公共政策、實(shí)現(xiàn)社會(huì)治理态罪?所有這一切噩茄,都離不開(kāi)大數(shù)據(jù)治理「淳保可以說(shuō)绩聘,在大數(shù)據(jù)戰(zhàn)略從頂層設(shè)計(jì)到底層實(shí)現(xiàn)的“落地”過(guò)程中,治理是基礎(chǔ)耗啦,技術(shù)是承載凿菩,分析是手段,應(yīng)用是目的帜讲。這個(gè)時(shí)候數(shù)據(jù)治理體系建設(shè)可能不是一個(gè)選擇衅谷,而是唯一的出路。
- 元數(shù)據(jù)管理
元數(shù)據(jù) MetaData 狹義的解釋是用來(lái)描述數(shù)據(jù)的數(shù)據(jù)似将,廣義的來(lái)看获黔,除了業(yè)務(wù)邏輯直接讀寫(xiě)處理的那些業(yè)務(wù)數(shù)據(jù),所有其它用來(lái)維持整個(gè)系統(tǒng)運(yùn)轉(zhuǎn)所需的信息/數(shù)據(jù)都可以叫作元數(shù)據(jù)在验。比如數(shù)據(jù)表格的 Schema 信息玷氏,任務(wù)的血緣關(guān)系,用戶和腳本/任務(wù)的權(quán)限映射關(guān)系信息等等译红。
管理這些附加 MetaData 信息的目的预茄,一方面是為了讓用戶能夠更高效的挖掘和使用數(shù)據(jù),另一方面是為了讓平臺(tái)管理人員能更加有效的做好系統(tǒng)的維護(hù)管理工作侦厚。
- 數(shù)據(jù)安全
沒(méi)有安全做保障耻陕,一切大數(shù)據(jù)應(yīng)用都是空談。數(shù)據(jù)業(yè)務(wù)未來(lái)最大的挑戰(zhàn)就是如何安全落地刨沦。特別是隨著一些列數(shù)據(jù)安全的問(wèn)題發(fā)生诗宣,對(duì)大數(shù)據(jù)的保護(hù)成為全球關(guān)注的熱點(diǎn)。各個(gè)企業(yè)特別是掌握了海量用戶信息的大型企業(yè)想诅,有責(zé)任也有義務(wù)去保護(hù)數(shù)據(jù)的安全召庞。
四岛心、大數(shù)據(jù)典型模式
- B2B大數(shù)據(jù)交易
所國(guó)內(nèi)外均有企業(yè)在推動(dòng)大數(shù)據(jù)交易。目前篮灼,我國(guó)正在探索“國(guó)家隊(duì)”性質(zhì)的B2B大數(shù)據(jù)交易所模式忘古。2014年2月20日,國(guó)內(nèi)首個(gè)面向數(shù)據(jù)交易的產(chǎn)業(yè)組織—中關(guān)村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟成立诅诱,同日髓堪,中關(guān)村數(shù)海大數(shù)據(jù)交易平臺(tái)啟動(dòng),定位大數(shù)據(jù)的交易服務(wù)平臺(tái)娘荡。2015年4月15日干旁,貴陽(yáng)大數(shù)據(jù)交易所正式掛牌運(yùn)營(yíng)并完成首批大數(shù)據(jù)交易。貴陽(yáng)大數(shù)據(jù)交易所完成的首批數(shù)據(jù)交易賣方為深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司炮沐、廣東省數(shù)字廣東研究院争群,買(mǎi)方為京東云平臺(tái)、中金數(shù)據(jù)系統(tǒng)有限公司大年。2015年5月26日换薄,在2015貴陽(yáng)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)暨全球大數(shù)據(jù)時(shí)代貴陽(yáng)峰會(huì)上,貴陽(yáng)大數(shù)據(jù)交易所推出《2015年中國(guó)大數(shù)據(jù)交易白皮書(shū)》和《貴陽(yáng)大數(shù)據(jù)交易所702公約》翔试,為大數(shù)據(jù)交易所的性質(zhì)专控、目的、交易標(biāo)的遏餐、信息隱私保護(hù)等指明了方向,奠定了大數(shù)據(jù)金礦變現(xiàn)的產(chǎn)業(yè)基礎(chǔ)赢底。
- 咨詢研究報(bào)告
國(guó)內(nèi)咨詢報(bào)告的數(shù)據(jù)大多來(lái)源于國(guó)家統(tǒng)計(jì)局等各部委的統(tǒng)計(jì)數(shù)據(jù)失都,由專業(yè)的研究員對(duì)數(shù)據(jù)加以分析、挖掘幸冻,找出各行業(yè)的定量特點(diǎn)進(jìn)而得出定性結(jié)論粹庞,常見(jiàn)于“市場(chǎng)調(diào)研分析及發(fā)展咨詢報(bào)告”,如“2015~2020年中國(guó)通信設(shè)備行業(yè)市場(chǎng)調(diào)研分析及發(fā)展咨詢報(bào)告”洽损、“2015~2020年中國(guó)手機(jī)行業(yè)銷售狀況分析及發(fā)展策略”庞溜、“2015年光纖市場(chǎng)分析報(bào)告”等,這些咨詢報(bào)告面向社會(huì)銷售碑定,其實(shí)就是O2O的大數(shù)據(jù)交易模式流码。
各行各業(yè)的分析報(bào)告為行業(yè)內(nèi)的大量企業(yè)提供了智力成果、企業(yè)運(yùn)營(yíng)和市場(chǎng)營(yíng)銷的數(shù)據(jù)參考延刘,有利于市場(chǎng)優(yōu)化供應(yīng)鏈漫试,避免產(chǎn)能過(guò)剩,維持市場(chǎng)穩(wěn)定碘赖。這些都是以統(tǒng)計(jì)部門(mén)的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)為基礎(chǔ)的專業(yè)研究驾荣,這就是傳統(tǒng)的一對(duì)多的行業(yè)大數(shù)據(jù)商業(yè)模式外构。
- 數(shù)據(jù)挖掘云計(jì)算軟件
云計(jì)算的出現(xiàn)為中小企業(yè)分析海量數(shù)據(jù)提供了廉價(jià)的解決方案,SaaS模式是云計(jì)算的最大魅力所在播掷。云計(jì)算服務(wù)中SaaS軟件可以提供數(shù)據(jù)挖掘审编、數(shù)據(jù)清洗的第三方軟件和插件。
業(yè)內(nèi)曾有專家指出歧匈,大數(shù)據(jù)=海量數(shù)據(jù)+分析軟件+挖掘過(guò)程垒酬,通過(guò)強(qiáng)大的各有千秋的分析軟件來(lái)提供多樣性的數(shù)據(jù)挖掘服務(wù)就是其盈利模式。國(guó)內(nèi)已經(jīng)有大數(shù)據(jù)公司開(kāi)發(fā)了這些架構(gòu)在云端的大數(shù)據(jù)分析軟件:它集統(tǒng)計(jì)分析眯亦、數(shù)據(jù)挖掘和商務(wù)智能于一體伤溉,用戶只需要將數(shù)據(jù)導(dǎo)入該平臺(tái),就可以利用該平臺(tái)提供的豐富算法和模型妻率,進(jìn)行數(shù)據(jù)處理乱顾、基礎(chǔ)統(tǒng)計(jì)、高級(jí)統(tǒng)計(jì)宫静、數(shù)據(jù)挖掘走净、數(shù)據(jù)制圖和結(jié)果輸出等。數(shù)據(jù)由系統(tǒng)統(tǒng)一進(jìn)行管理孤里,能夠區(qū)分私有和公有數(shù)據(jù)伏伯,可以保證私有數(shù)據(jù)只供持有者使用,同時(shí)支持多樣數(shù)據(jù)源接入捌袜,適合分析各行各業(yè)的數(shù)據(jù)说搅,易學(xué)好用、操作界面簡(jiǎn)易直觀虏等,普通用戶稍做了解即可使用弄唧,同時(shí)也適合高端用戶自己建模進(jìn)行二次開(kāi)發(fā)。
- 大數(shù)據(jù)咨詢分析服務(wù)
機(jī)構(gòu)及企業(yè)規(guī)模越大其擁有的數(shù)據(jù)量就越大霍衫,但是很少有企業(yè)像大型互聯(lián)網(wǎng)公司那樣有自己的大數(shù)據(jù)分析團(tuán)隊(duì)候引,因此必然存在一些專業(yè)型的大數(shù)據(jù)咨詢公司,這些公司提供基于管理咨詢的大數(shù)據(jù)建模敦跌、大數(shù)據(jù)分析澄干、商業(yè)模式轉(zhuǎn)型、市場(chǎng)營(yíng)銷策劃等柠傍,有了大數(shù)據(jù)作為依據(jù)麸俘,咨詢公司的結(jié)論和咨詢成果更加有說(shuō)服力,這也是傳統(tǒng)咨詢公司的轉(zhuǎn)型方向携兵。比如某國(guó)外大型IT研究與顧問(wèn)咨詢公司的副總裁在公開(kāi)場(chǎng)合曾表示疾掰,大數(shù)據(jù)能使貴州農(nóng)業(yè)節(jié)省60%的投入,同時(shí)增加80%的產(chǎn)出徐紧。該公司能做出這樣的論斷當(dāng)然是基于其對(duì)貴州農(nóng)業(yè)静檬、天氣炭懊、土壤等數(shù)據(jù)的日積月累以及其建模分析能力。
- 政府決策咨詢智庫(kù)
黨的十八屆三中全會(huì)通過(guò)的《中共中央關(guān)于全面深化改革若干重大問(wèn)題的決定》明確提出拂檩,加強(qiáng)中國(guó)特色新型智庫(kù)建設(shè)侮腹,建立健全決策咨詢制度。這是中共中央文件首次提出“智庫(kù)”概念稻励。
近幾年父阻,一批以建設(shè)現(xiàn)代化智庫(kù)為導(dǎo)向、以服務(wù)國(guó)家發(fā)展戰(zhàn)略為目標(biāo)的智庫(kù)迅速成立望抽,中國(guó)智庫(kù)數(shù)量從2008年的全球第12位躍居當(dāng)前第2位加矛。大數(shù)據(jù)是智庫(kù)的核心,沒(méi)有了數(shù)據(jù)煤篙,智庫(kù)的預(yù)測(cè)和分析將為無(wú)源之水斟览。在海量信息甚至泛濫的情況下,智庫(kù)要提升梳理辑奈、整合信息的能力必然需要依靠大數(shù)據(jù)分析苛茂。
研究認(rèn)為,93%的行為是可以預(yù)測(cè)的鸠窗,如果將事件數(shù)字化妓羊、公式化、模型化稍计,其實(shí)多么復(fù)雜的事件都是有其可以預(yù)知的規(guī)律可循躁绸,事態(tài)的發(fā)展走向是極易被預(yù)測(cè)的〕枷可見(jiàn)涨颜,大數(shù)據(jù)的應(yīng)用將不斷提高政府的決策效率和決策科學(xué)性。
- 自有平臺(tái)大數(shù)據(jù)分析
隨著大數(shù)據(jù)的價(jià)值被各行各業(yè)逐漸認(rèn)可茧球,擁有廣大客戶群的大中型企業(yè)也開(kāi)始開(kāi)發(fā)、建設(shè)自有平臺(tái)來(lái)分析大數(shù)據(jù)星持,并嵌入到企業(yè)內(nèi)部的ERP系統(tǒng)信息流抢埋,由數(shù)據(jù)來(lái)引導(dǎo)企業(yè)內(nèi)部決策、運(yùn)營(yíng)督暂、現(xiàn)金流管理揪垄、市場(chǎng)開(kāi)拓等,起到了企業(yè)內(nèi)部?jī)r(jià)值鏈增值的作用逻翁。
在分析1.0時(shí)代饥努,數(shù)據(jù)倉(cāng)庫(kù)被視作分析的基礎(chǔ)。2.0時(shí)代八回,公司主要依靠Hadoop集群和NoSQL數(shù)據(jù)庫(kù)酷愧。3.0時(shí)代的新型“敏捷”分析方法和機(jī)器學(xué)習(xí)技術(shù)正在以更快的速度來(lái)提供分析結(jié)果驾诈。更多的企業(yè)將在其戰(zhàn)略部門(mén)設(shè)置首席分析官,組織跨部門(mén)溶浴、跨學(xué)科乍迄、知識(shí)結(jié)構(gòu)豐富、營(yíng)銷經(jīng)驗(yàn)豐富的人員進(jìn)行各種類型數(shù)據(jù)的混合分析士败。
- 大數(shù)據(jù)投資工具
證券市場(chǎng)行為闯两、各類指數(shù)與投資者的分析、判斷以及情緒都有很大關(guān)系谅将。2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)授予了行為經(jīng)濟(jì)學(xué)家卡尼曼和實(shí)驗(yàn)經(jīng)濟(jì)學(xué)家史密斯漾狼,行為經(jīng)濟(jì)學(xué)開(kāi)始被主流經(jīng)濟(jì)學(xué)所接受,行為金融理論將心理學(xué)尤其是行為科學(xué)理論融入金融中〖⒈郏現(xiàn)實(shí)生活中擁有大量用戶數(shù)據(jù)的互聯(lián)網(wǎng)公司將其論壇逊躁、博客、新聞報(bào)道擅笔、文章志衣、網(wǎng)民用戶情緒、投資行為與股票行情對(duì)接猛们,研究的是互聯(lián)網(wǎng)的行為數(shù)據(jù)念脯,關(guān)注熱點(diǎn)及市場(chǎng)情緒,動(dòng)態(tài)調(diào)整投資組合弯淘,開(kāi)發(fā)出大數(shù)據(jù)投資工具绿店,比如大數(shù)據(jù)類基金等。這些投資工具直接將大數(shù)據(jù)轉(zhuǎn)化為投資理財(cái)產(chǎn)品庐橙。
- 定向采購(gòu)線上交易平臺(tái)
數(shù)據(jù)分析結(jié)果很多時(shí)候是其他行業(yè)的業(yè)務(wù)基礎(chǔ)假勿,國(guó)內(nèi)目前對(duì)實(shí)體經(jīng)濟(jì)的電子商務(wù)化已經(jīng)做到了B2C、C2C态鳖、B2B等转培,甚至目前O2O也越來(lái)越流行,但是對(duì)于數(shù)據(jù)這種虛擬商品而言浆竭,目前還沒(méi)有具體的線上交易平臺(tái)浸须。比如服裝制造企業(yè)針對(duì)某個(gè)省份的市場(chǎng),需要該市場(chǎng)客戶的身高邦泄、體重的中位數(shù)和平均數(shù)數(shù)據(jù)删窒,那么醫(yī)院體檢部門(mén)、專業(yè)體檢機(jī)構(gòu)就是這些數(shù)據(jù)的供給方顺囊。通過(guò)獲取這些數(shù)據(jù)肌索,服裝企業(yè)將可以開(kāi)展精細(xì)化生產(chǎn),以更低的成本生產(chǎn)出貼合市場(chǎng)需求的服裝特碳。假想一下诚亚,如果有這樣一個(gè)“大數(shù)據(jù)定向采購(gòu)平臺(tái)”晕换,就像淘寶購(gòu)物一樣,可以發(fā)起買(mǎi)方需求亡电,也可以推出賣方產(chǎn)品届巩,通過(guò)這樣的模式,外加第三方支付平臺(tái)份乒,“數(shù)據(jù)分析結(jié)論”這種商品就會(huì)悄然而生恕汇,這種商品不占用物流資源、不污染環(huán)境或辖、快速響應(yīng)瘾英,但是卻有“供”和“需”雙方巨大的市場(chǎng)。而且通過(guò)這種平臺(tái)可以保障基礎(chǔ)數(shù)據(jù)安全颂暇,大數(shù)據(jù)定向采購(gòu)服務(wù)平臺(tái)交易的不是底層的基礎(chǔ)數(shù)據(jù)缺谴,而是通過(guò)清洗建模出來(lái)的數(shù)據(jù)結(jié)果。所有賣方耳鸯、買(mǎi)方都要實(shí)名認(rèn)證湿蛔,建立誠(chéng)信檔案機(jī)制并與國(guó)家信用體系打通。
- 非營(yíng)利性數(shù)據(jù)征信評(píng)價(jià)機(jī)構(gòu)
在國(guó)家將公民信息保護(hù)納入刑法范圍之前县爬,公民個(gè)人信息經(jīng)常被明碼標(biāo)價(jià)公開(kāi)出售,并且形成了一個(gè)“灰色產(chǎn)業(yè)”阳啥。為此,2009年2月28日通過(guò)的刑法修正案(七)中新增了出售财喳、非法提供公民個(gè)人信息罪察迟,非法獲取公民個(gè)人信息罪。該法條中特指國(guó)家機(jī)關(guān)或者金融耳高、電信扎瓶、交通、教育泌枪、醫(yī)療等單位的工作人員概荷,不得將公民個(gè)人信息出售或非法提供給他人。而公民的信息在各種考試中介機(jī)構(gòu)碌燕、房產(chǎn)中介乍赫、釣魚(yú)網(wǎng)站、網(wǎng)站論壇依然在出售陆蟆,詐騙電話、騷擾電話惋增、推銷電話在增加運(yùn)營(yíng)商話務(wù)量的同時(shí)也在破壞整個(gè)社會(huì)的信用體系和公民的安全感叠殷。
雖然數(shù)據(jù)交易之前是交易所規(guī)定的經(jīng)過(guò)數(shù)據(jù)清洗的數(shù)據(jù),但是交易所員工從本質(zhì)上是無(wú)法監(jiān)控全國(guó)海量的數(shù)據(jù)的诈皿。數(shù)據(jù)清洗只是對(duì)不符合格式要求的數(shù)據(jù)進(jìn)行清洗林束,主要有不完整的數(shù)據(jù)像棘、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類壶冒。因此缕题,建立非營(yíng)利性數(shù)據(jù)征信評(píng)價(jià)機(jī)構(gòu)是非常有必要的,將數(shù)據(jù)征信納入企業(yè)及個(gè)人征信系統(tǒng)胖腾,作為全國(guó)征信系統(tǒng)的一部分烟零,避免黑市交易變成市場(chǎng)的正常行為。
除了征信評(píng)價(jià)機(jī)構(gòu)之外咸作,未來(lái)國(guó)家公共安全部門(mén)也許會(huì)成立數(shù)據(jù)安全局锨阿,納入網(wǎng)絡(luò)警察范疇,重點(diǎn)打擊將侵犯企業(yè)商業(yè)秘密记罚、公民隱私的基礎(chǔ)數(shù)據(jù)進(jìn)行數(shù)據(jù)販賣的行為墅诡。
五、大數(shù)據(jù)發(fā)展趨勢(shì)
輕裝信息化為我們認(rèn)識(shí)數(shù)字經(jīng)濟(jì)桐智、“互聯(lián)網(wǎng)+”等提供了一個(gè)科學(xué)合理的認(rèn)識(shí)和理論框架末早。今后,我國(guó)應(yīng)該繼續(xù)堅(jiān)持中國(guó)特色信息化認(rèn)識(shí)框架说庭,加強(qiáng)研究與創(chuàng)新然磷,以輕裝信息化為理論基礎(chǔ),以“互聯(lián)網(wǎng)+”為政策總線口渔,以數(shù)字經(jīng)濟(jì)為發(fā)展方向样屠,構(gòu)建科學(xué)合理的信息化政策框架。
趨勢(shì)一:物聯(lián)網(wǎng)
物聯(lián)網(wǎng):把所有物品通過(guò)信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來(lái)缺脉,進(jìn)行信息交換痪欲,即物物相息,以實(shí)現(xiàn)智能化識(shí)別和管理攻礼。
物聯(lián)網(wǎng)是新一代信息技術(shù)的重要組成部分业踢,也是“信息化”時(shí)代的重要發(fā)展階段。
物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)礁扮,是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò)知举;
其用戶端延伸和擴(kuò)展到了任何物品與物品之間,進(jìn)行信息交換和通信太伊,也就是物物相息雇锡。
趨勢(shì)二:智慧城市
智慧城市就是運(yùn)用信息和通信技術(shù)手段感測(cè)、分析僚焦、整合城市運(yùn)行核心系統(tǒng)的各項(xiàng)關(guān)鍵信息锰提;
對(duì)包括民生、環(huán)保、公共安全立肘、城市服務(wù)边坤、工商業(yè)活動(dòng)在內(nèi)的各種需求做出智能響應(yīng)。
其實(shí)質(zhì)是利用先進(jìn)的信息技術(shù)谅年,實(shí)現(xiàn)城市智慧式管理和運(yùn)行茧痒,進(jìn)而為城市中的人創(chuàng)造更美好的生活,促進(jìn)城市的和諧融蹂、可持續(xù)成長(zhǎng)旺订。
這項(xiàng)趨勢(shì)的成敗取決于數(shù)據(jù)量跟數(shù)據(jù)是否足夠,這有賴于政府部門(mén)與民營(yíng)企業(yè)的合作殿较;
此外耸峭,發(fā)展中的5G網(wǎng)絡(luò)是全世界通用的規(guī)格,如果產(chǎn)品被一個(gè)智慧城市采用淋纲,將可以應(yīng)用在全世界的智慧城市劳闹。
趨勢(shì)三:增強(qiáng)現(xiàn)實(shí)(AR)與虛擬現(xiàn)實(shí)(VR)
擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng),它利用計(jì)算機(jī)生成一種模擬環(huán)境洽瞬;
是一種多源信息融合的本涕、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。
這兩個(gè)技術(shù)最近開(kāi)始降價(jià)跟提升質(zhì)量伙窃,走向大眾市場(chǎng)菩颖。
VR應(yīng)用一開(kāi)始以電玩為主,現(xiàn)在的應(yīng)用卻超越電玩为障,可以用來(lái)教學(xué)晦闰,靠著VR設(shè)備,把家里的插頭電線完成配線鳍怨,就像有水電技師在教學(xué)一樣呻右。
趨勢(shì)四:區(qū)塊鏈技術(shù)
區(qū)塊鏈?zhǔn)欠植际綌?shù)據(jù)存儲(chǔ)、點(diǎn)對(duì)點(diǎn)傳輸鞋喇、共識(shí)機(jī)制声滥、加密算法等計(jì)算機(jī)技術(shù)的新型應(yīng)用模式。
所謂共識(shí)機(jī)制是區(qū)塊鏈系統(tǒng)中實(shí)現(xiàn)不同節(jié)點(diǎn)之間建立信任侦香、獲取權(quán)益的數(shù)學(xué)算法落塑。
區(qū)塊鏈技術(shù)是指一種全民參與記賬的方式。所有的系統(tǒng)背后都有一個(gè)數(shù)據(jù)庫(kù)罐韩,你可以把數(shù)據(jù)庫(kù)看成是就是一個(gè)大賬本憾赁。
區(qū)塊鏈有很多不同應(yīng)用方式,美國(guó)幾乎所有科技公司都在嘗試如何應(yīng)用散吵,最常見(jiàn)的應(yīng)用是比特幣跟其他加密貨幣的交易龙考。
趨勢(shì)五:語(yǔ)音識(shí)別技術(shù)
人們預(yù)計(jì)膘壶,未來(lái)10年內(nèi),語(yǔ)音識(shí)別技術(shù)將進(jìn)入工業(yè)洲愤、家電、通信顷锰、汽車電子柬赐、醫(yī)療、家庭服務(wù)官紫、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域肛宋。
很多專家都認(rèn)為語(yǔ)音識(shí)別技術(shù)是2000年至2010年間,信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一束世。
語(yǔ)音識(shí)別技術(shù)所涉及的領(lǐng)域包括:信號(hào)處理酝陈、模式識(shí)別、概率論和信息論毁涉、發(fā)聲機(jī)理和聽(tīng)覺(jué)機(jī)理沉帮、人工智能等。
這項(xiàng)產(chǎn)業(yè)有個(gè)很大優(yōu)點(diǎn)贫堰,就是發(fā)展技術(shù)的公司都打算把這項(xiàng)技術(shù)商品化穆壕。
像是google、Amazon跟蘋(píng)果的語(yǔ)音識(shí)別技術(shù)都可透過(guò)授權(quán)其屏,使用在其他業(yè)者的硬件服務(wù)上喇勋。
趨勢(shì)六:人工智能(AI)
人工智能(Artificial Intelligence),英文縮寫(xiě)為AI偎行。它是研究川背、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論蛤袒、方法熄云、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)。
人工智能需要被教育汗盘,匯入很多信息才能進(jìn)化皱碘,進(jìn)而產(chǎn)生一些意想不到的結(jié)果。
AI影響幅度很大隐孽,例如媒體業(yè)癌椿,現(xiàn)在計(jì)算機(jī)跟機(jī)器人可以寫(xiě)出很好的文章,而且1小時(shí)產(chǎn)出好幾百篇菱阵,成本也低踢俄。
AI對(duì)經(jīng)濟(jì)發(fā)展會(huì)產(chǎn)生劇烈影響,很多知識(shí)產(chǎn)業(yè)跟白領(lǐng)工作也可能被機(jī)器人取代晴及。
但他對(duì)于AI的態(tài)度很正面都办,這會(huì)讓生活更好,例如自駕車絕對(duì)比人駕車更安全。
趨勢(shì)七:數(shù)字匯流
大約從 1995 年左右琳钉,就陸續(xù)有人在討論所謂“數(shù)位匯流”势木,在不同的使用情境之下,我們還是會(huì)需要很不一樣的數(shù)位裝置 — 光是螢?zāi)淮笮【陀泻枚喾N選項(xiàng)歌懒,音響效果啦桌、攝影機(jī),都需要不同的配套及皂。
所以數(shù)位比較像是“iCloud”甫男,也就是說(shuō)所有的裝置會(huì)存取同一個(gè)遠(yuǎn)端資料庫(kù),讓你的數(shù)位生活可以完全同步验烧,隨時(shí)板驳、無(wú)縫的切換使用情境。
但除了“載具”的匯流碍拆,我們更應(yīng)關(guān)心的是另一個(gè)數(shù)位匯流若治,一個(gè)網(wǎng)路商業(yè)模式的匯流,或者更明確的說(shuō)倔监,數(shù)字匯流就是“內(nèi)容”與“電子商務(wù)”的匯流直砂。
大數(shù)據(jù)成為時(shí)代發(fā)展一個(gè)必然的產(chǎn)物,而且大數(shù)據(jù)正在加速滲透到我們的日常生活中浩习,從衣食住行各個(gè)層面均有體現(xiàn)静暂。
大數(shù)據(jù)時(shí)代,一切可量化谱秽,一切可分析洽蛀。
誰(shuí)也不能斷定大數(shù)據(jù)未來(lái)真正的發(fā)展趨勢(shì),但一定是以多種技術(shù)為依托且相互結(jié)合疟赊,才能釋放大數(shù)據(jù)的“洪荒之力”郊供。