昨天看到一個(gè)分享,來(lái)自前quora cto目前在醫(yī)療領(lǐng)域創(chuàng)業(yè)的Xavier辐真,下圖一頁(yè)講到了各個(gè)AI應(yīng)用的共同點(diǎn),結(jié)合香帥金融課對(duì)數(shù)據(jù)驅(qū)動(dòng)的解釋,可以總結(jié)如下:
1. 使用大量的數(shù)據(jù)(數(shù)據(jù))
2. 自動(dòng)化的數(shù)據(jù)處理粗合、決策流程(動(dòng))
3. 個(gè)性化的解決方案與服務(wù)(驅(qū))
4. 提升系統(tǒng)各個(gè)參與方的體驗(yàn)和效率
商業(yè)上的解決方案邏輯,決定了支撐它的架構(gòu)在抽象層次上也是相似的乌昔。
(1)數(shù)據(jù)基礎(chǔ)架構(gòu)
數(shù)據(jù)基礎(chǔ)架構(gòu)解決的是如何獲取和處理多樣化隙疚、大量的數(shù)據(jù)。
多樣化磕道,首先是支撐業(yè)務(wù)的數(shù)據(jù)是多樣化的供屉,它包括業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù),各種數(shù)據(jù)庫(kù)表定義風(fēng)格迥異溺蕉,都需要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)伶丐,還有各種打點(diǎn)、日志疯特、中間分析結(jié)果哗魂,僅僅支持這些數(shù)據(jù)就需要很好的數(shù)倉(cāng)結(jié)構(gòu)設(shè)計(jì),例如按照基礎(chǔ)層漓雅、中間層和應(yīng)用層分層录别,并且按照業(yè)務(wù)主題分塊朽色,這樣對(duì)入庫(kù)和查找會(huì)很有幫助。
除了以上數(shù)據(jù)组题,還包括內(nèi)部和外部的非結(jié)構(gòu)化數(shù)據(jù)葫男,例如圖像、語(yǔ)音往踢、網(wǎng)頁(yè)腾誉、供應(yīng)商提供的xml/json等,這些數(shù)據(jù)一方面需要跟業(yè)務(wù)數(shù)據(jù)一樣來(lái)管理峻呕,另外一般還需要額外的解析利职,形成結(jié)構(gòu)化的數(shù)據(jù)。
要解決數(shù)據(jù)量大的問(wèn)題瘦癌,就需要hadoop猪贪、spark、flink這樣的計(jì)算系統(tǒng)讯私,以及hdfs热押、hive、hbase斤寇、elastic search這樣存儲(chǔ)與訪問(wèn)系統(tǒng)了桶癣。
還有一點(diǎn)就是業(yè)務(wù)對(duì)實(shí)時(shí)性的要求越來(lái)越高,上述的數(shù)據(jù)采集娘锁、處理和應(yīng)用都要能在實(shí)時(shí)或近實(shí)時(shí)完成牙寞,這就需要基于storm、spark streaming莫秆、flink來(lái)構(gòu)建系統(tǒng)间雀。