就在不久前，整個(gè)數(shù)據(jù)世界還在沸沸揚(yáng)揚(yáng)地討論如何創(chuàng)建集中式數(shù)據(jù)存儲(chǔ)挖炬，以最大限度地提高數(shù)據(jù)的可用性揽浙，從而達(dá)到高級(jí)分析的目的。博客們大聲疾呼反對(duì)數(shù)據(jù)湖意敛，支持組織良好的數(shù)據(jù)庫(kù)馅巷，開(kāi)源社區(qū)團(tuán)結(jié)在Hadoop生態(tài)系統(tǒng)周?chē)髷?shù)據(jù)技術(shù)飛速發(fā)展草姻。本文就這個(gè)狀況回顧一下推動(dòng)數(shù)據(jù)湖采用的一些假設(shè)钓猬，并注意一下這些假設(shè)的穩(wěn)定性。

假設(shè)1: "數(shù)據(jù)存儲(chǔ)很貴撩独，所以建立屬于自己的Hadoop數(shù)據(jù)湖敞曹，經(jīng)濟(jì)效益看起來(lái)更有吸引力。"

事后看來(lái)综膀，這個(gè)假設(shè)如何澳迫？

可以肯定的是，Hadoop中每GB存儲(chǔ)的TCO可以比傳統(tǒng)RDBMS系統(tǒng)的成本低5%甚至更低剧劝。但是橄登，即使是最有經(jīng)驗(yàn)的企業(yè)也很快了解到運(yùn)營(yíng)一個(gè)企業(yè)集群有多難。開(kāi)源軟件的不斷更新担平，管理環(huán)境的技能稀缺示绊，以及生態(tài)系統(tǒng)的相對(duì)不成熟，都造成了難以管理的技術(shù)故障和依賴性暂论。除此之外，一旦Hadoop完成了三次數(shù)據(jù)復(fù)制拌禾，管理員需要快照和副本來(lái)克服Hadoop更新的局限性取胎，1TB的RDBMS數(shù)據(jù)可能會(huì)在湖中變成50TB。這些節(jié)省下來(lái)的錢(qián)就這么多了湃窍。

新興的現(xiàn)實(shí)：云和云數(shù)據(jù)倉(cāng)庫(kù)

亞馬遜闻蛀、微軟和谷歌急于用托管的、基于云的環(huán)境來(lái)填補(bǔ)這些生產(chǎn)力的空白您市，這些環(huán)境簡(jiǎn)化了管理觉痛，使數(shù)據(jù)科學(xué)家更快地提高生產(chǎn)力。接下來(lái)茵休，消費(fèi)模式取代了Hadoop on-pre環(huán)境的資本成本薪棒，這意味著人們不太愿意簡(jiǎn)單地將所有大型數(shù)據(jù)集傾倒到一個(gè)中央環(huán)境中手蝎。相反，他們根據(jù)分析需要加載數(shù)據(jù)俐芯。因此棵介，這就產(chǎn)生了從大型的on-prem數(shù)據(jù)湖轉(zhuǎn)移到小型的基于云的數(shù)據(jù)池塘的效果，這些數(shù)據(jù)池塘是為目的而建立的吧史。再進(jìn)一步邮辽，新的云倉(cāng)庫(kù)通過(guò)基于SQL的工具使訪問(wèn)和查詢這些數(shù)據(jù)變得簡(jiǎn)單，這進(jìn)一步向非技術(shù)消費(fèi)者釋放了數(shù)據(jù)的價(jià)值贸营。

假設(shè)2: "大數(shù)據(jù)太大了吨述，搬不動(dòng)。移動(dòng)一次數(shù)據(jù)钞脂，把電腦移到數(shù)據(jù)上"锐极。

事后看來(lái)，這個(gè)假設(shè)是怎樣的芳肌？

數(shù)據(jù)湖的一個(gè)關(guān)鍵假設(shè)是灵再，網(wǎng)絡(luò)和處理速度的限制意味著我們無(wú)法將日志文件等數(shù)據(jù)的大副本移動(dòng)到集群中進(jìn)行數(shù)據(jù)分析。Hadoop也是面向批處理的亿笤，這意味著這些類(lèi)型數(shù)據(jù)的大批量處理是非常不切實(shí)際的渊额。事實(shí)證明，數(shù)據(jù)復(fù)制和流媒體的改進(jìn)害碾，以及網(wǎng)絡(luò)方面的巨大收益俘闯，導(dǎo)致這種情況沒(méi)有我們想象的那么真實(shí)。

新興的現(xiàn)實(shí)：數(shù)據(jù)虛擬化和流媒體

技術(shù)的改進(jìn)意味著企業(yè)可以選擇如何訪問(wèn)數(shù)據(jù).也許肃拜，他們希望將查詢從事務(wù)性系統(tǒng)卸載到云環(huán)境中痴腌；數(shù)據(jù)復(fù)制和流媒體現(xiàn)在是簡(jiǎn)單的解決方案。也許燃领，交易系統(tǒng)是為高性能查詢而構(gòu)建的士聪；在這種情況下，數(shù)據(jù)虛擬化功能可以使該數(shù)據(jù)按需提供猛蔽。因此剥悟，企業(yè)現(xiàn)在可以選擇讓數(shù)據(jù)更多地按需提供給DataOps流程，這意味著并不總是需要將所有企業(yè)數(shù)據(jù)物理地集中在一個(gè)位置曼库。

假設(shè)3: "讀時(shí)的數(shù)據(jù)湖模式將取代寫(xiě)時(shí)的數(shù)據(jù)倉(cāng)庫(kù)模式区岗。"

事后看來(lái)，這個(gè)假設(shè)如何毁枯？

人們已經(jīng)厭倦了IT團(tuán)隊(duì)將ETL寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)所花費(fèi)的時(shí)間慈缔，并迫切希望簡(jiǎn)單地釋放數(shù)據(jù)科學(xué)家對(duì)原始數(shù)據(jù)的處理。有兩個(gè)主要的癥結(jié)所在种玛。首先藐鹤，數(shù)據(jù)科學(xué)家往往不能輕易地找到他們要找的數(shù)據(jù).其次瓤檐，一旦他們有了數(shù)據(jù)，分析負(fù)責(zé)人很快就會(huì)發(fā)現(xiàn)教藻，他們的ETL只是被數(shù)據(jù)糾纏工具所取代距帅，因?yàn)閿?shù)據(jù)科學(xué)仍然需要清理，如標(biāo)準(zhǔn)化和外鍵匹配括堤。

新興的現(xiàn)實(shí)：數(shù)據(jù)目錄和數(shù)據(jù)運(yùn)營(yíng)

智能數(shù)據(jù)目錄已經(jīng)成為尋找所需數(shù)據(jù)的關(guān)鍵÷到眨現(xiàn)在，企業(yè)正試圖通過(guò)簡(jiǎn)單的解決方案悄窃，在工作場(chǎng)所建立起用戶在家中享受的谷歌搜索一樣的搜索方式讥电，以查找和訪問(wèn)數(shù)據(jù)，而不管保存數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)的物理位置在哪里轧抗。DataOps流程也已經(jīng)出現(xiàn)恩敌，它是建立基于領(lǐng)域的數(shù)據(jù)集的一種方式，這些數(shù)據(jù)集經(jīng)過(guò)精心規(guī)劃和管理横媚，可以實(shí)現(xiàn)最大的分析生產(chǎn)力纠炮。因此，數(shù)據(jù)科學(xué)家應(yīng)該能夠輕松地找到并信任他們用來(lái)發(fā)現(xiàn)新的見(jiàn)解的數(shù)據(jù)灯蝴，經(jīng)過(guò)深思熟慮的技術(shù)和流程的融合應(yīng)該能夠使數(shù)據(jù)管道和分析管道快速運(yùn)行恢口，以支持這些新發(fā)現(xiàn)。這個(gè)過(guò)程可以實(shí)現(xiàn)實(shí)時(shí)分析穷躁。

在Qlik尋求現(xiàn)代化的數(shù)據(jù)分析架構(gòu)時(shí)耕肩，這些關(guān)鍵的新興現(xiàn)實(shí)是他們需要思考的重點(diǎn)：

基于云的應(yīng)用和分析架構(gòu)

數(shù)據(jù)倉(cāng)庫(kù)/RDBMS結(jié)構(gòu)在云中的重新崛起，以實(shí)現(xiàn)價(jià)值最大化（想想Snowflake）问潭。

數(shù)據(jù)流以減少關(guān)鍵數(shù)據(jù)的延遲

數(shù)據(jù)虛擬化猿诸，以減少數(shù)據(jù)的復(fù)制，直到需要為止狡忙。

數(shù)據(jù)目錄梳虽，仔細(xì)清點(diǎn)和管理企業(yè)數(shù)據(jù)的訪問(wèn)。

DataOps流程的出現(xiàn)去枷，為數(shù)據(jù)和分析管道創(chuàng)造了快速上市的時(shí)間怖辆。

關(guān)于Qlik

Qlik的愿景是一個(gè)數(shù)據(jù)素養(yǎng)的世界，每個(gè)人都可以使用數(shù)據(jù)來(lái)改善決策并解決他們最具挑戰(zhàn)性的問(wèn)題删顶。只有Qlik提供端到端的實(shí)時(shí)數(shù)據(jù)集成和分析解決方案，以幫助組織訪問(wèn)所有數(shù)據(jù)并將其轉(zhuǎn)化為價(jià)值淑廊《河啵慧都作為Qlik官方的中國(guó)合作伙伴，我們?yōu)镼lik的中國(guó)用戶提供產(chǎn)品授權(quán)與實(shí)施季惩、定制分析方案录粱、技術(shù)培訓(xùn)等服務(wù)腻格，旨在讓中國(guó)企業(yè)的每個(gè)Qlik用戶都能探索出數(shù)據(jù)的價(jià)值，讓企業(yè)形成分析文化啥繁。