華盛頓大學(xué)奧林商學(xué)院做過一個(gè)調(diào)查，10年內(nèi)议经，世界五百?gòu)?qiáng)企業(yè)榜單中斧账，40%將會(huì)消失。
以前的企業(yè)講究聚沙成塔——
埋頭苦干煞肾、一磚一瓦咧织，從嶄露頭角到行業(yè)先鋒，終換得大廈平地起籍救。
現(xiàn)在聰明的筑塔人都轉(zhuǎn)去逐浪习绢。踩在互聯(lián)網(wǎng)這一浪上，看著下一浪的浮現(xiàn)蝙昙，他們?cè)诘?b>新IT（Intelligence Technology）底層技術(shù)成熟闪萄。
作為機(jī)敏的鯊魚，leader們左右嗅嗅奇颠，會(huì)聞到海水中的血腥味兒败去。隨著他們弄懂如何改造效率低下的公司，從而更好烈拒、更快圆裕、更廉價(jià)地為消費(fèi)者提供一切的時(shí)候，舊的系統(tǒng)荆几、故步自封的壟斷者將會(huì)崩潰吓妆。
熟悉科技前沿領(lǐng)域的業(yè)內(nèi)人士有一個(gè)共識(shí)，目前吨铸，如果把AI行拢、機(jī)器人管家、腦機(jī)接口诞吱、智能穿戴等領(lǐng)域視為一個(gè)個(gè)天資聰穎剂陡、潛能無限的嬰兒，那哺育他們的“奶粉”必須是高質(zhì)量狐胎、且經(jīng)過處理的數(shù)據(jù)——尤其是實(shí)時(shí)數(shù)據(jù)鸭栖。
由實(shí)時(shí)數(shù)據(jù)處理引發(fā)的應(yīng)用，往往會(huì)顛覆絕大多數(shù)人對(duì)效率的認(rèn)知握巢。比如晕鹊，物聯(lián)網(wǎng)IoT領(lǐng)域中，實(shí)時(shí)的設(shè)備數(shù)據(jù)分析可以在1秒內(nèi)檢測(cè)出系統(tǒng)故障，同時(shí)做出維護(hù)性的預(yù)測(cè)溅话；在金融領(lǐng)域晓锻，交易系統(tǒng)的數(shù)據(jù)不止需要實(shí)時(shí)呈現(xiàn)給客戶，更重要的是以最快速度飞几，遞交自動(dòng)交易系統(tǒng)進(jìn)行處理砚哆；IT領(lǐng)域，軟件系統(tǒng)的日志收集和處理對(duì)服務(wù)異常報(bào)警和故障的檢測(cè)至關(guān)重要屑墨；而在交通領(lǐng)域躁锁，實(shí)時(shí)的交通數(shù)據(jù)經(jīng)由處理，已經(jīng)用來做交通指揮的優(yōu)化卵史。
最具有代表性的是電商战转，那些因新零售拔地而起的平臺(tái)，握有海量用戶交易數(shù)據(jù)和后臺(tái)商品更新數(shù)據(jù)以躯，此類數(shù)據(jù)對(duì)實(shí)時(shí)性的要求極高：交易處理，后臺(tái)呈現(xiàn)，支付后的快速響應(yīng)命雀，以及出現(xiàn)糾紛時(shí)的解決……都仰仗著服務(wù)器支撐。特別是現(xiàn)在打折吏砂，促銷，秒殺匈织，砍價(jià)等營(yíng)銷模式層出不窮，如果系統(tǒng)出現(xiàn)問題乡小，那么電商平臺(tái)失去的流量與承受的損失將十分巨大胜榔。因此接入信息，監(jiān)管商品交易數(shù)據(jù)并且做到實(shí)時(shí)處理尊惰，這對(duì)于此類企業(yè)來說尤為重要。
此外投剥，大數(shù)據(jù)時(shí)代吃警，企業(yè)銷售端的進(jìn)軍方向會(huì)逐步靠攏到智能推薦系統(tǒng)。傳統(tǒng)的推薦系統(tǒng)采用定期對(duì)數(shù)據(jù)進(jìn)行分析的做法來更新模型。因其定期更新的特性侯勉，推薦模型無法保持實(shí)時(shí)，對(duì)用戶當(dāng)前的行為推薦結(jié)果不夠精準(zhǔn)。在此類場(chǎng)景中螟凭，實(shí)時(shí)數(shù)據(jù)分析便等同于一眼看透消費(fèi)者的導(dǎo)購(gòu)挟憔。
新IT浪潮中汪拥，實(shí)時(shí)的數(shù)據(jù)收集與基于數(shù)據(jù)的分析處理已經(jīng)是大勢(shì)所趨宪赶。但在數(shù)據(jù)種類越來越多辕棚，產(chǎn)生速度越來越快，數(shù)據(jù)量越來越大的當(dāng)下引几，許多企業(yè)正面臨技術(shù)與設(shè)備的限制叽掘，實(shí)時(shí)數(shù)據(jù)處理的技術(shù)壁壘已浮出水面民褂。總結(jié)來說疯潭，主要的困難在于：
1赊堪、數(shù)據(jù)量非常大哭廉；系統(tǒng)要求非常高相叁，處理數(shù)據(jù)時(shí)成玫，容不得絲毫故障甚至宕機(jī)钦勘，實(shí)時(shí)處理的系統(tǒng)要求也遠(yuǎn)遠(yuǎn)高于離線系統(tǒng)彻采。
2腐缤、實(shí)時(shí)處理系統(tǒng)規(guī)模跟不上業(yè)務(wù)增長(zhǎng)的需求柴梆；很多實(shí)時(shí)數(shù)據(jù)(比如金融的K線分析)需要專門的時(shí)序數(shù)據(jù)庫(kù)技術(shù)终惑，而這些技術(shù)并不普及。
3门扇、自行搭建開源組件雹有，比如Kafka, Storm和Hbase，不是一件容易的事情臼寄，Hadoop開源組件的部署和運(yùn)維都需要耗費(fèi)大量的金錢和人力霸奕。
究其根本，實(shí)時(shí)數(shù)據(jù)處理的三個(gè)最根本的需求是：數(shù)據(jù)的接入吉拳，數(shù)據(jù)的實(shí)時(shí)分析處理质帅，和數(shù)據(jù)的存儲(chǔ)。針對(duì)日益增長(zhǎng)的留攒，在云上對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理的需求煤惩，華為云EI服務(wù)產(chǎn)品部開發(fā)了實(shí)時(shí)數(shù)據(jù)處理“三劍客”：
數(shù)據(jù)接入服務(wù)(DIS)，實(shí)時(shí)流計(jì)算服務(wù)（Cloud Stream Service炼邀，簡(jiǎn)稱CS）和表格存儲(chǔ)服務(wù)（CloudTable）魄揉。
? 數(shù)據(jù)接入服務(wù)（DIS）是華為云提供的完全托管的實(shí)時(shí)數(shù)據(jù)接入服務(wù)。DIS提供了靈活數(shù)據(jù)采集拭宁、高效數(shù)據(jù)傳輸洛退、實(shí)時(shí)數(shù)據(jù)分發(fā)能力瓣俯，讓使用者輕松構(gòu)建基于實(shí)時(shí)數(shù)據(jù)的分析和應(yīng)用。
? 實(shí)時(shí)流計(jì)算服務(wù)（CS）是實(shí)時(shí)流式大數(shù)據(jù)分析服務(wù)兵怯，完全托管計(jì)算資源和Serverless體驗(yàn)彩匕，即時(shí)執(zhí)行作業(yè)，提供低延時(shí)高吞吐的智能流計(jì)算平臺(tái)摇零。
? 表格存儲(chǔ)服務(wù)（CloudTable）是基于ApacheHBase提供的分布式推掸、可伸縮、全托管的NoSQL數(shù)據(jù)存儲(chǔ)服務(wù)驻仅，提供了毫秒級(jí)的隨機(jī)讀寫能力谅畅，適用于海量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和查詢應(yīng)用噪服。同時(shí)基于OpenTSDB和GeoMesa提供時(shí)序數(shù)據(jù)庫(kù)能力和時(shí)空大數(shù)據(jù)查詢毡泻、分析能力。
何達(dá)炳曾在微博上回應(yīng)過Anil Menon：“誰(shuí)來判斷華為創(chuàng)新能力?應(yīng)該是市場(chǎng)和客戶粘优〕鹞叮”目前華為云上已有諸多標(biāo)桿客戶使用“三劍客”服務(wù)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行處理。某燃?xì)饧瘓F(tuán)雹顺，通過使用DIS,CS和CloudTable構(gòu)建了新的覆蓋全國(guó)的巡線系統(tǒng)丹墨，將巡線實(shí)時(shí)監(jiān)控系統(tǒng)端到端查詢性能從十幾秒降低到秒級(jí)以內(nèi)。某金融初創(chuàng)企業(yè)嬉愧，實(shí)時(shí)交易行情系統(tǒng)充分利用CloudTable內(nèi)置的OpenTSDB能力贩挣，實(shí)時(shí)快速刷新15種時(shí)間窗的K線行情。某網(wǎng)絡(luò)零售實(shí)時(shí)輿情系統(tǒng)没酣，使用DIS接入數(shù)據(jù)的性價(jià)比遠(yuǎn)遠(yuǎn)超越線下自建系統(tǒng)王财，使用CS進(jìn)行SQL編程輕松完成數(shù)據(jù)清洗。
互聯(lián)網(wǎng)從蠻荒生長(zhǎng)到深耕細(xì)作不過幾年裕便，伴隨著市場(chǎng)的成熟绒净，如何提供更好的服務(wù)、更快的數(shù)據(jù)決策偿衰，成為競(jìng)爭(zhēng)的關(guān)鍵點(diǎn)挂疆。實(shí)時(shí)數(shù)據(jù)處理作為其中的一項(xiàng)關(guān)鍵技術(shù)，自然在業(yè)界中廣泛流行下翎＄脱裕“借技術(shù)起勢(shì)能”，最大限度地挖掘“熱數(shù)據(jù)”的價(jià)值漏设，成為各大企業(yè)的共識(shí)墨闲。
我們生活在一個(gè)不斷瓦解的時(shí)代，不過這是一件好事郑口。
行業(yè)會(huì)被顛覆鸳碧，大公司會(huì)垮掉盾鳞。
多少企業(yè)、投資人和創(chuàng)業(yè)者瞻离，未意識(shí)到新IT時(shí)代的到來腾仅，只顧在互聯(lián)網(wǎng)+O2O的960萬(wàn)平方公里的大床上HIGH得如癡如醉時(shí)，千帆已過套利。
抓住實(shí)時(shí)數(shù)據(jù)處理這一浪推励。
