10 月 3 日扮惦，Hortonworks 宣布將與其主要競(jìng)爭(zhēng)對(duì)手 Cloudera 合作創(chuàng)建一家年收入約為 7.3 億美元臀蛛、擁有 2,500 名客戶、市場(chǎng)估值達(dá) 52 億美元的公司崖蜜，這令很多人感到意外掺栅。
Splice Machine 首席執(zhí)行官 Monte Zweben 表示：“我認(rèn)為對(duì)于我們來說，這是個(gè)好消息纳猪。我們已經(jīng)看到了運(yùn)營(yíng)由這兩家公司和其他公司部署的所有數(shù)據(jù)湖的巨大機(jī)會(huì)氧卧，而這樣的機(jī)會(huì)在兩年前可能連想都不敢想”。
Confluent 的首席執(zhí)行官兼 Apache Kafka 聯(lián)合創(chuàng)始人 Jay Kreps 告訴 ZDNet：“這是一個(gè)聰明的舉動(dòng)氏堤。過去沙绝，這兩家公司在同一產(chǎn)品上展開競(jìng)爭(zhēng)搏明，但具有諷刺意味的是，這卻讓競(jìng)爭(zhēng)變得更加激烈”闪檬。
Unravel Data 首席執(zhí)行官 Kunal Agarwal 說：“我認(rèn)為這是件好事星著。我認(rèn)為這兩家公司在將他們的技術(shù)整合在一起，而不是試圖相互攻擊粗悯。他們現(xiàn)在可以專注于提供合適的機(jī)器學(xué)習(xí)工具虚循、物聯(lián)網(wǎng)平臺(tái)和 AI 工具”。
但并非所有的反應(yīng)都是積極正向的样傍。自由科技記者 Virginia Backaitis 在他的一片文章中寫道：“我比較擔(dān)心新的 Cloudera（或者可能是單獨(dú)的 Cloudera 和 Hortonworks）是否會(huì)像管理團(tuán)隊(duì)和投資人所期望的那樣快速增長(zhǎng)”横缔。
Bloomberg Opinion 專欄作家 Shira Ovide 同樣不看好，他將這兩家公司的合并說成是“兩家水下公司的航海聯(lián)盟”衫哥。
Teradata 首席運(yùn)營(yíng)官 Oliver Ratzesberger 告訴 Datanami：“這是一種 Sears-K-Mart 式的合并茎刚，這是他們唯一能夠生存下來的方式。Hadoop 本身就變得無(wú)關(guān)緊要了”撤逢。
Anaconda 產(chǎn)品和營(yíng)銷高級(jí)副總裁 Mathew Lodge 在 VentureBeat 上發(fā)布的一篇文章中指出膛锭，大數(shù)據(jù)的中心已經(jīng)從 Hadoop 轉(zhuǎn)移到了云端，在對(duì)象存儲(chǔ)系統(tǒng)（如亞馬遜 S3蚊荣、微軟 Azure Blob Storage 和 Google Cloud Storage）中存儲(chǔ)數(shù)據(jù)比在 HDFS 中便宜了五倍初狰。
“領(lǐng)先的云計(jì)算公司并沒有在 Cloudera 和 Hortonworks 上運(yùn)行大型的 Hadoop/Spark 集群，相反互例，他們?cè)谌萜骰A(chǔ)設(shè)施上運(yùn)行分布式云規(guī)模數(shù)據(jù)庫(kù)和應(yīng)用程序□尉浚現(xiàn)在是時(shí)候讓 Hadoop 和 Spark 與時(shí)俱進(jìn)了”。
讓 Hadoop 更像云?
事實(shí)上敲霍，Apache Hadoop 社區(qū)一直都在積極應(yīng)對(duì)來自公有云供應(yīng)商的威脅，包括像 Databricks 和 Snowflake 這樣的初創(chuàng)公司丁存。它們通過采用對(duì)象存儲(chǔ)和容器技術(shù)讓云端的大數(shù)據(jù)分析變得更便宜和更容易肩杈，并在上周獲得了來自風(fēng)險(xiǎn)資本的 4.5 億投資，
在今年早些時(shí)候發(fā)布的 Hadoop 3 中解寝，用戶可以選擇使用擦除編碼（erasure coding）扩然，這是 S3 等對(duì)象存儲(chǔ)系統(tǒng)使用的數(shù)據(jù)保護(hù)技術(shù)，可將存儲(chǔ)效率提高 50％聋伦。Hadoop 3.1 將為 YARN 中的 Docker 帶來更強(qiáng)勁的支持夫偶。在宣布合并之前，Cloudera 和 Hortonworks 都在努力讓他們的 Hadoop 發(fā)行版支持 Kubernetes觉增。
但是兵拢，對(duì)于 Hadoop 社區(qū)來說，他們還有很多工作要做逾礁。上個(gè)月说铃，Cloudera 首席戰(zhàn)略官 Mike Olson 告訴 Datanami，社區(qū)還需要 12 到 24 個(gè)月才能在開源的 Apache Hadoop 項(xiàng)目中提供 Kubernetes 支持。
Olson 說：“YARN 擅長(zhǎng)長(zhǎng)期運(yùn)行的批次作業(yè)調(diào)度腻扇，但要作為通用的集群資源管理框架债热，它還需要精心的設(shè)計(jì)和改進(jìn)。未來 Kubernetes 將會(huì)入駐幼苛，并接管其中的一大部分內(nèi)容”窒篱。
于是問題來了：當(dāng) YARN 被 Kubernetes 取代，并且 HDFS 被替換為任何兼容 S3 的對(duì)象存儲(chǔ)系統(tǒng)時(shí)舶沿，Hadoop 還會(huì)是原來的 Hadoop 嗎墙杯？如果你認(rèn)為 Hadoop 只是 40 個(gè)開源項(xiàng)目的集合——HBase、Spark暑椰、Hive霍转、Impala、Kafka一汽、Flink避消、MapReduce、Presto召夹、Drill岩喷、Pig、Kudu监憎，等等——那么也許這個(gè)問題就問得沒有什么實(shí)際意義……
從實(shí)際角度來看纱意，客戶不可能因?yàn)閮蓚€(gè)最大的 Hadoop 發(fā)行商的整合而突然關(guān)閉多年來部署的數(shù)百萬(wàn)個(gè) Hadoop 節(jié)點(diǎn)。對(duì)于已經(jīng)建立了 Hadoop 數(shù)據(jù)湖的數(shù)千家公司而言鲸阔，它們的重點(diǎn)將保持不變：從數(shù)據(jù)中獲取價(jià)值偷霉。
盡管 Hadoop 可能已經(jīng)變成了一項(xiàng)傳統(tǒng)技術(shù)，但社區(qū)仍然有動(dòng)力去調(diào)整它褐筛，以便支持新興的需求类少，就像 IBM 對(duì)其大型機(jī)平臺(tái)所做的那樣。問題是它是否能夠以足夠快的速度讓已部署的基礎(chǔ)設(shè)施不斷增長(zhǎng)渔扎。
簡(jiǎn)化 Hadoop?
自從十多年前第一個(gè) MapReduce 程序上線以來硫狞，開發(fā)人員一直對(duì) Hadoop 的復(fù)雜性頗有微詞。即使像 Facebook 這樣大的公司在使用 Hadoop 時(shí)也感到不便晃痴，特別是當(dāng)他們需要通過底層的 Java 編程技能從 Hadoop 中及時(shí)獲取信息時(shí)残吩。
從那時(shí)起的一個(gè)發(fā)展趨勢(shì)，就是消除這種復(fù)雜性倘核，但 Hadoop 社區(qū)沒能及時(shí)取得進(jìn)展泣侮，因此未能阻止云供應(yīng)商通過推出更簡(jiǎn)單的產(chǎn)品搶走市場(chǎng)份額。
Splice Machine 的 Zweben 表示：“我認(rèn)為這是 Hadoop 的一次轉(zhuǎn)型紧唱。軟件供應(yīng)商會(huì)使用越來越多的引擎旁瘫，但從長(zhǎng)遠(yuǎn)來看祖凫，不會(huì)有普通的企業(yè)會(huì)用它們……對(duì)于全球 2000 大企業(yè)來說，在背負(fù) Hadoop 的重壓之下很難做到這點(diǎn)”酬凳。
Unravel Data 公司的 Agarawal 表示惠况，現(xiàn)在 Cloudera 和 Hortonworks 的工程師將齊心協(xié)力，以更好地應(yīng)對(duì)構(gòu)建系統(tǒng)方面的挑戰(zhàn)稠屠，這些系統(tǒng)可以以本地、云端和混合的方式運(yùn)行翎苫∪ú海“這是一個(gè)巨大的項(xiàng)目，仍然需要大量的工程師投入時(shí)間煎谍，把它打造成 Kubernetes 之上的一個(gè)成功的平臺(tái)攘蔽。他們還有很多開發(fā)工作要做”。
如果說在隧道盡頭有一盞燈呐粘，那它就是：如果新 Cloudera 可以將 Hadoop 重新打造成一個(gè)混合的容器化平臺(tái)满俗，位于 Kubernetes 之上，并且可以將數(shù)據(jù)存儲(chǔ)在任何與 S3 兼容的對(duì)象存儲(chǔ)中作岖，那么它就有可能實(shí)現(xiàn)部分目標(biāo)唆垃，并占領(lǐng)一部分市場(chǎng)。IDC 認(rèn)為這是一個(gè)價(jià)值 650 億美元的機(jī)會(huì)痘儡。
Agarwal 說：“我認(rèn)為Cloudera 手里握有一張?jiān)乒?yīng)商所沒有的王牌辕万，那就是他們的混合策略。根據(jù)我們與這些財(cái)富 1000 強(qiáng)公司合作的經(jīng)驗(yàn)來看沉删，他們不會(huì)直接進(jìn)入云端渐尿。他們想要的是這種混合策略。因此矾瑰，我認(rèn)為這將成為為這些客戶創(chuàng)造價(jià)值的一條可行之路”砖茸。
從幻滅到生產(chǎn)力?
從一開始，Hadoop 基本上就是大數(shù)據(jù)的代名詞脯倚。如果你遇到需要用大數(shù)據(jù)來解決的問題，那么答案肯定就是 Hadoop嵌屎。
這當(dāng)然是不對(duì)的推正，很多人都這么說——但這卻是 Hadoop 多年來的一個(gè)營(yíng)銷口號(hào)。
Teradata 首席技術(shù)官史 Steven Brobst 說宝惰，為解決復(fù)雜問題而尋找銀彈是人類的天性植榕。“人們傾向于相信新技術(shù)將解決他們所有的問題尼夺，它會(huì)為你做所有的事情尊残，甚至包括在早上給你端來一杯咖啡”炒瘸。
Hadoop 曾經(jīng)是被過度熱炒的一項(xiàng)技術(shù)，而到了今天寝衫，這個(gè)頭銜被 AI 拿走了顷扩。Brobst 說：“當(dāng)你的期望過度膨脹時(shí)，最終結(jié)果只會(huì)是失敗慰毅。當(dāng)技術(shù)被設(shè)置了不恰當(dāng)?shù)念A(yù)期隘截，就會(huì)跌落到幻滅的低谷”。
Brobst 繼續(xù)說道：“我們現(xiàn)在所看到的 Hadoop 就正在經(jīng)歷這樣的一個(gè)過程汹胃。Hadoop 正處于幻滅的低谷婶芭。‘放棄它吧着饥，它已經(jīng)不管用了犀农！’其實(shí)它之所以不管用，是因?yàn)槲覀兤谕軌蛲瓿伤械氖虑樵椎簟?duì)于這樣不切實(shí)際的期望呵哨，除了失望之外，沒有其他可能性”贵扰。
Brobst 說仇穗，雖然人們一直在 Hadoop 上掙扎，但這并不意味著 Hadoop 沒有價(jià)值戚绕。相反纹坐，它意味著組織和用戶應(yīng)該要重新設(shè)置他們的期望，并問問自己它應(yīng)該用在什么地方會(huì)更好舞丛。
他說：“Hadoop 和大數(shù)據(jù)終將走出 Gartner 炒作周期的幻滅低谷耘子，然后進(jìn)入生產(chǎn)力高原。這不是一個(gè)大數(shù)據(jù)戰(zhàn)略球切，而是一個(gè)數(shù)據(jù)戰(zhàn)略……它將成為生態(tài)系統(tǒng)的一部分谷誓，但不會(huì)解決所有問題”。
歡迎學(xué)Java和大數(shù)據(jù)的朋友們加入java架構(gòu)交流：736925717?
加群鏈接：https://jq.qq.com/?_wv=1027&k=5XXrrMk
群內(nèi)提供免費(fèi)的架構(gòu)資料還有：Java工程化吨凑、高性能及分布式捍歪、高性能、深入淺出鸵钝。高架構(gòu)糙臼。性能調(diào)優(yōu)、Spring恩商，MyBatis变逃，Netty源碼分析和大數(shù)據(jù)等多個(gè)知識(shí)點(diǎn)高級(jí)進(jìn)階干貨的免費(fèi)直播講解??可以進(jìn)來一起學(xué)習(xí)交流哦~
