今天是2017年春節(jié)大年初一。記憶中击吱，從上初中起刊愚，我就對過年不怎么感冒了。時間永不停歇阁危，過年只是人為的加上了個標識。既然是標識汰瘫，對個人而言狂打，生日的意義也許更勝于過年。
然而過去的2016年混弥，如果在許多年后回過頭來看看趴乡，在工作、學習蝗拿、生活上晾捏，方方面面，也許都是非常重要的一個時間節(jié)點哀托。用三個詞來總結我的2016年惦辛，那就是——成長、新生仓手、價值胖齐。黨和國家在全面深化改革，個人也在不斷提升嗽冒。從“要么流芳百世呀伙，要么遺臭萬年”的輕狂，到后來“保持平常心添坊，水利萬物而不爭”的虛無区匠，再到如今“關注成長，自我精進”的價值取向，生命不會一成不變驰弄，生活也沒有一勞永逸麻汰。加上時間這條線，成長才變得清晰戚篙。
這一年一下子體會到不少道理五鲫，這些道理早有人對我說過卻不自知。也許沒有過往的經歷岔擂，可能也難以理解這些道理位喂，更談不上去踐行。和菜頭說乱灵，“任何一個人面對這個世界的時候塑崖，都需要自己去頭破血流地碰撞，在這個碰撞中找尋世界的真相”痛倚。人生的路规婆，要自己去走，從中所得到的一切蝉稳，才屬于自己抒蚜。每個人出生的時候都是原創(chuàng)，不要活著活著耘戚，就一不小心成了盜版嗡髓。
話題扯遠了，有點跑偏收津，還是言歸正傳饿这。
人工智能（AI）重新崛起
2016 年的科技界，不得不提人工智能撞秋。 AlphaGo 4:1 戰(zhàn)勝李世石长捧，60 連勝橫掃網(wǎng)絡圍棋快棋，沉寂了數(shù)十年的人工智能再次走上前臺大放異彩部服。未來唆姐，機器的智能一定會超過人類拗慨，對我們的生活產生顛覆性的影響廓八。
讓機器擁有更高智能的鑰匙是大數(shù)據(jù)。大數(shù)據(jù)與人工智能的結合可以說是 2016 年最受矚目的技術之一赵抢，并且在一些企業(yè)得到成功應用剧蹂。有了大數(shù)據(jù)這個基礎，較之以往烦却，現(xiàn)在的人工智能不再是“像人一樣的去思考和行動”宠叼，而是“以完全超過常人的狀態(tài)去思考和行動”。
除了人工智能重新崛起之外，大數(shù)據(jù)在風起云涌的2016年還有以下一些事情值得關注：
商業(yè)智能（BI）巨頭衰落
十多年前冒冬，SAP BO伸蚯、Oracle BIEE、IBM Cognos 等老牌BI巨頭的出現(xiàn)简烤，賦予了數(shù)據(jù)利用一個新概念剂邮。數(shù)據(jù)庫內容可以打通，數(shù)據(jù)得到整合横侦，數(shù)據(jù)能可視化展現(xiàn)挥萌。可最后商業(yè)利用的程度遠不及當初設想的那樣枉侧，使用復雜引瀑、領導學不會，BI最終仍淪為一個報表展現(xiàn)工具榨馁。
Tableau和QlikView的出現(xiàn)產生了突破憨栽。Tableau是桌面系統(tǒng)中最簡單的商業(yè)智能工具軟件，幫助任何人快速分析辆影、可視化并分享信息徒像。2011年，Tableau被美國高德納咨詢公司（Gartner）評為世界上發(fā)展速度最快的商業(yè)智能公司蛙讥。QlikView是一個完整的商業(yè)分析軟件锯蛀，使開發(fā)者和分析者能夠構建和部署強大的分析應用。作為QlikTech的旗艦產品次慢，曾長期成為全球增長率最快的BI產品旁涤，Gartner把它列在Leaders象限并稱為Magic Product。
然而迫像，2016年2月劈愚，Tableau發(fā)布財報，業(yè)績令人大失所望闻妓，其市值在一天之內被腰斬菌羽。幾個月后，風暴再起由缆，QlikTech的股價暴跌一半多注祖，在2016年6月被Thoma Bravo以大約30億美元的價格收購。
Hadoop十一歲了
2016年1月28日是Hadoop的十歲生日均唉。今天是晨，Hadoop11歲了。Haddop的誕生開啟了大數(shù)據(jù)時代的大門舔箭，改變了企業(yè)對數(shù)據(jù)的存儲罩缴、處理和分析的過程，加速了大數(shù)據(jù)的發(fā)展，形成了自己極其火爆的技術生態(tài)圈箫章，受到廣泛應用烙荷。
2006年，Yahoo!構建10個節(jié)點規(guī)模的Hadoop機群用于Webmap業(yè)務檬寂。雅虎工程師們最初只希望這個10節(jié)點的集群能夠持續(xù)運行一整天奢讨，根本沒想到Hadoop后來會成為大數(shù)據(jù)計算的代表，每家財富100強企業(yè)必備的IT工具焰薄。
雖然近兩年 Spark 的火爆使得 Hadoop 猶如昨日黃花拿诸，但 Hadoop 并沒有停止自己的發(fā)展腳步。在 2016 年塞茅，Hadoop 3.0 的 alpha1 版本面世亩码。隨著 Hadoop 3.0 正式版本發(fā)布的日益臨近，Hadoop的近100位Committer在積極的為Hadoop謀劃未來野瘦，讓我們拭目以待描沟。
Spark大行其道
在 2016 年，Spark 迎來了最近兩年的一個最大的版本——Spark 2.0的發(fā)布鞭光。從2016年年初開始吏廉，Spark 就在對 Spark 2.0 進行預熱，可是 Spark 2.0 的發(fā)布并不如預期來的順利惰许。5 月份 Spark 2.0 Preview Release 發(fā)布席覆，時隔兩個月到 2016 年 7 月份，Spark 2.0 的正式版本發(fā)布汹买。
Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境佩伤，Spark在早期發(fā)展階段通過全面兼容Hadoop而借力于后者成熟的生態(tài)系統(tǒng)。但是兩者之間還存在一些不同之處晦毙，這些有用的不同之處使 Spark 在某些工作負載方面表現(xiàn)得更加優(yōu)越生巡。Spark 啟用了內存分布數(shù)據(jù)集，除了能夠提供交互式查詢外见妒，它還可以優(yōu)化迭代工作負載孤荣。Spark正在挑戰(zhàn)Hadoop的權威，因為Spark已經將發(fā)展目標定位在取代Hadoop须揣。有些人認為盐股，Spark在應用和受歡迎程度方面終將超越Hadoop，甚至已經超越返敬。
隨著 Spark 的日益普及遂庄，降低開發(fā)難度寥院，提高易用性變成了 Spark社區(qū)的很重要的事情劲赠。摒棄掉 Shark，引入自己的 SQL 引擎，借鑒其他的數(shù)據(jù)平臺抽象出 DataFrame 進而抽象出 DataSet凛澎，Spark 無疑變得對于普通程序員越來越友好霹肝，對于新晉 Spark 開發(fā)者來講，會 SQL就可以非常方便的開發(fā)大數(shù)據(jù)應用了塑煎。
不過沫换，Spark 2.0的正式版本也并沒有完全達到預期，仍舊有很多的bug最铁，而結構化流式仍舊處于實驗性階段讯赏，一直到十一月發(fā)布的 2.0.2，還是 2.0 的 bug fix冷尉。
Flink和Beam引人關注
在 2016 年漱挎，大數(shù)據(jù)流式處理技術取得了飛速的發(fā)展，并且逐漸變成大數(shù)據(jù)處理的新趨勢雀哨。在這個大數(shù)據(jù)流式處理大潮中磕谅，F(xiàn)link和Beam兩個關鍵的開源項目逐漸取得了人們的注意。
Spark基本上已經取代了Hadoop的批處理引擎MapReduce雾棺，更別說Spark的SQL膊夹、機器學習和流處理能力。但永不滿足的大數(shù)據(jù)界希望改進這套得到Databricks公司支持捌浩、用Scala語言編寫的多用途框架放刨。于是Apache Flink和Apache Beam應運而生，成為了Spark在大數(shù)據(jù)框架之戰(zhàn)中的勁敵尸饺。
Apache Flink 并不是一個新的開源項目宏榕，但是隨著大數(shù)據(jù)流式處理的日益重要，F(xiàn)link 因為其對流式處理的支持能力侵佃，得到了越來越多的人的重視麻昼。在 2016 年，幾乎所有的大數(shù)據(jù)技術大會上馋辈，都能夠看到 Flink的身影抚芦。在 Flink 的設計理念中，數(shù)據(jù)流是一等公民迈螟，而批量操作僅僅是流式處理的一種特殊形式叉抡。同 Spark 一樣，F(xiàn)link 也是期望基于它的核心打造一個大數(shù)據(jù)的生態(tài)系統(tǒng)答毫。
Apache Beam是一個仍舊在孵化器中的項目褥民，但是其出發(fā)點和背景使得我們必須在早期就對它保持持續(xù)的關注。Beam 本身不是一個流式處理平臺洗搂，而是一個統(tǒng)一的編程框架消返。在大數(shù)據(jù)處理和計算平臺百花齊放的今天载弄，開發(fā)者不得不面對Spark, Flink, Storm, Apex 等等不同的計算框架，而這些計算框架各自有不同的開發(fā) API撵颊，如何能夠屏蔽底層的差異宇攻，使得上層有一個統(tǒng)一的表達，對于大數(shù)據(jù)應用開發(fā)者來講就變得非常有意義了倡勇。
而這個時候逞刷，Beam 就給了我們這個答案。Beam 系出名門妻熊，是由Google 開源出來的夸浅，并且得到了 Spark、Flink等等社區(qū)的大力支持扔役。Apache Beam是目前很有前途的大數(shù)據(jù)框架题篷，其目標之一是用同一組API進行實時交互的批處理，并且通過“Runner”支持Spark厅目、Flink和Google Dataflow番枚。
黑客入侵陰云籠罩
時代周刊2016年的年度人物評選中，第一名是川普损敷，第二名希拉里葫笼，而第三名是黑客。黑客上榜并非無厘頭拗馒。2016年發(fā)生了多起引人注目的數(shù)據(jù)泄露事件路星，比如美國民主黨全國委員會的電子郵件服務器被攻陷，雅虎10億用戶的數(shù)據(jù)被黑诱桂。
黑客入侵美國司法部洋丐、國稅局，可能還有國家安全局挥等。他們偷走或試圖將包括Adult FriendFinder友绝，LinkedIn，Mail.ru和Yahoo的數(shù)據(jù)賣給私人公司肝劲。他們泄露了優(yōu)秀運動員Simone Biles迁客、Serena和Venus Williams的保密醫(yī)療記錄，發(fā)布喜劇演員Leslie Jones等名人的私人照片辞槐， 還發(fā)現(xiàn)掷漱，億萬富翁黑客馬克·扎克伯格，竟然使用 “dadada”這么簡單的字母作為他的密碼榄檬。
根據(jù)英國保險公司勞合社（Lloyd's）的數(shù)據(jù)卜范，全球范圍內，企業(yè)因為黑客付出了至少4000億美元鹿榜，這個數(shù)字也肯定被低估了海雪。因為黑客的活動周期比常規(guī)罪犯長得多锦爵，今年最大的違規(guī)行為很可能還沒有出現(xiàn)。這種巨大的不確定性促使了網(wǎng)絡防御喳魏、網(wǎng)絡取證和網(wǎng)絡保險業(yè)的蓬勃發(fā)展，預計到2020年怀薛，這些行業(yè)估值將達到2000億美元刺彩。
大數(shù)據(jù)資源管理與開發(fā)日趨重要
隨著大數(shù)據(jù)在不同的領域越來越多的應用場景的發(fā)現(xiàn)，如何對數(shù)據(jù)資產進行管理并開發(fā)利用就變得越來越重要枝恋。由此也產生和發(fā)展出很多的創(chuàng)業(yè)公司和開源項目创倔。
WhereHows是領英公司（LinkedIn）在 2016 年開源的一套用于大數(shù)據(jù)發(fā)現(xiàn)和管理的工具，集成了所有主要的數(shù)據(jù)處理系統(tǒng)焚碌，可以進行分類收集和元數(shù)據(jù)操作畦攘。
收到普遍歡迎的大數(shù)據(jù)總線Apache Kafka在2016年如魚得水，這要歸功于對分析高速移動數(shù)據(jù)的新要求十电。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)知押，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。由于人們對實時分析的興趣高漲鹃骂，這個開源項目的采用率正在飆升台盯。
從EMC和VMware拆分出來的Pivotal也拆分出來新的公司——SnappyData，現(xiàn)從Pivotal畏线、静盅、通用電氣創(chuàng)投（GE Ventures）和GTD Capital融得數(shù)額為365萬美元的資金。SnappyData產品的根本基礎是開源Spark框架和Gemfire寝殴，公司的目標就是：開發(fā)一款可處理在線交易蒿叠、分析和數(shù)據(jù)流的單一產品，加快分析大數(shù)據(jù)的過程蚣常。
區(qū)塊鏈技術是2016年的新興技術熱點市咽。區(qū)塊鏈鑒證公司Coinalytics2016年宣布更名為Skry，公開了新的商標抵蚊，聘請IBM專家研究區(qū)塊鏈魂务。Skry聯(lián)合創(chuàng)始人和首席執(zhí)行官Fabio Federici說該公司正努力把區(qū)塊鏈技術、大數(shù)據(jù)和人工智能合并成一個產品——“我們相信使用機器學習和人工智能實時服務能讓用戶更好的預測未來走向泌射≌辰”
展望
國家《大數(shù)據(jù)產業(yè)發(fā)展規(guī)劃（2016-2020年）》已經正式印發(fā)。我們不知道2017年將為大數(shù)據(jù)世界帶來些什么熔酷，也許會推出更多的數(shù)據(jù)分析和實時預測工具孤紧，也許會發(fā)生更多數(shù)據(jù)安全和隱私泄露問題，也許智能分析的應用會更加廣泛拒秘、用戶體驗更加美好号显，也許我們將目睹那些改變著人類生活的核心技術遭遇意想不到的突破或令人震驚的失敗臭猜。
盡管基于大數(shù)據(jù)和高性能運算的智能時代必將到來，但若缺少人文精神押蚤，數(shù)字科技終究不能產生智慧蔑歌。國家發(fā)展大數(shù)據(jù)產業(yè)，建設智慧城市揽碘，仍需“以人文本”次屠，獲取“靈魂”。
正如新春之際雳刺，大家還是要放下手機平板筆記本劫灶，一家老小共享天倫才是正確的姿勢。
