很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，但又很少能說出一二三來。
究其原因，一是因為大家對新技術有著相同的原始渴求芹敌，至少知其然在聊天時不會顯得很“土鱉”；
二是在工作和生活環(huán)境中真正能參與實踐大數據的案例實在太少了垮抗，所以大家沒有必要花時間去知其所以然氏捞。
零、解構大數據
- 首先借宵，大數據就是互聯網發(fā)展到現今階段的一種表象或特征而已幌衣，沒有必要神話它或對它保持敬畏之心，
在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了豁护，
通過各行各業(yè)的不斷創(chuàng)新哼凯，大數據會逐步為人類創(chuàng)造更多的價值。 - 其次楚里，想要系統的認知大數據断部，必須要全面而細致的分解它，我們從三個層面來展開：
-
第一層面是理論班缎，理論是認知的必經途徑蝴光，也是被廣泛認同和傳播的基線。
我們將從大數據的特征定義理解行業(yè)對大數據的整體描繪和定性达址；
從對大數據價值的探討來深入解析大數據的珍貴所在蔑祟；
從對大數據的現在和未來去洞悉大數據的發(fā)展趨勢；
從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈沉唠。 -
第二層面是技術疆虚，技術是大數據價值體現的手段和前進的基石。
我們將分別從云計算满葛、分布式處理技術径簿、存儲技術和感知技術的發(fā)展...
來說明大數據從采集、處理嘀韧、存儲到形成結果的整個過程篇亭。 -
第三層面是實踐，實踐是大數據的最終價值體現锄贷。
我們將分別從互聯網的大數據译蒂，政府的大數據，企業(yè)的大數據和個人的大數據...
四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖肃叶。
** 一蹂随、和大數據相關的理論**
1） 特征定義
最早提出大數據時代到來的是麥肯錫：“數據，已經滲透到當今每一個行業(yè)和業(yè)務職能領域因惭，成為重要的生產因素。人們對于海量數據的挖掘和運用绩衷，預示著新一波生產率增長和消費者盈余浪潮的到來蹦魔。”
業(yè)界（IBM 最早定義）將大數據的特征歸納為4個“V”（量Volume咳燕，多樣Variety勿决，價值Value，速Velocity）招盲，或者說特點有四個層面：第一低缩，數據體量巨大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）咆繁；第二讳推，數據類型繁多。比如玩般，網絡日志银觅、視頻、圖片坏为、地理位置信息等等究驴。第三，價值密度低匀伏，商業(yè)價值高洒忧。第四，處理速度快够颠。最后這一點也是和傳統的數據挖掘技術有著本質的不同跑慕。
其實這些并不能真正說清楚大數據的所有特征，下面這張圖對大數據的一些相關特性做出了有效的說明摧找。
古語云：三分技術核行，七分數據，得數據者得天下蹬耘。先不論誰說的芝雪，但是這句話的正確性已經不用去論證了。維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證综苔，都是為了說明一個道理：在大數據時代已經到來的時候要用大數據思維去發(fā)掘大數據的潛在價值惩系。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數據二次利用價值如筛，比如預測某地流感爆發(fā)的趨勢堡牡；Amazon如何利用用戶的購買和瀏覽歷史數據進行有針對性的書籍購買推薦，以此有效提升銷售量杨刨；Farecast如何利用過去十年所有的航線機票價格打折數據晤柄，來預測用戶購買機票的時機是否合適。
那么妖胀，什么是大數據思維芥颈？維克托·邁爾-舍恩伯格認為，1-需要全部數據樣本而不是抽樣赚抡；2-關注效率而不是精確度爬坑；3-關注相關性而不是因果關系。
阿里巴巴的王堅對于大數據也有一些獨特的見解涂臣，比如盾计，
“今天的數據不是大，真正有意思的是數據變得在線了，這個恰恰是互聯網的特點署辉∽迕”“非互聯網時期的產品，功能一定是它的價值涨薪，今天互聯網的產品骑素，數據一定是它的價值「斩幔”“你千萬不要想著拿數據去改進一個業(yè)務献丑，這不是大數據。你一定是去做了一件以前做不了的事情侠姑〈撮希”
特別是最后一點，我是非常認同的莽红，大數據的真正價值在于創(chuàng)造妥畏，在于填補無數個還未實現過的空白。
有人把數據比喻為蘊藏能量的煤礦安吁。煤炭按照性質有焦煤醉蚁、無煙煤、肥煤鬼店、貧煤等分類网棍，而露天煤礦、深山煤礦的挖掘成本又不一樣妇智。與此類似滥玷，大數據并不在“大”，而在于“有用”巍棱。價值含量惑畴、挖掘成本比數量更為重要。
2） 價值探討
大數據是什么航徙？投資者眼里是金光閃閃的兩個字：資產如贷。比如，Facebook上市時捉偏，評估機構評定的有效資產中大部分都是其社交網站上的數據倒得。
如果把大數據比作一種產業(yè)，那么這種產業(yè)實現盈利的關鍵夭禽，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”谊路。
Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎讹躯，將所有用戶的購買記錄作為數據來源，通過構建模型分析購買者的行為相關性，能準確的推斷出孕婦的具體臨盆時間潮梯，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產品優(yōu)惠卷骗灶。
Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯物并監(jiān)控它秉馏，就可以預測未來耙旦。Target通過監(jiān)測購買者購買商品的時間和品種來準確預測顧客的孕期，這就是對數據的二次利用的典型案例萝究。如果免都，我們通過采集駕駛員手機的GPS數據，就可以分析出當前哪些道路正在堵車帆竹，并可以及時發(fā)布道路交通提醒绕娘；通過采集汽車的GPS位置數據，就可以分析城市的哪些區(qū)域停車較多栽连，這也代表該區(qū)域有著較為活躍的人群险领，這些分析數據適合賣給廣告投放商。
不管大數據的核心價值是不是預測秒紧，但是基于大數據形成決策的模式已經為不少的企業(yè)帶來了盈利和聲譽绢陌。
從大數據的價值鏈條來分析，存在三種模式：
1- 手握大數據熔恢，但是沒有利用好脐湾；比較典型的是金融機構，電信行業(yè)绩聘，政府機構等沥割。
2- 沒有數據，但是知道如何幫助有數據的人利用它凿菩；比較典型的是IT咨詢和服務企業(yè)机杜，比如，埃森哲衅谷，IBM椒拗，Oracle等。
3- 既有數據获黔，又有大數據思維蚀苛；比較典型的是Google，Amazon玷氏，Mastercard等堵未。
未來在大數據領域最具有價值的是兩種事物：1-擁有大數據思維的人，這種人可以將大數據的潛在價值轉化為實際利益盏触；2-還未有被大數據觸及過的業(yè)務領域渗蟹。這些是還未被挖掘的油井块饺，金礦，是所謂的藍海雌芽。
Wal-Mart作為零售行業(yè)的巨頭授艰，他們的分析人員會對每個階段的銷售記錄進行了全面的分析，有一次他們無意中發(fā)現雖不相關但很有價值的數據世落，在美國的颶風來臨季節(jié)淮腾，超市的蛋撻和抵御颶風物品竟然銷量都有大幅增加，于是他們做了一個明智決策屉佳，就是將蛋撻的銷售位置移到了颶風物品銷售區(qū)域旁邊谷朝，看起來是為了方便用戶挑選，但是沒有想到蛋撻的銷量因此又提高了很多忘古。
還有一個有趣的例子徘禁，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進行例常的“每日軍情匯報”髓堪，由值班參謀讀出下屬各個縱隊送朱、師、團用電臺報告的當日戰(zhàn)況和繳獲情況干旁。那幾乎是重復著千篇一律枯燥無味的數據：每支部隊殲敵多少驶沼、俘虜多少;繳獲的火炮、車輛多少争群，槍支回怜、物資多少……有一天，參謀照例匯報當日的戰(zhàn)況换薄，林彪突然打斷他：“剛才念的在胡家窩棚那個戰(zhàn)斗的繳獲玉雾，你們聽到了嗎?”大家都很茫然，因為如此戰(zhàn)斗每天都有幾十起轻要，不都是差不多一模一樣的枯燥數字嗎?林彪掃視一周复旬，見無人回答，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁冲泥，指著地圖上的那個點說：“我猜想驹碍，不，我斷定!敵人的指揮所就在這里!”果然凡恍，部隊很快就抓住了敵方的指揮官廖耀湘志秃，并取得這場重要戰(zhàn)役的勝利。
這些例子真實的反映在各行各業(yè)嚼酝，探求數據價值取決于把握數據的人浮还，關鍵是人的數據思維；與其說是大數據創(chuàng)造了價值闽巩，不如說是大數據思維觸發(fā)了新的價值增長碑定。
3） 現在和未來
我們先看看大數據在當下有怎樣的杰出表現：
大數據幫助政府實現市場經濟調控流码、公共衛(wèi)生安全防范又官、災難預警延刘、社會輿論監(jiān)督；
大數據幫助城市預防犯罪六敬，實現智慧交通碘赖，提升緊急應急能力；
大數據幫助醫(yī)療機構建立患者的疾病風險跟蹤機制外构，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果普泡，幫助艾滋病研究機構為患者提供定制的藥物；
大數據幫助航空公司節(jié)省運營成本审编，幫助電信企業(yè)實現售后服務質量提升撼班，幫助保險企業(yè)識別欺詐騙保行為诺祸，幫助快遞公司監(jiān)測分析運輸車輛的故障險情以提前預警維修环葵，幫助電力公司有效識別預警即將發(fā)生故障的設備浩嫌；
大數據幫助電商公司向用戶推薦商品和服務脊串，幫助旅游網站為旅游者提供心儀的旅游路線照雁，幫助二手市場的買賣雙方找到最合適的交易目標抒倚，幫助用戶找到最合適的商品購買時期览露、商家和最優(yōu)惠價格醋寝；
大數據幫助企業(yè)提升營銷的針對性口糕，降低物流和庫存的成本缅阳，減少投資的風險，以及幫助企業(yè)提升廣告投放精準度景描；
大數據幫助娛樂行業(yè)預測歌手十办，歌曲，電影超棺，電視劇的受歡迎程度向族，并為投資者分析評估拍一部電影需要投入多少錢才最合適，否則就有可能收不回成本说搅；
大數據幫助社交網站提供更準確的好友推薦炸枣，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品弄唧。
其實适肠，這些還遠遠不夠，未來大數據的身影應該無處不在候引，就算無法準確預測大數據終會將人類社會帶往到哪種最終形態(tài)侯养，但我相信只要發(fā)展腳步在繼續(xù)，因大數據而產生的變革浪潮將很快淹沒地球的每一個角落澄干。
比如逛揩，Amazon的最終期望是：“最成功的書籍推薦應該只有一本書柠傍，就是用戶要買的下一本書”缁”
Google也希望當用戶在搜索時惧笛，最好的體驗是搜索結果只包含用戶所需要的內容，而這并不需要用戶給予Google太多的提示逞泄。
而當物聯網發(fā)展到達一定規(guī)模時患整，借助條形碼、二維碼喷众、RFID等能夠唯一標識產品各谚，傳感器、可穿戴設備到千、智能感知昌渤、視頻采集、增強現實等技術可實現實時的信息采集和分析憔四，這些數據能夠支撐智慧城市膀息，智慧交通，智慧能源加矛，智慧醫(yī)療履婉，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數據的采集數據來源和服務范圍斟览。
未來的大數據除了將更好的解決社會問題毁腿，商業(yè)營銷問題，科學技術問題苛茂，還有一個可預見的趨勢是以人為本的大數據方針已烤。人才是地球的主宰，大部分的數據都與人類有關妓羊，要通過大數據解決人的問題胯究。
比如，建立個人的數據中心躁绸，將每個人的日常生活習慣裕循，身體體征，社會網絡净刮，知識能力剥哑，愛好性情，疾病嗜好淹父，情緒波動……換言之就是記錄人從出生那一刻起的每一分每一秒株婴，將除了思維外的一切都儲存下來，這些數據可以被充分的利用：
醫(yī)療機構將實時的監(jiān)測用戶的身體健康狀況暑认；
教育機構更有針對的制定用戶喜歡的教育培訓計劃困介；
服務行業(yè)為用戶提供即時健康的符合用戶生活習慣的食物和其它服務大审；
社交網絡能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動座哩；
政府能在用戶的心理健康出現問題時有效的干預徒扶，防范自殺，刑事案件的發(fā)生八回；
金融機構能幫助用戶進行有效的理財管理酷愧，為用戶的資金提供更有效的使用建議和規(guī)劃；
道路交通缠诅、汽車租賃及運輸行業(yè)可以為用戶提供更合適的出行線路和路途服務安排；
……
當然乍迄，上面的一切看起來都很美好管引，但是否是以犧牲了用戶的自由為前提呢？只能說當新鮮事物帶來了革新的同時也同樣帶來了“病菌”闯两。比如褥伴，在手機未普及前，大家喜歡聚在一起聊天漾狼，自從手機普及后特別是有了互聯網重慢，大家不用聚在一起也可以隨時隨地的聊天，只是“病菌”滋生了另外一種情形逊躁，大家慢慢習慣了和手機共渡時光似踱，人與人之間情感交流仿佛永遠隔著一張“網”。
4） 大數據隱私
你或許并不敏感稽煤，當你在不同的網站上注冊了個人信息后核芽，可能這些信息已經被擴散出去了，當你莫名其妙的接到各種郵件酵熙，電話轧简，短信的滋擾時，你不會想到自己的電話號碼匾二，郵箱哮独，生日，購買記錄察藐，收入水平皮璧，家庭住址，親朋好友等私人信息早就被各種商業(yè)機構非法存儲或賤賣給其它任何有需要的企業(yè)或個人了转培。
更可怕的是恶导，這些信息你永遠無法刪除，它們永遠存在于互聯網的某些你不知道的角落浸须。除非你更換掉自己的所有信息惨寿，但是這代價太大了邦泄。
用戶隱私問題一直是大數據應用難以繞開的一個問題，如被央視曝光過的分眾無線裂垦、羅維鄧白氏以及網易郵箱都涉及侵犯用戶隱私顺囊。目前，中國并沒有專門的法律法規(guī)來界定用戶隱私蕉拢，處理相關問題時多采用其他相關法規(guī)條例來解釋特碳。但隨著民眾隱私意識的日益增強，合法合規(guī)地獲取數據晕换、分析數據和應用數據午乓，是進行大數據分析時必須遵循的原則。
說到隱私被侵犯闸准，愛德華?斯諾登應該占據一席之地益愈，這位前美國中央情報局（CIA）雇員一手引爆了美國“棱鏡計劃”（PRISM）的內幕消息∫募遥“棱鏡”項目是一項由美國國家安全局（NSA）自2007年起開始實施的絕密電子監(jiān)聽計劃蒸其，年耗資近2000億美元，用于監(jiān)聽全美電話通話記錄库快，據稱還可以使情報人員通過“后門”進入9家主要科技公司的服務器摸袁，包括微軟、雅虎义屏、谷歌靠汁、Facebook、PalTalk湿蛔、美國在線膀曾、Skype、YouTube阳啥、蘋果添谊。這個事件引發(fā)了人們對政府使用大數據時對公民隱私侵犯的擔心。
再看看我們身邊斩狱，當微博，微信扎瓶，QQ空間這些社交平臺肆意的吞噬著數億用戶的各種信息時所踊，你就不要指望你還有隱私權了，就算你在某個地方刪除了概荷，但也許這些信息已經被其他人轉載或保存了秕岛，更有可能已經被百度或Google存為快照，早就提供給任意用戶搜索了。因此在大數據的背景下继薛，很多人都在積極的抵制無底線的數字化修壕，這種大數據和個體之間的博弈還會一直繼續(xù)下去……
專家給予了我們一些如何有效保護大數據背景下隱私權的建議：1-減少信息的數字化；2-隱私權立法遏考；3-數字隱私權基礎設施（類似DRM數字版權管理）慈鸠；4-人類改變認知（接受忽略過去）；5-創(chuàng)造良性的信息生態(tài)灌具；6-語境化青团。
但是這些都很難立即見效或者有實質性的改善。
比如咖楣，現在有一種職業(yè)叫刪帖人督笆，專門負責幫人到各大網站刪帖，刪除評論截歉。其實這些人就是通過黑客技術侵入各大網站胖腾，破獲管理員的密碼然后進行手工定向刪除。只不過他們保護的不是客戶的隱私瘪松，而大多是丑聞。還有一種職業(yè)叫人肉專家锨阿，他們負責從互聯網上找到一個與他們根本就無關系用戶的任意信息宵睦。這是很可怕的事情，也就是說墅诡，如果有人想找到你壳嚎，只需要兩個條件：1-你上過網，留下過痕跡末早；2-你的親朋好友或僅僅是認識你的人上過網烟馅，留下過你的痕跡。這兩個條件滿足其一然磷，人肉專家就可以很輕松的找到你郑趁，可能還知道你現在正在某個餐廳和誰一起共進晚餐。
當很多互聯網企業(yè)意識到隱私對于用戶的重要性時姿搜，為了繼續(xù)得到用戶的信任寡润，他們采取了很多辦法，比如google承諾僅保留用戶的搜索記錄9個月舅柜，瀏覽器廠商提供了無痕沖浪模式梭纹，社交網站拒絕公共搜索引擎的爬蟲進入，并將提供出去的數據全部采取匿名方式處理等致份。
在這種復雜的環(huán)境里面变抽，很多人依然沒有建立對于信息隱私的保護意識，讓自己一直處于被滋擾，被精心設計绍载，被利用诡宗，被監(jiān)視的處境中」渥辏可是僚焦，我們能做的幾乎微乎其微，因為個人隱私數據已經無法由我們自己掌控了曙痘，就像一首詩里說到的：“如果你現在繼續(xù)麻木芳悲，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”
二、和大數據相關的技術
1）云技術
大數據常和云計算聯系到一起边坤，因為實時的大型數據集分析需要分布式處理框架來向數十名扛、數百或甚至數萬的電腦分配工作〖胙鳎可以說肮韧，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數據則是電旺订。
云計算思想的起源是麥卡錫在上世紀60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶弄企。
如今，在Google区拳、Amazon拘领、Facebook等一批互聯網企業(yè)引領下，一種行之有效的模式出現了：云計算提供基礎架構平臺樱调，大數據應用運行在這個平臺上约素。
業(yè)內是這么形容兩者的關系：沒有大數據的信息積淀，則云計算的計算能力再強大笆凌，也難以找到用武之地圣猎；沒有云計算的處理能力，則大數據的信息積淀再豐富乞而，也終究只是鏡花水月送悔。
那么大數據到底需要哪些云計算技術呢？
這里暫且列舉一些晦闰，比如虛擬化技術放祟，分布式處理技術，海量數據的存儲和管理技術呻右，NoSQL跪妥、實時流數據處理、智能分析技術（類似模式識別以及自然語言理解）等声滥。
云計算和大數據之間的關系可以用下面的一張圖來說明眉撵，兩者之間結合后會產生如下效應：可以提供更多基于海量業(yè)務數據的創(chuàng)新型服務侦香；通過云計算技術的不斷發(fā)展降低大數據業(yè)務的創(chuàng)新成本。
如果將云計算與大數據進行一些比較纽疟，最明顯的區(qū)分在兩個方面：
第一罐韩，在概念上兩者有所不同，云計算改變了IT污朽，而大數據則改變了業(yè)務散吵。然而大數據必須有云作為基礎架構，才能得以順暢運營蟆肆。
第二矾睦，大數據和云計算的目標受眾不同，云計算是CIO等關心的技術層炎功，是一個進階的IT解決方案枚冗。而大數據是CEO關注的、是業(yè)務層的產品蛇损，而大數據的決策者是業(yè)務層赁温。
2） 分布式處理技術
分布式處理系統可以將不同地點的或具有不同功能的或擁有不同數據的多臺計算機用通信網絡連接起來，在控制系統的統一管理控制下淤齐，協調地完成信息處理任務—這就是分布式處理系統的定義股囊。
以Hadoop（Yahoo）為例進行說明，Hadoop是一個實現了MapReduce模式的能夠對大量數據進行分布式處理的軟件框架更啄，是以一種可靠毁涉、高效、可伸縮的方式進行處理的锈死。
而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運算技術穆壕，也是簡化的分布式編程模式待牵，MapReduce模式的主要思想是將自動分割要執(zhí)行的問題（例如程序）拆解成map（映射）和reduce（化簡）的方式， 在數據被分割后通過Map 函數的程序將數據映射成不同的區(qū)塊喇勋，分配給計算機機群處理達到分布式運算的效果缨该，在通過Reduce 函數的程序將結果匯整，從而輸出開發(fā)者需要的結果川背。
再來看看Hadoop的特性贰拿，第一，它是可靠的熄云，因為它假設計算元素和存儲會失敗膨更，因此它維護多個工作數據副本，確保能夠針對失敗的節(jié)點重新分布處理缴允。其次荚守，Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度矗漾。Hadoop 還是可伸縮的锈候，能夠處理 PB 級數據。此外敞贡，Hadoop 依賴于社區(qū)服務器泵琳，因此它的成本比較低，任何人都可以使用誊役。
你也可以這么理解Hadoop的構成获列，Hadoop=HDFS（文件系統，數據存儲技術相關）+HBase（數據庫）+MapReduce（數據處理）+……Others
Hadoop用到的一些技術有：
HDFS: Hadoop分布式文件系統(Distributed File System) － HDFS (HadoopDistributed File System)
MapReduce：并行計算框架
HBase: 類似Google BigTable的分布式NoSQL列數據庫势木。
Hive：數據倉庫工具蛛倦，由Facebook貢獻。
Zookeeper：分布式鎖設施啦桌，提供類似Google Chubby的功能溯壶，由Facebook貢獻。
Avro：新的數據序列化格式與傳輸工具甫男，將逐步取代Hadoop原有的IPC機制且改。
Pig:大數據分析平臺，為用戶提供多種接口板驳。
Ambari：Hadoop管理工具又跛，可以快捷的監(jiān)控、部署若治、管理集群慨蓝。
Sqoop：用于在Hadoop與傳統的數據庫間進行數據的傳遞。
說了這么多端幼，舉個實際的例子礼烈，雖然這個例子有些陳舊，但是淘寶的海量數據技術架構還是有助于我們理解對于大數據的運作處理機制:
如上圖所示婆跑，淘寶的海量數據產品技術架構分為五個層次此熬，從上至下來看它們分別是：數據源，計算層滑进，存儲層犀忱，查詢層和產品層。
數據來源層扶关。存放著淘寶各店的交易數據阴汇。在數據源層產生的數據，通過DataX驮审，DbSync和Timetunel準實時的傳輸到下面第2點所述的“云梯”鲫寄。計算層吉执。在這個計算層內，淘寶采用的是Hadoop集群地来，這個集群戳玫，我們暫且稱之為云梯，是計算層的主要組成部分未斑。在云梯上咕宿，系統每天會對數據產品進行不同的MapReduce計算。存儲層蜡秽。在這一層府阀，淘寶采用了兩個東西，一個使MyFox芽突，一個是Prom试浙。MyFox是基于MySQL的分布式關系型數據庫的集群，Prom是基于Hadoop Hbase技術的一個NoSQL的存儲集群寞蚌。查詢層田巴。在這一層中，Glider是以HTTP協議對外提供restful方式的接口挟秤。數據產品通過一個唯一的URL來獲取到它想要的數據壹哺。同時，數據查詢即是通過MyFox來查詢的艘刚。
最后一層是產品層管宵，這個就不用解釋了。
3） 存儲技術
大數據可以抽象的分為大數據存儲和大數據分析攀甚，這兩者的關系是：大數據存儲的目的是支撐大數據分析箩朴。到目前為止，還是兩種截然不同的計算機技術領域：大數據存儲致力于研發(fā)可以擴展至PB甚至EB級別的數據存儲平臺秋度；大數據分析關注在最短時間內處理大量不同類型的數據集隧饼。
提到存儲，有一個著名的摩爾定律相信大家都聽過：18個月集成電路的復雜性就增加一倍静陈。所以，存儲器的成本大約每18-24個月就下降一半诞丽。成本的不斷下降也造就了大數據的可存儲性鲸拥。
比如，Google大約管理著超過50萬臺服務器和100萬塊硬盤僧免，而且Google還在不斷的擴大計算能力和存儲能力刑赶，其中很多的擴展都是基于在廉價服務器和普通存儲硬盤的基礎上進行的，這大大降低了其服務成本懂衩，因此可以將更多的資金投入到技術的研發(fā)當中撞叨。
以Amazon舉例金踪，Amazon S3 是一種面向 Internet 的存儲服務。該服務旨在讓開發(fā)人員能更輕松的進行網絡規(guī)模計算牵敷。Amazon S3 提供一個簡明的 Web 服務界面胡岔，用戶可通過它隨時在 Web 上的任何位置存儲和檢索的任意大小的數據。 此服務讓所有開發(fā)人員都能訪問同一個具備高擴展性枷餐、可靠性靶瘸、安全性和快速價廉的基礎設施，Amazon 用它來運行其全球的網站網絡毛肋。再看看S3的設計指標：在特定年度內為數據元提供 99.999999999% 的耐久性和 99.99% 的可用性怨咪，并能夠承受兩個設施中的數據同時丟失。
S3很成功也確實卓有成效润匙，S3云的存儲對象已達到萬億級別诗眨，而且性能表現相當良好。S3云已經擁萬億跨地域存儲對象孕讳，同時AWS的對象執(zhí)行請求也達到百萬的峰值數量匠楚。目前全球范圍內已經有數以十萬計的企業(yè)在通過AWS運行自己的全部或者部分日常業(yè)務。這些企業(yè)用戶遍布190多個國家卫病，幾乎世界上的每個角落都有Amazon用戶的身影油啤。
4） 感知技術
大數據的采集和感知技術的發(fā)展是緊密聯系的。以傳感器技術蟀苛，指紋識別技術益咬，RFID技術，坐標定位技術等為基礎的感知能力提升同樣是物聯網發(fā)展的基石帜平。全世界的工業(yè)設備幽告、汽車、電表上有著無數的數碼傳感器裆甩，隨時測量和傳遞著有關位置冗锁、運動、震動嗤栓、溫度冻河、濕度乃至空氣中化學物質的變化，都會產生海量的數據信息茉帅。
而隨著智能手機的普及叨叙，感知技術可謂迎來了發(fā)展的高峰期，除了地理位置信息被廣泛的應用外堪澎，一些新的感知手段也開始登上舞臺擂错，比如，最新的”iPhone 5S”在home鍵內嵌指紋傳感器樱蛤，新型手機可通過呼氣直接檢測燃燒脂肪量钮呀，用于手機的嗅覺傳感器面世可以監(jiān)測從空氣污染到危險的化學藥品剑鞍，微軟正在研發(fā)可感知用戶當前心情智能手機技術裤翩，谷歌眼鏡InSight新技術可通過衣著進行人物識別人断。
除此之外，還有很多與感知相關的技術革新讓我們耳目一新：比如锦爵，牙齒傳感器實時監(jiān)控口腔活動及飲食狀況子房，嬰兒穿戴設備可用大數據去養(yǎng)育寶寶形用，Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒，日本公司開發(fā)新型可監(jiān)控用戶心率的紡織材料证杭，業(yè)界正在嘗試將生物測定技術引入支付領域等田度。
其實，這些感知被逐漸捕獲的過程就是就世界被數據化的過程解愤，一旦世界被完全數據化了镇饺，那么世界的本質也就是信息了。
就像一句名言所說送讲，“人類以前延續(xù)的是文明奸笤，現在傳承的是信息『喵蓿”
三监右、大數據的實踐
1） 互聯網的大數據
互聯網上的數據每年增長50%，每兩年便將翻一番异希，而目前世界上90%以上的數據是最近幾年才產生的健盒。據IDC預測，到2020年全球將總共擁有35ZB的數據量称簿】垩ⅲ互聯網是大數據發(fā)展的前哨陣地，隨著WEB2.0時代的發(fā)展憨降，人們似乎都習慣了將自己的生活通過網絡進行數據化父虑，方便分享以及記錄并回憶。
互聯網上的大數據很難清晰的界定分類界限授药，我們先看看BAT的大數據：
百度擁有兩種類型的大數據：用戶搜索表征的需求數據士嚎；爬蟲和阿拉丁獲取的公共web數據。搜索巨頭百度圍繞數據而生悔叽。它對網頁數據的爬取航邢、網頁內容的組織和解析，通過語義分析對搜索需求的精準理解進而從海量數據中找準結果骄蝇，以及精準的搜索引擎關鍵字廣告，實質上就是一個數據的獲取操骡、組織九火、分析和挖掘的過程赚窃。搜索引擎在大數據時代面臨的挑戰(zhàn)有：更多的暗網數據；更多的WEB化但是沒有結構化的數據岔激；更多的WEB化勒极、結構化但是封閉的數據。
阿里巴巴擁有交易數據和信用數據虑鼎。這兩種數據更容易變現辱匿，挖掘出商業(yè)價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數據炫彩、移動數據匾七。如微博和高德。
騰訊擁有用戶關系數據和基于此產生的社交數據江兢。這些數據可以分析人們的生活和行為,從里面挖掘出政治昨忆、社會、文化杉允、商業(yè)邑贴、健康等領域的信息，甚至預測未來叔磷。
在信息技術更為發(fā)達的美國拢驾，除了行業(yè)知名的類似Google，Facebook外改基，已經涌現了很多大數據類型的公司繁疤，它們專門經營數據產品，比如：
Metamarkets：這家公司對Twitter寥裂、支付嵌洼、簽到和一些與互聯網相關的問題進行了分析，為客戶提供了很好的數據分析支持封恰。
Tableau：他們的精力主要集中于將海量數據以可視化的方式展現出來麻养。Tableau為數字媒體提供了一個新的展示數據的方式。他們提供了一個免費工具诺舔，任何人在沒有編程知識背景的情況下都能制造出數據專用圖表鳖昌。這個軟件還能對數據進行分析，并提供有價值的建議低飒。
ParAccel：他們向美國執(zhí)法機構提供了數據分析许昨，比如對15000個有犯罪前科的人進行跟蹤，從而向執(zhí)法機構提供了參考性較高的犯罪預測褥赊。他們是犯罪的預言者糕档。
QlikTech：QlikTech旗下的Qlikview是一個商業(yè)智能領域的自主服務工具，能夠應用于科學研究和藝術等領域拌喉。為了幫助開發(fā)者對這些數據進行分析速那，QlikTech提供了對原始數據進行可視化處理等功能的工具俐银。
GoodData：GoodData希望幫助客戶從數據中挖掘財富。這家創(chuàng)業(yè)公司主要面向商業(yè)用戶和IT企業(yè)高管端仰，提供數據存儲捶惜、性能報告、數據分析等工具荔烧。
TellApart：TellApart和電商公司進行合作吱七，他們會根據用戶的瀏覽行為等數據進行分析，通過鎖定潛在買家方式提高電商企業(yè)的收入鹤竭。
DataSift：DataSift主要收集并分析社交網絡媒體上的數據踊餐，并幫助品牌公司掌握突發(fā)新聞的輿論點，并制定有針對性的營銷方案诺擅。這家公司還和Twitter有合作協議市袖，使得自己變成了行業(yè)中為數不多可以分析早期tweet的創(chuàng)業(yè)公司。
Datahero：公司的目標是將復雜的數據變得更加簡單明了烁涌，方便普通人去理解和想象苍碟。
舉了很多例子，這里簡要歸納一下撮执，在互聯網大數據的典型代表性包括：
1-用戶行為數據（精準廣告投放微峰、內容推薦、行為習慣和喜好分析抒钱、產品優(yōu)化等）2-用戶消費數據（精準營銷蜓肆、信用記錄分析、活動促銷谋币、理財等）3-用戶地理位置數據（O2O推廣仗扬，商家推薦，交友推薦等）4-互聯網金融數據（P2P蕾额，小額貸款早芭，支付，信用诅蝶，供應鏈金融等）5-用戶社交等UGC數據（趨勢分析退个、流行元素分析、受歡迎程度分析调炬、輿論監(jiān)控分析语盈、社會問題分析等）
2） 政府的大數據
近期，奧巴馬政府宣布投資2億美元拉動大數據相關產業(yè)發(fā)展缰泡，將“大數據戰(zhàn)略”上升為國家意志刀荒。奧巴馬政府將數據定義為“未來的新石油”，并表示一個國家擁有數據的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分缠借，未來资溃，對數據的占有和控制甚至將成為陸權、海權烈炭、空權之外的另一種國家核心資產。
在國內宝恶，政府各個部門都握有構成社會基礎的原始數據符隙，比如，氣象數據垫毙，金融數據霹疫，信用數據，電力數據综芥，煤氣數據丽蝎，自來水數據，道路交通數據膀藐，客運數據屠阻，安全刑事案件數據，住房數據额各，海關數據国觉，出入境數據，旅游數據虾啦，醫(yī)療數據麻诀，教育數據，環(huán)保數據等等傲醉。這些數據在每個政府部門里面看起來是單一的蝇闭，靜態(tài)的。但是硬毕，如果政府可以將這些數據關聯起來呻引，并對這些數據進行有效的關聯分析和統一管理，這些數據必定將獲得新生昭殉，其價值是無法估量的苞七。
具體來說，現在城市都在走向智能和智慧挪丢，比如蹂风，智能電網、智慧交通乾蓬、智慧醫(yī)療惠啄、智慧環(huán)保、智慧城市，這些都依托于大數據撵渡，可以說大數據是智慧的核心能源融柬。從國內整體投資規(guī)模來看，到2012年底全國開建智慧城市的城市數超過180個趋距，通信網絡和數據平臺等基礎設施建設投資規(guī)模接近5000億元粒氧。“十二五”期間智慧城市建設拉動的設備投資規(guī)模將達1萬億元人民幣节腐。大數據為智慧城市的各個領域提供決策支持外盯。在城市規(guī)劃方面，通過對城市地理翼雀、氣象等自然信息和經濟饱苟、社會、文化狼渊、人口等人文社會信息的挖掘箱熬，可以為城市規(guī)劃提供決策，強化城市管理服務的科學性和前瞻性狈邑。在交通管理方面城须，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵官地，并快速響應突發(fā)狀況酿傍，為城市交通的良性運轉提供科學的決策依據。在輿情監(jiān)控方面驱入，通過網絡關鍵詞搜索及語義智能分析赤炒，能提高輿情分析的及時性、全面性亏较，全面掌握社情民意莺褒，提高公共服務能力，應對網絡突發(fā)的公共事件雪情，打擊違法犯罪遵岩。在安防與防災領域，通過大數據的挖掘巡通，可以及時發(fā)現人為或自然災害尘执、恐怖事件，提高應急處理能力和安全防范能力宴凉。
另外誊锭，作為國家的管理者，政府應該有勇氣將手中的數據逐步開放弥锄，供給更多有能力的機構組織或個人來分析并加以利用丧靡，以加速造福人類蟆沫。比如，美國政府就籌建了一個data.gov網站温治，這是奧巴馬任期內的一個重要舉措：要求政府公開透明饭庞，而核心就是實現政府機構的數據公開。截止目前熬荆，已經開放了有91054 個datasets舟山；349citizen-developed apps；137 mobile apps卤恳；175 agencies and subagencies捏顺；87 galleries；295 Government APIs纬黎。
3）企業(yè)的大數據
企業(yè)的CXO們最關注的還是報表曲線的背后能有怎樣的信息，他該做怎樣的決策劫窒，其實這一切都需要通過數據來傳遞和支撐本今。在理想的世界中，大數據是巨大的杠桿主巍，可以改變公司的影響力冠息，帶來競爭差異、節(jié)省金錢孕索、增加利潤逛艰、愉悅買家、獎賞忠誠用戶搞旭、將潛在客戶轉化為客戶散怖、增加吸引力、打敗競爭對手肄渗、開拓用戶群并創(chuàng)造市場镇眷。
那么，哪些傳統企業(yè)最需要大數據服務呢翎嫡？拋磚引玉欠动，先舉幾個例子：1) 對大量消費者提供產品或服務的企業(yè)（精準營銷）；2) 做小而美模式的中長尾企業(yè)（服務轉型）惑申；3) 面臨互聯網壓力之下必須轉型的傳統企業(yè)（生死存亡）具伍。
對于企業(yè)的大數據，還有一種預測：隨著數據逐漸成為企業(yè)的一種資產圈驼，數據產業(yè)會向傳統企業(yè)的供應鏈模式發(fā)展人芽，最終形成“數據供應鏈”。這里尤其有兩個明顯的現象：1) 外部數據的重要性日益超過內部數據碗脊。在互聯互通的互聯網時代啼肩，單一企業(yè)的內部數據與整個互聯網數據比較起來只是滄海一粟橄妆；2) 能提供包括數據供應、數據整合與加工祈坠、數據應用等多環(huán)節(jié)服務的公司會有明顯的綜合競爭優(yōu)勢害碾。
對于提供大數據服務的企業(yè)來說，他們等待的是合作機會赦拘，就像微軟史密斯說的：“給我提供一些數據慌随，我就能做一些改變。如果給我提供所有數據躺同，我就能拯救世界阁猜。”
然而蹋艺，一直做企業(yè)服務的巨頭將優(yōu)勢不在剃袍，不得不眼看新興互聯網企業(yè)加入戰(zhàn)局，開啟殘酷競爭模式捎谨。為何會出現這種局面民效？從 IT 產業(yè)的發(fā)展來看，第一代 IT 巨頭大多是 ToB 的涛救，比如 IBM畏邢、Microsoft、Oracle检吆、SAP舒萎、HP這類傳統 IT 企業(yè)；第二代 IT 巨頭大多是ToC 的蹭沛，比如 Yahoo臂寝、Google、Amazon摊灭、Facebook 這類互聯網企業(yè)交煞。大數據到來前，這兩類公司彼此之間基本是井水不犯河水斟或；但在當前這個大數據時代素征，這兩類公司已經開始直接競爭。比如 Amazon 已經開始提供云模式的數據倉庫服務萝挤，直接搶占 IBM御毅、Oracle 的市場。這個現象出現的本質原因是：在互聯網巨頭的帶動下怜珍，傳統 IT 巨頭的客戶普遍開始從事電子商務業(yè)務端蛆，正是由于客戶進入了互聯網，所以傳統 IT 巨頭們不情愿地被拖入了互聯網領域酥泛。如果他們不進入互聯網今豆，他們業(yè)務必將萎縮嫌拣。在進入互聯網后，他們又必須將云技術呆躲，大數據等互聯網最具有優(yōu)勢的技術通過封裝打造成自己的產品再提供給企業(yè)异逐。
以IBM舉例，上一個十年插掂，他們拋棄了PC灰瞻，成功轉向了軟件和服務，而這次將遠離服務與咨詢辅甥，更多地專注于因大數據分析軟件而帶來的全新業(yè)務增長點酝润。IBM執(zhí)行總裁羅睿蘭認為，“數據將成為一切行業(yè)當中決定勝負的根本因素璃弄，最終數據將成為人類至關重要的自然資源要销。”IBM積極的提出了“大數據平臺”架構夏块。該平臺的四大核心能力包括Hadoop系統蕉陋、流計算（StreamComputing）、數據倉庫（Data Warehouse）和信息整合與治理（Information Integration and Governance）
另外一家亟待通過云和大數據戰(zhàn)略而復蘇的巨頭公司HP也推出了自己的產品：HAVEn拨扶，一個可以自由擴展伸縮的大數據解決方案。這個解決方案由HP Autonomy茁肠、HP Vertica患民、HP ArcSight 和惠普運營管理(HP OperationsManagement)四大技術組成。還支持Hadoop這樣通用的技術垦梆。HAVEn不是一個軟件平臺匹颤，而是一個生態(tài)環(huán)境。四大組成部分滿足不同的應用場景需要托猩，Autonomy解決音視頻識別的重要解決方案印蓖；Vertica解決數據處理的速度和效率的方案；ArcSight解決機器的記錄信息處理京腥，幫助企業(yè)獲得更高安全級別的管理赦肃；運營管理解決的不僅僅是外部數據的處理，而是包括了IT基礎設施產生的數據公浪。
4） 個人的大數據
個人的大數據這個概念很少有人提及他宛，簡單來說，就是與個人相關聯的各種有價值數據信息被有效采集后欠气，可由本人授權提供第三方進行處理和使用厅各，并獲得第三方提供的數據服務。
舉個例子來說明會更清晰一些：
未來预柒，每個用戶可以在互聯網上注冊個人的數據中心队塘，以存儲個人的大數據信息袁梗。用戶可確定哪些個人數據可被采集，并通過可穿戴設備或植入芯片等感知技術來采集捕獲個人的大數據憔古，比如遮怜，牙齒監(jiān)控數據，心率數據投放，體溫數據奈泪，視力數據，記憶能力灸芳，地理位置信息涝桅，社會關系數據，運動數據烙样，飲食數據冯遂，購物數據等等。用戶可以將其中的牙齒監(jiān)測數據授權給XX牙科診所使用谒获，由他們監(jiān)控和使用這些數據蛤肌，進而為用戶制定有效的牙齒防治和維護計劃；也可以將個人的運動數據授權提供給某運動健身機構批狱，由他們監(jiān)測自己的身體運動機能裸准，并有針對的制定和調整個人的運動計劃；還可以將個人的消費數據授權給金融理財機構赔硫，由他們幫你制定合理的理財計劃并對收益進行預測炒俱。當然，其中有一部分個人數據是無需個人授權即可提供給國家相關部門進行實時監(jiān)控的爪膊，比如罪案預防監(jiān)控中心可以實時的監(jiān)控本地區(qū)每個人的情緒和心理狀態(tài)权悟，以預防自殺和犯罪的發(fā)生。
以個人為中心的大數據有這么一些特性：
1- 數據僅留存在個人中心推盛，其它第三方機構只被授權使用（數據有一定的使用期限）峦阁，且必須接受用后即焚的監(jiān)管。2- 采集個人數據應該明確分類耘成，除了國家立法明確要求接受監(jiān)控的數據外榔昔，其它類型數據都由用戶自己決定是否被采集。3- 數據的使用將只能由用戶進行授權瘪菌，數據中心可幫助監(jiān)控個人數據的整個生命周期件豌。
展望過于美好，也許實現個人數據中心將遙遙無期控嗜，也許這還不是解決個人數據隱私的最好方法茧彤，也許業(yè)界對大數據的無限渴求會阻止數據個人中心的實現，但是隨著數據越來越多疆栏，在缺乏監(jiān)管之后曾掂，必然會有一場激烈的博弈：到底是數據重要還是隱私重要惫谤；是以商業(yè)為中心還是以個人為中心。
