黑猴子的家:大數(shù)據(jù)技術(shù)之概論

1紫皇、大數(shù)據(jù)概念

大數(shù)據(jù)(big data),指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉盆耽、管理和處理的數(shù)據(jù)集合蹋砚,是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量摄杂、高增長率和多樣化的信息資產(chǎn)坝咐。

最小的基本單位是bit,按順序給出所有單位:bit析恢、Byte墨坚、KB、MB映挂、GB泽篮、TB、PB柑船、EB帽撑、ZB、YB椎组、BB油狂、NB、DB寸癌。

1Byte = 8 Bit
1KB    = 1,024 Bytes
1MB   = 1,024 KB = 1,048,576 Bytes
1GB   = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1TB    = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes
1PB   = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
1EB   = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
1ZB   = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
1YB   = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes

2专筷、大數(shù)據(jù)的特點

1)Volume(大量)
截至目前,人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB蒸苇,而歷史上全人類總共說過的話的數(shù)據(jù)量大約是5EB磷蛹。當前,典型個人計算機硬盤的容量為TB量級溪烤,而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級味咳。

2)Velocity(高速)
這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”的報告檬嘀,預(yù)計到2020年槽驶,全球數(shù)據(jù)使用量將達到35.2ZB。在如此海量的數(shù)據(jù)面前鸳兽,處理數(shù)據(jù)的效率就是企業(yè)的生命掂铐。
天貓雙十一:20**年6分58秒,天貓交易額超過100億

3)Variety(多樣)
這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以數(shù)據(jù)庫/文本為主的結(jié)構(gòu)化數(shù)據(jù)全陨,非結(jié)構(gòu)化數(shù)據(jù)越來越多爆班,包括網(wǎng)絡(luò)日志、音頻辱姨、視頻柿菩、圖片、地理位置信息等雨涛,這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求枢舶。

4)Value(低價值密度)
價值密度的高低與數(shù)據(jù)總量的大小成反比。比如镜悉,在一天監(jiān)控視頻中祟辟,我們只關(guān)心宋宋老師晚上在床上健身那一分鐘医瘫,如何快速對有價值數(shù)據(jù)“提純”成為目前大數(shù)據(jù)背景下待解決的難題侣肄。

3、大數(shù)據(jù)能干啥醇份?

1)O2O:百度大數(shù)據(jù)+平臺通過先進的線上線下打通技術(shù)和客流分析能力稼锅,助力商家精細化運營,提升銷量僚纷。


2)零售:探索用戶價值矩距,提供個性化服務(wù)解決方案;貫穿網(wǎng)絡(luò)與實體零售怖竭,攜手創(chuàng)造極致體驗锥债。經(jīng)典案例,子尿布+啤酒痊臭。


3)大數(shù)據(jù)實時推薦


4)旅游:深度結(jié)合百度獨有大數(shù)據(jù)能力與旅游行業(yè)需求哮肚,共建旅游產(chǎn)業(yè)智慧管理、智慧服務(wù)和智慧營銷的未來广匙。


5)金融風險分析


6)移動聯(lián)通允趟、


7)人工智能


4、大數(shù)據(jù)發(fā)展前景

前景好不好鸦致,看薪資潮剪,看就業(yè)
人才缺口很大,薪資還可以

5分唾、大數(shù)據(jù)崗位都有哪些抗碰?

Spark開發(fā)工程師

大數(shù)據(jù)ETL開發(fā)工程師

大數(shù)據(jù)分析師

Hadoop開發(fā)工程師

大數(shù)據(jù)運維工程師

大數(shù)據(jù)架構(gòu)師

大數(shù)據(jù)人工智能

大數(shù)據(jù)機器學習

5、大數(shù)據(jù)生態(tài)體系圖

image.png

6绽乔、大數(shù)據(jù)簡易平臺架構(gòu)圖

7弧蝇、大數(shù)據(jù)入門學習體系

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子捍壤,更是在濱河造成了極大的恐慌骤视,老刑警劉巖,帶你破解...
    沈念sama閱讀 223,207評論 6 521
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鹃觉,死亡現(xiàn)場離奇詭異专酗,居然都是意外死亡,警方通過查閱死者的電腦和手機盗扇,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,455評論 3 400
  • 文/潘曉璐 我一進店門祷肯,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人疗隶,你說我怎么就攤上這事佑笋。” “怎么了斑鼻?”我有些...
    開封第一講書人閱讀 170,031評論 0 366
  • 文/不壞的土叔 我叫張陵蒋纬,是天一觀的道長。 經(jīng)常有香客問我坚弱,道長蜀备,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,334評論 1 300
  • 正文 為了忘掉前任荒叶,我火速辦了婚禮碾阁,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘些楣。我一直安慰自己脂凶,他們只是感情好,可當我...
    茶點故事閱讀 69,322評論 6 398
  • 文/花漫 我一把揭開白布愁茁。 她就那樣靜靜地躺著蚕钦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪埋市。 梳的紋絲不亂的頭發(fā)上冠桃,一...
    開封第一講書人閱讀 52,895評論 1 314
  • 那天,我揣著相機與錄音道宅,去河邊找鬼食听。 笑死,一個胖子當著我的面吹牛污茵,可吹牛的內(nèi)容都是我干的樱报。 我是一名探鬼主播,決...
    沈念sama閱讀 41,300評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼泞当,長吁一口氣:“原來是場噩夢啊……” “哼迹蛤!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,264評論 0 277
  • 序言:老撾萬榮一對情侶失蹤盗飒,失蹤者是張志新(化名)和其女友劉穎嚷量,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體逆趣,經(jīng)...
    沈念sama閱讀 46,784評論 1 321
  • 正文 獨居荒郊野嶺守林人離奇死亡蝶溶,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,870評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了宣渗。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抖所。...
    茶點故事閱讀 40,989評論 1 354
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖痕囱,靈堂內(nèi)的尸體忽然破棺而出田轧,到底是詐尸還是另有隱情,我是刑警寧澤鞍恢,帶...
    沈念sama閱讀 36,649評論 5 351
  • 正文 年R本政府宣布傻粘,位于F島的核電站,受9級特大地震影響有序,放射性物質(zhì)發(fā)生泄漏抹腿。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,331評論 3 336
  • 文/蒙蒙 一旭寿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧崇败,春花似錦盅称、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,814評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至岸霹,卻和暖如春疾层,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背贡避。 一陣腳步聲響...
    開封第一講書人閱讀 33,940評論 1 275
  • 我被黑心中介騙來泰國打工痛黎, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人刮吧。 一個月前我還...
    沈念sama閱讀 49,452評論 3 379
  • 正文 我出身青樓湖饱,卻偏偏與公主長得像,于是被迫代替她去往敵國和親杀捻。 傳聞我的和親對象是個殘疾皇子井厌,可洞房花燭夜當晚...
    茶點故事閱讀 45,995評論 2 361

推薦閱讀更多精彩內(nèi)容