第一：什么是大數(shù)據(jù)
來看看維基百科的定義
大數(shù)據(jù)（英語：Big data或Megadata），或稱巨量數(shù)據(jù)严望、海量數(shù)據(jù)多艇、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工著蟹，在合理時間內(nèi)達到截取墩蔓、管理、處理萧豆、并整理成為人類所能解讀的信息奸披。
在總數(shù)據(jù)量相同的情況下，與個別分析獨立的小型數(shù)據(jù)集相比涮雷，將各個小型數(shù)據(jù)集合并后進行分析可得出許多額外的信息和數(shù)據(jù)關系性阵面，可用來察覺商業(yè)趨勢、判定研究質量洪鸭、避免疾病擴散样刷、打擊犯罪或測定實時交通路況等；這樣的用途正是大型數(shù)據(jù)集盛行的原因览爵。
上面那段看起來比較繞置鼻，可以一起看看通俗解釋：
如果你是負責做淘寶網(wǎng)的產(chǎn)品推薦工作的，想知道購買首飾的用戶是否也會購買電子產(chǎn)品蜓竹，然后再決定是否給三星做推薦箕母。
在這種條件下就需要調用前一段時間（例如一年）的用戶數(shù)據(jù)，只有通過大量數(shù)據(jù)的證明才能確認兩者是否有關聯(lián)性俱济，如果使用傳統(tǒng)數(shù)據(jù)處理方法嘶是，就會耗費大量時間，等確認正相關的時候蛛碌，三星的促銷期都已經(jīng)過去了聂喇，而像淘寶、京東等每天數(shù)據(jù)量動輒以TB計數(shù)蔚携，要迅速處理希太、分析并給出精準恰當?shù)耐斗磐扑]克饶，這就是大數(shù)據(jù)的作用。
以上理解大數(shù)據(jù)可能有些抽象誊辉，那么請大家看完以下的一個故事彤路，這樣理解大數(shù)據(jù)，小學畢業(yè)也可以看明白了芥映！
在這里我還是要推薦下我自己建的大數(shù)據(jù)學習交流qq裙：458345782，?裙?里都是學大數(shù)據(jù)開發(fā)的远豺，如果你正在學習大數(shù)據(jù)?奈偏，小編歡迎你加入，大家都是軟件開發(fā)黨躯护，不定期分享干貨（只有大數(shù)據(jù)開發(fā)相關的）惊来，包括我自己整理的一份最新的大數(shù)據(jù)進階資料和高級開發(fā)教程，歡迎進階中和進想深入大數(shù)據(jù)的小伙伴棺滞。
看看對當老板的裁蚁、當領導的或當老師的等等有什么啟發(fā)和幫助？
必勝客店的電話鈴響了继准。
客服拿起電話：必勝客枉证。您好! 請問有什么需要我為您服務？
顧客：你好移必！ 我想要一份……
客服：先生室谚，請先把您的會員卡號告訴我，好嗎崔泵？
顧客：16846146***秒赤。
客服：陳先生，您好憎瘸！您是住在泉州路一號12樓1205室入篮。您家電話是2646****，您公司電話是4666****幌甘，您的手機是1391234****潮售。請問您想用哪一個電話付費？
顧客：你為什么知道我所有的電話號碼含潘？
客服：陳先生饲做，因為我們聯(lián)機CRM系統(tǒng)。
顧客：我想要一個海鮮比薩……
客服：陳先生遏弱，海鮮比薩不適合您盆均。
顧客：為什么？
客服：根據(jù)您的醫(yī)療記錄漱逸，你的血壓和膽固醇都偏高泪姨。
顧客：那你有什么可以推薦的游沿？
客服：您可以試試我們的低脂健康比薩。
顧客：你怎么知道我會喜歡這種的肮砾？
客服：您上星期一在國家圖書館借了一本《低脂健康食譜》诀黍。
顧客：好。那我要一個家庭大號比薩仗处。
客服：陳先生眯勾，大號的不夠吃。
顧客：為什么婆誓？
客服：因為您家一共有六口人吃环。來個特大號的，怎樣洋幻？
顧客：要付多少錢郁轻？
客服：99元。這個足夠您一家六口吃了文留。但您母親應該少吃好唯，她上個月剛剛做了心臟搭橋手術，還處在恢復期燥翅。
顧客：那可以刷卡嗎骑篙？
客服：陳先生，對不起权旷。請您付現(xiàn)款替蛉。
顧客：你們不是可以刷卡的嗎？
客服：一般是可以的拄氯。但是您的信用卡已經(jīng)刷爆了躲查，您現(xiàn)在還欠銀行4807元，而且還不包括您的房貸利息译柏。
顧客：那我先去附近的提款機提款镣煮。
客服：陳先生，根據(jù)您的記錄鄙麦，您已經(jīng)超過今日提款限額了典唇。
顧客：算了，你們直接把比薩送我家吧胯府，家里有現(xiàn)金介衔。你們多久會送到？
客服：大約30分鐘骂因。如果您不想等炎咖，可以自己騎摩托車來取。
顧客：為什么？
客服：根據(jù)我們CRM全球定位系統(tǒng)車輛行駛自動跟蹤記錄顯示乘盼，您登記的一輛車號為SB-748的摩托車升熊，目前正在解放路東段華聯(lián)商場右側行駛，離我們店只有50米绸栅。
顧客:好吧（頭開始暈）
客服：陳先生级野，建議您再帶一小份海鮮比薩。
顧客：為什么粹胯？你不是說我不能吃嗎蓖柔？
客服：根據(jù)我們CRM通訊系統(tǒng)分析，今天您與一位女性通話頻率高风纠、時間長渊抽，今天又是2.14，我們分析應該是您的情人议忽，而這位手機用戶近來一直買的是海鮮比薩，她應該喜歡這種口味十减。
顧客：…………
客服：您最好現(xiàn)在就送回家栈幸，否則您就不方便出來了。
顧客：為什么帮辟？
客服：根據(jù)我們定位系統(tǒng)速址，您的愛人大約30分鐘后到家。
顧客：我為什么要出來由驹？
客服：您已在匯峰酒店定了今晚的房間芍锚，估計您是與情人約會吧试和？
顧客：當即暈倒…………
這就是大數(shù)據(jù)３艏摇？
第二:目前的大數(shù)據(jù)就業(yè)形勢
大數(shù)據(jù)蹋绽，有人稱之為新一代“網(wǎng)紅”甥郑√悠牵縱觀現(xiàn)在互聯(lián)網(wǎng)企業(yè)，大都離不開大數(shù)據(jù)崗位人才澜搅。
特別是在國家政策持續(xù)推動下伍俘，大數(shù)據(jù)產(chǎn)業(yè)落地進程更快，產(chǎn)業(yè)價值被進一步發(fā)掘勉躺。2017年我國大數(shù)據(jù)市場規(guī)模已達358億元癌瘾，年增速達到47.3%，規(guī)模已是2012年的35億元的10倍饵溅。預計2020年妨退，我國大數(shù)據(jù)市場規(guī)模將達到731億元。
同時，據(jù)最新的大數(shù)據(jù)人才報告顯示碧注，目前全國僅有46萬大數(shù)據(jù)人才嚣伐，而未來3-5年預估缺口高達150萬。
可見大數(shù)據(jù)崗位人才還是十分緊缺和有前景的萍丐！
就業(yè)崗位方向
數(shù)據(jù)分析師
01
以北京轩端、杭州兩地為例，數(shù)據(jù)分析師的平均月薪分別達到17470/月逝变，13400/月基茵，較之2016年，分別增長74.3%壳影，45.7%拱层。
大數(shù)據(jù)開發(fā)工程師
02
以北京、杭州兩地為例宴咧，大數(shù)據(jù)開發(fā)工程師的平均月薪分別達到31880/月根灯，11830/月。
Hadoop開發(fā)工程師
03
以北京掺栅、杭州兩地為例烙肺，Hadoop開發(fā)工程師的平均月薪分別達到22960/月，19870/月氧卧，較之2016年桃笙，分別增長32%，30.7%沙绝。
數(shù)據(jù)挖掘工程師
以北京搏明、杭州兩地為例，數(shù)據(jù)挖掘工程師的平均月薪分別達到29370/月闪檬，21090/月星著，較之2016年，分別增長58.8%粗悯，48%强饮。
算法工程師
05
以北京、杭州兩地為例为黎，算法工程師的平均月薪分別達到30210/月邮丰，23300/月，較之2016年铭乾，分別增長72%剪廉，64.2%。
第三：學完大數(shù)據(jù)可以勝任什么職位炕檩？
一斗蒋、ETL研發(fā)
企業(yè)數(shù)據(jù)種類與來源的不斷增加捌斧，對數(shù)據(jù)進行整合與處理變得越來越困難，企業(yè)迫切需要一種有數(shù)據(jù)整合能力的人才泉沾。ETL開發(fā)者這是在此需求基礎下而誕生的一個職業(yè)崗位捞蚂。ETL人才在大數(shù)據(jù)時代炙手可熱的原因之一是：在企業(yè)大數(shù)據(jù)應用的早期階段，Hadoop只是窮人的ETL跷究。
二姓迅、Hadoop開發(fā)
隨著數(shù)據(jù)規(guī)模不斷增大，傳統(tǒng)BI的數(shù)據(jù)處理成本過高企業(yè)負擔加重俊马。而Hadoop廉價的數(shù)據(jù)處理能力被重新挖掘丁存，企業(yè)需求持續(xù)增長。并成為大數(shù)據(jù)人才必須掌握的一種技術柴我。
三解寝、可視化工具開發(fā)
可視化開發(fā)就是在可視化工具提供的圖形用戶界面上，通過操作界面元素艘儒，有可視化開發(fā)工具自動生成相關應用軟件聋伦，輕松跨越多個資源和層次連接所有數(shù)據(jù)。過去界睁，數(shù)據(jù)可視化屬于商業(yè)智能開發(fā)者類別嘉抓，但是隨著Hadoop的崛起，數(shù)據(jù)可視化已經(jīng)成了一項獨立的專業(yè)技能和崗位晕窑。
四、信息架構開發(fā)
大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮卵佛。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能杨赤。信息架構師必須了解如何定義和存檔關鍵元素，確保以最有效的方式進行數(shù)據(jù)管理和利用截汪。信息架構師的關鍵技能包括主數(shù)據(jù)管理疾牲、業(yè)務知識和數(shù)據(jù)建模等。
五衙解、數(shù)據(jù)倉庫研究
為方便企業(yè)決策阳柔，出于分析性報告和決策支持的目的而創(chuàng)建的數(shù)據(jù)倉庫研究崗位是一種所有類型數(shù)據(jù)的戰(zhàn)略集合。為企業(yè)提供業(yè)務智能服務蚓峦，指導業(yè)務流程改進和監(jiān)視時間舌剂、成本、質量和控制暑椰。
六霍转、OLAP開發(fā)
OLAP在線聯(lián)機分析開發(fā)者，負責將數(shù)據(jù)從關系型或非關系型數(shù)據(jù)源中抽取出來建立模型一汽，然后創(chuàng)建數(shù)據(jù)訪問的用戶界面避消，提供高性能的預定義查詢功能。
七、數(shù)據(jù)科學研究
數(shù)據(jù)科學家是一個全新的工種岩喷，能夠將企業(yè)的數(shù)據(jù)和技術轉化為企業(yè)的商業(yè)價值恕沫。隨著數(shù)據(jù)學的進展，越來越多的實際工作將會直接針對數(shù)據(jù)進行纱意，這將使人類認識數(shù)據(jù)婶溯，從而認識自然和行為。
八妇穴、數(shù)據(jù)預測分析
營銷部門經(jīng)常使用預測分析預測用戶行為或鎖定目標用戶爬虱。預測分析開發(fā)者有些場景看上有有些類似數(shù)據(jù)科學家，即在企業(yè)歷史數(shù)據(jù)的基礎上通過假設來測試閾值并預測未來的表現(xiàn)腾它。
九跑筝、企業(yè)數(shù)據(jù)管理
企業(yè)要提高數(shù)據(jù)質量必須考慮進行數(shù)據(jù)管理，并需要為此設立數(shù)據(jù)管家職位瞒滴，這一職位的人員需要能夠利用各種技術工具匯集企業(yè)周圍的大量數(shù)據(jù)曲梗，并將數(shù)據(jù)清洗和規(guī)范化，將數(shù)據(jù)導入數(shù)據(jù)倉庫中妓忍，成為一個可用的版本虏两。
十、數(shù)據(jù)安全研究
數(shù)據(jù)安全這一職位世剖，主要負責企業(yè)內(nèi)部大型服務器定罢、存儲、數(shù)據(jù)安全管理工作旁瘫，并對網(wǎng)絡祖凫、信息安全項目進行規(guī)劃、設計和實施酬凳。
第三：大數(shù)據(jù)學習線路
大數(shù)據(jù)是對海量數(shù)據(jù)進行存儲惠况、計算、統(tǒng)計宁仔、分析處理的一系列處理手段稠屠，處理的數(shù)據(jù)量通常是TB級，甚至是PB或EB級的數(shù)據(jù)翎苫，這是傳統(tǒng)數(shù)據(jù)處理手段所無法完成的权埠，其涉及的技術有分布式計算、高并發(fā)處理煎谍、高可用處理弊知、集群、實時性計算等粱快，匯集了當前IT領域熱門流行的IT技術秩彤。大數(shù)據(jù)入門叔扼，需要學習以下這些知識點：
1、Java編程技術
Java編程技術是大數(shù)據(jù)學習的基礎漫雷，Java是一種強類型語言瓜富，擁有極高的跨平臺能力，可以編寫桌面應用程序降盹、Web應用程序与柑、分布式系統(tǒng)和嵌入式系統(tǒng)應用程序等，是大數(shù)據(jù)工程師最喜歡的編程工具蓄坏，因此价捧，想學好大數(shù)據(jù)，掌握Java基礎是必不可少的涡戳。
2结蟋、Linux命令
對于大數(shù)據(jù)開發(fā)通常是在Linux環(huán)境下進行的，相比Linux操作系統(tǒng)渔彰，Windows操作系統(tǒng)是封閉的操作系統(tǒng)嵌屎，開源的大數(shù)據(jù)軟件很受限制，因此恍涂，想從事大數(shù)據(jù)開發(fā)相關工作宝惰，還需掌握Linux基礎操作命令。
3再沧、Hadoop
Hadoop是大數(shù)據(jù)開發(fā)的重要框架尼夺，其核心是HDFS和MapReduce，HDFS為海量的數(shù)據(jù)提供了存儲炒瘸，MapReduce為海量的數(shù)據(jù)提供了計算淤堵，因此，需要重點掌握什燕，除此之外，還需要掌握Hadoop集群竞端、Hadoop集群管理屎即、YARN以及Hadoop高級管理等相關技術與操作!
4、Hive
Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具事富，可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表技俐，并提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行统台，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析雕擂。對于Hive需掌握其安裝、應用及高級操作等贱勃。
5井赌、Avro與Protobuf
Avro與Protobuf均是數(shù)據(jù)序列化系統(tǒng)谤逼，可以提供豐富的數(shù)據(jù)結構類型，十分適合做數(shù)據(jù)存儲仇穗，還可進行不同語言之間相互通信的數(shù)據(jù)交換格式流部，學習大數(shù)據(jù)，需掌握其具體用法纹坐。
6枝冀、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要組件，是一個為分布式應用提供一致性服務的軟件耘子，提供的功能包括：配置維護果漾、域名服務、分布式同步谷誓、組件服務等绒障，在大數(shù)據(jù)開發(fā)中要掌握ZooKeeper的常用命令及功能的實現(xiàn)方法。
7片林、HBase
HBase是一個分布式的端盆、面向列的開源數(shù)據(jù)庫，它不同于一般的關系數(shù)據(jù)庫费封，更適合于非結構化數(shù)據(jù)存儲的數(shù)據(jù)庫焕妙，是一個高可靠性、高性能弓摘、面向列焚鹊、可伸縮的分布式存儲系統(tǒng)，大數(shù)據(jù)開發(fā)需掌握HBase基礎知識韧献、應用末患、架構以及高級用法等。
8锤窑、phoenix
phoenix是用Java編寫的基于JDBC API操作HBase的開源SQL引擎璧针，其具有動態(tài)列、散列加載渊啰、查詢服務器探橱、追蹤、事務绘证、用戶自定義函數(shù)隧膏、二級索引、命名空間映射嚷那、數(shù)據(jù)收集胞枕、行時間戳列、分頁查詢魏宽、跳躍查詢腐泻、視圖以及多租戶的特性决乎，大數(shù)據(jù)開發(fā)需掌握其原理和使用方法。
9贫悄、Redis
Redis是一個key-value存儲系統(tǒng)瑞驱，其出現(xiàn)很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關系數(shù)據(jù)庫起到很好的補充作用窄坦，它提供了Java唤反，C/C++，C#鸭津，PHP彤侍，JavaScript，Perl逆趋，Object-C盏阶，Python，Ruby闻书，Erlang等客戶端名斟，使用很方便，大數(shù)據(jù)開發(fā)需掌握Redis的安裝魄眉、配置及相關使用方法砰盐。
10、Flume
Flume是一款高可用坑律、高可靠岩梳、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)晃择，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方冀值，用于收集數(shù)據(jù);同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理宫屠，并寫到各種數(shù)據(jù)接受方(可定制)的能力列疗。大數(shù)據(jù)開發(fā)需掌握其安裝、配置以及相關使用方法浪蹂。
11抵栈、SSM
SSM框架是由Spring、SpringMVC乌逐、MyBatis三個開源框架整合而成竭讳，常作為數(shù)據(jù)源較簡單的web項目的框架创葡。大數(shù)據(jù)開發(fā)需分別掌握Spring浙踢、SpringMVC、MyBatis三種框架的同時灿渴，再使用SSM進行整合操作洛波。
12胰舆、Kafka
Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，其在大數(shù)據(jù)開發(fā)應用上的目的是通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理蹬挤，也是為了通過集群來提供實時的消息缚窿。大數(shù)據(jù)開發(fā)需掌握Kafka架構原理及各組件的作用和使用方法及相關功能的實現(xiàn)。
13焰扳、Scala
Scala是一門多范式的編程語言倦零，大數(shù)據(jù)開發(fā)重要框架Spark是采用Scala語言設計的，想要學好Spark框架吨悍，擁有Scala基礎是必不可少的扫茅，因此，大數(shù)據(jù)開發(fā)需掌握Scala編程基礎知識!
14育瓜、Spark
Spark是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎葫隙，其提供了一個全面、統(tǒng)一的框架用于管理各種不同性質的數(shù)據(jù)集和數(shù)據(jù)源的大數(shù)據(jù)處理的需求躏仇，大數(shù)據(jù)開發(fā)需掌握Spark基礎恋脚、SparkJob、Spark RDD焰手、spark job部署與資源分配糟描、Spark shuffle、Spark內(nèi)存管理册倒、Spark廣播變量蚓挤、Spark SQL、Spark Streaming以及Spark ML等相關知識驻子。
15灿意、Azkaban
Azkaban是一個批量工作流任務調度器，可用于在一個工作流內(nèi)以一個特定的順序運行一組工作和流程崇呵，可以利用Azkaban來完成大數(shù)據(jù)的任務調度缤剧，大數(shù)據(jù)開發(fā)需掌握Azkaban的相關配置及語法規(guī)則。
16域慷、Python與數(shù)據(jù)分析
Python是面向對象的編程語言荒辕，擁有豐富的庫，使用簡單犹褒，應用廣泛抵窒，在大數(shù)據(jù)領域也有所應用，主要可用于數(shù)據(jù)采集叠骑、數(shù)據(jù)分析以及數(shù)據(jù)可視化等李皇，因此，大數(shù)據(jù)開發(fā)需學習一定的Python知識宙枷。
