年前干貨：數(shù)據(jù)工程師必備的學(xué)習(xí)資源（附鏈接）

在建立模型之前只泼，在數(shù)據(jù)經(jīng)過清洗用于探索分析之前如孝，甚至在數(shù)據(jù)科學(xué)家工作開始之前，數(shù)據(jù)工程師就已經(jīng)閃亮登場了寇蚊。每一個數(shù)據(jù)驅(qū)動的業(yè)務(wù)都需要一個適用于數(shù)據(jù)科學(xué)管道的框架峭判，否則就是失敗的配置开缎。

大多數(shù)人懷揣著成為數(shù)據(jù)科學(xué)家的夢想進(jìn)入數(shù)據(jù)科學(xué)世界，但卻沒有意識到數(shù)據(jù)工程師是做什么的朝抖，或者這個角色需要具備什么能力啥箭。數(shù)據(jù)工程師是數(shù)據(jù)科學(xué)項目的重要組成部分，以至于在當(dāng)今數(shù)據(jù)豐富的環(huán)境里治宣，產(chǎn)業(yè)對他們的需求正在指數(shù)式地上漲急侥。

目前，沒有統(tǒng)一的或者正式的學(xué)習(xí)路線可供數(shù)據(jù)工程師使用侮邀。大多數(shù)擔(dān)任這個角色的人是通過在工作中學(xué)習(xí)的坏怪，而不是遵循一個詳細(xì)的學(xué)習(xí)路線。我寫這篇文章的目的是幫助那些想成為數(shù)據(jù)工程師绊茧，但卻不知道從哪里開始以及從哪里找到學(xué)習(xí)資源的人铝宵。對大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么华畏，能做什么鹏秋，學(xué)的時候，該按照什么線路去學(xué)習(xí)亡笑，學(xué)完往哪方面發(fā)展侣夷，想深入了解，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)qq群：458345782仑乌，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實戰(zhàn)）分享給大家百拓，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費授課，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實戰(zhàn)實用學(xué)習(xí)流程體系 晰甚。

本文中衙传，我列出了所有有抱負(fù)的數(shù)據(jù)工程師需要知道的事情。首先厕九，我們將了解什么是數(shù)據(jù)工程師蓖捶，以及該角色和數(shù)據(jù)科學(xué)家的區(qū)別，然后將繼續(xù)討論你的技能寶箱中應(yīng)該有的核心技能扁远，以便完全勝任這個工作腺阳，最后我還提到了一些應(yīng)該考慮的行業(yè)認(rèn)可證書。

好了穿香，讓我們直接開始吧！

目錄

1.?什么是數(shù)據(jù)工程師

2.?數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的區(qū)別

3.?數(shù)據(jù)工程中的不同角色

4.?數(shù)據(jù)工程認(rèn)證

5.?核心數(shù)據(jù)工程技能及其學(xué)習(xí)資源

數(shù)據(jù)工程簡介

基本語言要求：Python

扎實的操作系統(tǒng)知識

豐富绎速、深入的數(shù)據(jù)庫知識-SQL和NoSQL

數(shù)據(jù)倉庫-Hadoop皮获、MapReduce、Hive纹冤、Pig洒宝、Apache?Spark购公、Kafka

基本的機器學(xué)習(xí)知識

6. 總結(jié)

1. 什么是數(shù)據(jù)工程師

數(shù)據(jù)工程師負(fù)責(zé)構(gòu)建和維護(hù)數(shù)據(jù)科學(xué)項目的數(shù)據(jù)架構(gòu)，他們必須確保服務(wù)器和應(yīng)用程序之間的數(shù)據(jù)流是連續(xù)的雁歌。改進(jìn)數(shù)據(jù)基礎(chǔ)應(yīng)用程序宏浩，將新的數(shù)據(jù)管理技術(shù)和軟件集成到現(xiàn)有系統(tǒng)中，構(gòu)建數(shù)據(jù)收集管道及其他各種各樣的事情靠瞎，都屬于數(shù)據(jù)工程師的職責(zé)比庄。

數(shù)據(jù)工程中最受歡迎的技能之一是設(shè)計和構(gòu)建數(shù)據(jù)倉庫的能力。數(shù)據(jù)倉庫是收集乏盐、存儲和檢索所有原始數(shù)據(jù)的地方佳窑，如果沒有數(shù)據(jù)倉庫，一個數(shù)據(jù)科學(xué)家做的所有任務(wù)就會變得要么太昂貴父能，要么太大神凑，以至于無法拓展。

ETL（提取何吝、轉(zhuǎn)換和載入）是數(shù)據(jù)工程師構(gòu)建數(shù)據(jù)管道所遵循的步驟溉委，它實際上是一份關(guān)于如何處理、轉(zhuǎn)換收集來的原始數(shù)據(jù)以備分析的藍(lán)圖爱榕。

數(shù)據(jù)工程師通常有著工程背景瓣喊，與數(shù)據(jù)科學(xué)家不同的是，這個角色不需要太多的學(xué)術(shù)和科學(xué)知識呆细。因此型宝，對構(gòu)建大規(guī)模結(jié)構(gòu)和體系結(jié)構(gòu)的開發(fā)人員或工程師非常適合這個角色。

2. 數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師之間的區(qū)別

了解這兩種角色之間的區(qū)別非常重要絮爷。從廣義上講趴酣，數(shù)據(jù)科學(xué)家綜合使用統(tǒng)計學(xué)全封、數(shù)學(xué)芙粱、機器學(xué)習(xí)和行業(yè)知識來構(gòu)建模型。他/她必須使用組織支持的相同工具/語言和框架來編碼和構(gòu)建這些模型宠漩。而數(shù)據(jù)工程師必須構(gòu)建并維護(hù)適用于數(shù)據(jù)收集柜蜈、處理和部署數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)結(jié)構(gòu)和體系架構(gòu)仗谆。構(gòu)建數(shù)據(jù)收集和存儲管道，將數(shù)據(jù)匯總給數(shù)據(jù)科學(xué)家淑履，從而將模型投入生產(chǎn)-這些只是數(shù)據(jù)工程師必須執(zhí)行的任務(wù)中的一部分隶垮。

要使任何大規(guī)模數(shù)據(jù)科學(xué)項目取得成功，數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師需要攜手合作秘噪，否則事情很快就會出錯狸吞。

要了解有關(guān)這兩個角色之間差異的更多信息，請訪問我們的詳細(xì)信息圖。

詳細(xì)信息圖：

https://www.analyticsvidhya.com/blog/2015/10/job-comparison-data-scientist-data-engineer-statistician/

3. 與數(shù)據(jù)工程相關(guān)的不同角色

數(shù)據(jù)架構(gòu)師：數(shù)據(jù)架構(gòu)師為數(shù)據(jù)管理系統(tǒng)收集蹋偏、整合和維護(hù)所有的數(shù)據(jù)源奠定基礎(chǔ)便斥，這個角色需要了解SQL、XML威始、Hive枢纠、Pig、Spark等工具黎棠。

數(shù)據(jù)庫管理員：顧名思義晋渺，擔(dān)任此角色的人需要對數(shù)據(jù)庫有著廣泛的了解。職責(zé)包括確保數(shù)據(jù)庫對所有需要的用戶可用葫掉，適當(dāng)?shù)鼐S護(hù)數(shù)據(jù)庫些举，并且保證在添加新特性時沒有任何中斷。

數(shù)據(jù)工程師：精通以上眾多技巧的人俭厚。正如我們所見户魏，數(shù)據(jù)工程師需要掌握數(shù)據(jù)庫工具、Python和Java語言挪挤、分布式系統(tǒng)（如Hadoop）等知識叼丑，這個角色負(fù)責(zé)多種組合任務(wù)。

4. 數(shù)據(jù)工程認(rèn)證

谷歌認(rèn)證專家

這是目前最重要的數(shù)據(jù)工程認(rèn)證之一扛门。要獲得此證書鸠信，你需要成功地通過一個具有挑戰(zhàn)性的、2個小時多的考試论寨，題型是多項選擇題星立。你可以在這個網(wǎng)頁上找到考試內(nèi)容的大體范圍，此外葬凳，這個網(wǎng)頁提供給了一些實際操作谷歌云技術(shù)的實踐指南绰垂。請一定要看一下！

谷歌認(rèn)證專家：

https://cloud.google.com/certification/data-engineer

IBM認(rèn)證數(shù)據(jù)工程師

要獲得證書火焰，你需要通過這個考試劲装。考試包含54個問題昌简，你必須正確回答44個占业。我建議在考試前，先了解IBM希望你了解的內(nèi)容纯赎∏玻“考試”鏈接中還提供了學(xué)習(xí)資料的進(jìn)一步鏈接，你可以參考這些資料進(jìn)行準(zhǔn)備犬金。

IBM認(rèn)證數(shù)據(jù)工程師：

https://www.ibm.com/certify/cert?id=50001501

考試：

https://www.ibm.com/certify/exam?id=C2090-101

Cloudera的CCP數(shù)據(jù)工程師

這是另一個全球公認(rèn)的認(rèn)證念恍，對新手來說是一個相當(dāng)具有挑戰(zhàn)性的認(rèn)證碎紊。你的概念需要更新和深入，你應(yīng)該有一些使用數(shù)據(jù)工程工具的實踐經(jīng)驗樊诺，如Hadoop，Oozie音同，AWS Sandbox等词爬。但是，如果你通過這次考試权均，對于你獲得開啟數(shù)據(jù)工程領(lǐng)域工作來說顿膨，會是一個充滿希望的開始！

Cloudera曾提到叽赊，如果你參加他們的Apache Spark和Hadoop培訓(xùn)課程恋沃，這將有助于你通過考試，原因是考試主要基于這兩個工具必指。

Cloudera的CCP數(shù)據(jù)工程師：

https://www.cloudera.com/more/training/certification/ccp-data-engineer.html

Apache Spark和Hadoop培訓(xùn)課程：

https://www.cloudera.com/more/training/courses/developer-training-for-spark-and-hadoop.html

5. 數(shù)據(jù)工程核心技能及其學(xué)習(xí)資源

數(shù)據(jù)工程簡介

基本語言要求：Python

扎實的操作系統(tǒng)知識

豐富囊咏、深入的數(shù)據(jù)庫知識-SQL和NoSQL

數(shù)據(jù)倉庫-Hadoop、MapReduce塔橡、Hive梅割、Pig、Apache?Spark葛家、Kafka

基本的機器學(xué)習(xí)知識

a. 數(shù)據(jù)工程簡介

在深入了解角色之間的不同方面之前户辞，首先得了解數(shù)據(jù)工程的實質(zhì)是什么。數(shù)據(jù)工程每天執(zhí)行的不同工作是什么癞谒？頂尖技術(shù)公司想要怎樣的數(shù)據(jù)工程師底燎？你是應(yīng)該了解可見的所有一切，還是僅僅了解與某一特定角色相關(guān)的東西弹砚？我的目的是提供以下參考資料双仍，以助你找到這些問題或者其余更多問題的答案。

《數(shù)據(jù)工程入門指南》（第1部分）：這是一篇非常受歡迎的迅栅、有關(guān)數(shù)據(jù)工程的文章殊校，出自愛彼迎（Airbnb）的一位數(shù)據(jù)科學(xué)家之手。作者首先解釋了為什么數(shù)據(jù)工程是所有機器學(xué)習(xí)項目中如此關(guān)鍵的一方面读存，然后深入探討了本主題的每個部分为流。我認(rèn)為這是所有想要成為數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家的新手們必讀的一篇文章让簿。

《數(shù)據(jù)工程入門指南》（第1部分）：

https://medium.com/@rchang/a-beginners-guide-to-data-engineering-part-i-4227c5c457d7

《數(shù)據(jù)工程入門指南》（第2部分）：接著上面的文章敬察，第2部分將介紹數(shù)據(jù)建模、數(shù)據(jù)分區(qū)尔当、Airflow和ETL的最佳實踐莲祸。

《數(shù)據(jù)工程入門指南》（第2部分）：

https://medium.com/@rchang/a-beginners-guide-to-data-engineering-part-ii-47c4e7cbda71

《數(shù)據(jù)工程入門指南》（第3部分）：這是入門指南系列中的最后一部分蹂安，本部分將介紹數(shù)據(jù)工程框架的概念。在整個系列中锐帜，作者不斷將理論與Airbnb的實踐相結(jié)合田盈，從而寫了一篇篇精妙絕倫的文章，而且還在持續(xù)更新中缴阎。

《數(shù)據(jù)工程入門指南》（第3部分）：

https://medium.com/@rchang/a-beginners-guide-to-data-engineering-the-series-finale-2cc92ff14b0

O'Reilly的免費數(shù)據(jù)工程電子書套件：O'Reilly以其優(yōu)秀的圖書而出名允瞧，這一系列也不例外。不過蛮拔，這些書是免費的述暂！向下滾動到“大數(shù)據(jù)架構(gòu)”部分，查看那里的書籍建炫。有些書籍需要有大數(shù)據(jù)基礎(chǔ)設(shè)施的基本知識畦韭，但這些書將有助于你熟悉復(fù)雜的數(shù)據(jù)工程任務(wù)。

O'Reilly的免費數(shù)據(jù)工程電子書套件：

https://www.oreilly.com/data/free/

b. 基本語言要求：Python

雖然還有其他的數(shù)據(jù)工程專用編程語言（如JAVA和Scala）肛跌，但我們本文將只關(guān)注Python艺配。我們看到業(yè)界已經(jīng)明顯轉(zhuǎn)向使用Python，而且使用率正在快速上升惋砂。它已經(jīng)成為數(shù)據(jù)工程師（和數(shù)據(jù)科學(xué)家）技能的重要組成部分妒挎。

網(wǎng)絡(luò)上有大量的學(xué)習(xí)Python資源，我在下面提到了其中的一些西饵。

在Scratch平臺上使用Python學(xué)習(xí)數(shù)據(jù)科學(xué)的完整教程：KunalJain的這篇文章涵蓋了一系列可以用來開始學(xué)習(xí)和提升Python的資源酝掩，這是必讀的資源。

在Scratch平臺上使用Python學(xué)習(xí)數(shù)據(jù)科學(xué)的完整教程：

https://www.analyticsvidhya.com/blog/2016/01/complete-tutorial-learn-data-science-python-scratch-2/

使用Python的數(shù)據(jù)科學(xué)導(dǎo)論：這是Analytics Vidhya上最受歡迎的課程眷柔，涵蓋了Python的基本知識期虾。我們還額外介紹了核心統(tǒng)計概念和預(yù)測建模方法，以鞏固你對python和數(shù)據(jù)科學(xué)基礎(chǔ)的理解驯嘱。

使用Python的數(shù)據(jù)科學(xué)導(dǎo)論：

https://trainings.analyticsvidhya.com/courses/coursev1:AnalyticsVidhya+DS101+2018T2/about

Codeacademy上學(xué)習(xí)Python課程：本課程不需要編程基礎(chǔ)镶苞，絕對是從python的最基礎(chǔ)開始，這是一個很好的起點鞠评。

Codeacademy上學(xué)習(xí)Python課程：

https://www.codecademy.com/learn/learn-python

如果你喜歡通過書本來學(xué)習(xí)茂蚓，下面是一些免費的電子書，便于你開始學(xué)習(xí)：

Allen Downey的《思考Python》：全面深入地介紹了Python語言剃幌，非常適合新手聋涨，甚至非程序員。

Allen Downey的《思考Python》：

http://www.greenteapress.com/thinkpython/thinkpython.pdf

Python?3的非程序員教程：顧名思義负乡，它是非IT背景和非技術(shù)背景新手們的完美起點牍白，每章都有大量的示例來測試你的知識。

Python?3的非程序員教程：

https://upload.wikimedia.org/wikipedia/commons/1/1d/Non-Programmer%27s_Tutorial_for_Python_3.pdf

c. 扎實的操作系統(tǒng)知識

在整個數(shù)據(jù)科學(xué)世界的“機器”中抖棘，操作系統(tǒng)是使管道運轉(zhuǎn)起來的重要“齒輪”茂腥。數(shù)據(jù)工程師應(yīng)該了解基礎(chǔ)設(shè)施組件（如虛擬機狸涌、網(wǎng)絡(luò)、應(yīng)用程序服務(wù)等）的輸入和輸出最岗。你對服務(wù)器管理有多精通帕胆？你對Linux是否有足夠的了解，可以瀏覽不同的配置嗎般渡？你對訪問控制方法有多熟悉惶楼？作為一名數(shù)據(jù)工程師，這些只是你將面臨的一些問題诊杆。

Linux服務(wù)器管理和安全：本課程是為那些想了解Linux如何在公司應(yīng)用的人而設(shè)計的，課程內(nèi)容分為4周（最后還有一個項目）何陆，詳細(xì)介紹了這個主題中的所有基本內(nèi)容晨汹。

Linux服務(wù)器管理和安全：

https://www.coursera.org/learn/linux-server-management-security

CS401-操作系統(tǒng)：和其他操作系統(tǒng)課程一樣全面，這個課程包含9個部分贷盲，專門介紹操作系統(tǒng)的不同方面淘这。主要介紹基于Unix的系統(tǒng)，盡管Windows也包括在內(nèi)巩剖。

CS401-操作系統(tǒng)：

https://learn.saylor.org/course/cs401

Raspberry Pi平臺和Raspberry Pi的python編程：這是一個炙手可熱的編程方式铝穷，現(xiàn)在對這種編程人員的需求空前高漲。本課程旨在讓你熟悉Raspberry Pi環(huán)境佳魔，并讓你開始學(xué)習(xí)Raspberry PI上的python基本代碼曙聂。

Raspberry Pi平臺和Raspberry Pi的python編程：

https://www.coursera.org/learn/raspberry-pi-platform

d. 豐富、深入的數(shù)據(jù)庫知識-SQL和NoSQL

為了成為一名數(shù)據(jù)工程師鞠鲜，你需要熟練掌握數(shù)據(jù)庫語言和工具宁脊。這是另一個非常基本的要求贤姆，你需要具備實時從數(shù)據(jù)庫收集榆苞、存儲和查詢信息的能力。現(xiàn)今有很多可用的數(shù)據(jù)庫霞捡，我已經(jīng)列出了目前在業(yè)界廣泛使用的數(shù)據(jù)庫的相關(guān)資源坐漏，分為SQL和NoSQL兩部分。

SQL數(shù)據(jù)庫

免費學(xué)習(xí)SQL:這是codecademy另一個課程碧信，你可以在這里學(xué)到SQL很基本的知識赊琳，像操作、查詢音婶、聚合函數(shù)這些主題從一開始就涵蓋了慨畸。如果你是這個領(lǐng)域的新手，沒有比這更好的起點了衣式。

免費學(xué)習(xí)SQL:

https://www.codecademy.com/learn/learn-sql

快速查找SQL命令的備忘錄：一個非常有用的Github存儲庫寸士，包含定期更新的SQL查詢和示例檐什。為了保證你在任何時候都可以快速查找SQL相關(guān)命令，請將為這個存儲庫加入收藏弱卡，作為日常參考乃正。

快速查找SQL命令的備忘錄：

https://github.com/enochtangg/quick-SQL-cheatsheet

MYSQL教程：MySQL創(chuàng)建于20多年前，至今仍是業(yè)界的熱門選擇婶博。這個資源是一個基于文本的教程瓮具，易于理解。這個站點最酷的是凡人，每個主題都附帶實用示例的SQL腳本和屏幕截圖名党。

MYSQL教程：

http://www.mysqltutorial.org/

學(xué)習(xí)Microsoft?SQL Server：本教程從基礎(chǔ)知識到更高的主題探討SQL Sever的概念，并以代碼和詳細(xì)的屏幕截圖的方式解釋了概念挠轴。

學(xué)習(xí)Microsoft?SQL Server：

https://www.tutorialspoint.com/ms_sql_server/

PostgreSQL教程：這是一個讓人驚叫的詳細(xì)指南传睹，讓你開始和熟悉PostgreSQL。本教程分為16個部分岸晦，因此你完全可以想象出該課程的覆蓋面有多廣欧啤。

PostgreSQL教程：

http://www.postgresqltutorial.com/

Oracle?Live?SQL：誰能比創(chuàng)建者更好地學(xué)習(xí)Oracle?SQL數(shù)據(jù)庫？這個平臺設(shè)計得非常好提供了良好的終端用戶體驗启上。你可以在這個平臺上查看腳本和教程邢隧，然后還可以在這里編碼。哇冈在，這太棒啦倒慧！

Oracle?Live?SQL：

https://livesql.oracle.com/apex/f?p=590:1000

NoSQL數(shù)據(jù)庫

MongoDB來自MongoDB：這是目前最流行的NoSQL數(shù)據(jù)庫，和上面提及的Oracle培訓(xùn)課程一樣包券，學(xué)習(xí)MongoDB最好的方式是從創(chuàng)建它的大師們那里學(xué)習(xí)迫靖。我在這里鏈接了他們的整個課程目錄，你可以選擇你想?yún)⒓拥呐嘤?xùn)課程兴使。

MongoDB來自MongoDB：

https://university.mongodb.com/courses/catalog

MongoDB簡介：本課程將幫助你快速啟動和運行MongoDB系宜，并教你如何利用它進(jìn)行數(shù)據(jù)分析。這是一個為期3周的短課程发魄，但有大量的練習(xí)盹牧。當(dāng)你完成的時候，會覺得自己就是一名專家了励幼！

MongoDB簡介：

https://www.coursera.org/learn/introduction-mongodb

學(xué)習(xí)Cassandra：如果你正在尋找一個優(yōu)秀的汰寓、基于文本的、新手易于理解的Cassandra簡介苹粟，這會是一個完美的資源有滑。像Cassandra的架構(gòu)、安裝嵌削、關(guān)鍵操作等主題都會在這里有所介紹毛好，本教程還提供了專門的章節(jié)來講解CQL種可用的數(shù)據(jù)類型和集合望艺、以及如何使用用戶自定義的數(shù)據(jù)類型。

學(xué)習(xí)Cassandra：

https://www.tutorialspoint.com/cassandra/index.htm

Redis Enterprise：了解Redis的資源不多肌访，但這一個站點就足夠了找默。有多個課程和精心設(shè)計的視頻，使人沉浸其中吼驶，樂趣無窮惩激，而且它是免費的！

Redis Enterprise：

https://university.redislabs.com/

Google?Bigtable：作為Google的產(chǎn)品蟹演，學(xué)習(xí)BigTable工作原理的資源稀缺得讓人驚訝风钻，我鏈接了一個包含大量谷歌云主題的課程，你可以向下滾動酒请，選擇BigTable（或BigQuery）魄咕。不過，我建議你仔細(xì)閱讀整個課程蚌父，因為它提供了有關(guān)谷歌整個云產(chǎn)品如何工作的寶貴見解。

Google?Bigtable：

https://www.coursera.org/learn/gcp-fundamentals

Couchbase：這里提供多種培訓(xùn)課程（向下滾動查看免費培訓(xùn)課程）毛萌，從初學(xué)者到高級都有苟弛。如果Couchbase是你們所用的數(shù)據(jù)庫，那么你將在這里了解有關(guān)它的所有信息阁将。

Couchbase：

http://training.couchbase.com/store

e. 數(shù)據(jù)倉庫-Hadoop膏秫、MapReduce、Hive做盅、Pig缤削、Apache?Spark、Kafka

現(xiàn)在吹榴，在每一個數(shù)據(jù)工程師的工作描述中都會看到像Hadoop（HDFS）這樣的分布式文件系統(tǒng)亭敢。它是所有角色都需要掌握的，你應(yīng)該非常熟悉图筹。除此之外帅刀，你還需要了解ApacheSpark、Hive远剩、Pig扣溺、Kafka等平臺和框架，我在本節(jié)列出了所有這些主題的資源瓜晤。

Hadoop和MapReduce

Hadoop基礎(chǔ)知識：這本質(zhì)上是Hadoop的學(xué)習(xí)路徑锥余，它包括5門課程，可以讓你深入地了解hadoop是什么痢掠、定義它的體系結(jié)構(gòu)和組件是什么驱犹、如何使用它嘲恍、它的應(yīng)用怎么樣以及其他更多的內(nèi)容。

Hadoop基礎(chǔ)知識：

https://cognitiveclass.ai/learn/hadoop/

Hadoop入門包：對于想要著手開始學(xué)Hadoop的人來說着绷，這是一個非常全面的蛔钙、優(yōu)秀的免費課程。它包括HDFS荠医、MapReduce吁脱、Pig和Hive之類的主題，可以通過免費訪問集群來練習(xí)所學(xué)的內(nèi)容彬向。

Hadoop入門包：

https://www.udemy.com/hadoopstarterkit/

HortonWorks教程：作為Hadoop的創(chuàng)建者兼贡，HortonWorks擁有一套令人萬分期待的課程，可以學(xué)習(xí)與Hadoop相關(guān)的各種知識娃胆。從低級到高級遍希，本頁有著非常全面的教程列表，一定要看一下這個里烦！

HortonWorks教程：

https://hortonworks.com/tutorials/

MapReduce簡介：在閱讀本文之前凿蒜，你需要了解Hadoop的基本工作原理。請完成后胁黑，再回來深入了解MapReduce的世界废封。

MapReduce簡介：

https://www.analyticsvidhya.com/blog/2014/05/introduction-mapreduce/

Hadoop超越了傳統(tǒng)的MapReduce-簡版：本文介紹了Hadoop生態(tài)系統(tǒng)的概述，它超越了簡單的MapReduce丧蘸。

Hadoop超越了傳統(tǒng)的MapReduce-簡版：

https://www.analyticsvidhya.com/blog/2014/11/hadoop-mapreduce/

更喜歡書嗎漂洋？別擔(dān)心，我已經(jīng)幫你選好了力喷！下面是一些免費電子書刽漂，涵蓋hadoop和它的組件。

《Hadoop詳解》：簡要介紹Hadoop的復(fù)雜體系弟孟，對Hadoop的工作原理贝咙、優(yōu)勢、現(xiàn)實場景中的應(yīng)用程序等進(jìn)行了高層次的概述拂募。

《Hadoop詳解》：

https://www.packtpub.com/packt/free-ebook/hadoop-explained

《Hadoop-你應(yīng)該了解的》：這本書和上面的書有相似的內(nèi)容颈畸。正如描述所說，這些書所涵蓋的內(nèi)容足夠讓你了解Hadoop的方方面面没讲，從而做出明智的決策眯娱。

《Hadoop-你應(yīng)該了解的》：

https://www.oreilly.com/data/free/hadoop-what-you-need-to-know.csp?intcmp=il-data-free-lp-lgen_free_reports_page

《使用MapReduce進(jìn)行數(shù)據(jù)密集型文本處理》：這本免費電子書涵蓋了MapReduce的基本知識及其算法的設(shè)計，然后深入探討了你應(yīng)該了解的示例和應(yīng)用程序爬凑。建議你在閱讀這本書之前先上上述課程徙缴。

《使用MapReduce進(jìn)行數(shù)據(jù)密集型文本處理》：

https://lintool.github.io/MapReduceAlgorithms/MapReduce-book-final.pdf

你應(yīng)該加入Hadoop?LinkedIn小組，以保證自己獲取最新的消息，并詢問你的任何問題于样。

Hadoop?LinkedIn小組

https://www.linkedin.com/groups/988957/profile

Apache Spark

Apache?Spark疏叨、RDD和Dataframes（使用PySpark）的綜合指南：這是一篇讓你開始學(xué)習(xí)Apache?Spark的終極文章，屬于必讀指南穿剖。它介紹了Apache?Spark的歷史以及如何使用Python蚤蔓、RDD/Dataframes/Datasets安裝它，然后通過解決機器學(xué)習(xí)問題糊余，對自己的知識點進(jìn)行查漏補缺秀又。

Apache?Spark、RDD和Dataframes（使用PySpark）的綜合指南：

https://www.analyticsvidhya.com/blog/2016/09/comprehensive-introduction-to-apache-spark-rdds-dataframes-using-pyspark/

初學(xué)者學(xué)習(xí)Spark?R的詳細(xì)指南：如果你是R的用戶贬芥，這個就是為你準(zhǔn)備的吐辙！當(dāng)然，你可以使用Spark和R蘸劈，本文可以作為你的指南昏苏。

初學(xué)者學(xué)習(xí)Spark?R的詳細(xì)指南：

https://www.analyticsvidhya.com/blog/2016/06/learning-path-step-step-guide-beginners-learn-sparkr/

Spark的基礎(chǔ)知識：本課程涵蓋Spark的基礎(chǔ)知識、組件威沫、使用方法贤惯、使用它的交互式示例和各種Spark庫，最后了解Spark集群棒掠。你還能從這門課程中要求更多的內(nèi)容嗎孵构？

Spark的基礎(chǔ)知識：

https://cognitiveclass.ai/courses/what-is-spark/

ApacheSpark和AWS簡介：這是一門以實踐為中心的課程。你將處理古登堡項目數(shù)據(jù)句柠，它是世界上最大的電子書開放數(shù)據(jù)集。你還需要了解Python和Unix命令行棒假，以便從本課程中學(xué)到更多溯职。

ApacheSpark和AWS簡介：

https://www.coursera.org/learn/bigdata-cluster-apache-spark-and-aws

涵蓋Hadoop、Spark帽哑、Hive和Spark SQL的綜合教程

大數(shù)據(jù)基礎(chǔ)知識-HDF谜酒、MapReduce和Spark RDD：本課程采用真實的數(shù)據(jù)來教你基本的大數(shù)據(jù)技術(shù)-HDFS、MapReduce和Spark妻枕。這門課程非常詳細(xì)僻族，示例豐富，數(shù)據(jù)集實用屡谐，而且教師很優(yōu)秀述么，屬于經(jīng)典課程。

大數(shù)據(jù)基礎(chǔ)知識-HDF愕掏、MapReduce和Spark RDD：

https://www.coursera.org/learn/big-data-essentials

大數(shù)據(jù)分析-Hive度秘、Spark?SQL、DataFrames 和GraphFrames：MapReduce和Spark解決了處理大數(shù)據(jù)的部分問題饵撑，通過這門直觀的課程你可以掌握這些高級工具剑梳，從而掌握有關(guān)Hive和Spark?SQL等方面的知識唆貌。

大數(shù)據(jù)分析-Hive、Spark?SQL垢乙、DataFrames?和GraphFrames：

https://www.coursera.org/learn/big-data-analysis

大數(shù)據(jù)應(yīng)用-實時流：處理大數(shù)據(jù)的挑戰(zhàn)除了要具備處理數(shù)據(jù)的計算能力锨咙，還要具備盡可能快的處理速度。像推薦引擎這樣的應(yīng)用程序需要實時地進(jìn)行大量數(shù)據(jù)的處理追逮、存儲和查詢酪刀，這就要求你掌握本課程中所提供的諸如Kafka、Cassandra和Redis等系統(tǒng)的知識羊壹。但要學(xué)習(xí)這門課程蓖宦，你需要了解Hadoop、Hive油猫、Python稠茂、Spark和Spark?SQL的應(yīng)用。

大數(shù)據(jù)應(yīng)用-實時流：

https://www.coursera.org/learn/real-time-streaming-big-data

Kafka

使用Apache?Kafka簡化數(shù)據(jù)管道：了解Apache?Kafka及其體系架構(gòu)和使用方法情妖，你需要對Hadoop睬关、Spark和Python有基本的了解，才能真正從本課程中獲得最大的收獲毡证。

使用Apache?Kafka簡化數(shù)據(jù)管道：

https://cognitiveclass.ai/courses/simplifyingdatapipelines/

Kafka官方文檔：這是一個非常直觀地介紹Kafka的工作原理及其組件的網(wǎng)頁电爹，它還提供了一個關(guān)于分布式流媒體平臺的解釋說明，非常棒料睛！

Kafka官方文檔：

https://kafka.apache.org/intro

用Kafka給數(shù)據(jù)科學(xué)家賦能：這本身不是一個很好的學(xué)習(xí)資源疮方，而是一篇介紹Stitch Fix的數(shù)據(jù)工程師如何根據(jù)數(shù)據(jù)科學(xué)家的要求構(gòu)建一個平臺的文章，非常有趣茫虽，而且十分詳細(xì)侄柔。

用Kafka給數(shù)據(jù)科學(xué)家賦能：

https://multithreaded.stitchfix.com/blog/2018/09/05/datahighway/

f. 基本的機器學(xué)習(xí)知識

雖然人們普遍認(rèn)為機器學(xué)習(xí)是數(shù)據(jù)科學(xué)家的領(lǐng)域，但數(shù)據(jù)工程師也需要精通其中的某些技術(shù)居扒，原因在于你需要簡化將模型投入生產(chǎn)的過程和用于數(shù)據(jù)收集概漱、生成的管道。因此喜喂，你需要對機器學(xué)習(xí)算法有一個基本的了解瓤摧。

學(xué)習(xí)機器學(xué)習(xí)基礎(chǔ)知識的新手指南：作者Kunal Jain精彩地介紹了機器學(xué)習(xí)世界，旨在消除你聽到或讀到地所有行話玉吁。指南直截了當(dāng)?shù)厍腥雴栴}的核心照弥，最終你會愛上這種寫作風(fēng)格。

學(xué)習(xí)機器學(xué)習(xí)基礎(chǔ)知識的新手指南：

https://www.analyticsvidhya.com/blog/2015/06/machine-learning-basics/

機器學(xué)習(xí)算法基本知識：這是一篇優(yōu)秀的文章进副，提供了各種對機器學(xué)習(xí)算法的高層次理解产喉，還提供了在R和python實現(xiàn)這些算法的指南，這是開啟你學(xué)習(xí)旅程的絕佳地點！

機器學(xué)習(xí)算法基本知識：

https://www.analyticsvidhya.com/blog/2017/09/common-machine-learning-algorithms/

新手必讀的機器學(xué)習(xí)和人工智能書籍：如果你更喜歡看書曾沈，那么請閱讀本文这嚣！這里收藏了最優(yōu)秀的書，即使你只讀了其中的幾本塞俱，這也會助你朝著夢想中的事業(yè)邁進(jìn)一大步姐帚！

新手必讀的機器學(xué)習(xí)和人工智能書籍：

https://www.analyticsvidhya.com/blog/2018/10/read-books-for-beginners-machine-learning-artificial-intelligence/

提升你知識和技能的24個終極數(shù)據(jù)科學(xué)項目：一旦你獲得了一定量的知識和技能，請一定要把你的理論知識付諸實踐障涯。查看這些數(shù)據(jù)集罐旗，按照易到難的順序，開始處理吧唯蝶！

提升你知識和技能的24個終極數(shù)據(jù)科學(xué)項目：

https://www.analyticsvidhya.com/blog/2018/05/24-ultimate-data-science-projects-to-boost-your-knowledge-and-skills/

6. 總結(jié)

成為一名數(shù)據(jù)工程師并不容易九秀，因為你需要從以上所有的資源中獲取信息，而且你還要有著將工具粘我、技術(shù)和職業(yè)道德融為一體的深入理解鼓蜒。由于現(xiàn)在是數(shù)據(jù)時代，數(shù)據(jù)工程師在業(yè)內(nèi)需求巨大征字，對于任何愿意從事這一工作的人來說都弹，這依舊是一個收入可觀的職業(yè)選擇！

一旦你走上這條路匙姜，就力爭成為數(shù)據(jù)工程師吧畅厢！請在下面的評論區(qū)，告訴我你對這組資源的反饋和建議氮昧。

對大數(shù)據(jù)的概念都是模糊不清的框杜，大數(shù)據(jù)是什么，能做什么袖肥，學(xué)的時候咪辱，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展昭伸，想深入了解梧乘，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)qq群：458345782澎迎，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實戰(zhàn)）分享給大家庐杨，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費授課，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實戰(zhàn)實用學(xué)習(xí)流程體系 夹供。