這兩天花了點時間重裝了win 10,必要的開發(fā)常用工具如IDE Idea以及運行spark等任務需要的hadoop本地依賴環(huán)境重新配起來丰榴，記錄下簡要步驟和幾個小問題希望能給...
發(fā)簡信
IP屬地：福建
-
安裝Idea(集成scala)以及在windows上配置spark(hadoop依賴)本地開發(fā)環(huán)境
-
【容錯篇】Spark Streaming的還原藥水——Checkpoint一個 Streaming Application 往往需要7*24不間斷的跑屁魏，所以需要有抵御意外的能力（比如機器或者系統(tǒng)掛掉昨悼，JVM crash等）。為了讓這成為可能妓灌，Spa...
-
開發(fā)工具總結（5）之Markdown語法圖文全面詳解及其工具介紹版權聲明：本文為博主原創(chuàng)文章(少量文字參考他人博文轨蛤，已加上引用說明)，未經(jīng)博主允許不得轉(zhuǎn)載虫埂。http://www.reibang.com/p/c0a2897ad4eb 轉(zhuǎn)載...
-
Spark Sql 源碼剖析（一）：sql 執(zhí)行的主要流程本文基于 Spark 2.1祥山，其他版本實現(xiàn)可能會有所不同 之前寫過不少 Spark Core、Spark Streaming 相關的文章掉伏，但使用更廣泛的 Spark Sql ...
-
機器學習通用框架
每個數(shù)據(jù)科學家每天都要處理成噸的數(shù)據(jù)缝呕，而他們60%~70%的時間都在進行數(shù)據(jù)清洗和數(shù)據(jù)格式調(diào)整，將原始數(shù)據(jù)轉(zhuǎn)變?yōu)榭梢杂脵C器學習所識別的形式斧散。本文主要集中在數(shù)據(jù)清洗后的過程供常，也...
-
-
一篇文章，教你學會Git在日常工作中悲立，經(jīng)常會用到Git操作鹿寨。但是對于新人來講，剛上來對Git很陌生薪夕，操作起來也很懵逼脚草。本篇文章主要針對剛開始接觸Git的新人，理解Git的基本原理原献，掌握常用的一些命令...
-
程序員馏慨，你迷惘嗎埂淮？文/JamFF 程序員的職業(yè)規(guī)劃，在工作2到3年時確立最佳写隶。這時褪去新人的標簽倔撞，有一定代碼的積累，可以得心應手的完成工作慕趴，完整的做過幾個項目痪蝇，對產(chǎn)品運作以及行業(yè)知識有了一定了...
