（由于平臺(tái)限制，公式無法正常顯示，更好排版請?jiān)L問我的博客：https://tianle.me/2017/12/12/jd/）項(xiàng)目源代碼：https://github.com/...
發(fā)簡信
IP屬地：北京
-
2017京東金融信貸需求預(yù)測 賽題總結(jié) -
如何正確地解答海量數(shù)據(jù)處理面試題一. 基礎(chǔ)知識 1. 哈希函數(shù) 經(jīng)典的哈希函數(shù)有MD5, SHA1等, 不是必須掌握, 可以適當(dāng)了解. 2. map-reduce 原理展現(xiàn): 使用word-count案例 ...
-
Spark的Driver和ApplicationMaster進(jìn)程核數(shù)設(shè)置之我見
配置 源碼 具體可以參見yarn.Client.scala#L87叉抡，這邊用去讀取參數(shù)設(shè)置ApplicationMaster的對應(yīng)核數(shù)尔崔。 具體可以參見yarn.Client.s...
-
一個(gè)引發(fā)Spark在Executor端Shuffle Write發(fā)生StackOverFlow的case
引子 有一天，一個(gè)客戶帶著下面StackOverFlow錯(cuò)誤棧來找我褥民，簡單的主訴之后發(fā)現(xiàn)應(yīng)該是shuffle wtrite階段寫中間文件的時(shí)候序列化發(fā)生了死循環(huán)季春。 客戶：xs...
-
2018年 九大改變世界的技術(shù)趨勢技術(shù)的世界正在爆炸式發(fā)展，“日新月異”不再是一個(gè)修辭消返，而是正在發(fā)生的現(xiàn)實(shí)载弄。在這其中，有一些發(fā)展趨勢注定要改變世界撵颊，改變我們的生活方式宇攻。在此，我們借鑒美國大數(shù)據(jù)專家Bernar...
-
Spark-sql[1]-antrl4的入門以及在spark中的實(shí)現(xiàn)we are all in the gutter,but some of us are looking at the stars. --王爾德Just For M 為了更方便...
-
深度學(xué)習(xí)思考
機(jī)器學(xué)習(xí)的套路 大部分機(jī)器學(xué)習(xí)算法(包括深度學(xué)習(xí))倡勇，其實(shí)是在一個(gè)理想空間里（接下來我們會(huì)以三維空間為例子）尋找一個(gè)最大/最小值逞刷。三維空間是無限大的，在某個(gè)實(shí)際場景妻熊，假設(shè)我們有...
