前言 記得今年一月份在杭州和W君漫步錢塘江賞霾句伶,暢談了兩個小時,除了聊了研發(fā)的兩觀配猫,全局觀和產(chǎn)品觀, 也聊了數(shù)據(jù)部的組織架構(gòu)。一個良好架構(gòu)布局確實會讓人受益良多杏死。 架構(gòu)布局 ...
![240](https://cdn2.jianshu.io/assets/default_avatar/8-a356878e44b45ab268a3b0bbaaadeeb7.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
前言 記得今年一月份在杭州和W君漫步錢塘江賞霾句伶,暢談了兩個小時,除了聊了研發(fā)的兩觀配猫,全局觀和產(chǎn)品觀, 也聊了數(shù)據(jù)部的組織架構(gòu)。一個良好架構(gòu)布局確實會讓人受益良多杏死。 架構(gòu)布局 ...
本文基于Spark2.1.0版本 雖然很少有生產(chǎn)環(huán)境用Kafka傳遞超過1M消息的場景(因為高吞吐章姓、低延時的要求,Kafka 發(fā)布-訂閱模型中Producer-Broker-...
摘要:Linux以其強大的命令行稱霸江湖凡伊,Shell命令是數(shù)據(jù)極客的必修兵器。探索性數(shù)據(jù)分析窒舟,在需求和數(shù)據(jù)都不太明確的環(huán)境下系忙,使用各種命令進行一次探索與挖掘。從基礎(chǔ)的文件查看...
spark 2.X開始银还,三者的關(guān)系發(fā)生了變化风宁,可以參考《且談Apache Spark的API三劍客:RDD、DataFrame和Dataset》 ,在2.X中DataFram...
由于最近學(xué)習(xí)了Play Framework這個web開發(fā)框架蛹疯,接口的設(shè)計和api非常炫酷戒财。由于是scala寫的,所以這個框架對于和大數(shù)據(jù)框架結(jié)合來說個人覺得最非常適合捺弦。 每次...
程序員最深惡痛絕并力求避免的異常是NullPointerException饮寞,很不幸,我們往往又會忽略這個錯誤列吼。不知是誰設(shè)計了Null這樣的對象幽崩。我在文章《并非Null Obj...
在數(shù)據(jù)分析中,處理Key寞钥,Value的Pair數(shù)據(jù)是極為常見的場景慌申。譬如說,對Pair數(shù)據(jù)按照key分組理郑、聚合蹄溉,又或者更抽象的,則是根據(jù)key對value進行fold運算您炉。 ...