![240](https://cdn2.jianshu.io/assets/default_avatar/8-a356878e44b45ab268a3b0bbaaadeeb7.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
前言 記得今年一月份在杭州和W君漫步錢塘江賞霾牺六,暢談了兩個小時颤枪,除了聊了研發(fā)的兩觀,全局觀和產(chǎn)品觀, 也聊了數(shù)據(jù)部的組織架構(gòu)淑际。一個良好架構(gòu)布局確實會讓人受益良多畏纲。 架構(gòu)布局 ...
本文基于Spark2.1.0版本 雖然很少有生產(chǎn)環(huán)境用Kafka傳遞超過1M消息的場景(因為高吞吐盗胀、低延時的要求,Kafka 發(fā)布-訂閱模型中Producer-Broker-...
摘要:Linux以其強(qiáng)大的命令行稱霸江湖前翎,Shell命令是數(shù)據(jù)極客的必修兵器稚配。探索性數(shù)據(jù)分析,在需求和數(shù)據(jù)都不太明確的環(huán)境下港华,使用各種命令進(jìn)行一次探索與挖掘道川。從基礎(chǔ)的文件查看...
spark 2.X開始,三者的關(guān)系發(fā)生了變化冒萄,可以參考《且談Apache Spark的API三劍客:RDD臊岸、DataFrame和Dataset》 ,在2.X中DataFram...