240 發(fā)簡(jiǎn)信
IP屬地:北京
  • 120
    數(shù)據(jù)團(tuán)隊(duì)規(guī)劃布局感悟(一)

    前言 記得今年一月份在杭州和W君漫步錢塘江賞霾媒怯,暢談了兩個(gè)小時(shí),除了聊了研發(fā)的兩觀髓窜,全局觀和產(chǎn)品觀, 也聊了數(shù)據(jù)部的組織架構(gòu)扇苞。一個(gè)良好架構(gòu)布局確實(shí)會(huì)讓人受益良多。 架構(gòu)布局 ...

  • 120
    Spark Streaming如何消費(fèi)Kafka的大消息(30M-40MB)

    本文基于Spark2.1.0版本 雖然很少有生產(chǎn)環(huán)境用Kafka傳遞超過(guò)1M消息的場(chǎng)景(因?yàn)楦咄掏隆⒌脱訒r(shí)的要求程拭,Kafka 發(fā)布-訂閱模型中Producer-Broker-...

  • 120
    0x15 數(shù)據(jù)工程師粤剧,常用Shell命令

    摘要:Linux以其強(qiáng)大的命令行稱霸江湖歇竟,Shell命令是數(shù)據(jù)極客的必修兵器。探索性數(shù)據(jù)分析抵恋,在需求和數(shù)據(jù)都不太明確的環(huán)境下焕议,使用各種命令進(jìn)行一次探索與挖掘。從基礎(chǔ)的文件查看...

  • RDD弧关、DataFrame和DataSet的區(qū)別

    spark 2.X開(kāi)始盅安,三者的關(guān)系發(fā)生了變化,可以參考《且談Apache Spark的API三劍客:RDD世囊、DataFrame和Dataset》 ,在2.X中DataFram...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品