240 發(fā)簡(jiǎn)信
IP屬地:廣東
  • spark DAGSchedulerEventProcessLoop 設(shè)計(jì)原理

    父類(lèi)EventLoop起了一個(gè)Thread瘟芝,監(jiān)聽(tīng)從LinkedBlockingDeque中獲取event易桃,然后用onReceive接收?qǐng)?zhí)行,DA...

  • 6.1.2版本elasticsearch源碼環(huán)境構(gòu)建步驟(idea)

    ElasticSearch構(gòu)建源碼環(huán)境步驟: 以版本6.1.2 on mac, idea為例 準(zhǔn)備:gradle 4.3版本锌俱。jdk10晤郑。 jd...

  • spark->es快速導(dǎo)入數(shù)據(jù)

    elasticsearch-spark 提供了saveToEs api以支持快速導(dǎo)入數(shù)據(jù)。但es集群線程池有限贸宏,在大量寫(xiě)入數(shù)據(jù)的同時(shí)造寝,對(duì)cpu的...

  • spark MapOutputTracker內(nèi)部架構(gòu)

    http://www.reibang.com/p/1409dbc78a15

  • Spark CommitCoordinator 保證數(shù)據(jù)一致性

    本文引用了技術(shù)世界文章,來(lái)自:http://www.jasongj.com/spark/committer/ 問(wèn)題引入 Spark 輸出數(shù)據(jù)到H...

  • 美團(tuán)關(guān)于大數(shù)據(jù)技術(shù)的文章

    Spark性能優(yōu)化指南——基礎(chǔ)篇Spark性能優(yōu)化指南——高級(jí)篇Spark在美團(tuán)的實(shí)踐Kafka文件存儲(chǔ)機(jī)制那些事從實(shí)際案例聊聊Java應(yīng)用的G...

  • Java相關(guān)

    Java容器底層原理 Java高并發(fā)內(nèi)容 JVM 一. 容器底層原理 ArrayList由數(shù)組實(shí)現(xiàn)吭练,初始化數(shù)組長(zhǎng)度诫龙,每次增加都會(huì)變成之前的1.5...

  • 大數(shù)據(jù)相關(guān)

    hadoop原理 spark原理 kafka原理 數(shù)據(jù)倉(cāng)庫(kù)部分 Hadoop原理 MapReduce的原理默認(rèn)根據(jù)hdfs上文件的block來(lái)啟...

個(gè)人介紹
大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工程師一枚。記錄學(xué)習(xí)之路线脚。郵件:dengyu0413@163.com
亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品