父類EventLoop起了一個Thread赘被，監(jiān)聽從LinkedBlockingDeque中獲取event，然后用onReceive接收執(zhí)行肖揣，DAGSchedulerEvent...
發(fā)簡信
IP屬地：廣東
-
spark DAGSchedulerEventProcessLoop 設(shè)計原理
-
6.1.2版本elasticsearch源碼環(huán)境構(gòu)建步驟(idea)
ElasticSearch構(gòu)建源碼環(huán)境步驟： 以版本6.1.2 on mac, idea為例 準備：gradle 4.3版本民假。jdk10。 jdk10 mac版本可以到我的百...
-
spark->es快速導(dǎo)入數(shù)據(jù)
elasticsearch-spark 提供了saveToEs api以支持快速導(dǎo)入數(shù)據(jù)龙优。但es集群線程池有限羊异，在大量寫入數(shù)據(jù)的同時，對cpu的壓力非常大彤断，影響線上es的查詢...
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議一屋。
-
Apache Kafka詳解一、消息隊列Message Queue 兩種模式 點對點模式點對點模式是一個基于拉取或輪詢的消息傳送模型袋哼，由消費者主動拉取數(shù)據(jù)冀墨，客戶端需要實時開啟一個線程監(jiān)控隊列中是否有數(shù)據(jù)...
-
Spark CommitCoordinator 保證數(shù)據(jù)一致性
本文引用了技術(shù)世界文章，來自：http://www.jasongj.com/spark/committer/ 問題引入 Spark 輸出數(shù)據(jù)到HDFS時涛贯，多個task同時寫數(shù)...
-
Akka系列（五）：Java和Scala中的Future隨著CPU的核數(shù)的增加诽嘉，異步編程模型在并發(fā)領(lǐng)域中的得到了越來越多的應(yīng)用，由于Scala是一門函數(shù)式語言弟翘，天然的支持異步編程模型含懊，今天主要來看一下Java和Scala中的Fut...
-
flink 流表join mysql表
1.流表 2.mysql 維表 3.join 4.在終端執(zhí)行 nc -lk 9999，即可輸入流數(shù)據(jù)衅胀，實現(xiàn)流數(shù)據(jù)與mysql數(shù)據(jù)的join5.依賴
-
精通Apache Flink必讀系列文章 轉(zhuǎn)
2018年08月17日 11:38:25列國周游閱讀數(shù)：284 版權(quán)聲明：著作權(quán)歸作者所有茁影。 商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)宙帝，非商業(yè)轉(zhuǎn)載請注明出處。 https://blog.c...
-
Structured Streaming Tipstitle: Structured Streaming Tips （一） tags: spark structured-streaming tips gc 優(yōu)化 catego...
-
Graphx中處理字符串類型的ID
??Graphx中的結(jié)點ID只能是Long型的靴患，但是在實際的業(yè)務(wù)中有時會遇到字符串類型的ID，這時需要建立一個結(jié)點ID的映射要出。 使用python隨機生成100條字符串類型的邊...
