1. 數(shù)據(jù)獲取 1.1 控制節(jié)點(diǎn) 控制節(jié)點(diǎn)定時(shí)獲取區(qū)塊高度和區(qū)塊時(shí)間 如果區(qū)塊時(shí)間和當(dāng)前時(shí)間超過(guò)一定閾值則發(fā)送告警 根據(jù)區(qū)塊高度生成解析任務(wù)，并將解析任務(wù)的狀態(tài)存到數(shù)據(jù)庫(kù)（m...
IP屬地：上海
-
鏈上數(shù)據(jù)分析平臺(tái)架構(gòu) -
-
mysql同步數(shù)據(jù)到hive---binlog方式
概述 mysql同步數(shù)據(jù)到hive大部分公司目前都是走的jdbc的方式重斑。 這種方式有兩個(gè)好處： 開(kāi)發(fā)簡(jiǎn)單兵睛。只需要從mysql讀取相關(guān)的數(shù)據(jù)，插入到hive表當(dāng)中就行了窥浪。Sqo...
-
-
爬了拉勾30頁(yè)數(shù)據(jù)，我做了這幾張圖其實(shí)是個(gè)萌新的“爬蟲(chóng)+tableau”練手骨稿，因?yàn)殛P(guān)于這次操作的所有知識(shí)在王隱在錄音的文章里都齊全了笨鸡，但亦步亦趨跟著教程做一份一模一樣的練手意思不大，于是就萌生了把爬蟲(chóng)對(duì)象從“...
-
-
愛(ài)生活已卸、愛(ài)自由、愛(ài)科學(xué)硼一、愛(ài)思想累澡、愛(ài)寫(xiě)作。
-
不定期轉(zhuǎn)載人工智能技術(shù)和區(qū)塊鏈技術(shù)領(lǐng)域的相關(guān)文章
-
一生想做浪漫技客<br>Github: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fjoyang1" target="_blank">https://github.com/joyang1</a><br>個(gè)人博客: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.tommyyang.cn" target="_blank">https://blog.tommyyang.cn</a><br>個(gè)人公眾號(hào)：Tommy 學(xué)習(xí)錄
-
-
最好用的 Kafka Json Logger Java客戶端疟羹，趕緊嘗試一下
最好用的 Kafka Json Logger Java客戶端。 slf4j4json 最好用的 Kafka Json Logger 庫(kù)禀倔；不嘗試一下可惜了榄融！ Descripti...
-
Airflow 有關(guān)task并行度的問(wèn)題
有三個(gè)參數(shù)可以用來(lái)控制airflow運(yùn)行的并行度 parallelism ：這是用來(lái)控制每個(gè)airflow worker 可以同時(shí)運(yùn)行多少個(gè)task實(shí)例。這是airflow集...
-
-
hive 使用同一個(gè)session執(zhí)行不同的sql注意事項(xiàng)
問(wèn)題 最近在hue上開(kāi)多個(gè)窗口執(zhí)行不同的sql的時(shí)候，發(fā)現(xiàn)如果在某個(gè)窗口里面設(shè)置某些properties的時(shí)候（比如 set spark.executor.memory=10...
