IP屬地：上海
-
鏈上數(shù)據(jù)分析平臺(tái)架構(gòu)1. 數(shù)據(jù)獲取 1.1 控制節(jié)點(diǎn) 控制節(jié)點(diǎn)定時(shí)獲取區(qū)塊高度和區(qū)塊時(shí)間 如果區(qū)塊時(shí)間和當(dāng)前時(shí)間超過(guò)一定閾值則發(fā)送告警 根據(jù)區(qū)塊高度生成解析任務(wù)慧脱，并...
-
-
mysql同步數(shù)據(jù)到hive---binlog方式
概述 mysql同步數(shù)據(jù)到hive大部分公司目前都是走的jdbc的方式败潦。 這種方式有兩個(gè)好處： 開(kāi)發(fā)簡(jiǎn)單。只需要從mysql讀取相關(guān)的數(shù)據(jù)铭乾，插入...
-
Airflow 有關(guān)task并行度的問(wèn)題
有三個(gè)參數(shù)可以用來(lái)控制airflow運(yùn)行的并行度 parallelism ：這是用來(lái)控制每個(gè)airflow worker 可以同時(shí)運(yùn)行多少個(gè)ta...
-
hive 使用同一個(gè)session執(zhí)行不同的sql注意事項(xiàng)
問(wèn)題 最近在hue上開(kāi)多個(gè)窗口執(zhí)行不同的sql的時(shí)候毯炮，發(fā)現(xiàn)如果在某個(gè)窗口里面設(shè)置某些properties的時(shí)候（比如 set spark.exe...
-
夏季釣魚(yú)注意事項(xiàng)
思路 釣魚(yú)最主要的就是對(duì)魚(yú)的了解。影響魚(yú)進(jìn)食的最主要的幾個(gè)重點(diǎn)就是：溶氧、食物竖瘾、溫度 溶氧 夏季溶氧因?yàn)闅鉁乇容^高，水里的容量比較低花颗，所以溶氧是...
-
hive MapJoinMemoryExhaustionException
原因 hive 在執(zhí)行的過(guò)程中會(huì)報(bào)錯(cuò)捕传，然后到task里面取看的時(shí)候，具體原因是因?yàn)镸apJoinMemoryExhaustionExceptio...
-
hive 解析 json 字符串
json_tuple (推薦用這個(gè)) json_tuple udtf 功能是在 hive 0.7 版本之后加入的捎稚，具體使用方法： get_jso...
-
hive 永久性添加 json serde jarhive 添加jar 你可以在每個(gè)session中手動(dòng)去添加某個(gè)jar 2 . 你也可以在為所有session永久性添加某個(gè)jar 在你的hiv...