IP屬地：上海
-
鏈上數(shù)據(jù)分析平臺架構(gòu)1. 數(shù)據(jù)獲取 1.1 控制節(jié)點 控制節(jié)點定時獲取區(qū)塊高度和區(qū)塊時間 如果區(qū)塊時間和當前時間超過一定閾值則發(fā)送告警 根據(jù)區(qū)塊高度生成解析任務，并...
-
-
mysql同步數(shù)據(jù)到hive---binlog方式
概述 mysql同步數(shù)據(jù)到hive大部分公司目前都是走的jdbc的方式赴魁。 這種方式有兩個好處： 開發(fā)簡單卸奉。只需要從mysql讀取相關的數(shù)據(jù)，插入...
-
Airflow 有關task并行度的問題
有三個參數(shù)可以用來控制airflow運行的并行度 parallelism ：這是用來控制每個airflow worker 可以同時運行多少個ta...
-
hive 使用同一個session執(zhí)行不同的sql注意事項
問題 最近在hue上開多個窗口執(zhí)行不同的sql的時候颖御，發(fā)現(xiàn)如果在某個窗口里面設置某些properties的時候（比如 set spark.exe...
-
夏季釣魚注意事項
思路 釣魚最主要的就是對魚的了解榄棵。影響魚進食的最主要的幾個重點就是：溶氧、食物潘拱、溫度 溶氧 夏季溶氧因為氣溫比較高疹鳄，水里的容量比較低，所以溶氧是...
-
hive MapJoinMemoryExhaustionException
原因 hive 在執(zhí)行的過程中會報錯芦岂，然后到task里面取看的時候瘪弓，具體原因是因為MapJoinMemoryExhaustionExceptio...
-
hive 解析 json 字符串
json_tuple (推薦用這個) json_tuple udtf 功能是在 hive 0.7 版本之后加入的，具體使用方法： get_jso...
-
hive 永久性添加 json serde jarhive 添加jar 你可以在每個session中手動去添加某個jar 2 . 你也可以在為所有session永久性添加某個jar 在你的hiv...