1. 除法運算只取整問題: 原因: 輸出結(jié)果和兩數(shù)的數(shù)據(jù)類型一致，因此兩個相除的值至少有一個是浮點數(shù)才能返回正確結(jié)果。 解決: 1. 用cast把一個數(shù)值轉(zhuǎn)成浮點數(shù)务傲。如cas...
發(fā)簡信
IP屬地：廣東
-
Presto sql特殊處理
-
大數(shù)據(jù)蟲
-
Flink執(zhí)行流程源碼解析
Flink 中的執(zhí)行圖可以分成四層：StreamGraph -> JobGraph -> ExecutionGraph -> 物理執(zhí)行圖碗脊。 StreamGraph：是根據(jù)用戶...
-
未脫貧净当，先脫發(fā)；<br>未入門蕴潦，先入墳像啼。
-
-
成都加米谷大數(shù)據(jù)學院此疹，大數(shù)據(jù)人才培養(yǎng)甚颂，大數(shù)據(jù)行業(yè)動態(tài)分享蜜猾！
-
HIVE優(yōu)化場景九--減少IO次數(shù)
場景九.減少IO次數(shù) 1）通過多表插入 FROM A INSERT B SELECT A,.... INSERT C SELECT A ... 2）一次輸入，多次使用 WIT...
-
HIVE優(yōu)化場景八-數(shù)據(jù)裁剪問題
場景八_數(shù)據(jù)裁剪問題 1) 記錄數(shù)裁剪 i.通過分區(qū)振诬，分桶 表的優(yōu)勢 去構(gòu)建 分桶表的構(gòu)建過程與使用：https://blog.csdn.net/qq_26803795/a...
-
HIVE優(yōu)化場景七--數(shù)據(jù)傾斜--Join 傾斜
2) 由于數(shù)據(jù)類型不一致，導致的轉(zhuǎn)換問題衍菱，導致的數(shù)據(jù)傾斜 場景說明：用戶表中 user_id 字段為 int赶么，log 表中 user_id 為既有 string 也有 int...
-
優(yōu)化思路概要
1.系統(tǒng)設置。tez, spark 2. MapReduce設置脊串。設置合理map數(shù)辫呻，reduce數(shù) 3.大表關(guān)聯(lián)小表優(yōu)化。mapjoin, 小表放大 4.大表關(guān)聯(lián)大表琼锋。關(guān)聯(lián)字...
-
如何建設數(shù)倉
第一步：調(diào)研 1放闺、業(yè)務調(diào)研：與業(yè)務人員座談，梳理業(yè)務過程缕坎，輸出業(yè)務流程圖及初步劃分出dwd層的主題域 2怖侦、需求調(diào)研：梳理過去、現(xiàn)在及將來的數(shù)據(jù)需求和BI需求谜叹，輸出數(shù)倉app層...
-
HIVE優(yōu)化場景六--通過讓MAP 端, 多去承擔任務匾寝， 去減少 Reducer 的計算成本 和 數(shù)據(jù)傳輸成本。
場景六.通過讓MAP 端, 多去承擔任務荷腊， 去減少 Reducer 的計算成本 和 數(shù)據(jù)傳輸成本艳悔。 1）MAP JOIN 的方式 當兩張數(shù)據(jù)表進行JOIN的時候，如果一張表的...
-
作者簡介：金融學客座教授，碩士生導師疾忍，福布斯中國U30精英榜上榜者乔外。<br>高級戰(zhàn)略研究員，上游財經(jīng)智庫專家顧問锭碳、高級研究員袁稽，蘇寧大學特聘教授，蘇寧金融研究院特約研究員擒抛，烽火臺資本特約經(jīng)濟學家推汽，新華社、中新社等幾十家財經(jīng)媒體特約評論員歧沪，和訊歹撒、金融界、中金在線等二十余家媒體財經(jīng)專欄作家诊胞，塵世中一個迷途小書童暖夭，好讀書不求甚解锹杈。<br>微信公眾號：江瀚視野觀察（jianghanview)<br>微博公號：江瀚的視野<br>
