IP屬地：上海
-
如何在 Inceptor 中使用日期函數(shù)獲取與轉(zhuǎn)換時(shí)間
Inceptor 日期函數(shù)之 時(shí)間獲取與轉(zhuǎn)換 Inceptor 可以理解成 Hive企软，Inceptor 的日期函數(shù)基本兼容 Hive坊萝。從哪個(gè) S...
-
brew upgrade引發(fā)的ssl小問題brew upgrade 今天手哆嗦了一下缀程，brew upgrade打出去了诲泌，然后開始自動(dòng)更新所有的包…… 過(guò)了一會(huì)需要寫代碼了妻坝，打開pycha...
-
范圍分區(qū)-思考
按月分區(qū)之前的模型設(shè)計(jì)師及架構(gòu)師留下的表分區(qū)為STRING型的etl_time:20181222153000（年月日時(shí)分秒）image.png ...
-
Linux小技巧：刪除指定時(shí)間前的文件
環(huán)境：centos系統(tǒng) 顯示20分鐘前的文件find /home/prestat/bills/test -type f -mmin +20 -e...
-
hive表分桶設(shè)計(jì)
分桶字段選擇 進(jìn)行分桶之前需要對(duì)表的數(shù)據(jù)分布情況進(jìn)行大致的分析，一般遵循的原則為惊窖，選擇離散度高的字段進(jìn)行分桶刽宪。可以通過(guò)收集的數(shù)據(jù)特征界酒，如Dist...
-
Hive調(diào)優(yōu)
本文種記錄的大多是開源版本hive調(diào)優(yōu)方式 我也會(huì)補(bǔ)充TDH集群Inceptor的優(yōu)化方式 面試必備技能-HiveSQL優(yōu)化 Hive SQL基...
-
數(shù)據(jù)倉(cāng)庫(kù)之建設(shè)
背景篇 目前所在項(xiàng)目中,人員配置:項(xiàng)目經(jīng)理(4)業(yè)務(wù)分析師報(bào)表開發(fā)工程師(2,4)etl工程師大數(shù)據(jù)開發(fā)工程師(4)人員壓縮可參考括號(hào)內(nèi) 分析篇...
-
Linux命令之sed
簡(jiǎn)介篇 書中翻譯sed是字符流編輯器 與常使用的交互式編輯器（如vim）不同,sed編輯器以批處理的方式來(lái)編輯文件,這比交互式編輯器快得多,可以...
-
CentOS安裝Python3 2018-12-05今天需要在生產(chǎn)環(huán)境部署兩個(gè)程序,都是解析API數(shù)據(jù)的,依賴python3,所以記錄下部署過(guò)程. * 第一步是查看系統(tǒng)環(huán)境信息 系統(tǒng)是centos...
個(gè)人介紹