記錄一次TDH的inceptor導(dǎo)出建表語句和數(shù)據(jù)

TDH是星環(huán)公司的一款大數(shù)據(jù)組件聚合平臺,類似于CDH硅则,但是TDH將一些組件自己做了封裝癞揉,比如hive重新封裝成了inceptor,公司的TDH測試環(huán)境要下線铣猩,需要備份inceptor中的數(shù)據(jù)揖铜,現(xiàn)在分步做一次記錄:

1.TDH的各個組件都是安裝在docker容器的,命令行無法直接使用达皿,我們需要在客戶端界面下載TDH Client包天吓,包取決于你安裝的組件,意味著你每次添加或者刪除組件都需要重新下載這個包峦椰;

下載客戶端

2.將客戶端上傳到TDH隨便一臺服務(wù)器節(jié)點龄寞,解壓;


將tar包解壓縮為TDH-Client目錄

3.進(jìn)入解壓縮的目錄后汤功,你安裝的各個組件的命令行客戶端便都可以看到了

TDH-Client目錄結(jié)構(gòu)

但是使用還要進(jìn)入對應(yīng)的目錄物邑,不方便,這里需要對客戶端進(jìn)行初始化滔金,執(zhí)行腳本

source /opt/software/TDH-Client/init.sh

注意這里必須使用source執(zhí)行腳本色解,其他方式執(zhí)行不起作用,執(zhí)行完這個腳本我們便可以正常使用TDH的常用命令了餐茵;

4.inceptor的文檔沒具體介紹數(shù)據(jù)導(dǎo)出科阎,但是我們可以類比于hive,畢竟他們算得上是一個東西忿族,但是這里有一個小坑锣笨,hive是可以直接將數(shù)據(jù)導(dǎo)出到本地文件的,inceptor我試了一下道批,會報路徑不匹配的錯誤错英,證明無法直接從hive導(dǎo)出到本地{當(dāng)然也無法直接把本地數(shù)據(jù)直接導(dǎo)入到hive,但是他的文檔里面說是可以屹徘,最初當(dāng)如數(shù)據(jù)時了來回折騰走趋。。。}簿煌,這里我們先獲取我們要導(dǎo)出hive庫以及表名:

beeline -u jdbc:hive2://localhost:10000 -e "use awp;show tables;" > tables2.txt

命令執(zhí)行完畢后vim ?tables2.txt看一下氮唯,發(fā)現(xiàn)格式是這樣的:

坑逼的格式

一臉懵逼,加上vim玩的也不溜姨伟,沒有什么騷操作惩琉,最后乖乖的show tables;然后復(fù)制到windows夺荒,改巴改巴粘貼到tables.txt,到此表名獲取到了→_→

5.接下來是獲取建表語句瞒渠,基本語句是show create table;在這個基礎(chǔ)上編寫簡單腳本獲取所有的表結(jié)構(gòu)技扼,腳本如下

#!/bin/bash

source /opt/software/TDH-Client/init.sh

#beeline -u jdbc:hive2://localhost:10000 -e "use awp;show tables;" > tables2.txt

cat tables2.txt|while read eachline

do

beeline -u jdbc:hive2://localhost:1000 -e "use awp;show create table $eachline" >>??tablesDDL.txt

echo ";" >> tablesDDL.txt

done

不過輸出的格式請參照獲取表名伍玖,太坑,后來還是將文件下載到windows各種Ctrl +R剿吻,最后搞定窍箍;

6.現(xiàn)在說一下前面說到的inceptor的小坑,由于他不可以直接將數(shù)據(jù)導(dǎo)出到local file丽旅,所以采用迂回的方式椰棘,先將數(shù)據(jù)導(dǎo)出到hdfs,在導(dǎo)出到本地榄笙,這里我們還是簡單編寫一個腳本:

#!/bin/bash

source /opt/software/TDH-Client/init.sh

cat tables2.txt|while read eachline

do

? ? ? ? beeline -u jdbc:hive2://localhost:10000? -e "INSERT OVERWRITE DIRECTORY '/tmp/hive/$eachline' ROW format delimited fields terminated BY '\t' SELECT * from awp.$eachline;"

done

將所有數(shù)據(jù)導(dǎo)出到hdfs的/tmp/hive的目錄下邪狞;

7.最后通過hdfs dfs -get /tmp/hive? /root/? ? ? 將文件下載到服務(wù)器的/root/目錄下,然后將數(shù)據(jù)打包? tar -zcvf /root/hive? 存儲茅撞。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末帆卓,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子米丘,更是在濱河造成了極大的恐慌鳞疲,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蠕蚜,死亡現(xiàn)場離奇詭異,居然都是意外死亡悔橄,警方通過查閱死者的電腦和手機(jī)靶累,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來癣疟,“玉大人挣柬,你說我怎么就攤上這事【χ浚” “怎么了邪蛔?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長扎狱。 經(jīng)常有香客問我侧到,道長勃教,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任匠抗,我火速辦了婚禮故源,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘汞贸。我一直安慰自己绳军,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布矢腻。 她就那樣靜靜地躺著门驾,像睡著了一般。 火紅的嫁衣襯著肌膚如雪多柑。 梳的紋絲不亂的頭發(fā)上奶是,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天,我揣著相機(jī)與錄音顷蟆,去河邊找鬼诫隅。 笑死,一個胖子當(dāng)著我的面吹牛帐偎,可吹牛的內(nèi)容都是我干的逐纬。 我是一名探鬼主播,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼削樊,長吁一口氣:“原來是場噩夢啊……” “哼豁生!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起漫贞,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤甸箱,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后迅脐,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體芍殖,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年谴蔑,在試婚紗的時候發(fā)現(xiàn)自己被綠了豌骏。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡隐锭,死狀恐怖窃躲,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情钦睡,我是刑警寧澤蒂窒,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響洒琢,放射性物質(zhì)發(fā)生泄漏秧秉。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一纬凤、第九天 我趴在偏房一處隱蔽的房頂上張望福贞。 院中可真熱鬧,春花似錦停士、人聲如沸挖帘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽拇舀。三九已至,卻和暖如春蜻底,著一層夾襖步出監(jiān)牢的瞬間骄崩,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工薄辅, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留要拂,地道東北人。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓站楚,卻偏偏與公主長得像脱惰,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子窿春,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容