南大通用數(shù)據(jù)遷移之GaussDB_To_GBase8a(四)數(shù)據(jù)遷移

原文鏈接:https://www.gbase.cn/community/post/3870

更多精彩內(nèi)容盡在南大通用GBase技術(shù)社區(qū)悔醋,南大通用致力于成為用戶最信賴的數(shù)據(jù)庫(kù)產(chǎn)品供應(yīng)商。

GaussDB數(shù)據(jù)導(dǎo)出

導(dǎo)出方式對(duì)比介紹


GDS外表Rmote導(dǎo)出示例

mkdir?-p?/output_data?groupadd?gdsgrp?useradd?-g?gdsgrp?gds_user?chown?-R?gds_user:gdsgrp?/output_data/opt/bin/gds/gds?-d?/output_data?-p?192.168.0.90:5000?-H?10.10.0.1/24?-D?CREATE?FOREIGN?TABLE?foreign_tpcds_reasons?(?r_reason_sk?integer?not?null,?r_reason_id?char(16)?not?null,?r_reason_desc?char(100)?)?SERVER?gsmpp_server?OPTIONS?(LOCATION?'gsfs://192.168.0.90:5000/',?FORMAT?'CSV',ENCODING?'utf8',DELIMITER?E'\x08',?QUOTE?E'\x1b',?NULL?'')?WRITE?ONLY;?INSERT?INTO?foreign_tpcds_reasons?SELECT?*?FROM?reasons;?ps?-ef|grep?gds?gds_user?128954?1?0?15:03???00:00:00?gds?-d?/output_data?-p?192.168.0.90:5000?-D?gds_user?129003?118723?0?15:04?pts/0?00:00:00?grep?gds?kill?-9?128954

GDS外表local導(dǎo)出示例:

mkdir?-p?/output_data?chown?-R?omm:wheel?/output_data?CREATE?FOREIGN?TABLE?foreign_tpcds_reasons?(?r_reason_sk?integer?not?null,?r_reason_id?char(16)?not?null,?r_reason_desc?char(100)?)?SERVER?gsmpp_server?OPTIONS?(LOCATION?'file:///output_data/',?FORMAT?'CSV',ENCODING?'utf8',?DELIMITER?E'\x08',?QUOTE?E'\x1b',?NULL?'')?WRITE?ONLY;?INSERT?INTO?foreign_tpcds_reasons?SELECT?*?FROM?reasons;

gs_dumpall導(dǎo)出示例

導(dǎo)出所有數(shù)據(jù)庫(kù)的公共全局表空間信息和用戶信息(omm用戶為管理員用戶)兽叮,導(dǎo)出文件為文本格式芬骄。

gs_dumpall?-W?Bigdata@123?-U?omm?-f?/home/omm/backup/MPPDB_globals.sql?-p?25308?-g?gs_dumpall[port='25308'][2018-11-14?19:06:24]:?dumpall?operation?successful?gs_dumpall[port='25308'][2018-11-14?19:06:24]:?total?time:?1150?ms

導(dǎo)出所有數(shù)據(jù)庫(kù)全量信息(omm用戶為管理員用戶),導(dǎo)出文件為文本格式鹦聪。執(zhí)行命令后账阻,會(huì)有很長(zhǎng)的打印信息,最終出現(xiàn)total time即代表執(zhí)行成功泽本。

gs_dumpall?-W?Bigdata@123?-U?omm?-f?/home/omm/backup/MPPDB_backup.sql?-p?25308?gs_dumpall[port='25308'][2017-07-21?15:57:31]:?dumpall?operation?successful?gs_dumpall[port='25308'][2017-07-21?15:57:31]:?total?time:?9627?ms

導(dǎo)出所有數(shù)據(jù)庫(kù)定義(omm用戶為管理員用戶)淘太,導(dǎo)出文件為文本格式。

gs_dumpall?-W?Bigdata@123?-U?omm?-f?/home/omm/backup/MPPDB_backup.sql?-p?25308?-s?gs_dumpall[port='25308'][2018-11-14?11:28:14]:?dumpall?operation?successful?gs_dumpall[port='25308'][2018-11-14?11:28:14]:?total?time:?4147?ms

4.2GBase 8a MPP數(shù)據(jù)導(dǎo)入

執(zhí)行sql文件導(dǎo)入數(shù)據(jù)庫(kù)定義

gccli?-ugbase?-pgbase20110531?-Dtestdb?-vvv?-f?<guessdb_out.sql?>>guessdb_out.result??2>guessdb_out.err

注:-D參數(shù)后必須跟gbase集群內(nèi)已經(jīng)存在的庫(kù)规丽,執(zhí)行的guessdb_out.sql文件將按照文件中sql指定的庫(kù)操作蒲牧,跟-D參數(shù)后面的庫(kù)無(wú)關(guān)。
GBase 8a MPP導(dǎo)入文本數(shù)據(jù)
第一步:GaussDB導(dǎo)出的數(shù)據(jù)所在的數(shù)據(jù)服務(wù)器赌莺,需要配置ftp服務(wù)冰抢,并保證GBase 8a MPP集群各節(jié)點(diǎn)可以ftp訪問(wèn)數(shù)據(jù)服務(wù)器數(shù)據(jù)文件。
第二步:整理GuessDB導(dǎo)出的數(shù)據(jù)文件的特征
編碼格式艘狭、 字段分隔符(delimiter)挎扰、 引號(hào)字符(quote)翠订、數(shù)據(jù)文件中空值(null)、逃逸字符(escape)默認(rèn)值雙引號(hào)遵倦、數(shù)據(jù)文件是否包含標(biāo)題行(header)尽超、 導(dǎo)出數(shù)據(jù)文件換行符樣式、日期列的數(shù)據(jù)格式等
第三步:根據(jù)第二步整理出來(lái)的特征骇吭,在GBase 8a MPP中編寫導(dǎo)入數(shù)據(jù)的sql并執(zhí)行橙弱。
語(yǔ)法格式:?

LOAD?DATA?INFILE?'file_list'?INTO?TABLE?[dbname.]tbl_name?[options]?options:?[CHARACTER?SET?charset_name]?[DATA_FORMAT?number?[HAVING?LINES?SEPARATOR]]?[NULL_VALUE?'string']?[FIELDS?[TERMINATED?BY?'string']?[ENCLOSED?BY?'string']?[PRESERVE?BLANKS]?[AUTOFILL]?[LENGTH?'string']?[TABLE_FIELDS?'string']?]?[LINES?[TERMINATED?BY?'string']?]?[MAX_BAD_RECORDS?number]?[DATETIME?FORMAT?format][DATE?FORMAT?format]?[TIMESTAMP?FORMAT?format]?[TIME?FORMAT?format]?[TRACE?number]?[TRACE_PATH?'string']?[NOSPLIT]?[PARALLEL?number]?[MAX_DATA_PROCESSORS?number]?[MIN_CHUNK_SIZE?number]?[SKIP_BAD_FILE?number]?[SET?col_name?=?value[,...]]?[IGNORE?NUM?LINES]?[FILE_FORMAT?format]

加載示例:
?多數(shù)據(jù)文件加載

gbase>?LOAD?DATA?INFILE?'ftp://192.168.0.1/pub/lineitem.tbl,?http://192.168.0.2/lineitem.tbl'?INTO?TABLE?test.lineitem?FIELDS?TERMINATED?BY?'|'?ENCLOSED?BY?'"'?LINES?TERMINATED?BY?'\n';

帶通配符多文件導(dǎo)入語(yǔ)句

gbase>?LOAD?DATA?INFILE?'ftp://192.168.10.114/data/*'?INTO?TABLE?test.t;

?帶列燥狰、行分隔符和包圍符的導(dǎo)入語(yǔ)句

gbase>?LOAD?DATA?INFILE?'ftp://192.168.0.1/pub/lineitem.tbl'?INTO?TABLE?test.lineitem?FIELDS?TERMINATED?BY?'|'?ENCLOSED?BY?'"'?LINES?TERMINATED?BY?'\n'

帶日期格式導(dǎo)入語(yǔ)句

load?data?infile?'ftp://192.168.88.141/load_data/table_fields.tbl'?into?table?test.t?fields?terminated?by?','?table_fields?'i,?vc,?dt?date?"%H:%i:%s?%Y-%m-%d",?dt1?date?"%Y-%m-%d?%H:%i:%s"';

帶自動(dòng)填充導(dǎo)入語(yǔ)句

load?data?infile?'ftp://192.168.88.141/load_data/autofill.tbl'?into?table?test.t?fields?terminated?by?'|'?autofill;

帶常量值導(dǎo)入語(yǔ)句

gbase>?Load?data?infile?'data.tbl'?into?table?t?fields?terminated?by?'|'?set?c='2016-06-06?18:08:08',d='default',e=20.6;

?忽略表頭導(dǎo)入語(yǔ)句

gbase>load?data?infile?‘http://192.168.6.39/test.tbl’?into?table?data_test?fields?terminated?by?‘|’?ignore?3?lines;

?帶Blob數(shù)據(jù)導(dǎo)入

gbase>load?data?infile?‘http://192.168.6.39/test.tbl’?into?table?data_test?fields?terminated?by?‘|’?table_fields?‘a(chǎn),b,c?type_text,d’;?gbase>load?data?infile?‘http://192.168.6.39/test.tbl’?into?table?data_test?fields?terminated?by?‘|’?table_fields?‘a(chǎn),b,c?type_base64,d’;?gbase>Load?data?infile?‘http://192.168.6.39/test.tbl’?into?table?data_test?fields?terminated?by?‘|’?table_fields?‘a(chǎn),b,c?type_url,d’;

原文鏈接:www.gbase.cn/community/p…

更多精彩內(nèi)容盡在南大通用GBase技術(shù)社區(qū)棘脐,南大通用致力于成為用戶最信賴的數(shù)據(jù)庫(kù)產(chǎn)品供應(yīng)商。

?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末龙致,一起剝皮案震驚了整個(gè)濱河市蛀缝,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌目代,老刑警劉巖屈梁,帶你破解...
    沈念sama閱讀 218,204評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異榛了,居然都是意外死亡在讶,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門霜大,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)构哺,“玉大人,你說(shuō)我怎么就攤上這事战坤∈锴浚” “怎么了?”我有些...
    開封第一講書人閱讀 164,548評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵途茫,是天一觀的道長(zhǎng)碟嘴。 經(jīng)常有香客問(wèn)我,道長(zhǎng)囊卜,這世上最難降的妖魔是什么娜扇? 我笑而不...
    開封第一講書人閱讀 58,657評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮栅组,結(jié)果婚禮上袱衷,老公的妹妹穿的比我還像新娘。我一直安慰自己笑窜,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評(píng)論 6 392
  • 文/花漫 我一把揭開白布登疗。 她就那樣靜靜地躺著排截,像睡著了一般嫌蚤。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上断傲,一...
    開封第一講書人閱讀 51,554評(píng)論 1 305
  • 那天脱吱,我揣著相機(jī)與錄音,去河邊找鬼认罩。 笑死箱蝠,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的垦垂。 我是一名探鬼主播宦搬,決...
    沈念sama閱讀 40,302評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼劫拗!你這毒婦竟也來(lái)了间校?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,216評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤页慷,失蹤者是張志新(化名)和其女友劉穎憔足,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體酒繁,經(jīng)...
    沈念sama閱讀 45,661評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡滓彰,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了州袒。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片揭绑。...
    茶點(diǎn)故事閱讀 39,977評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡稳析,死狀恐怖洗做,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情彰居,我是刑警寧澤诚纸,帶...
    沈念sama閱讀 35,697評(píng)論 5 347
  • 正文 年R本政府宣布,位于F島的核電站陈惰,受9級(jí)特大地震影響畦徘,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜抬闯,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評(píng)論 3 330
  • 文/蒙蒙 一井辆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧溶握,春花似錦杯缺、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,898評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)袍榆。三九已至,卻和暖如春塘揣,著一層夾襖步出監(jiān)牢的瞬間包雀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,019評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工亲铡, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留才写,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,138評(píng)論 3 370
  • 正文 我出身青樓奖蔓,卻偏偏與公主長(zhǎng)得像赞草,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子锭硼,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容