黑猴子的家:Sqoop RDBMS 到 HBase

1坡脐、相關(guān)參數(shù)

參數(shù) 描述
--column-family <family> Sets the target column family for the import 設置導入的目標列族奥务。
--hbase-create-table If specified, create missing HBase tables是否自動創(chuàng)建不存在的HBase表(這就意味著物独,不需要手動提前在HBase中先建立表)
--hbase-row-key <col> Specifies which input column to use as the row key.In case, if input table contains composite key, then <col> must be in the form of a comma-separated list of composite key attributes. mysql中哪一列的值作為HBase的rowkey,如果rowkey是個組合鍵氯葬,則以逗號分隔挡篓。(注:避免rowkey的重復)
--hbase-table <table-name> Specifies an HBase table to use as the target instead of HDFS.指定數(shù)據(jù)將要導入到HBase中的哪張表中。
--hbase-bulkload Enables bulk loading.是否允許bulk形式的導入帚称。

2官研、配置sqoop-env.sh,添加如下內(nèi)容

[victor@node1 conf]$ vim sqoop-env.sh
export HBASE_HOME=/opt/module/hbase-1.2.5

3世杀、在Mysql中新建一個數(shù)據(jù)庫db_library阀参,一張表book

[victor@node1 conf]$ service mysql status
[victor@node1 conf]$ mysql -uroot -p000000
mysql> CREATE DATABASE db_library;
CREATE TABLE db_library.book(
id int(4) PRIMARY KEY NOT NULL AUTO_INCREMENT, 
name VARCHAR(255) NOT NULL, 
price VARCHAR(255) NOT NULL);

4、向表中插入一些數(shù)據(jù)

mysql> INSERT INTO db_library.book (name, price) VALUES('Lie Sporting', '30');  
mysql> INSERT INTO db_library.book (name, price) VALUES('Pride & Prejudice', '70');  
mysql> INSERT INTO db_library.book (name, price) VALUES('Fall of Giants', '50');

5瞻坝、執(zhí)行Sqoop導入數(shù)據(jù)的操作

[victor@node1 conf]$ bin/sqoop import \
--connect jdbc:mysql://node1:3306/db_library \
--username root \
--password 000000 \
--table book \
--columns "id,name,price" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_book" \
--num-mappers 1 \
--split-by id


[victor@node1 hbase-1.2.5]$ bin/hbase shell
hbase> create 'hbase_book','info'


尖叫提示:sqoop1.4.6只支持HBase1.0.1之前的版本的自動創(chuàng)建HBase表的功能
解決方案:手動創(chuàng)建HBase表蛛壳,sqoop1.4.7已經(jīng)支持自動創(chuàng)建表了,此時hbase用的是1.2.5版本

6所刀、在HBase中scan這張表得到如下內(nèi)容

hbase> scan ‘hbase_book’
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末衙荐,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子浮创,更是在濱河造成了極大的恐慌忧吟,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,427評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件斩披,死亡現(xiàn)場離奇詭異溜族,居然都是意外死亡讹俊,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評論 3 395
  • 文/潘曉璐 我一進店門煌抒,熙熙樓的掌柜王于貴愁眉苦臉地迎上來仍劈,“玉大人,你說我怎么就攤上這事寡壮》犯恚” “怎么了?”我有些...
    開封第一講書人閱讀 165,747評論 0 356
  • 文/不壞的土叔 我叫張陵况既,是天一觀的道長这溅。 經(jīng)常有香客問我,道長棒仍,這世上最難降的妖魔是什么悲靴? 我笑而不...
    開封第一講書人閱讀 58,939評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮莫其,結(jié)果婚禮上对竣,老公的妹妹穿的比我還像新娘。我一直安慰自己榜配,他們只是感情好,可當我...
    茶點故事閱讀 67,955評論 6 392
  • 文/花漫 我一把揭開白布吕晌。 她就那樣靜靜地躺著蛋褥,像睡著了一般。 火紅的嫁衣襯著肌膚如雪睛驳。 梳的紋絲不亂的頭發(fā)上烙心,一...
    開封第一講書人閱讀 51,737評論 1 305
  • 那天,我揣著相機與錄音乏沸,去河邊找鬼淫茵。 笑死,一個胖子當著我的面吹牛蹬跃,可吹牛的內(nèi)容都是我干的匙瘪。 我是一名探鬼主播,決...
    沈念sama閱讀 40,448評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼蝶缀,長吁一口氣:“原來是場噩夢啊……” “哼丹喻!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起翁都,我...
    開封第一講書人閱讀 39,352評論 0 276
  • 序言:老撾萬榮一對情侶失蹤碍论,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后柄慰,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鳍悠,經(jīng)...
    沈念sama閱讀 45,834評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡税娜,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,992評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了藏研。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片敬矩。...
    茶點故事閱讀 40,133評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖遥倦,靈堂內(nèi)的尸體忽然破棺而出谤绳,到底是詐尸還是另有隱情,我是刑警寧澤袒哥,帶...
    沈念sama閱讀 35,815評論 5 346
  • 正文 年R本政府宣布缩筛,位于F島的核電站,受9級特大地震影響堡称,放射性物質(zhì)發(fā)生泄漏瞎抛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,477評論 3 331
  • 文/蒙蒙 一却紧、第九天 我趴在偏房一處隱蔽的房頂上張望桐臊。 院中可真熱鬧,春花似錦晓殊、人聲如沸断凶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,022評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽认烁。三九已至,卻和暖如春介汹,著一層夾襖步出監(jiān)牢的瞬間却嗡,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,147評論 1 272
  • 我被黑心中介騙來泰國打工嘹承, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留窗价,地道東北人。 一個月前我還...
    沈念sama閱讀 48,398評論 3 373
  • 正文 我出身青樓叹卷,卻偏偏與公主長得像撼港,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子豪娜,可洞房花燭夜當晚...
    茶點故事閱讀 45,077評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 將各種類型的數(shù)據(jù)庫或者文件導入到HBase餐胀,常見有三種方法: (1)使用HBase的API中的Put方法 (2...
    Tim在路上閱讀 12,186評論 0 2
  • 簡介 HBase是高可靠性,高性能瘤载,面向列否灾,可伸縮的分布式存儲系統(tǒng),利用HBase技術(shù)可在廉價PC Serve...
    九世的貓閱讀 2,192評論 1 6
  • 1/列出mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫sqoop list-databases -connect jdbc:mys...
    時待吾閱讀 2,739評論 1 5
  • 五年后二零二二年鸣奔,或許我已經(jīng)結(jié)婚或許我依然單身墨技,說實話我真的不知道我喜歡什么工作惩阶,這個護理的大學是我媽給報的,以后...
    什么什么蕾閱讀 173評論 0 0
  • 讀了二十章總感覺引言說的“下結(jié)論”是說的判斷扣汪,然后又問自己:1断楷、人們通常都是怎么做判斷的呢?2崭别、判斷時都會出現(xiàn)什么...
    小泥蛋兒閱讀 129評論 0 1