Sqoop2的安裝和使用

  1. 解壓并安裝
sudo tar xvfz sqoop-1.99.6-bin-hadoop200.tar.gz 
sudo mv sqoop-1.99.6-bin-hadoop200 sqoop/
sudo chmod -R 775 sqoop/
 sudo chown -R zhonglan  sqoop/
  1. 修改環(huán)境變量
zhonglan@Master:~$ sudo vim  /etc/profile
#sqoop
export SQOOP_HOME=$HOME/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs
hadoop@Master:~$ source /etc/profile
  1. 修改sqoop的環(huán)境變量
zhonglan@Master:/$ sudo vim  /home/zhonglan/sqoop/server/conf/sqoop.properties 
#修改指向我的hadoop安裝目錄  
org.apache.sqoop.submission.engine.mapreduce.configuration.directory= /home/zhonglan/hadoop/etc/hadoop  
#catalina.properties 
zhonglan@Master:/$ sudo vim /home/zhonglan/sqoop/server/catalina.properties 
common.loader=/home/zhonglan/hadoop/share/hadoop/common/*.jar,/home/zhonglan/hadoop/share/hadoop/common/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/hdfs/*.jar,/home/zhonglan/hadoop/share/hadoop/hdfs/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/mapreduce/*.jar,/home/zhonglan/hadoop/share/hadoop/mapreduce/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/tools/*.jar,/home/zhonglan/hadoop/share/hadoop/tools/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/yarn/*.jar,/home/zhonglan/hadoop/share/hadoop/yarn/lib/*.jar,/home/zhonglan/hadoop/share/hadoop/httpfs/tomcat/lib/*.jar,

下載mysql驅(qū)動(dòng)包,mysql-connector-java-5.1.27.jar
把jar包丟到到$SQOOP_HOME/server/lib下面

sudo cp mysql-connector-java-5.1.27.jar $SQOOP_HOME/server/lib

有時(shí),啟動(dòng)sqoop時(shí)可能會(huì)遇到找不到JAVA_HOME的情況,為了保險(xiǎn)起見(jiàn)我們直接在配置文件中寫(xiě)入JAVA_HOME
在/home/zhonglan/sqoop/bin/sqoop.sh中军掂,添加

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b15.el7_2.x86_64
  HADOOP_COMMON_HOME=/home/zhonglan/hadoop/share/hadoop/common
  HADOOP_HDFS_HOME=/home/zhonglan/hadoop/share/hadoop/hdfs
  HADOOP_MAPRED_HOME=/home/zhonglan/hadoop/share/hadoop/mapreduce
  HADOOP_YARN_HOME=/home/zhonglan/hadoop/share/hadoop/yarn
  1. 啟動(dòng)sqoop
    sqoop.sh server start
  2. 驗(yàn)證啟動(dòng)成功
./sqoop.sh server start    啟動(dòng) 
./sqoop.sh server stop     停止
./sqoop.sh client          進(jìn)入客戶端
set server --host hadoopMaster --port 12000 --webapp sqoop 設(shè)置服務(wù)器酿箭,注意hadoopMaster為hdfs主機(jī)名
show connector --all    查看連接類(lèi)型
create link --cid 1    創(chuàng)建連接,cid為連接類(lèi)型id
show link 查看連接
update link -l 1 修改id為1的連接
delete link -l 1 刪除id為1的連接
create job -f 1 -t 2 創(chuàng)建從連接1到連接2的job
show job 查看job
update job -jid 1    修改job
delete job -jid 1    刪除job
status job -jid 1    看看job狀態(tài)
stop job -jid    1   停止job
  1. Sqoop2使用
sqoop.sh client

7.Sqoop2和Sqoop1區(qū)別

參考文檔:
1.sqoo2安裝
https://chu888chu888.gitbooks.io/hadoopstudy/content/Content/9/chapter0901.html
2.Sqoop1俱两、Sqoop2功能差異及使用示例
http://udn.yyuap.com/doc/ae/921008.html#_Toc428540440

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末扔水,一起剝皮案震驚了整個(gè)濱河市痛侍,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌魔市,老刑警劉巖主届,帶你破解...
    沈念sama閱讀 223,207評(píng)論 6 521
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異待德,居然都是意外死亡君丁,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,455評(píng)論 3 400
  • 文/潘曉璐 我一進(jìn)店門(mén)磅网,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)谈截,“玉大人筷屡,你說(shuō)我怎么就攤上這事涧偷。” “怎么了毙死?”我有些...
    開(kāi)封第一講書(shū)人閱讀 170,031評(píng)論 0 366
  • 文/不壞的土叔 我叫張陵燎潮,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我扼倘,道長(zhǎng)确封,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,334評(píng)論 1 300
  • 正文 為了忘掉前任再菊,我火速辦了婚禮爪喘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘纠拔。我一直安慰自己秉剑,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,322評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布稠诲。 她就那樣靜靜地躺著侦鹏,像睡著了一般。 火紅的嫁衣襯著肌膚如雪臀叙。 梳的紋絲不亂的頭發(fā)上略水,一...
    開(kāi)封第一講書(shū)人閱讀 52,895評(píng)論 1 314
  • 那天,我揣著相機(jī)與錄音劝萤,去河邊找鬼渊涝。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的驶赏。 我是一名探鬼主播炸卑,決...
    沈念sama閱讀 41,300評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼煤傍!你這毒婦竟也來(lái)了盖文?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,264評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤蚯姆,失蹤者是張志新(化名)和其女友劉穎五续,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體龄恋,經(jīng)...
    沈念sama閱讀 46,784評(píng)論 1 321
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡疙驾,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,870評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了郭毕。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片它碎。...
    茶點(diǎn)故事閱讀 40,989評(píng)論 1 354
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖显押,靈堂內(nèi)的尸體忽然破棺而出扳肛,到底是詐尸還是另有隱情,我是刑警寧澤乘碑,帶...
    沈念sama閱讀 36,649評(píng)論 5 351
  • 正文 年R本政府宣布挖息,位于F島的核電站,受9級(jí)特大地震影響兽肤,放射性物質(zhì)發(fā)生泄漏套腹。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,331評(píng)論 3 336
  • 文/蒙蒙 一资铡、第九天 我趴在偏房一處隱蔽的房頂上張望电禀。 院中可真熱鬧,春花似錦笤休、人聲如沸尖飞。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,814評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)葫松。三九已至,卻和暖如春底洗,著一層夾襖步出監(jiān)牢的瞬間腋么,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,940評(píng)論 1 275
  • 我被黑心中介騙來(lái)泰國(guó)打工亥揖, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留珊擂,地道東北人圣勒。 一個(gè)月前我還...
    沈念sama閱讀 49,452評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像摧扇,于是被迫代替她去往敵國(guó)和親圣贸。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,995評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • Sqoop是一款開(kāi)源的工具扛稽,主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql吁峻、postgresql.....
    歡醉閱讀 1,413評(píng)論 0 9
  • 1/列出mysql數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)庫(kù)sqoop list-databases -connect jdbc:mys...
    時(shí)待吾閱讀 2,742評(píng)論 1 5
  • (搭建集群部分借鑒了kiwenlau/hadoop-cluster-docker中的內(nèi)容,不過(guò)那里的基礎(chǔ)環(huán)境是Ub...
    ProteanBear閱讀 3,855評(píng)論 0 12
  • Sqoop2的安裝 簡(jiǎn)介 sqoop用于關(guān)系型數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)之間進(jìn)行數(shù)據(jù)遷移在张。sqoop1.4.x也被稱(chēng)為...
    zjlearn閱讀 2,337評(píng)論 0 1
  • 如果算下來(lái)的話用含,一個(gè)月平均一次或許都沒(méi)有,我會(huì)去清吧或者買(mǎi)一瓶在宿舍喝帮匾。 要是你問(wèn)我酒好喝么啄骇,我會(huì)說(shuō)還可以。但是我...
    在disney哭泣閱讀 286評(píng)論 0 2