第13課書面作業(yè)

1 安裝sqoop,并且把Mysql中的表數(shù)據(jù)導(dǎo)出到HDFS下的文本文件里吓坚,整個(gè)過程抓圖
2 安裝flume或chukwa,并作簡單測試

1小染、
(1)下載sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz享钞,并解壓
(2)修改sqoop配置文件

Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/usr/hadoop-2.7.2

Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=

set the path to where bin/hbase is available

export HBASE_HOME=/usr/hbase_123

Set the path to where bin/hive is available

export HIVE_HOME=/usr/hive

Set the path for where zookeper config dir is

export ZOOCFGDIR=/usr/zookeeper_349/conf
(3)運(yùn)行sqoop
./bin/sqoop list-databases --connect jdbc:mysql://192.168.31.247:3306/ --username hive --password zaq1XSW@

1.png

(4)導(dǎo)入hdsf
./bin/sqoop import --connect jdbc:mysql://192.168.31.247:3306/sqoop --username hive --password zaq1XSW@ --table test -m 1

2.png
3.png

2尤蒿、
(1)下載apache-flume-1.7.0-bin.tar.gz假消,并解壓
(2)修改配置文件
flume-env.sh

Enviroment variables can be set here.

export JAVA_HOME=/usr/jdk1.8.0_101

Give Flume more memory and pre-allocate, enable remote monitoring via JMX

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

flume-conf

a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sources.r1.channels = c1
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.channel = c1

(3)啟動flume
./bin/flume-ng agent --conf ./conf/ --conf-file ./conf/flume-conf --name a1 -Dflume.root.logger=INFO,console

(4)輸出消息

4.png
5.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末捷犹,一起剝皮案震驚了整個(gè)濱河市红选,隨后出現(xiàn)的幾起案子澜公,更是在濱河造成了極大的恐慌,老刑警劉巖纠脾,帶你破解...
    沈念sama閱讀 206,311評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件玛瘸,死亡現(xiàn)場離奇詭異,居然都是意外死亡苟蹈,警方通過查閱死者的電腦和手機(jī)糊渊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來慧脱,“玉大人渺绒,你說我怎么就攤上這事。” “怎么了宗兼?”我有些...
    開封第一講書人閱讀 152,671評論 0 342
  • 文/不壞的土叔 我叫張陵躏鱼,是天一觀的道長。 經(jīng)常有香客問我殷绍,道長染苛,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,252評論 1 279
  • 正文 為了忘掉前任主到,我火速辦了婚禮茶行,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘登钥。我一直安慰自己畔师,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,253評論 5 371
  • 文/花漫 我一把揭開白布牧牢。 她就那樣靜靜地躺著看锉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪塔鳍。 梳的紋絲不亂的頭發(fā)上伯铣,一...
    開封第一講書人閱讀 49,031評論 1 285
  • 那天,我揣著相機(jī)與錄音献幔,去河邊找鬼懂傀。 笑死趾诗,一個(gè)胖子當(dāng)著我的面吹牛蜡感,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播恃泪,決...
    沈念sama閱讀 38,340評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼郑兴,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了贝乎?” 一聲冷哼從身側(cè)響起情连,我...
    開封第一講書人閱讀 36,973評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎览效,沒想到半個(gè)月后却舀,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,466評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡锤灿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,937評論 2 323
  • 正文 我和宋清朗相戀三年挽拔,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片但校。...
    茶點(diǎn)故事閱讀 38,039評論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡螃诅,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情术裸,我是刑警寧澤倘是,帶...
    沈念sama閱讀 33,701評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站袭艺,受9級特大地震影響搀崭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜猾编,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,254評論 3 307
  • 文/蒙蒙 一门坷、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧袍镀,春花似錦默蚌、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,259評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至设江,卻和暖如春锦茁,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背叉存。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評論 1 262
  • 我被黑心中介騙來泰國打工码俩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人歼捏。 一個(gè)月前我還...
    沈念sama閱讀 45,497評論 2 354
  • 正文 我出身青樓稿存,卻偏偏與公主長得像,于是被迫代替她去往敵國和親瞳秽。 傳聞我的和親對象是個(gè)殘疾皇子瓣履,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,786評論 2 345

推薦閱讀更多精彩內(nèi)容

  • 1/列出mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫sqoop list-databases -connect jdbc:mys...
    時(shí)待吾閱讀 2,739評論 1 5
  • 面對以上的問題,我們?nèi)绾螌⑦@些日志移動到hdfs集群上尼练俐?袖迎??腺晾? 第一種方案:使用shell腳本cp 文件燕锥,然后通...
    機(jī)靈鬼鬼閱讀 1,376評論 1 1
  • 說明:不少讀者反饋,想使用開源組件搭建Hadoop平臺悯蝉,然后再部署Kylin归形,但是遇到各種問題。這里我為讀者部署一...
    大詩兄_zl閱讀 2,050評論 0 2
  • 時(shí)間榴芳,可以改變很多。從一個(gè)積極樂觀的孩子跺撼,變成了一個(gè)自暴自棄的廢材窟感。從一個(gè)習(xí)慣于表達(dá)原作意愿的編輯,變成了一個(gè)變態(tài)...
    糖點(diǎn)什么閱讀 318評論 0 0
  • 這個(gè)暑假歉井,我剛開始就是去安徽旅游柿祈,一次美麗的安徽研學(xué)。在這之前哩至,我是以一份期待的心情躏嚎,來面對他的。板著自己愚笨的指...
    百合花小雨閱讀 336評論 0 1