一粗梭， 啟動(dòng)hadoop:start-dfs.sh報(bào)錯(cuò)：Error: JAVA_HOME is not set and could not be found. 解決方法: 編輯...
發(fā)簡(jiǎn)信
IP屬地：山東
-
虛擬機(jī)Ubuntu系統(tǒng)搭建Hadoop偽分布式常見(jiàn)問(wèn)題
-
HDFS的常用命令總結(jié)
我是個(gè)愛(ài)總結(jié)的乖孩子，各個(gè)命令CSDN和官方文檔上都有怎静，我總結(jié)了自己操作過(guò)邮弹，用著順手常用的命令，也希望給其他同學(xué)有所幫助蚓聘，希望各位前輩大佬多多批評(píng)腌乡。=，= ? cat：hdf...
-
hadoop的shuffle過(guò)程總結(jié)
我盡量用好懂的方式總結(jié)一下夜牡，踩過(guò)坑的前輩多提意見(jiàn)与纽，同時(shí)也希望為各位同學(xué)提供幫助。 簡(jiǎn)單的打個(gè)比方塘装，shuffle就是順豐快遞急迂，將map端的數(shù)據(jù)經(jīng)過(guò)排序分類(lèi)等一些列的操作，到r...
-
sqooph基礎(chǔ)+環(huán)境搭建+基本語(yǔ)句
有錯(cuò)歡迎糾正補(bǔ)充蹦肴，愛(ài)你的任三爺僚碎。 1.什么是sqoop? Sqoop是一個(gè)轉(zhuǎn)換工具，用于在關(guān)系型數(shù)據(jù)庫(kù)與HDFS之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換冗尤。就是把MySQL之類(lèi)的關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)類(lèi)型...
-
爬蟲(chóng)模擬登陸代碼
學(xué)習(xí)新知識(shí)的時(shí)候听盖，可能當(dāng)時(shí)無(wú)法立即理解胀溺，可是經(jīng)歷過(guò)這一痛苦的階段再回來(lái)看看裂七，就有種柳暗花明的感覺(jué) 。所以要及時(shí)記筆記才對(duì)啊年輕人仓坞。 —— —— 任三爺 #coding=ut...
-
Elasticsearch環(huán)境搭建
學(xué)習(xí)新知識(shí)的時(shí)候背零，可能當(dāng)時(shí)無(wú)法立即理解，可是經(jīng)歷過(guò)這一痛苦的階段再回來(lái)看看无埃，就有種柳暗花明的感覺(jué) 徙瓶。所以要及時(shí)記筆記才對(duì)啊年輕人。 —— —— 任三爺 Elasticsea...
-
基于Flume的日志收集系統(tǒng)(一)架構(gòu)和設(shè)計(jì)轉(zhuǎn)自http://www.aboutyun.com/thread-8317-1-1.html 問(wèn)題導(dǎo)讀： 1.Flume-NG與Scribe對(duì)比嫉称，F(xiàn)lume-NG的優(yōu)勢(shì)在什么...
-
大數(shù)據(jù)學(xué)習(xí)之小白快速了解flume
科多大數(shù)據(jù)帶你來(lái)快速了解flume侦镇。 flume的整體基礎(chǔ)架構(gòu)包括三個(gè)，分別是source,chanel, sink. 下面是官網(wǎng)的截圖： 因此织阅，優(yōu)化要從三個(gè)組件的角度去分別...
