1 切片與MapTask并行度決定機制 MapTask并行度決定Map階段的任務(wù)處理并發(fā)度,進而影響Job的處理速度 MapTask并行度決定機制 數(shù)據(jù)塊：blocks是hd...
發(fā)簡信
IP屬地：山東
-
1. InputFormat 數(shù)據(jù)輸入
-
Hadoop集群搭載經(jīng)歷之hadoop配置tps：同樣方式上傳hadoop安裝包并且解壓到/opt/同樣方式配置hadoop環(huán)境 1. 各個服務(wù)器節(jié)點之間配置免密碼登錄（對自己也要配置） 修改vi /etc/host...
-
Hadoop集群搭載經(jīng)歷之jdk配置tips：運行hadoop的話必須在服務(wù)器上面配置jdk苔埋，提前自己下好 1.將jdk傳到linux 在cmd里面輸入sftp root@xxx.xxx.xxx.xxx蔚龙；@后面...
-
Hadoop集群搭載經(jīng)歷之linux配置iptips：我選擇的是centos7最小化安裝袄秩。 1. 查看并配置windows網(wǎng)卡（vmware的虛擬網(wǎng)卡） 1.0 安裝虛擬機時要采用nat網(wǎng)絡(luò)方式跟衅，橋接方式在校園網(wǎng)的環(huán)境...
-
Hadoop_MapReduce自定義Bean序列化
實現(xiàn)序列化需要七步 實現(xiàn)Writable接口 反序列化是需要調(diào)用空參構(gòu)造方法苗膝，所以需要創(chuàng)建空參構(gòu)造方法止毕。 重寫序列化方法（writer） 重寫反序列化方法（read） 注意序...
-
Hadoop——MapReduce——WordCount手寫經(jīng)歷
因為我的是mac而且把shell換成了zsh所以在配置maven環(huán)境變量時殿漠，并不是在.bash_profile里面配置而是在.zshrc里面配置maven的環(huán)境變量 相關(guān)代碼...
-
Hadoop之MapReduce學(xué)習(xí)總結(jié)
優(yōu)點 MapReduce 易于編程，僅僅實現(xiàn)一些簡單的接口佩捞，就可以完成一個分布式程序绞幌。并且部署到廉價的服務(wù)器上。良好的擴展性一忱，通過簡單的增加服務(wù)器就可以增加它的運算性能高容錯...
-
hdfs學(xué)習(xí)總結(jié)hdfs：Hadoop Distributed File System （Hadoop 分布式文件系統(tǒng)） 1.特點： 一次寫入多次讀出莲蜘，并且不支持修改。適合做數(shù)據(jù)分析帘营，不適合...
-
初學(xué)Hadoop常犯錯誤
1. Linux一定要對自己配置ssh免密碼登陸 2. 向Hadoop上傳文件 忘記填寫 Hadoop的問價路徑 忘記存儲Hadoop位置bin/hdfs dfs -put ...
-
Linux開機自動啟動sh腳本
1.編寫sh腳本 如果想要執(zhí)行命令記得在命令結(jié)尾使用&如 ssh root@111.111.111.111& 給sh腳本賦予執(zhí)行命令 chmod +x XXX.sh 給/et...
-
Hadoop學(xué)習(xí)- grep 未知的名稱或服務(wù)
grep 問題簡述 ： 未知的名稱或服務(wù) cp etc/hadoop/.xml input cat output/原因是：hostname與/etc/hosts中的不對應(yīng)票渠。解...
-
Linux 實用指令
Linux系統(tǒng)運行級別 關(guān)機單用戶（找回密碼）多用戶無網(wǎng)絡(luò)多用戶有網(wǎng)絡(luò)保留圖形界面重啟切換到指定的運行級別 init 3配置文件 /etc/inittable linux文件...
-
Linux服務(wù)器關(guān)機和重啟
shutdown 關(guān)機 默認(rèn)一分鐘后關(guān)機问顷；shutdown -h now 立刻關(guān)機shutdown -h 2 兩分鐘后關(guān)機shutdown -r now 立刻重啟 reboo...
-
vi 快捷鍵使用方法
vi編輯器有三種模式，模式之間可以相互轉(zhuǎn)化 正常模式薯鼠、插入模式、命令行模式 正常模式----》插入模式 ： i/I: insert(插入) 在當(dāng)前字符到前面開始輸入字符a/A...
-
SSH反向隧道搭建和保持SSH長時間不斷開設(shè)置
兩個內(nèi)網(wǎng)機器怎么SSH連接 起初我得初想時在機房SSH連接操作宿舍的三個Linux虛擬機械蹋，但是裝上虛擬機后發(fā)現(xiàn)出皇，筆記本不能訪問虛擬機； 百度之后才明白哗戈，兩個內(nèi)網(wǎng)并且不在同一網(wǎng)...
-
JFrame 背景色設(shè)置frame.setBackground(new Color(65, 54, 238)); 不會顯示 因為在 JFrame創(chuàng)建時就已經(jīng) 在JFrame上面添加了 Panel 所...
-
用RandomAccessFile (讀寫流)模仿數(shù)據(jù)庫寫法
package demo1; import java.io.File; import java.io.IOException; import java.io.RandomAc...