之前的有點忘記了,這里在云筆記拿出來再玩玩.看不懂的可以留言

大家可以嘗試下Ambari來配置Hadoop的相關(guān)環(huán)境
快速的部署Hadoop,Hbase和Hive等并提供Ganglia和Nagios的監(jiān)控功能,強烈推薦使用.
http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.html

Hadoop 2.0集群配置詳細教程
前言
Hadoop2.0介紹
Hadoop是 apache 的開源 項目，開發(fā)的主要目的是為了構(gòu)建可靠，可拓展 scalable 缠导，分布式的系 統(tǒng)， hadoop 是一系列的子工程的 總和以清，其中包含1. hadoop common ： 為其他項目提供基礎(chǔ)設(shè)施2. HDFS ：分布式的文件系 統(tǒng)3. MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一個 簡化分布式編程的框架。4. 其他工程包含： Avro( 序列化系 統(tǒng) ) ， Cassandra( 數(shù)據(jù) 庫項目 ) 等
Hadoop,以 Hadoop 分布式文件系統(tǒng)（ HDFS 固逗，Hadoop Distributed Filesystem ）和 MapReduce （ Google MapReduce 的開源實現(xiàn)）為核心的 Hadoop 為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)〔跷龋　　 對于 Hadoop 的集群來講抒蚜，可以分成兩大類角色： Master 和 Salve 。一個 HDFS 集群是由一個 NameNode 和若干個 DataNode 組成的耘戚。其中 NameNode 作為主服務(wù)器嗡髓，管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的 DataNode 管理存 儲的數(shù)據(jù)收津。 MapReduce 框架是由一個 單獨運行在主節(jié)點上的 JobTracker 和 運行在每個集群從節(jié)點的 TaskTracker 共同 組成的饿这。主節(jié)點負(fù)責(zé)調(diào)度構(gòu)成一個作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點上撞秋。主節(jié)點監(jiān)控它們的執(zhí)行情況长捧，并且重新執(zhí)行之前的失敗任務(wù)；從節(jié)點僅負(fù)責(zé)由主節(jié)點指派的任務(wù)吻贿。當(dāng)一個 Job 被提交 時串结， JobTracker 接收到提交作 業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點，同時調(diào)度任務(wù)并監(jiān)控 TaskTracker 的 執(zhí)行肌割∥则眩　　從上面的介 紹可以看出， HDFS 和 MapReduce 共同 組成了 Hadoop 分布式系 統(tǒng)體系結(jié)構(gòu)的核心把敞。 HDFS 在集群上 實現(xiàn)分布式文件系統(tǒng)弥奸， MapReduce 在集群上 實現(xiàn)了分布式計算和任務(wù)處理。 HDFS 在 MapReduce 任 務(wù)處理過程中提供了文件操作和存儲等支持奋早， MapReduce 在 HDFS 的基 礎(chǔ)上實現(xiàn)了任務(wù)的分發(fā)盛霎、跟蹤、執(zhí)行等工作耽装，并收集結(jié)果愤炸，二者相互作用，完成了 Hadoop 分布式集群的主要任 務(wù)剂邮。

為什么要使用2.0版本（來自董的博客）
該版本提供了一些新的摇幻、重要的功能，包括： ? HDFS HA 挥萌，當(dāng)前只能 實現(xiàn)人工切換绰姻。Hadoop HA 分支 merge 進了該版本，并支持熱切引瀑，主要特性包括：（ 1 ） NN 配置文件有改變狂芋，使得配置更加簡單（ 2 ） NameNode 分 為兩種角色： active NN 與 standby NN ， active NN 對外提供讀寫服務(wù)憨栽，一旦出現(xiàn)故障帜矾，便切換到 standby NN 。（ 3 ） 支持 Client 端重定向屑柔，也就是 說屡萤，當(dāng) active NN 切 換到 standby NN 過程中， Client 端所有的 進行時操作都可以無縫透明重定向到 standby NN 上掸宛， Client 自己感 覺不到切換過程死陆。（ 4 ） DN 同 時向 active NN 和 standby NN 匯報 block 信息。具體 設(shè)計文檔參考： https://issues.apache.org/jira/browse/HDFS-1623當(dāng)前 Hadoop HA 只能 實現(xiàn)人工切換唧瘾，該功能在某些情況下非常有用措译，比如，對 NN 進行升級時饰序，先將 NN 切 換到 standby NN 领虹，并 對之前的 active NN 進行升級，升級完成后求豫，再將 NN 切 換至升級后的 NN 上塌衰，然后 對 standby NN 進行升級诉稍。
? YARN ，下一代 MapReduce 這是一套資源統(tǒng)一管理和調(diào)度平臺猾蒂，可管理各種計算框架均唉，包括 MapReduce 、 Spark 肚菠、 MPI 等。YARN 是一套 資源統(tǒng)一管理和調(diào)度平臺罩缴，可管理各種計算框架蚊逢，包括 MapReduce ， Spark 箫章， MPI 等烙荷。盡管它是完全重寫而成，但其思想是從 MapReduce 衍化而來的檬寂，并克服了它在 擴展性和容錯性等方面的眾多不足终抽。具體參考：http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html? HDFS Federation ，允 許 HDFS 中存在多個 NameNode 桶至，且每個 NameNode 分管一部分目 錄，而 DataNode 不 變，進而縮小了故障帶來的影響范圍哈蝇，并起到一定的隔離作用甫男。傳統(tǒng) HDFS 是 master/slave 結(jié)構(gòu)，其中女蜈， master （也就是 NameNode ）需要存 儲所有文件系統(tǒng)的元數(shù)據(jù)信息持舆，且所有文件存儲操作均需要訪問多次 NameNode ，因而 NameNode 成 為制約擴展性的主要瓶頸所在伪窖。為了解決該問題逸寓，引入了 HDFS Federation ，允 許 HDFS 中存在多個 NameNode 覆山，且每個 NameNode 分管一部分目 錄竹伸，而 DataNode 不 變，也就是 “ 從中央集權(quán) 專政變?yōu)楦鱾€地方自治 ” 汹买， 進而縮小了故障帶來的影響范圍佩伤，并起到一定的隔離作用。具體參考：http://dongxicheng.org/mapreduce-nextgen/nextgen-mapreduce-introduction/? 基準(zhǔn)性能測試該版本中為 HDFS 和 YARN 添加了性能的基準(zhǔn) 測試集晦毙，其中 HDFS 測試包括：（ 1 ） dfsio 基準(zhǔn) 測試 HDFS I/O 讀寫性能（ 2 ） slive 基準(zhǔn) 測試 NameNode 內(nèi)部操作的性能（ 3 ） scan 基準(zhǔn) 測試 MapReduce 作 業(yè)訪問 HDFS 的 I/O 性能（ 4 ） shuffle 基準(zhǔn) 測試 shuffle 階段性能（ 5 ） compression 基準(zhǔn) 測試 MapReduce 作 業(yè)中間結(jié)果和最終結(jié)果的壓縮性能（ 6 ） gridmix-V3 基準(zhǔn) 測試集群吞吐率YARN 測試包括 :（ 1 ） ApplicationMaster 擴展性基準(zhǔn)測試主要 測試調(diào)度 task/container 的性能生巡。與 1.0 版本比 較，大約快 2 倍见妒。（ 2 ） ApplicationMaster 恢復(fù)性基準(zhǔn) 測試測試 YARN 重 啟后孤荣，作業(yè)恢復(fù)速度。稍微解釋一下 ApplicationMaster 恢復(fù)作 業(yè)的功能：在作業(yè)執(zhí)行過程中， Application Master 會不斷地將作 業(yè)運行狀態(tài)保存到磁盤上盐股，比如哪些任務(wù)運行完成钱豁，哪些未完成等，這樣疯汁，一旦集群重啟或者 master 掛掉牲尺，重 啟后，可復(fù)原各個作業(yè)的狀態(tài)幌蚊，并只需重新運行未運行完成的哪些任務(wù)谤碳。（ 3 ） ResourceManager 擴展性基準(zhǔn)測試通 過不斷向 Hadoop 集群中添加 節(jié)點測試 RM 的 擴展性。（ 4 ） 小作 業(yè)基準(zhǔn)測試專門測試批量小作業(yè)的吞吐率具體參考：http://hortonworks.com/blog/delivering-on-hadoop-next-benchmarking-performance/? 通過 protobufs 來提供HDFS 和YARN 的兼容性Wire-compatibility for both HDFS & YARNHadoop RPC采用了Hadoop自己的一套序列化框架 對 各種 對 象 進 行序列化反序列溢豆，但存在一個 問題 ： 擴 展性差蜒简，很 難 添加新的數(shù)據(jù)類型同 時 保 證 版本兼容性。 為 此漩仙，Hadoop 2.0將數(shù)據(jù)類型模 塊 從RPC中獨立出來搓茬，成 為 一個獨立的可插拔模 塊 ， 這樣 允 許 用 戶 根據(jù)個人 愛 好使用各種序列化/反序列化框架队他，比如thrift卷仑，arvo，protocal Buffer等漱挎，默 認(rèn) 情況采用Protocal Buffer系枪。http://hortonworks.com/blog/rpc-improvements-and-wire-compatibility-in-apache-hadoop/除了以上五個特性外， 還 有兩個非常重要的特性正在研 發(fā) 中磕谅，分別是：? HDFS快照用 戶 可在任意 時間對 HDFS做快照私爷， 這樣 ，在HDFS出 現(xiàn) 故障 時 膊夹，可將數(shù)據(jù)恢復(fù)到某個 時間 點的狀 態(tài) 衬浑。具體參考：http://hortonworks.com/blog/snapshots-for-hdfs/? HDFS HA自動 切換前面介 紹 的第一個功能“HDFS HA”當(dāng)前只能 實現(xiàn) 人工切 換 ，也就是 說 放刨，管理 員運 行某個命令工秩，使得acitve NN切 換 到standby NN上。以后將支持自 動 切 換 进统，也就是 說 助币， 監(jiān) 控模 塊 可 檢測 出active NN何 時 出 現(xiàn) 故障，并自 動 將之切 換 到standby NN上螟碎， 這樣 可大大 較 小Hadoop集群 運維 人 員 的工作量眉菱。具體參考：http://s.apache.org/hdfs-autofailover

準(zhǔn)備
機器準(zhǔn)備
物理機器 總 共4臺，想配置基于物理機的hadoop集群中包括 4 個 節(jié)點： 1 個 Master 掉分， 3 個 Salve 俭缓， 節(jié)點之間局域網(wǎng)連接克伊，可以相互 ping 通Ip分布 為192.168.1.201 hadoop1192.168.1.202 hadoop2192.168.1.203 hadoop3192.168.1.204 hadoop4
操作系 統(tǒng)為 CentOS 5.6 64bitMaster機器主要配置NameNode和JobTracker的角色， 負(fù)責(zé)總 管分布式數(shù)據(jù)和分解任 務(wù) 的 執(zhí) 行华坦；3個Salve機器配置DataNode和TaskTracker的角色愿吹， 負(fù)責(zé) 分布式數(shù)據(jù)存 儲 以及任 務(wù) 的 執(zhí) 行。其 實應(yīng)該還應(yīng)該 有1個Master機器惜姐，用來作 為備 用犁跪，以防止Master服 務(wù) 器宕機， 還 有一個 備 用 馬 上 啟 用歹袁。后 續(xù)經(jīng)驗積 累一定 階 段后 補 上一臺 備 用Master機器耘拇。

修改主機名
修改主機名，所有 節(jié)點均一樣配置1 亿胸， 連接到主節(jié)點 192.168.1.201 坯钦，修改 network ， 執(zhí)行 vim /etc/sysconfig/network 侈玄，修改 HOSTNAME=hadoop12 婉刀，修改 hosts 文件， 執(zhí)行 cd /etc 命令后 執(zhí)行 vi hosts 序仙，在行末尾添加 :
192.168.1.201 hadoop1192.168.1.202 hadoop2192.168.1.203 hadoop3192.168.1.204 hadoop4
3 突颊， 執(zhí)行 hostname hadoop14 ， 執(zhí)行 exit 后重新 連接可看到主機名以修改 OK
其他 節(jié)點 也修改主機名后添加 Host, 或者 host 文件可以在后面 執(zhí)行 scp 覆蓋操作
配置SSH無密碼登陸
SSH 無密 碼原理簡介 :首先在 hadoop1 上生成一個密 鑰對潘悼，包括一個公鑰和一個私鑰律秃，并將公鑰復(fù)制到所有的 slave(hadoop2-hadoop4) 上。然后當(dāng) master 通 過 SSH 連接 slave 時治唤， slave 就會生成一個隨機數(shù)并用 master 的公 鑰對隨機數(shù)進行加密棒动，并發(fā)送給 master 。最后 master 收到加密數(shù)之后再用私 鑰解密肝劲，并將解密數(shù)回傳給 slave 迁客， slave 確 認(rèn)解密數(shù)無誤之后就允許 master 不 輸入密碼進行連接了
2 郭宝，具體步 驟（在root用戶和hadoop用戶登陸情況下執(zhí)行）1 、 執(zhí)行命令 ssh-keygen -t rsa 之后一路回 車掷漱，查看剛生成的無密碼鑰對： cd .ssh 后 執(zhí)行 ll2 粘室、把 id_rsa.pub 追加到授權(quán)的 key 里面去。 執(zhí)行命令 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys3 卜范、修改權(quán)限： 執(zhí)行 chmod 600 ~/.ssh/authorized_keys4 衔统、確保 cat /etc/ssh/sshd_config 中存在如下內(nèi)容
RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys如需修改， 則在修改后執(zhí)行重啟 SSH 服 務(wù)命令使其生效 :service sshd restart
5 海雪、將公 鑰復(fù)制到所有的 slave 機器上 :scp ~/.ssh/id_rsa.pub 192.168.1.203 ： ~/ 然后 輸入 yes 锦爵，最后 輸入 slave 機器的密 碼6 、在 slave 機器上 創(chuàng)建 .ssh 文件夾 :mkdir ~/.ssh 然后 執(zhí)行 chmod 700 ~/.ssh （若文件夾以存在 則不需要創(chuàng)建）7 奥裸、追加到授權(quán)文件 authorized_keys 執(zhí)行命令 :cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 然后 執(zhí)行 chmod 600 ~/.ssh/authorized_keys8 险掀、重復(fù)第 4 步9 、 驗證命令 : 在 master 機器上 執(zhí)行 ssh 192.168.1.203 發(fā)現(xiàn)主機名由 hadoop1 變成 hadoop3 即成功湾宙，最后 刪除 id_rsa.pub 文件 :rm -r id_rsa.pub按照以上步 驟分別配置 hadoop1,hadoop2,hadoop3,hadoop4 樟氢，要求每個都可以無密 碼登錄

源碼配置修改
/etc/profile
配置 環(huán)境變量： vim /etc/profile添加export HADOOP_DEV_HOME=/home/hadoop/hadoopexport PATH=$PATH:$HADOOP_DEV_HOME/binexport PATH=$PATH:$HADOOP_DEV_HOME/sbinexport HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}export YARN_HOME=${HADOOP_DEV_HOME}export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoopexport HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoopexport YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
創(chuàng)建并配置hadoop-env.sh
vim /usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop/hadoop-env.sh 在末尾添加 export JAVA_HOME=/usr/java/jdk1.6.0_27
core-site.xml
在 configuration 節(jié)點 里面添加屬性
<property><name>hadoop.tmp.dir</name><value>/hadoop/tmp</value><description>A base for other temporary directories.</description></property><property><name>fs.default.name</name><value>hdfs://192.168.1.201:9000</value></property>
添加 httpfs 的 選項<property><name>hadoop.proxyuser.root.hosts</name><value>192.168.1.201</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
slave配置
vim /home/hadoop/hadoop/etc/hadoop/slaves 添加 slave 的 IP192.168.1.202192.168.1.203192.168.1.204
配置hdfs-site.xml
vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml添加 節(jié)點
<property><name>dfs.replication</name><value>3</value></property>
<property><name>dfs.namenode.name.dir</name><value>file:/hadoop/hdfs/name</value><final>true</final></property>
<property><name>dfs.federation.nameservice.id</name><value>ns1</value></property>
<property><name>dfs.namenode.backup.address.ns1</name><value>192.168.1.201:50100</value></property>
<property><name>dfs.namenode.backup.http-address.ns1</name><value>192.168.1.201:50105</value></property>
<property><name>dfs.federation.nameservices</name><value>ns1</value></property>
<property><name>dfs.namenode.rpc-address.ns1</name><value>192.168.1.201:9000</value></property><property><name>dfs.namenode.rpc-address.ns2</name><value>192.168.1.201:9000</value></property>
<property><name>dfs.namenode.http-address.ns1</name><value>192.168.1.201:23001</value></property>
<property><name>dfs.namenode.http-address.ns2</name><value>192.168.1.201:13001</value></property>
<property><name>dfs.dataname.data.dir</name><value>file:/hadoop/hdfs/data</value><final>true</final></property>
<property><name>dfs.namenode.secondary.http-address.ns1</name><value>192.168.1.201:23002</value></property>
<property><name>dfs.namenode.secondary.http-address.ns2</name><value>192.168.1.201:23002</value></property>
<property><name>dfs.namenode.secondary.http-address.ns1</name><value>192.168.1.201:23003</value></property>
<property><name>dfs.namenode.secondary.http-address.ns2</name><value>192.168.1.201:23003</value></property>
配置yarn-site.xml
添加 節(jié)點
<property><name>yarn.resourcemanager.address</name><value>192.168.1.201:18040</value></property>
<property><name>yarn.resourcemanager.scheduler.address</name><value>192.168.1.201:18030</value></property>
<property><name>yarn.resourcemanager.webapp.address</name><value>192.168.1.201:18088</value></property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>192.168.1.201:18025</value></property>
<property><name>yarn.resourcemanager.admin.address</name><value>192.168.1.201:18141</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce.shuffle</value></property>
配置httpfs-site.xml
同步代碼到其他機器
1.同步配置代 碼先在 slaves 的機器上也 創(chuàng) 建mkdir -p /home/hadoop/source部署hadoop代 碼 ， 創(chuàng) 建 軟連接 侠鳄，然后只要同步修改 過 的etc/hadoop下的配置文件即可2.同步 /etc/profile3.同步 /etc/hosts scp -r /etc/profile root@hadoop2:/etc/profilescp -r /etc/hosts root@hadoop2:/etc/hosts
其他機器以此操作
Hadoop啟動
格式化集群
hadoop namenode -format -clusterid clustername
啟動hdfs
執(zhí)行start-dfs.sh
開 啟 hadoop dfs服 務(wù)
啟動Yarn
開 啟 yarn 資 源管理服 務(wù)start-yarn.sh

啟動httpfs
開 啟 httpfs 服 務(wù)httpfs.sh start使得 對外 可以提高 http 的restful接口服 務(wù)
測試
安裝結(jié)果驗證
驗證hdfs
在各臺機器 執(zhí)行 jps 看 進程 是否都已 經(jīng)啟動 了
[root@hadoop1 hadoop]# jps7396 NameNode24834 Bootstrap7594 SecondaryNameNode7681 ResourceManager32261 Jps
[root@hadoop2 ~]# jps8966 Jps31822 DataNode31935 NodeManager
進程啟動 正常
驗證 是否可以登 陸hadoop fs -ls hdfs://192.168.1.201:9000/ hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder hadoop fs -ls hdfs://192.168.1.201:9000/ testfolder

看以上 執(zhí)行 是否正常
驗證map/reduce
在 master1 上埠啃， 創(chuàng)建輸入目錄 :hadoop fs -mkdir hdfs://192.168.1.201:9000/input將 /usr/hadoop/hadoop-2.0.1-alpha/ 目 錄下的所有 txt 文件復(fù)制到 hdfs 分布式文件系 統(tǒng)的目錄里，執(zhí)行以下命令hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/.txt hdfs://192.168.1.201:9000/input
在 hadoop1 上伟恶， 執(zhí)行 HADOOP 自 帶的例子碴开， wordcount 包，命令如下cd /usr/hadoop/hadoop-2.0.1-alpha/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-2.0.1-alpha.jar wordcount hdfs://192.168.1.201:9000/input hdfs://192.168.1.201:9000/output
hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/.txt hdfs://192.168.1.201:9000/input
在 hadoop1 上博秫， 查看結(jié)果命令如下 :[root@master1 hadoop]# hadoop fs -ls hdfs://192.168.1.201:9000/outputFound 2 items-rw-r--r-- 2 root supergroup 0 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/_SUCCESS-rw-r--r-- 2 root supergroup 8739 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/part-r-00000
[root@hadoop1 hadoop]# hadoop fs -cat hdfs://192.168.1.201:9000/output/part-r-00000 即可看到每個 單詞的數(shù)量
驗證httpfs
HTTPFS操作：
OPEN,GETFILESTATUS,LISTSTATUS,GETHOMEDIRECTORY,GETCONTENTSUMMARY,GETFILECHECKSUM,GETDELEGATIONTOKEN,GETFILEBLOCKLOCATIONS,INSTRUMENTATION
GETHOMEDIRECTORY 路徑無關(guān)潦牛，返回根 節(jié)點路徑http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETHOMEDIRECTORY&user.name=root
Path: "/user/root"
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETHOMEDIRECTORY&user.name=root
打開 / 下 載一個文件http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=open&user.name=root
LISTSTATUS 現(xiàn)實目錄狀態(tài)
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0?op=LISTSTATUS&user.name=roothttp://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=LISTSTATUS&user.name=root

以下 實現(xiàn) 方法 還 有 錯誤現(xiàn) 在：----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
GETDELEGATIONTOKEN ERROR
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETDELEGATIONTOKEN&user.name=root
GETFILEBLOCKLOCATIONS error
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILEBLOCKLOCATIONS&user.name=root
INSTRUMENTATION error
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=INSTRUMENTATION&user.name=root

性能測試
使用內(nèi)部的 benchmark 測試 不同文件大小及不同append大小的寫入情況hadoop jar /home/hadoop/hadoop/bin/BitwareHadoopBenchmark.jar BitwareHadoopBenchmark hdfs://192.168.1.201:9000 /bitwaretest01/ 0 20 200 4 0