6篇文章 · 14179字 · 3人關(guān)注
-
5. Hadoop之旅——Hive使用篇(二)
最佳的復(fù)制一個(gè)partitioned表的步驟： 創(chuàng)建新的目標(biāo)，跟舊表一樣的schema. 如：create table new_xx like ...
-
5. Hadoop之旅——Hive使用篇github鏈接 針對Hive的優(yōu)化主要有以下幾個(gè)方面： map reduce file format shuffle & sort job a...
-
4. Hadoop之旅——使用篇
Spark A. 小文件過多 解決方法：使用 SparkContext下newAPIHadoopFile完成數(shù)據(jù)輸入，指定org.apache....
-
3. Hadoop之旅——運(yùn)維篇
HDFS A. ha dfs 初始化和啟動(dòng) 啟動(dòng)zookeeper集群 在主Name結(jié)點(diǎn)上 格式化zookeeper上相應(yīng)目錄hdfs zkfc...
-
2. Hadoop之旅——集群篇
添加DataNode 對于新添加的DataNode節(jié)點(diǎn)业岁，需要啟動(dòng)datanode進(jìn)程鼎天，從而將其添加入集群 在新增的節(jié)點(diǎn)上晦鞋，運(yùn)行sbin/hado...
-
1. Hadoop之旅——環(huán)境生態(tài)篇HDFS hadoop 的基礎(chǔ)分布式文件存儲(chǔ)系統(tǒng)罢防，分為NameNode和DataNode.NameNode負(fù)責(zé)存儲(chǔ)文件系統(tǒng)的metadata艘虎，管...
