發(fā)簡信
IP屬地：山東
-
Spark2x on yarn日志配置詳解
概述 Spark on Yarn的日志配置分為兩類： Spark on Yarn client模式 Spark on Yarn cluster模...
-
第三章 Yarn應用設計概述 Yarn是一個資源的管理系統(tǒng)捂掰，負責集群的管理及調(diào)度敢会。如果想要一個應用運行在Yarn，需要編寫兩個組件： Client（客戶端）客戶端負責項...
-
第二章 Yarn基礎庫簡介 與MRv1相比Yarn的設計要復雜得多尘颓。YARN借用了MRv1的一些底層基礎庫（如RPC庫）走触，又引入了很多新的設計方式，它的基礎庫更多疤苹，如...
-
第一章 Yarn簡介簡介 Yarn是Hadoop生態(tài)圈中的一個通用資源管理系統(tǒng)和調(diào)度平臺互广，產(chǎn)生于Hadoop2∥酝粒可為上層應用提供統(tǒng)一的資源管理和調(diào)度惫皱，它的引入為集群...
-
Docker容器通過宿主機安裝JDK和MAVEN
1，下載jdk和maven JDK http://www.oracle.com/technetwork/java/javase/download...
-
Sqoop的使用
1尤莺，什么是Sqoop sqoop是apache旗下一款“Hadoop和關系數(shù)據(jù)庫服務器之間傳送數(shù)據(jù)”的工具旅敷。導入數(shù)據(jù)：可以從MySQL，Orac...
-
Hive的安裝1 前期準備 1颤霎，需要搭建HDFS2媳谁，需要搭建MapReduce3，安裝mysql( 其它數(shù)據(jù)庫都可以),如果不是很清楚安裝mysql友酱，請查看 ...
-
Hadoop HA部署詳解
1晴音，前期準備 1 修改Linux主機名2 修改IP3 修改主機名和IP的映射關系 /etc/hosts4 關閉防火墻5 ssh免登陸6 安裝JD...
-
Mapreduce的經(jīng)典排序（快排 & 歸并）1，快速排序 基本思想：選擇一個基準元素,通常選擇第一個元素或者最后一個元素,通過一趟掃描缔杉，將待排序列分成兩部分,一部分比基準元素小,一部分大于...