發(fā)簡信
IP屬地：北京
-
hive語句大全
hive數(shù)據(jù)庫是hdfs上的文件夾痢士，表也是文件夾摘盆，表里的數(shù)據(jù)是文件hive建表create table t_student(id string,...
-
spark參數(shù)
Driver spark.driver.cores driver端分配的核數(shù)律适，默認(rèn)為1晤锹，thriftserver是啟動thriftserver服...
-
Hbase原理系統(tǒng)架構(gòu)圖 從HBase的架構(gòu)圖上可以看出凤薛，HBase中的組件包括Client收厨、Zookeeper缴啡、HMaster羹呵、HRegionServer骂际、...
-
hive數(shù)據(jù)傾斜原因解決方法
Hive傾斜之group by聚合傾斜 原因： 分組的維度過少，每個(gè)維度的值過多冈欢，導(dǎo)致處理某值的reduce耗時(shí)很久歉铝； 對一些類型統(tǒng)計(jì)的時(shí)候某種...
-
spark開發(fā)調(diào)優(yōu)1. 避免重復(fù)創(chuàng)建RDD 通常來說，我們在開發(fā)一個(gè)Spark作業(yè)時(shí)凑耻，首先是基于某個(gè)數(shù)據(jù)源（比如Hive表或HDFS文件）創(chuàng)建一個(gè)初始的RDD太示；接...
-
spark廣播變量累加器背景 在spark程序中柠贤，當(dāng)一個(gè)傳遞給Spark操作(例如map和reduce)的函數(shù)在遠(yuǎn)程節(jié)點(diǎn)上面運(yùn)行時(shí)，Spark操作實(shí)際上操作的是這個(gè)函數(shù)...
-
spark運(yùn)行流程spark中基本概念 Application：表示你的應(yīng)用程序 Driver：表示main()函數(shù)类缤，創(chuàng)建SparkContext臼勉。由SparkC...
-
RDD與算子什么是RDD RDD（Resilient Distributed Dataset）叫做彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象餐弱，它代表一...
-
VMware安裝
vim /etc/sudoers 添加sudo權(quán)限 adduser 添加用戶passwd 修改密碼 sudo vim /etc/syscon...