發(fā)簡信
IP屬地：北京
-
hive語句大全
hive數(shù)據(jù)庫是hdfs上的文件夾，表也是文件夾肃叶，表里的數(shù)據(jù)是文件hive建表create table t_student(id string,...
-
spark參數(shù)
Driver spark.driver.cores driver端分配的核數(shù)蹂随，默認(rèn)為1因惭，thriftserver是啟動thriftserver服...
-
Hbase原理系統(tǒng)架構(gòu)圖 從HBase的架構(gòu)圖上可以看出，HBase中的組件包括Client蹦魔、Zookeeper激率、HMaster、HRegionServer勿决、...
-
hive數(shù)據(jù)傾斜原因解決方法
Hive傾斜之group by聚合傾斜 原因： 分組的維度過少，每個維度的值過多低缩，導(dǎo)致處理某值的reduce耗時很久聪蘸； 對一些類型統(tǒng)計的時候某種...
-
spark開發(fā)調(diào)優(yōu)1. 避免重復(fù)創(chuàng)建RDD 通常來說表制，我們在開發(fā)一個Spark作業(yè)時，首先是基于某個數(shù)據(jù)源（比如Hive表或HDFS文件）創(chuàng)建一個初始的RDD控乾；接...
-
spark廣播變量累加器背景 在spark程序中么介，當(dāng)一個傳遞給Spark操作(例如map和reduce)的函數(shù)在遠(yuǎn)程節(jié)點上面運(yùn)行時蜕衡，Spark操作實際上操作的是這個函數(shù)...
-
spark運(yùn)行流程spark中基本概念 Application：表示你的應(yīng)用程序 Driver：表示main()函數(shù)壤短，創(chuàng)建SparkContext。由SparkC...
-
RDD與算子什么是RDD RDD（Resilient Distributed Dataset）叫做彈性分布式數(shù)據(jù)集久脯，是Spark中最基本的數(shù)據(jù)抽象，它代表一...
-
VMware安裝
vim /etc/sudoers 添加sudo權(quán)限 adduser 添加用戶passwd 修改密碼 sudo vim /etc/syscon...