通過列表創(chuàng)建 通過列表創(chuàng)建dataframe，列表里面可以是列表也可以是元組。 從json文件創(chuàng)建 json文件people.json: spark代碼: 從字典創(chuàng)建 目前還...
IP屬地：北京
-
spark創(chuàng)建DataFrame
-
spark遠(yuǎn)程讀寫hive數(shù)據(jù)庫實(shí)現(xiàn)spark遠(yuǎn)程連接hive數(shù)據(jù)庫砍濒，需要將服務(wù)端mysql數(shù)據(jù)庫里的hive數(shù)據(jù)表DBS和SDS里的localhost改為可以訪問到的IP地址或域名却紧。 更改方式參考：hiv...
-
spark連接Hive作者是通過metastore方式實(shí)現(xiàn)spark連接hive數(shù)據(jù)庫钦扭，所以首先啟動(dòng)metastore: 另外需要將core-site.xml兔乞、hdfs-site.xml传透、hive...
-
單機(jī)安裝Hadoop艾杏、spark環(huán)境
作者環(huán)境： CPU: E5-2678 v3韧衣、32G DDR4 Centos7 2003 java 1.8 hadoop 2.10.1 hive 2.3.7 scala 2.1...
-
Hive SQL語句使用記錄
清空表 Hive導(dǎo)入csv 作者在導(dǎo)入csv文件后發(fā)現(xiàn)數(shù)據(jù)全是NULL，經(jīng)過一番搜索發(fā)現(xiàn)是分隔符不一致购桑。csv文件的分隔符是','號畅铭，hive在創(chuàng)建的時(shí)候并未設(shè)置分隔符，從而...
-
制作linux系統(tǒng)盤提到大數(shù)據(jù)開發(fā)環(huán)境勃蜘，首先想到的是得有一個(gè)系統(tǒng)硕噩，本人之前熱衷于ubuntu。但隨著工作的深入缭贡，發(fā)現(xiàn)使用CentOS的多些炉擅，據(jù)說系統(tǒng)會(huì)比較穩(wěn)定，至于穩(wěn)定的原因是運(yùn)維人員多[Dog...
-
spark創(chuàng)建SparkSession
SparkSession介紹 SparkSession 是 spark2.0 引入的概念阳惹，可以代替 SparkContext谍失，SparkSession 內(nèi)部封裝了 SQLCo...
-
pyspark保存為csv
為了方便調(diào)試，需要輸出數(shù)據(jù)到csv莹汤，但是確遇到excel打開亂碼問題快鱼，今天就解決這個(gè)問題。 保存CSV repartition(1)是將所有分區(qū)文件合并成一個(gè)，不加這個(gè)選項(xiàng)會(huì)...