千瀟

@Kent_Yao ?? 期待盡早合并到master

Spark on k8s: 配置和使用ConfigMap

什么是 ConfigMap 顧名思義屑墨，用來存配置的Map，可以存單個配置或者配置文件杉编，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件大咱，后者一般會被 mount 到...

Kent_Yao

6332 5 4

千瀟

@Kent_Yao hadoop conf configMap 沒有掛載到exector pod。只有driver實現(xiàn)：HadoopConfDriverFeatureStep焕刮，沒有Executor實現(xiàn)舶沿。

Spark on k8s: 配置和使用ConfigMap

什么是 ConfigMap 顧名思義墙杯，用來存配置的Map，可以存單個配置或者配置文件括荡，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件高镐，后者一般會被 mount 到...

Kent_Yao

6332 5 4

千瀟

spark exector 好像沒有創(chuàng)建volume, 掛載configMap?

Spark on k8s: 配置和使用ConfigMap

什么是 ConfigMap 顧名思義，用來存配置的Map畸冲，可以存單個配置或者配置文件嫉髓，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件，后者一般會被 mount 到...

Kent_Yao

6332 5 4

千瀟

@snail2019 真正搞機(jī)器學(xué)習(xí)的人是數(shù)據(jù)分析人員和算法工程師类少，這些人是數(shù)學(xué)，統(tǒng)計之類專業(yè)畢業(yè)的渔扎，做的是數(shù)據(jù)相關(guān)的工作硫狞，他們只會sql和python，不會scala和java 之類的晃痴。你估計沒有用過pandas残吩？

漫談加持Blink的Flink和Spark

前言 今天朋友圈有篇【阿里技術(shù)】發(fā)的文章，說Blink的性能如何強(qiáng)悍倘核，功能現(xiàn)在也已經(jīng)比較完善泣侮。譬如： Blink 在 TPC-DS 上和 Spark 相比有著非常明顯的性能優(yōu)...

祝威廉

13911 4 19

千瀟

還有一種優(yōu)化，如果是parquet 和 orc 文件紧唱，這些文件中記錄了count活尊，max, min 等元數(shù)據(jù)，可以直接讀取

Hive表數(shù)據(jù)質(zhì)量校驗的設(shè)計與開發(fā)

一張Hive計算完成后漏益，開發(fā)者會希望知道計算結(jié)果是否符合預(yù)期蛹锰，比如是否有臟數(shù)據(jù)，是否數(shù)據(jù)量符合預(yù)期绰疤。這里就有兩個問題铜犬，一個是校驗什么，另一個是怎么校驗。 校驗什么 單個字段校...

爆頭精

4053 2 2

千瀟

可以在application.properties文件內(nèi)部application.yml翎苫，文件內(nèi)部或命令行開關(guān)中指定各種屬性权埠。本附錄提供了常見Spring Boot屬性的列表...