千瀟

@Kent_Yao ?? 期待盡早合并到master

Spark on k8s: 配置和使用ConfigMap

什么是 ConfigMap 顧名思義，用來存配置的Map渠脉，可以存單個配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件瓶佳，后者一般會被 mount 到...

Kent_Yao

6332 5 4

千瀟

@Kent_Yao hadoop conf configMap 沒有掛載到exector pod芋膘。只有driver實現(xiàn)：HadoopConfDriverFeatureStep，沒有Executor實現(xiàn)霸饲。

Spark on k8s: 配置和使用ConfigMap

什么是 ConfigMap 顧名思義为朋，用來存配置的Map，可以存單個配置或者配置文件厚脉，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件习寸，后者一般會被 mount 到...

Kent_Yao

6332 5 4

千瀟

spark exector 好像沒有創(chuàng)建volume, 掛載configMap?

Spark on k8s: 配置和使用ConfigMap

什么是 ConfigMap 顧名思義，用來存配置的Map傻工，可以存單個配置或者配置文件融涣，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件童番，后者一般會被 mount 到...

Kent_Yao

6332 5 4

千瀟

@snail2019 真正搞機(jī)器學(xué)習(xí)的人是數(shù)據(jù)分析人員和算法工程師糟秘，這些人是數(shù)學(xué)简逮，統(tǒng)計之類專業(yè)畢業(yè)的，做的是數(shù)據(jù)相關(guān)的工作尿赚，他們只會sql和python散庶，不會scala和java 之類的。你估計沒有用過pandas凌净？

漫談加持Blink的Flink和Spark

前言 今天朋友圈有篇【阿里技術(shù)】發(fā)的文章悲龟，說Blink的性能如何強悍，功能現(xiàn)在也已經(jīng)比較完善冰寻。譬如： Blink 在 TPC-DS 上和 Spark 相比有著非常明顯的性能優(yōu)...

祝威廉

13911 4 19

千瀟

還有一種優(yōu)化须教，如果是parquet 和 orc 文件，這些文件中記錄了count斩芭，max, min 等元數(shù)據(jù)轻腺，可以直接讀取

Hive表數(shù)據(jù)質(zhì)量校驗的設(shè)計與開發(fā)

一張Hive計算完成后，開發(fā)者會希望知道計算結(jié)果是否符合預(yù)期划乖，比如是否有臟數(shù)據(jù)贬养，是否數(shù)據(jù)量符合預(yù)期。這里就有兩個問題迁筛，一個是校驗什么煤蚌，另一個是怎么校驗。 校驗什么 單個字段校...

爆頭精

4053 2 2

千瀟

可以在application.properties文件內(nèi)部application.yml细卧，文件內(nèi)部或命令行開關(guān)中指定各種屬性尉桩。本附錄提供了常見Spring Boot屬性的列表...