由于 Mac 操作系統(tǒng)提供 LibreSSL 而非 openssl身害，故遇到編譯問題需要自行安裝和激活 openssl 安裝 openssl 依賴 查看 openssl 信息 ...
IP屬地：重慶
-
Mac 操作系統(tǒng) fatal error: 'openssl/ssl.h' file not found
-
yarn-site.xml
記一次Spark Yarn Shuffle Service升級引發(fā)的血案
前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務寄生在其進程內部墓塌，大家都知道可以通過這個外部服務來削減...
-
Spark支持的java.time.Instant最大(小)值是多少？
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相關的內部計算和用戶API中蝶缀，比如Instant...
-
ScalaReflection調用localTypeOf拋出NullPointerException問題記錄
目前懷疑是scala bug所致契耿，https://github.com/scala/bug/issues/10766Spark在注冊用戶的UDF的時候會根據(jù)UDF的輸入類型和...
-
@王冠吉 distribute by a,rand() *700不是hash(a, rand),而是hash（a）再hash（rand）
如何避免Spark SQL做數(shù)據(jù)導入時產(chǎn)生大量小文件
什么是小文件腾降？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案而晒，來獲得SQL on Hadoop更出色的性能蝇狼。因此，本文所講的是指存儲于HDFS中小文件倡怎，即指文件...
-
是的
如何避免Spark SQL做數(shù)據(jù)導入時產(chǎn)生大量小文件
什么是小文件迅耘？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案监署，來獲得SQL on Hadoop更出色的性能颤专。因此，本文所講的是指存儲于HDFS中小文件焦匈，即指文件...
-
@胖頭魚_2ea3 久仰血公，可以并歡迎轉載，謝謝
Hudi: Uber Engineering的Apache Hadoop增量處理框架
隨著Apache Parquet和Apache ORC等存儲格式以及Presto和Apache Impala等查詢引擎的發(fā)展缓熟，Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級延時場景...
-
@千瀟 創(chuàng)建什么volume累魔？
Spark on k8s: 配置和使用ConfigMap
什么是 ConfigMap 顧名思義，用來存配置的Map够滑，可以存單個配置或者配置文件垦写，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件，后者一般會被 mount 到...
-
數(shù)據(jù)本地性對 Spark 生產(chǎn)作業(yè)容錯能力的負面影響數(shù)據(jù)本地性是 Spark 等計算引擎從計算性能方面去考量的一個重要指標况毅，對于某個數(shù)據(jù)分片的運算分蓖，Spark 在調度側會做數(shù)據(jù)本地性的預測，然后盡可能的將這個運算對應的Task...
-
記一次Spark Yarn Shuffle Service升級引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務寄生在其進程內部尔许，大家都知道可以通過這個外部服務來削減...
-
Spark on k8s: failed to create container for [kubepods burstable...no space left on device問題描述 測試了若干天的Spark on k8s, 今天突然就無法初始化 Spark Driver Pod 了么鹤。表現(xiàn)如下， 客戶端側以cluster模式提交一個幾秒就會結束的...
-
Spark on k8s: 通過hostPath設置SPARK_LOCAL_DIRS加速Shuffle前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle階段臨時文件及RDD持久化存儲等味廊，可以使用逗號分隔配置多個路徑對應到...
-
Spark on k8s: OkHttp WebSocket 非daemon線程導致Driver線程無法退出問題描述 基于Spark 3.0-SNAPSHOT(unreleased)蒸甜，做Spark-Terasort相關測試棠耕，任務正常的話分如下圖所示兩個stage， 第一個柠新，stag...
-
Spark on k8s: 調試Executor Pod的方法相關文章 1 . Spark on k8s: 調試客戶端spark-submit進程 Spark on k8s: 調試Driver Pod的方法 前兩篇博客已經(jīng)將 Spark...
-
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顧名思義窍荧，用來存配置的Map，可以存單個配置或者配置文件恨憎，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件蕊退，后者一般會被 mount 到...
個人介紹