提問：spark 數(shù)據(jù)源有幾種擴展方式辜窑？ 答：三種脚线，兩種是基于datasource v1的迹鹅，第三種是datasource v2的實現(xiàn)辽旋；不推薦前兩種方法，實現(xiàn)有點復雜推薦使用第...
發(fā)簡信
IP屬地：廣東
-
spark 數(shù)據(jù)源 擴展 之 excel
-
PicGo + Gitee(碼云)實現(xiàn)markdown圖床
前言：深感在線博客的編輯器坑太多了鸦概，文檔丟失奸忽、必須聯(lián)網(wǎng)、可移植性太差改鲫，所以開始尋找可替代的方案诈皿。 markdown是一門易于上手能幫助作者專心寫作的文檔編輯語言，它的好處太多...
-
可能是目前顏值最高的開源BI工具-Superset沒有聲音钩杰，再好的戲也出不來同樣纫塌，沒有可視化，再好的數(shù)據(jù)分析也不完美數(shù)據(jù)可視化是大數(shù)據(jù)的『最后一公里』 簡介 Superset的Airbnb開源的數(shù)據(jù)可視化工具讲弄，目前屬于Apa...
-
數(shù)據(jù)中臺到底是什么措左？
阿里提出了“大中臺，小前臺”避除，其中臺事業(yè)部包括搜索事業(yè)部怎披、共享業(yè)務平臺、數(shù)據(jù)技術及產(chǎn)品部瓶摆，數(shù)據(jù)技術及產(chǎn)品部應是數(shù)據(jù)中臺建設的核心部門凉逛。 那么，數(shù)據(jù)中臺到底是什么群井？具體包含哪些...
-
NameNode內(nèi)存解析及大小評估
HDFS由NameNode和DataNode組成状飞，其中NameNode作為Master節(jié)點，負責維護整個集群的狀態(tài)书斜，為了提高響應速度其大部分數(shù)據(jù)都常駐內(nèi)存诬辈，則NameNode...
-
Spark應用分片介紹
引言 分布式計算的基本思路是將數(shù)據(jù)分為多個部分，將同樣的數(shù)據(jù)操作方式在數(shù)據(jù)的不同部分上執(zhí)行荐吉，分別獲得結(jié)果焙糟，然后通過“匯聚處理”的方式得到結(jié)果。如何將數(shù)據(jù)分為多個部分（也就是“...
-
Spark系列 —— 各類算子詳解（一）
前言 本文主要是一篇總結(jié)性文章样屠，將列舉絕大部分的 Spark Transformation算子及其使用方法 和一些使用場景穿撮。 Transformation 算子 該類算子屬于...
-
Spark Multi Tenancy系列 - 2 還是社區(qū)問題
問題1 spark.driver.allowMultipleContexts SparkContext.scala#L79這個配置項拆開來念spark driver allo...
