提問：spark 數(shù)據(jù)源有幾種擴展方式收恢？ 答：三種，兩種是基于datasource v1的栈源，第三種是datasource v2的實現(xiàn)；不推薦前兩種方法竖般，實現(xiàn)有點復(fù)雜推薦使用第...
發(fā)簡信
IP屬地：廣東
-
spark 數(shù)據(jù)源 擴展 之 excel
-
PicGo + Gitee(碼云)實現(xiàn)markdown圖床
前言：深感在線博客的編輯器坑太多了甚垦，文檔丟失、必須聯(lián)網(wǎng)、可移植性太差艰亮，所以開始尋找可替代的方案闭翩。 markdown是一門易于上手能幫助作者專心寫作的文檔編輯語言，它的好處太多...
-
Mac Big Sur 升級后 JD-GUI 無法打開的問題修復(fù)升級 Big Sur 后發(fā)現(xiàn)JD-GUI 打開報錯： ERROR launching 'JD-GUI'No suitable Java version found on yo...
-
可能是目前顏值最高的開源BI工具-Superset沒有聲音迄埃，再好的戲也出不來同樣男杈，沒有可視化，再好的數(shù)據(jù)分析也不完美數(shù)據(jù)可視化是大數(shù)據(jù)的『最后一公里』 簡介 Superset的Airbnb開源的數(shù)據(jù)可視化工具调俘，目前屬于Apa...
-
數(shù)據(jù)中臺到底是什么伶棒？
阿里提出了“大中臺，小前臺”彩库，其中臺事業(yè)部包括搜索事業(yè)部肤无、共享業(yè)務(wù)平臺、數(shù)據(jù)技術(shù)及產(chǎn)品部骇钦，數(shù)據(jù)技術(shù)及產(chǎn)品部應(yīng)是數(shù)據(jù)中臺建設(shè)的核心部門宛渐。 那么，數(shù)據(jù)中臺到底是什么眯搭？具體包含哪些...
-
NameNode內(nèi)存解析及大小評估
HDFS由NameNode和DataNode組成窥翩，其中NameNode作為Master節(jié)點，負(fù)責(zé)維護整個集群的狀態(tài)鳞仙，為了提高響應(yīng)速度其大部分?jǐn)?shù)據(jù)都常駐內(nèi)存寇蚊，則NameNode...
-
Spark應(yīng)用分片介紹
引言 分布式計算的基本思路是將數(shù)據(jù)分為多個部分，將同樣的數(shù)據(jù)操作方式在數(shù)據(jù)的不同部分上執(zhí)行棍好，分別獲得結(jié)果仗岸，然后通過“匯聚處理”的方式得到結(jié)果。如何將數(shù)據(jù)分為多個部分（也就是“...
-
java.lang.NoSuchMethodError: org.apache.spark.internal.Logging這個錯誤是個老哥布林了借笙，原因一般上就是 Spark 編譯時的版本以及scala版本和運行環(huán)境上不一致導(dǎo)致的扒怖；但總是會動不動就踩一下這個錯誤；記錄一下這次錯誤业稼； 錯誤日志 在本...
-
SparkSQL 計算結(jié)果和 Hive 不一致問題
今天遇到一個 SQL 在 Hive 上正常執(zhí)行盗痒，但是在 SparkSQL 上 運行沒有結(jié)果的問題；下面截取其中的一段 SQL低散，就是導(dǎo)致結(jié)果不同的子句俯邓； martrd.STKA...
-
-
Spark系列 —— 各類算子詳解（一）
前言 本文主要是一篇總結(jié)性文章看成，將列舉絕大部分的 Spark Transformation算子及其使用方法 和一些使用場景君编。 Transformation 算子 該類算子屬于...
-
Spark Multi Tenancy系列 - 2 還是社區(qū)問題
問題1 spark.driver.allowMultipleContexts SparkContext.scala#L79這個配置項拆開來念spark driver allo...
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(version 1.2.1.spark2)...
-
Spark多租戶場下的一些探討與實現(xiàn)
-
2020 推薦系統(tǒng)入門 (1)推薦系統(tǒng) 推薦系統(tǒng)概觀 什么是推薦系統(tǒng) 那么什么是推薦系統(tǒng)梦重，推薦系統(tǒng)做了那些工作呢？其實推薦系統(tǒng)就是根據(jù)用戶的歷史信息和行為亮瓷，向用戶推薦他感興趣的內(nèi)容或商品琴拧。 推薦系統(tǒng)的重要...
-
Spark、BulkLoad Hbase嘱支、單列蚓胸、多列
背景 之前的博客：Spark：DataFrame寫HFile （Hbase）一個列族、一個列擴展一個列族除师、多個列 用spark 1.6.0 和 hbase 1.2.0 版本實...
-
Zeppelin初體驗Zepplin是一個很有意思的筆記本沛膳，支持眾多interpreter，包括Flink汛聚。在網(wǎng)上找了很多資料锹安，發(fā)現(xiàn)直接使用二進制包，或者從源碼編譯倚舀，均無法向Flink 1.7.1...
-
Helm 從入門到實踐Helm 是 Kubernetes 的軟件包管理工具叹哭。本文需要讀者對 Docker、Kubernetes 等相關(guān)知識有一定的了解痕貌。 本文將介紹 Helm 中的相關(guān)概念和基本工...
