1.kerberos集群與free ipa集成執(zhí)行：addpric報(bào)錯(cuò) 添加randkey報(bào)錯(cuò)： 添加參數(shù)：-x ipa-setup-override-restriction...
IP屬地：浙江
-
集群開啟Kerberos-（free ipa）報(bào)錯(cuò)記錄
-
HIVE -- unable to read hiveserver2 configs zookeeper(開啟ranger)hive 通過beeline 連接 hive報(bào)錯(cuò)unable to read hiveserver2 configs zookeeper：首先會(huì)在zookeeper里面創(chuàng)建一...
-
hive分區(qū)iceberg表需频，添加iceberg.mr.table.schema bugsql： 報(bào)錯(cuò)： 原因： 采取的是iceberg的deserializer 把iceberg.mr.table.schema 里面的字段作為了hive表的字段描述等恐，導(dǎo)致hiv...
-
hdfs 糾刪碼集成inter isa-l默認(rèn)hadoop不支持isa-l生兆，執(zhí)行hadoop checknative可以看到一下結(jié)果： 編譯isa-l： bigtop編譯： 覆蓋hadoop的native，執(zhí)行had...
-
yum 報(bào)錯(cuò)error: rpmdb: BDB0113 Thread/process
報(bào)錯(cuò)： 執(zhí)行：mv /var/lib/rpm/__db.00* /tmp/&&yum clean all
-
Impala lzo編譯（CentOS 7 && Kylin X86）報(bào)錯(cuò)記錄
編譯步驟： 報(bào)錯(cuò)一： 修改CMakeLists.txt中： 修改為： 報(bào)錯(cuò)二： 解決辦法：修改 #include "exec/hdfs-text-scanner.h" 為 #...
-
Spark源碼分析之作業(yè)和任務(wù)調(diào)度流程一.前言 Spark的作業(yè)和任務(wù)調(diào)度系統(tǒng)是其核心斜脂。Spark的作業(yè)調(diào)度主要是基于RDD的一系列操作構(gòu)成一個(gè)作業(yè)，然后在Executor上執(zhí)行燕差，這些操作算子主要分為轉(zhuǎn)換和行動(dòng)算...
-
kafka認(rèn)證方式kafka認(rèn)證方式 kafka具有三種大類認(rèn)證方式遭笋，SSL、SASL徒探、Delegation Token三種認(rèn)證瓦呼。其中SSL是證書驗(yàn)證，于SSL的認(rèn)證主要是指Broker和客戶...
-
Spark 任務(wù)調(diào)度系統(tǒng)如何工作 先將用戶構(gòu)建的DAG轉(zhuǎn)化為分布式任務(wù)，結(jié)合分布式集群資源的可用性央串，基于調(diào)度規(guī)則依序把分布式任務(wù)分發(fā)到執(zhí)行器磨澡。 執(zhí)行步驟 調(diào)度的核心組件 DAGScheduler 主...
-
SparkThriftServer內(nèi)存泄漏排查STS（SparkThrfitServer）版本 spark-3.2.1-bin-hadoop3.2 問題表現(xiàn) Spark UI 經(jīng)常無響應(yīng) STS 經(jīng)常掛掉 問題分析 獲取...
-
數(shù)棧是袋鼠云旗下一站式的數(shù)據(jù)中臺(tái)PaaS稳摄，我們以技術(shù)為核心，目標(biāo)是通過技術(shù)將未來變成現(xiàn)在饲宿。
-
綠泡泡：bysj2023nb
-
大佬瘫想，怎么開發(fā)權(quán)限插件研究出來了嗎仗阅？??
Apache Ranger項(xiàng)目剖析
背景 數(shù)據(jù)權(quán)限的治理也是一個(gè)挺有意思的話題, 你可以把權(quán)限管理放到應(yīng)用層, 當(dāng)用戶提交查詢到 hive/presto/spark 的時(shí)候, 首先進(jìn)行SQL的檢查, 得知該用戶...
-
感謝指正！
詳解Flink-CDC
CDC介紹 CDC 是 Change Data Capture（變更數(shù)據(jù)獲裙埂）的簡(jiǎn)稱减噪。核心思想是，監(jiān)測(cè)并捕獲數(shù)據(jù)庫的變動(dòng)（包括數(shù)據(jù)或數(shù)據(jù)表的插入车吹、更新以及刪除等）筹裕，將這些變更...
-
ranger源代碼解讀插件原理（HDFS）首先窄驹，集群怎么加載ranger插件： 1.首先是hdfs的hdfs-site.xml中配置了以下配置： 2.加載過程：首先,在ranger-hdfs-plugin-shim這...
-
java調(diào)用webservice接口（.asmx）
前幾天開發(fā)app時(shí)朝卒，需要調(diào)用其他系統(tǒng)的數(shù)據(jù)，該系統(tǒng)開發(fā)人員給我提供了webservice接口馒吴。對(duì)于從來沒見過webservice接口的我扎运，真的是一臉懵。現(xiàn)在把記錄一下饮戳，方便自...
-
詳解Flink-CDC
CDC介紹 CDC 是 Change Data Capture（變更數(shù)據(jù)獲群乐巍）的簡(jiǎn)稱。核心思想是扯罐，監(jiān)測(cè)并捕獲數(shù)據(jù)庫的變動(dòng)（包括數(shù)據(jù)或數(shù)據(jù)表的插入负拟、更新以及刪除等），將這些變更...
-
SparkML實(shí)現(xiàn)性別預(yù)測(cè)因?yàn)閷W(xué)習(xí)推薦系統(tǒng)與用戶畫像系統(tǒng)歹河，特別記錄Spark Machine Learning的學(xué)習(xí)過程掩浙。 Spark ML使用基礎(chǔ)概念 DataFrame DataFrame是組織成...
