朝朝Mumu

剛看到，??configloader就是去讀個(gè)配置文件內(nèi)容的值，代碼直接寫值就行。

Spark Structured Streaming寫Hive HBase Mysql

組件版本 spark版本 2.3.1 (hdp) hadoop 3.1.1 (hdp) HDP hive 3.1.2 HBase 2.0.0 mysql 版本5.x 使用Sp...

朝朝Mumu

1867 2 6

朝朝Mumu

問題背景 在用戶的實(shí)際使用中發(fā)現(xiàn)浩蓉，某一簡(jiǎn)單查詢柠衍，查詢一段時(shí)間內(nèi)符合要求的記錄柒傻，查詢老舊數(shù)據(jù)顽悼，響應(yīng)速度在1秒左右曼振，而查詢包含最近數(shù)據(jù)的同類查詢則慢到十秒左右几迄，且存在超時(shí)的現(xiàn)象蔚龙。...

朝朝Mumu

failed to execute pipeline for a bulk request問題 客戶使用場(chǎng)景是使用第三方工具大批量往ES寫入數(shù)據(jù)木羹，報(bào)錯(cuò)寫入失敗，需排查解孙。 已知...

朝朝Mumu

后續(xù)研究下離線測(cè)試流程

Esrally性能測(cè)試步驟與調(diào)優(yōu)

esrally一個(gè)對(duì)ElasticSearch做基準(zhǔn)性能測(cè)試的工具坑填，是 elastic 官方開源的一款基于 python3 實(shí)現(xiàn)的針對(duì)ES 的壓測(cè)工具，ES官方也是基于 es...

朝朝Mumu

912 1 1

朝朝Mumu

esrally一個(gè)對(duì)ElasticSearch做基準(zhǔn)性能測(cè)試的工具弛姜，是 elastic 官方開源的一款基于 python3 實(shí)現(xiàn)的針對(duì)ES 的壓測(cè)工具脐瑰，ES官方也是基于 es...

朝朝Mumu

用戶在例行巡檢過程發(fā)現(xiàn)es有data節(jié)點(diǎn)處于停止?fàn)顟B(tài)，進(jìn)行啟動(dòng)后廷臼，頁面進(jìn)度條顯示綠色已完成苍在，但實(shí)際進(jìn)程啟動(dòng)失敗了绝页。 排查節(jié)點(diǎn)日志，發(fā)現(xiàn)不能訪問數(shù)據(jù)路徑寂恬，報(bào)錯(cuò)關(guān)鍵內(nèi)容如下：Un...

朝朝Mumu

原文轉(zhuǎn)自我的博客[https://kelvin-qzy.top/] 問題描述 ElasticSearch開箱即用续誉，本身并沒有太多需要配置、調(diào)整的參數(shù)初肉，平時(shí)使用中最大的問題應(yīng)該...

朝朝Mumu

kerberos下怎么jdbc鏈接（kerberos）酷鸦？jdbc url的寫法：jdbc:hive2://host:21050/;principal=hive/_HOST@B...

朝朝Mumu

前言 10年前的今天牙咏，Eric Brewer 博士發(fā)表CAP Twelve Years Later—How the 'Rules' Have Changed[https://...

朝朝Mumu

歡迎訪問我的博客[https://kelvin-qzy.top/] Hudi + Spark3入門第一課 Apache Hudi 是下一代流數(shù)據(jù)湖平臺(tái)躬翁。Apache Hudi...

朝朝Mumu

團(tuán)隊(duì)比個(gè)人更重要盒发，要避免破壞既定路徑的行為。 這樣的規(guī)定確實(shí)是大部分團(tuán)隊(duì)執(zhí)行的標(biāo)準(zhǔn)狡逢，可是宁舰，一旦大部分人的決定是錯(cuò)誤的，那么奢浑，其后果將是非陈瑁可怕的。 很多時(shí)候這條原則適應(yīng)于常規(guī)...

朝朝Mumu

Caused by: java.lang.Exception: Exception from container-launch. Container id: containe...