用helm 方式比較方便益咬，不然需要手動(dòng)修改好多yaml 美中不足，這兩個(gè)ingress-controller 不通的namespace 未蝌，配置文件會(huì)互相加載，但修改其中一個(gè)掩幢，...
IP屬地：北京
-
kubernetes 多ingress-nginx 部署
-
nginx request id 穿透
nginx proxy每次請(qǐng)求都會(huì)自動(dòng)生成一個(gè)request_id 方便追蹤請(qǐng)求缤骨。 很多時(shí)候我們使用的架構(gòu)并不是nginx直接對(duì)應(yīng)到后端app，而且交胚，經(jīng)過(guò)多個(gè)nginx pr...
-
k8s prometheus-stack 數(shù)據(jù)持久化-懶人版
prometheus-stack的數(shù)據(jù)持久化需要通過(guò)prometheus-opreate 配置份汗。 prometheus 通過(guò)污點(diǎn)、容忍調(diào)度到master-01 上 蝴簇。然后ma...
-
spark on ack (ali EMR on ACK) 問(wèn)題匯總
1杯活、spark-shell 提交任務(wù)以后，終端超時(shí)熬词，實(shí)際任務(wù)不退出旁钧，造成資源一直計(jì)費(fèi)。需要進(jìn)入到spark-gateway 機(jī)器上手動(dòng)kill 任務(wù)進(jìn)程互拾。 2歪今、pyspark...
-
spark on ACK
構(gòu)建spark docker 鏡像下載spark-2.4.8-bin-hadoop2.7.tgz Note: 這里下載spark包一定不是能是without hadoop 的...
-
HDFS EC 血淚史（獻(xiàn)給想要在HDFS啟用EC的朋友們）
如果想在你的hdfs 上開(kāi)啟EC，并使用HDP颜矿，或是CDH版本的時(shí)候寄猩，請(qǐng)仔細(xì)閱讀，并認(rèn)真想清楚你的場(chǎng)景骑疆。 我們是由于一些原因田篇，先用HDP 3.1.5 騰訊云的虛擬機(jī)在搭建了一...
-
HDFS 節(jié)點(diǎn)Decommission速度優(yōu)化
參考資料https://bbs.huaweicloud.com/forum/thread-73286-1-1.html[https://bbs.huaweicloud.com...
-
spark 根據(jù)parquet 文件結(jié)構(gòu)創(chuàng)建外部表 ( scala代碼 )
zeppelin 運(yùn)行 [參照] https://stackoverflow.com/questions/33625617/creating-hive-table-using...
-
flume 寫(xiě)入HDFS文件無(wú)法讀取，提示數(shù)據(jù)不完整封断。
容器化flume以后斯辰，在縮減的flume 容器的時(shí)候，出現(xiàn)數(shù)據(jù)無(wú)法讀取坡疼，錯(cuò)誤提示數(shù)據(jù)不完整彬呻。 根據(jù)flume sink事務(wù)機(jī)制定位，flume沒(méi)有正常關(guān)閉柄瑰，k8s 強(qiáng)制kil...
-
python pandas dataframe 寫(xiě)入hdfs
只能python3 python2 pip 安裝包的時(shí)候報(bào)錯(cuò) pip install hdfs[avro,dataframe,kerberos]
-
pyspark 使用virtualenv打包獨(dú)立運(yùn)行環(huán)境
背景： pyspark 運(yùn)行時(shí)需要很多額外數(shù)據(jù)科學(xué)包闸氮，比如pandas,numpy, pyspark 等等 。如果不使用virtualenv 獨(dú)立打包教沾，你需要在每個(gè)nodem...
-
哪里不完整蒲跨？
HDP 3.1.5 升級(jí)spark版本, 多版本共存
HDP3.1.5 默認(rèn)spark版本2.4 ，希望將spark升級(jí)到3 1授翻、去spark官網(wǎng)上下載spark3版本或悲，選擇spark3-hadoop3.2 孙咪，雖然hadoop版...
-
HDP 3.1.5 升級(jí)spark版本, 多版本共存
HDP3.1.5 默認(rèn)spark版本2.4 ，希望將spark升級(jí)到3 1巡语、去spark官網(wǎng)上下載spark3版本翎蹈，選擇spark3-hadoop3.2 ，雖然hadoop版...
-
How to Abort a hung ambari operation
In case ambari API doesn't help. You can use following SQL queries to abort hung/queued...
-
HDP關(guān)閉SMARTSENSE服務(wù)
編輯 /var/lib/ambari-server/resources/stacks/HDP/3.0/services/SMARTSENSE/metainfo.xml 注釋或...
-
HDP 3.1 開(kāi)啟kerberos后去掉web頁(yè)面認(rèn)證
hadoop 頁(yè)面 這個(gè)改完以后yarn頁(yè)面男公。yarn-env.sh 去掉 {% if rm_security_opts is defined %}YARN_RESOURCE...
-
hadoop2 VS hadoop3 功能對(duì)比
1.目的在這篇文章中荤堪，我們將討論Hadoop 2.x與Hadoop 3.x之間的比較。 Hadoop3版本中添加了哪些新功能枢赔，Hadoop3中兼容的Hadoop 2程序澄阳，Ha...
-
python json.loads 報(bào)錯(cuò) json.decoder.JSONDecodeError
原因：json默認(rèn)使用的是嚴(yán)謹(jǐn)格式，json_data鍵值中有非法控制符號(hào)如\n\t踏拜， 當(dāng)跨語(yǔ)言傳遞數(shù)據(jù)時(shí)碎赢，就容易報(bào)出這個(gè)錯(cuò)誤。 解決方法：加上參數(shù) strict [轉(zhuǎn)自] ...