線上任務(wù)調(diào)度工具執(zhí)行 Hadoop Hive 相關(guān)的任務(wù)會偶發(fā)任務(wù)執(zhí)行失敗的問題触徐，日志報錯為 Kerberos 認(rèn)證失敗霉咨。查看調(diào)度工具的運行邏輯：每次執(zhí)行任務(wù)前先 kinit...
發(fā)簡信
IP屬地：北京
-
并發(fā) kinit 導(dǎo)致 kerberos GSS initiate failed 定位與解決
-
Apache Pulsar 桌面端圖形化管理工具
Apache Pulsar 桌面端圖形化管理工具 Apache Pulsar 是 Apache 軟件基金會頂級項目暑刃，是下一代云原生分布式消息流平臺，集消息铸史、存儲授滓、輕量化函數(shù)式...
-
IMPALA常用命令COMPUTE STATS簡述前面介紹了HIVE的ANALYZE TABLE命令， IMPALA也提供了一個類似的命令叫COMPUTE STATS这吻。這篇文章就是講講這個命令吊档。 IMPALA的COMPUTE...
-
conda的安裝與使用 2.0版（2022-08-12更新）有很多的生信軟件都可以通過conda安裝，省去了很多的安裝唾糯、修bug的煩惱怠硼。經(jīng)常是安裝到崩潰的軟件，conda一行命令就搞定了移怯。前兩天有個胖友問我gatk 3.8的版本在哪里...
-
Spring boot參考指南
Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgbook/spring-boot-reference-guid...
-
詳解 Serverless 架構(gòu)的 6 大應(yīng)用場景簡介： Serverless 架構(gòu)將成為未來云計算領(lǐng)域重要的技術(shù)架構(gòu)香璃，將會被更多的業(yè)務(wù)所采納。進(jìn)一步深究舟误，Serverless 架構(gòu)在什么場景下有優(yōu)秀的表現(xiàn)葡秒，在什么場景下可能...
-
實際使用Elasticdump工具對Elasticsearch集群進(jìn)行數(shù)據(jù)備份和數(shù)據(jù)還原
文/朱季謙 目錄一、Elasticdump工具介紹[https://www.cnblogs.com/zhujiqian/p/14641972.html#title1]二嵌溢、El...
-
MySQL 8 雙主設(shè)置
前言 前面已經(jīng)講到了 MySQL 8 主從復(fù)制的設(shè)置眯牧，另一種 MySQL 高可用的架構(gòu)是主-主的架構(gòu)。這種結(jié)構(gòu)的幾個數(shù)據(jù)庫都是主數(shù)據(jù)庫赖草，每個數(shù)據(jù)庫數(shù)據(jù)的更新都會同步到其他的數(shù)...
-
CentOS7下 RPM 方式安裝 mongoDB 4
前言 以前自己沒有用過 mongoDB 学少，這次有個遷移環(huán)境的工作，所以需要安裝 mongoDB 秧骑，在這個過程中有一些坑版确，所以記錄一下，已備后期查詢 下載文件 當(dāng)前最新的版本是...
-
Docker版MongoDB的安裝一. 什么是MongoDB MongoDB是現(xiàn)在主流的分布式文檔數(shù)據(jù)庫腿堤。一些字段不固定的數(shù)據(jù)阀坏，使用傳統(tǒng)數(shù)據(jù)庫就不太好處理，要么要建很多表互相關(guān)聯(lián)笆檀，要么要建很多冗余字段忌堂。而Mo...
-
正確使用Impala的invalidate metadata與refresh語句在Impala中，invalidate metadata與refresh語句都可以用來刷新表酗洒，但它們本質(zhì)上還是不同的士修。本文簡要分析一下枷遂，并說明它們應(yīng)該在什么情況下使用。 Im...
-
Slurm作業(yè)調(diào)度系統(tǒng)運行一棋嘲、Slurm常規(guī)運行操作在HPC上運行任務(wù)的主要方法是通過sbatch命令提交一個腳本酒唉。例如： sabtch MyJobScript.sh在MyJobScript.sh中的...
-
頻繁使用MySQL，磁盤IO高峰或爆滿沸移，innodb_buffer_pool_size解決方案原因：最近項目優(yōu)化過程中痪伦，偶然發(fā)現(xiàn)本地服務(wù)器每過10s就會有一次磁盤爆滿的現(xiàn)象。在我們的項目中發(fā)現(xiàn)本地項目中存在一個用作“同步數(shù)據(jù)”的定時任務(wù)每過10s就查詢數(shù)據(jù)庫表雹锣，并把這...
-
分布式系統(tǒng)的緩存設(shè)計一网沾、緩存簡介 1.1 什么是緩存 緩存就是數(shù)據(jù)交換的緩沖區(qū)。緩存的本質(zhì)是一個內(nèi)存 Hash蕊爵。緩存是一種利用空間換時間的設(shè)計辉哥，其目標(biāo)就是更快、更近攒射。 將數(shù)據(jù)寫入/讀取速度更快的...
-
Linux SSL證書安裝1. 查找nginx 的安裝位置： 2. 上傳證書： 3. 移動證書到 cert 文件夾 4. 配置 5. 完整nginx.conf 配置 6. 前端可以了醋旦，但是后臺還不是h...
-
impala查詢作業(yè)超時分析
版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載会放。http://www.reibang.com/p/979eca668755 生產(chǎn)在線集群impala查詢饲齐，多個作業(yè)超時 ...
-
hadoop 集群 rebalance 和磁盤 均衡在我們使用hadoop集群的時候 ，由于 日志 數(shù)據(jù)不斷流入寫入到hdfs上鸦概，而且 算法人員 不斷的清洗 數(shù)據(jù)做特征工程 又會產(chǎn)生 新的中間數(shù)據(jù) 箩张，而且量一點都不小甩骏。這個時...
-
33種經(jīng)典圖表類型總結(jié)窗市，輕松玩轉(zhuǎn)數(shù)據(jù)可視化隨著時代的發(fā)展，越來越多的數(shù)據(jù)量堆積饮笛，然而這些密密麻麻的數(shù)據(jù)的可讀性較差并且毫無重點咨察，而數(shù)據(jù)可視化更加直觀有意義，更能幫助數(shù)據(jù)更易被人們理解和接受福青。因此運用恰當(dāng)?shù)膱D表實現(xiàn)數(shù)據(jù)...