線上任務(wù)調(diào)度工具執(zhí)行 Hadoop Hive 相關(guān)的任務(wù)會(huì)偶發(fā)任務(wù)執(zhí)行失敗的問題愉镰，日志報(bào)錯(cuò)為 Kerberos 認(rèn)證失敗肝集。查看調(diào)度工具的運(yùn)行邏輯：每次執(zhí)行任務(wù)前先 kinit...
發(fā)簡信
IP屬地：北京
-
并發(fā) kinit 導(dǎo)致 kerberos GSS initiate failed 定位與解決
-
Apache Pulsar 桌面端圖形化管理工具
Apache Pulsar 桌面端圖形化管理工具 Apache Pulsar 是 Apache 軟件基金會(huì)頂級項(xiàng)目囊嘉，是下一代云原生分布式消息流平臺，集消息伴箩、存儲、輕量化函數(shù)式...
-
IMPALA常用命令COMPUTE STATS簡述前面介紹了HIVE的ANALYZE TABLE命令， IMPALA也提供了一個(gè)類似的命令叫COMPUTE STATS整陌。這篇文章就是講講這個(gè)命令。 IMPALA的COMPUTE...
-
conda的安裝與使用 2.0版（2022-08-12更新）有很多的生信軟件都可以通過conda安裝，省去了很多的安裝泌辫、修bug的煩惱随夸。經(jīng)常是安裝到崩潰的軟件，conda一行命令就搞定了甥郑。前兩天有個(gè)胖友問我gatk 3.8的版本在哪里...
-
Spring boot參考指南
Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgbook/spring-boot-reference-guid...
-
詳解 Serverless 架構(gòu)的 6 大應(yīng)用場景簡介： Serverless 架構(gòu)將成為未來云計(jì)算領(lǐng)域重要的技術(shù)架構(gòu)逃魄，將會(huì)被更多的業(yè)務(wù)所采納。進(jìn)一步深究澜搅，Serverless 架構(gòu)在什么場景下有優(yōu)秀的表現(xiàn)伍俘，在什么場景下可能...
-
實(shí)際使用Elasticdump工具對Elasticsearch集群進(jìn)行數(shù)據(jù)備份和數(shù)據(jù)還原
文/朱季謙 目錄一、Elasticdump工具介紹[https://www.cnblogs.com/zhujiqian/p/14641972.html#title1]二勉躺、El...
-
MySQL 8 雙主設(shè)置
前言 前面已經(jīng)講到了 MySQL 8 主從復(fù)制的設(shè)置癌瘾，另一種 MySQL 高可用的架構(gòu)是主-主的架構(gòu)。這種結(jié)構(gòu)的幾個(gè)數(shù)據(jù)庫都是主數(shù)據(jù)庫饵溅，每個(gè)數(shù)據(jù)庫數(shù)據(jù)的更新都會(huì)同步到其他的數(shù)...
-
CentOS7下 RPM 方式安裝 mongoDB 4
前言 以前自己沒有用過 mongoDB 妨退，這次有個(gè)遷移環(huán)境的工作，所以需要安裝 mongoDB 蜕企，在這個(gè)過程中有一些坑咬荷，所以記錄一下，已備后期查詢 下載文件 當(dāng)前最新的版本是...
-
Docker版MongoDB的安裝一. 什么是MongoDB MongoDB是現(xiàn)在主流的分布式文檔數(shù)據(jù)庫轻掩。一些字段不固定的數(shù)據(jù)幸乒，使用傳統(tǒng)數(shù)據(jù)庫就不太好處理，要么要建很多表互相關(guān)聯(lián)唇牧，要么要建很多冗余字段罕扎。而Mo...
-
正確使用Impala的invalidate metadata與refresh語句在Impala中，invalidate metadata與refresh語句都可以用來刷新表丐重，但它們本質(zhì)上還是不同的腔召。本文簡要分析一下，并說明它們應(yīng)該在什么情況下使用扮惦。 Im...
-
Slurm作業(yè)調(diào)度系統(tǒng)運(yùn)行一臀蛛、Slurm常規(guī)運(yùn)行操作在HPC上運(yùn)行任務(wù)的主要方法是通過sbatch命令提交一個(gè)腳本。例如： sabtch MyJobScript.sh在MyJobScript.sh中的...
-
頻繁使用MySQL崖蜜，磁盤IO高峰或爆滿掺栅，innodb_buffer_pool_size解決方案原因：最近項(xiàng)目優(yōu)化過程中，偶然發(fā)現(xiàn)本地服務(wù)器每過10s就會(huì)有一次磁盤爆滿的現(xiàn)象纳猪。在我們的項(xiàng)目中發(fā)現(xiàn)本地項(xiàng)目中存在一個(gè)用作“同步數(shù)據(jù)”的定時(shí)任務(wù)每過10s就查詢數(shù)據(jù)庫表氧卧，并把這...
-
分布式系統(tǒng)的緩存設(shè)計(jì)一、緩存簡介 1.1 什么是緩存 緩存就是數(shù)據(jù)交換的緩沖區(qū)氏堤。緩存的本質(zhì)是一個(gè)內(nèi)存 Hash沙绝。緩存是一種利用空間換時(shí)間的設(shè)計(jì)搏明，其目標(biāo)就是更快、更近闪檬。 將數(shù)據(jù)寫入/讀取速度更快的...
-
Linux SSL證書安裝1. 查找nginx 的安裝位置： 2. 上傳證書： 3. 移動(dòng)證書到 cert 文件夾 4. 配置 5. 完整nginx.conf 配置 6. 前端可以了星著，但是后臺還不是h...
-
impala查詢作業(yè)超時(shí)分析
版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載粗悯。http://www.reibang.com/p/979eca668755 生產(chǎn)在線集群impala查詢虚循，多個(gè)作業(yè)超時(shí) ...
-
hadoop 集群 rebalance 和磁盤 均衡在我們使用hadoop集群的時(shí)候 ，由于 日志 數(shù)據(jù)不斷流入寫入到hdfs上样傍，而且 算法人員 不斷的清洗 數(shù)據(jù)做特征工程 又會(huì)產(chǎn)生 新的中間數(shù)據(jù) 横缔，而且量一點(diǎn)都不小。這個(gè)時(shí)...
-
33種經(jīng)典圖表類型總結(jié)衫哥，輕松玩轉(zhuǎn)數(shù)據(jù)可視化隨著時(shí)代的發(fā)展茎刚，越來越多的數(shù)據(jù)量堆積，然而這些密密麻麻的數(shù)據(jù)的可讀性較差并且毫無重點(diǎn)撤逢，而數(shù)據(jù)可視化更加直觀有意義膛锭，更能幫助數(shù)據(jù)更易被人們理解和接受。因此運(yùn)用恰當(dāng)?shù)膱D表實(shí)現(xiàn)數(shù)據(jù)...