發(fā)簡(jiǎn)信
IP屬地：河北
-
Hive元數(shù)據(jù)升級(jí)工具源碼剖析——HiveSchemaTool1 背景 隨著公司業(yè)務(wù)的井噴式發(fā)展矛物，數(shù)倉(cāng)元數(shù)據(jù)也日益龐大拙毫，尤其是存在很多設(shè)計(jì)不合理的大分區(qū)表藏杖，導(dǎo)致一些元數(shù)據(jù)表（如PARTITIONS延窜，PART...
-
記一次Hive任務(wù)hang住的問題(2)
1 背景 線上Hive任務(wù)偶爾出現(xiàn)hang住的現(xiàn)象.經(jīng)排查確認(rèn)是觸發(fā)了Hive的bug, 該bug在Hive-10569(https://iss...
-
記一次端口不釋放的問題
1 背景 一臺(tái)服務(wù)器的端口數(shù)是有限的資源吵冒，如果端口被大量占用則會(huì)存在未知的故障科展。案例：線上HiveServer2發(fā)生故障: 大量任務(wù)hang住,...
-
記一次Hive任務(wù)hang住的問題(1)
1 問題背景 beeline偶爾出現(xiàn)任務(wù)進(jìn)程卡住, 長(zhǎng)時(shí)間等待無(wú)響應(yīng)的情況.下面嘗試進(jìn)行分析及定位代碼位置. 2 分析步驟 2.1 首先定位進(jìn)程...
-
git push 時(shí)報(bào) Enter passphrase for /Users/Jeff_R/.ssh/id_rsa: 解決辦法1 背景 原因: 公鑰和私鑰出現(xiàn)錯(cuò)誤.解決方案: 重新配置公鑰和私鑰. 2 操作步驟 1 根據(jù)郵箱重新生成自己的公鑰和私鑰:下述命令一路回車即可...
-
教你如何新建一個(gè)NB的Maven工程通常我們看社區(qū)源碼或者下載社區(qū)代碼安裝后發(fā)現(xiàn)低缩，社區(qū)工程通常有bin算谈、conf涩禀、lib等目錄，從而代碼結(jié)構(gòu)十分清晰然眼，如何做到的呢艾船？ 首先，來(lái)看看我...
-
基于UGI鑒權(quán)的Hive Metastore Client 并發(fā)訪問方式
定義一個(gè)基類: 定義一個(gè)并發(fā)測(cè)試: 說(shuō)明: 如果你的hive沒有UGI鑒權(quán),可以忽略或去除UGI鑒權(quán)部分.
-
Thrift架構(gòu)及源碼解讀1 Thrift基本用法 1.1 搭建thrift編譯環(huán)境 1.1.1 tar包下載 http://www.apache.org/dyn/clo...
-
實(shí)戰(zhàn):自己編譯JDK
在學(xué)習(xí)深入理解Java虛擬機(jī)的過程中高每，覺得自己編譯JDK是很酷的一件事屿岂。所以就嘗試一下，由于老版本編譯的教程數(shù)不勝數(shù)鲸匿，也沒有挑戰(zhàn)性爷怀，所以本文挑戰(zhàn)...