待更新
發(fā)簡信
IP屬地：廣東
-
clickhouse部署流程
一呕寝、概述 clickhouse是一個數(shù)據(jù)庫管理系統(tǒng)唤殴，對于數(shù)據(jù)的讀寫衷旅、存儲仔戈、查詢边器、修改纳决、復(fù)制、事務(wù)肠槽、效率等有其獨(dú)特的方法架構(gòu)論擎淤；另外它是列式存儲的奢啥，將一列數(shù)據(jù)作為最小的存儲單元...
-
shopee大數(shù)據(jù)sre面經(jīng)
背景 我對shopee是有一些情懷在里面的秸仙，早在17年的時(shí)候我就面試過它們的大數(shù)據(jù)崗位（base新加坡），年少輕狂的我當(dāng)時(shí)沒有針對性的好好復(fù)習(xí)桩盲，且項(xiàng)目積累的也不夠寂纪，導(dǎo)致第二輪...
-
騰訊大數(shù)據(jù)sre面經(jīng)
面試總覽 騰訊的面試流程慢是出了名的，技術(shù)面一共三面加hr面總共4面赌结，歷時(shí)一個半月捞蛋，倘若要想拿到offer還得加上兩周，差不多2個月時(shí)間柬姚，所以各位有志去鵝廠的同學(xué)們一定不要裸...
-
大數(shù)據(jù)運(yùn)維面試總結(jié)
一拟杉、前言 “金三銀四”跳槽季，我成功的入職了自己理想的公司（深圳shopee）量承。在這里給大家分享下這段時(shí)間的真實(shí)體驗(yàn)搬设，也給即將跑路或者有想法的同學(xué)借鑒一下穴店。 二、過程 1拿穴、俗...
-
你這配置有一點(diǎn)需要更正的泣洞，不然策略會報(bào)錯，<move_factor>0.2</move_factor>這個tag要放到</volumes>外面
配置clickhouse冷熱數(shù)據(jù)分離
在 config.d 中加入如下配置 配置存儲目錄 配置存儲策略 在創(chuàng)建表時(shí)引用數(shù)據(jù)存儲策略
-
lzo格式的文件是splitable的哈默色。
黑猴子的家：MapReduce數(shù)據(jù)壓縮
1球凰、概述 壓縮技術(shù)能夠有效減少底層存儲系統(tǒng)（HDFS）讀寫字節(jié)數(shù)。壓縮提高了網(wǎng)絡(luò)帶寬和磁盤空間的效率腿宰。在Hadood下呕诉，尤其是數(shù)據(jù)規(guī)模很大和工作負(fù)載密集的情況下，使用數(shù)據(jù)壓縮...
-
可以的酗失，你看下你們的spark日志的格式壓縮沒义钉，dr-elephant默認(rèn)去找壓縮過的snappy文件，找不到的話沒法分析spark的任務(wù)规肴。
Dr. Elephant 使用文檔
1. 引言 Dr. Elephant 由 LinkedIn 于 2016 年 4 月份開源捶闸，是一個 Hadoop 和 Spark 的性能監(jiān)控和調(diào)優(yōu)工具。Dr. Elephan...
-
hue集成sentry后添加用戶操作流程一拖刃、前言 我們都知道hue+sentry可以管理hive的用戶以及權(quán)限删壮，但是其中有幾個概念必須要要弄明白：1、hue的用戶以及用戶組是獨(dú)立的兑牡，跟hive沒有關(guān)系央碟，hive沒有...
-
分析hdfs文件變化及監(jiān)控小文件
1、文檔編寫目的 目前各個企業(yè)都在利用Hadoop大數(shù)據(jù)平臺均函，每天都會通過ETL產(chǎn)生大量的文件到hdfs上亿虽，如何有效的去監(jiān)測數(shù)據(jù)的有效性，防止數(shù)據(jù)的無限增長導(dǎo)致物理資源跟不上...
-
presto升級操作文檔1苞也、前言 由于presto基于內(nèi)存計(jì)算洛勉，相比較與hive（on spark）有更好的交互查詢體驗(yàn)，組織決定使用presto作為主要的交互查詢工具如迟，hive作為跑批使用收毫。有個問...
-
Dr. Elephant 使用文檔1. 引言 Dr. Elephant 由 LinkedIn 于 2016 年 4 月份開源，是一個 Hadoop 和 Spark 的性能監(jiān)控和調(diào)優(yōu)工具。Dr. Elephan...
-
Dr-elephant安裝說明文檔Dr-elephant安裝說明文檔 1. 前言 “大象醫(yī)生”是LinkedIn推出的一款Hadoop和Spark性能調(diào)節(jié)工具，它能夠自動收集Hadoop平臺所有的度量標(biāo)準(zhǔn)媳危，并...
-
一位愛好文學(xué)的資深程序開發(fā)工程師。熱愛工作又極度顧家的有為社會青年。<br><br>帶貨 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fasktug.com%2F" target="_blank">https://asktug.com/</a>
-
輕松理解 Java開發(fā)中的依賴注入(DI)和控制反轉(zhuǎn)(IOC)
黃洪清 497915580atqq.com簡書首發(fā) 前言 關(guān)于這個話題, 網(wǎng)上有很多文章,這里, 我希望通過最簡單的話語與大家分享.依賴注入和控制反轉(zhuǎn)兩個概念讓很多初學(xué)這迷惑...
-
想問下，老哥你們生產(chǎn)上有用到這個Dr. Elephant東西嗎策吠，我編譯出來最新的版本是2.1.7,但是始終收集不到spark的job狀態(tài)
Hadoop和Spark性能監(jiān)控工具Dr. Elephant的編譯议慰、部署及使用
Dr. Elephant是linkedin開源的mapreduce和spark作業(yè)的性能監(jiān)控及調(diào)優(yōu)工具, 它開發(fā)了可插拔式的啟發(fā)式規(guī)則來診斷mapreduce和spark作業(yè)...
-
Hue中下載CSV數(shù)據(jù)轉(zhuǎn)化為Excel前言 目前的Hue工具，出現(xiàn)了不能下載Excel數(shù)據(jù)的情況奴曙。這是因?yàn)镠ue有自己的保護(hù)機(jī)制别凹，當(dāng)用戶使用Hue下載Excel數(shù)據(jù)時(shí)，Hue會將所有的數(shù)據(jù)都收集到一臺服務(wù)器上洽糟，這...
-
hive修復(fù)分區(qū)表分區(qū)
應(yīng)用場景 如果事先建立了一張分區(qū)表炉菲，然后手動（比如使用 cp 或者 mv ）將分區(qū)數(shù)據(jù)拷貝到剛剛新建的表進(jìn)行數(shù)據(jù)初始化；但是對于分區(qū)表坤溃，需要在hive里面手動將剛剛初始化的數(shù)...
