
open-falcon配置flume監(jiān)控 官方文檔:http://book.open-falcon.org/zh_0_2/usage/flume...
背景 需要收集公司的app/web端埋點(diǎn)日志,需要搭建一套日志收集系統(tǒng) 采用 apache-flume-1.9.0版本叛拷; 服務(wù)器是AWS的裸機(jī)服...
面試被問到Azkaban的job歷史信息存在那張表中 概述 Azkaban3 共 15 張表趾唱,分別用于存儲任務(wù)調(diào)度,定時任務(wù),觸發(fā)器父晶,項(xiàng)目 Pr...
數(shù)倉--Hive-面試之Hive與HBase的區(qū)別數(shù)倉--Hive-面試之Hive架構(gòu)原理數(shù)倉--Hive-面試之Hive的數(shù)據(jù)模型及各模塊的應(yīng)...
數(shù)據(jù)準(zhǔn)備 分析 pv1: 分組內(nèi)從起點(diǎn)到當(dāng)前行的pv累積,如弄跌,11號的pv1=10號的pv+11號的pv, 12號=10號+11號+12號 pv...
既然是手寫代碼甲喝,那么就需要會手寫,手寫這個是重點(diǎn) 1-請詳細(xì)描述將一個有結(jié)構(gòu)的文本文件student.txt導(dǎo)入到一個hive表中的步驟铛只,及其關(guān)...
面試如果被問道埠胖,那么需要說出彩來,特別時參數(shù) Hive動態(tài)分區(qū)參數(shù)配置 往hive分區(qū)表中插入數(shù)據(jù)時淳玩,如果需要創(chuàng)建的分區(qū)很多直撤,比如以表中某個字段...
Hive向程序中傳遞變量的方式 暴力替換字符串替換正則替換模板引擎 系統(tǒng)環(huán)境變量shell環(huán)境變量:${env:varname}system系統(tǒng)...
Hive的優(yōu)化策略大致分為:配置優(yōu)化(hive-site.xml和hive-cli執(zhí)行前配置)、表優(yōu)化蜕着、hive數(shù)據(jù)傾斜解決方案谋竖。回答的時候需要...