_c
發(fā)簡(jiǎn)信
IP屬地：上海
-
@戀愛(ài)季節(jié) 這東西適合ETL, 性能是瓶頸, 不適合做的太深.
SDC-Cluster-PipelineStoreResource-原理源碼
PipelineStoreResource.getPipeline(pid)PipelineStoreResource.savePipeline()PipelineStore...
-
@戀愛(ài)季節(jié) 啥問(wèn)題?
SDC-Cluster-PipelineStoreResource-原理源碼
PipelineStoreResource.getPipeline(pid)PipelineStoreResource.savePipeline()PipelineStore...
-
SDC-生產(chǎn)報(bào)錯(cuò)和問(wèn)題記錄
SDC 編譯相關(guān)問(wèn)題 報(bào)bundles.SupportBundleContentGeneratorProcessor not found 可能是缺少 streamsets-d...
-
MapReduce 原理和源碼-實(shí)戰(zhàn)Local模式下的 MapReduce 計(jì)算步驟(圖解) 步驟詳解 "main"線(xiàn)程中完成input切片和Job提交 本地構(gòu)建submitJobDir臨時(shí)目錄 根據(jù)Input...
-
JMX監(jiān)控工具實(shí)戰(zhàn)
JMXTRANS Jmxtrans的安裝 從web下載 rpm 或tar包, 這里下載tar包;直接安裝; https://repo1.maven.org/maven2/o...
-
KafkaServer端報(bào)錯(cuò)分析
Server端啟動(dòng)時(shí)報(bào)錯(cuò) WARN Found a corrupted index file due to requirement failed: Corrupt index...
-
Kylin實(shí)戰(zhàn)
Kylin的部署 要準(zhǔn)備的環(huán)境包括:HDFS的安裝和啟動(dòng): 特別注意啟動(dòng)job-historyserver服務(wù),并開(kāi)放10020端口;HBASE的安裝和啟動(dòng)hive的安裝; ...
-
Sqoop的實(shí)戰(zhàn)
Sqoop用法 安裝sqoop,并創(chuàng)建軟連接ln -s sqoop-1.4.6-cdh5.16.2 sqoop-release// 更新軟連接;ln -snf sqoop...
-
Zookeeper-實(shí)戰(zhàn)
Zookeeper部署 相關(guān)zk版本的安裝: 安裝和配置zk 主要是修改zoo.cfg, 設(shè)置data目錄和server Id; 修改zkServer.sh 設(shè)置默認(rèn)日志目...
-
HBase實(shí)戰(zhàn)
HBase 命令操作 HBase Shell的常見(jiàn)命令 . "$bin"/hbase-config.sh commandToRun="start" 查看是否是分布式: 配置d...
-
Zepplin實(shí)戰(zhàn)
Zepplin的安裝和部署 下載: http://www.apache.org/dyn/closer.cgi/zeppelin/zeppelin-0.8.2/zeppelin...
-
Hive的實(shí)戰(zhàn)
Hive的命令和使用 BeeLine的命令: Usage: java org.apache.hive.cli.beeline.BeeLine-u ...
-
阿里忽冻，頭條融求，美團(tuán)，快手大數(shù)據(jù)開(kāi)發(fā)崗面試總結(jié)
從3月份開(kāi)始，陸續(xù)面了阿里徐鹤，頭條，美團(tuán)，快手四家公司的大數(shù)據(jù)開(kāi)發(fā)崗位灾炭，近20場(chǎng)面試面下來(lái)挺耗費(fèi)腦力的，不過(guò)結(jié)果還行颅眶，除了頭條外蜈出，目前拿到了其他三家的offer，今天把還能記住...
-
Spark Failures 失敗任務(wù)總結(jié)Task的失敗 關(guān)于Task的狀態(tài): 6大狀態(tài) Task異常 執(zhí)行Task的異常類(lèi)型分別有TaskResultLost涛酗、ExecutorLostFailure铡原、Execpti...