介紹flink在本地運(yùn)行和on yarn運(yùn)行時(shí)的日志配置抄谐。 很多現(xiàn)代框架都是用門面模式進(jìn)行日志輸出丧凤，例如使用Slf4j中的接口輸出日志儡循，具體實(shí)現(xiàn)...

最近做了一個(gè)log抽取的項(xiàng)目饿敲，采用log4j+flume實(shí)現(xiàn)绰播，在此分享記錄一下憎夷。 準(zhǔn)備 什么是flume型酥？ flume是一個(gè)提供高可用的，高可靠...

spark on yarn運(yùn)行時(shí)會(huì)加載的jar包有如下： spark-submit中指定的--jars $SPARK_HOME/jars下的ja...

談?wù)凪apReduce的概念焦蘑、Hadoop MapReduce和Spark基于MR的實(shí)現(xiàn) 什么是MapReduce盯拱？ MapReduce是一種分...

Spark Streaming源碼流程解析。 寫在前面 以下是我自己梳理了一遍Spark Streaming程序運(yùn)行的流程例嘱，過程可能有點(diǎn)細(xì)狡逢、有點(diǎn)...