前言
在使用Spark-shell做一些測試時候會產生大量無用的INFO級別的日志芋忿，因此想把它們給禁用掉呻疹。具體方法如下击狮。
解決方法
- 使用自定義的Log4j.properties
log4j.rootLogger=ERROR, console
# set the log level for these components
log4j.logger.com.test=DEBUG
log4j.logger.org=ERROR
log4j.logger.org.apache.spark=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR
# add a ConsoleAppender to the logger stdout to write to the console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
# use a simple message format
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
然后在提交spark-shell時候, 配置 ==--conf== 即可， 這種方法同樣適用于Spark-submit
spark-shell \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml"
也可以在提交作業(yè)時使用
--conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console"
- 在代碼中控制
如果是Spark2.x栗精，可以參考下面
//in Scala
SparkSession.builder.getOrCreate().sparkContext.setLogLevel("ERROR")
#in Python
from pyspark.sql import SparkSession
SparkSession.builder.getOrCreate().sparkContext.setLogLevel("ERROR")
Spark1.x
//In Scala
import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)
#In Python
log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)
