Blog categories

Comments

Spark

[Spark] INFO 로그 표시 끄기

byRony
2015-08-12 2207 Views0 Likes
Share

[Spark] INFO 로그 표시 끄기

2015-08-12in Spark 0 Likes

Spark Shell을 사용하시다 보면 아래와 같이 INFO 로그들이 함께 출력되는 것을 보실 수 있습니다.

Image module

이럴 경우 INFO 로그 표시를 끔으로써 화면을 깔끔하게 볼 수 있습니다.

첫 번째는 conf/log4j.properties 파일에서 아래 라인의 속성값을 바꿈으로써 해결하실 수 있습니다.

Image module

log4j.rootCategory=INFO, console
을 아래와 같이 바꿉니다.
log4j.rootCategory=ERROR, console

Image module

다른 방법은 Spark-shell에서 다음과 같이 작성하여 바꾸실 수도 있습니다.

import org.apache.log4j.Logger
import org.apache.log4j.Level
 
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

이제 아래와 같이 INFO 로그 없이 출력되는 것을 보실 수 있습니다.

Image module
How to Turn off INFO Logging in PySpark
stackoverflow
http://stackoverflow.com/questions/25193488/how-to-turn-off-info-logging-in-pyspark
0 Likes

Related posts

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

div#stuning-header .dfd-stuning-header-bg-container {background-color: #3f3f3f;background-size: cover;background-position: top center;background-attachment: initial;background-repeat: no-repeat;}#stuning-header div.page-title-inner {min-height: 350px;}