Spark Shell을 사용하시다 보면 아래와 같이 INFO 로그들이 함께 출력되는 것을 보실 수 있습니다.
이럴 경우 INFO 로그 표시를 끔으로써 화면을 깔끔하게 볼 수 있습니다.
첫 번째는 conf/log4j.properties 파일에서 아래 라인의 속성값을 바꿈으로써 해결하실 수 있습니다.
log4j.rootCategory=INFO, console
을 아래와 같이 바꿉니다.
log4j.rootCategory=ERROR, console
다른 방법은 Spark-shell에서 다음과 같이 작성하여 바꾸실 수도 있습니다.
import org.apache.log4j.Logger import org.apache.log4j.Level Logger.getLogger("org").setLevel(Level.OFF) Logger.getLogger("akka").setLevel(Level.OFF)
이제 아래와 같이 INFO 로그 없이 출력되는 것을 보실 수 있습니다.
How to Turn off INFO Logging in PySpark
stackoverflow