Spark 설치
1. Apache spark 홈페이지에서 압축 파일 다운로드(https://spark.apache.org/downloads.html)
필요로 하는 spark의 버전이 있다면 1번에서 버전을 선택한 뒤 tgz파일을 다운로드 받는다. 본인은 특정 버전이 필요하지는 않아서 최신 버전으로 바로 설치하였다.
2. 쉘에서 spark를 실행
해당 폴더로 이동을 한다.
폴더를 이동한 후 ./bin/sparkshell 명령어를 통해 bin파일의 spark-shell을 실행시키기면 된다.
그런데 이때 또 에러 메세지가 발생했다.😂
Exception in thread "main" java.lang.NullPointerException 이 나는 것을 보니 자바 설치가 잘못 되었나 싶어서 다시 설치를 해보았으나 같은 에러가 발생하였다. 그 래서 스택오버플로우를 찾아보니 spark는 java9에서 지원이 안된다는 답변을 찾아서(https://stackoverflow.com/questions/46436879/spark-shell-failed-to-initialize-compiler-error-on-a-mac) 기존 노트북에 설치되어 있는 java 9을 삭제하고 java 8버전(JDK 1.8.0버전)을 새로 설치하였다.
- 이 과정에서 시간을 많이 잡아 먹었었다. 위의 스택오버플로우 질문을 찾기 전에 다른 질문에서 제안한 방법대로 https://www.java.com/ko/download/help/mac_uninstall_java.xml 이곳의 설명대로 명령어를 통해 java 9를 삭제해도 쉘에서 java --version 명령어를 통해 버전을 확인하면 계속 java 9버전으로 확인이 되었었다. 그래서 직접 java경로를 들어가서 java 파일을 삭제를 한 뒤 확인을 하니 java 설치가 안 된 것으로 확인이 되어 java 8을 다시 설치하는 방법을 통해 해결을 하였다.
java 버전을 바꾼 후 쉘에서 명령어를 통해 spark-shell을 실행시켰을 때
이러한 화면이 나오면 설치가 제대로 완료된 것이다.
3. spark 자체 ui
spark는 자체적으로 ui를 제공하여 사용자의 편의성을 높이고자 하였다.
spark 설치를 완료하고 실행시키면 http://localhost:4040/ 주소를 통해 spark 클러스터 모니터링 화면에 접속할 수 있다.
