sbt assembly

홍기대·2022년 3월 28일
0

sbt를 처음 들어봤는데, Simple Build Tool의 약자라고한다. Java에서 Maven처럼 프로덱트를 세팅해주고 빌드 및 실행하는 역할을 한다고 한다.

https://www.scala-sbt.org/ 여기서 그냥 깔기만 하면 된다. 윈도우에서 테스트 해볼 예정이라 윈도우 텝에 가서 .msi 다운로드~!
기타 설정 같은건 안해줘도 된다고해서 바로 진행해봤다.

아무것도 모르는 상태이기 때문에 영화 유사성 관련된 코드를 넣어보았다. 아래 그림처럼 해당 디텍토리에 코드를 넣어봤다.


그전에 build.sbt 파일을 열어보면 이런 것들을 설정? 할 수 있다. 버전같은거 뭐 넣어야 될지 모르겠어서, 그냥 내 컴퓨터에 깔려있는 spark랑 scala 버전을 명시해줬다.


그러고 나서 sbt assembly를 치니까 여러 문구가 나오면서 success가 뜨긴하네..

target에 build.sbt파일에 적었던 scala 버전 이름으로 디렉토리 하나가 생기네? 그러고 안에 들어가보니 MovieSimilarities~~~.jar 파일이 생겼다.

이 jar 파일을 내가 원래 scala 공부하던 root 디렉토리로 가져갔다.

그러고 나서 spark-submit .jar를 하니 알 수없는 에러가 잔뜩 나오긴했지만 원래 코드 단독으로 돌렸을 때랑 결과가 같긴했다.

내생각에는 sbt로 특정 코드를 jar파일로 만들고, 그 jar를 가지고 spark-submit 명령을 통해 실행을 하는 거 같다. spark-submit에도 다양한 옵션이 추가될 수 있던데.. 아직 모르는게 너무 많다.. 더 열심히 해야겠다..

profile
열심히 살자

0개의 댓글