도커에 우분투 올리고, Spark & iceberg사용하기

• 도커에 우분투 :https://hermeslog.tistory.com/498
  -> 우분투에 java 설치
  apt install openjdk-11-jdk
  -> 우분투에 wget 설치
  apt install wget
  -> 우분투에 ssh 설치
  apt install ssh

• 스파크 : https://ko.linux-console.net/?p=2639#gsc.tab=0

• 스파크 버전(다운로드 주소) : http://apache.mirror.cdnetworks.com/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz

• 아이스버그 테스트 안내 홈페이지
  • 간단 버전 : https://iceberg.apache.org/docs/latest/getting-started/
  • 좀 더 어려운 버전 : https://iceberg.apache.org/spark-quickstart/
    • 위의 홈페이지를 보면 jar 다운받아서 해당 폴더에 다운받으라고 돼있음.!!
      우분투에 spark -> jars 들어가서 wget 로 파일 다운받으면됨
• spark에 설정 할 때 아래 컨피그 사용
  https://stackoverflow.com/questions/65222658/how-to-write-data-to-apache-iceberg-tables-using-spark-sql

spark.conf.set("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog")
spark.conf.set("spark.sql.catalog.spark_catalog.type", "hive")
spark.conf.set("spark.sql.catalog.local", "org.apache.iceberg.spark.SparkCatalog")
spark.conf.set("spark.sql.catalog.local.type", "hadoop")
spark.conf.set("spark.sql.catalog.local.warehouse", "data/warehouse")

에러

• ssh: connect to host localhost port 22: Cannot assign requested address
  • apt install -y openssh-server
  • /etc/init.d/ssh start
• root@localhost's password: localhost: Permission denied, please try again.
  • cd ~/.ssh
  • ssh-keygen 하고 엔터계속
  • cat id_rsa.pub >> authorized_keys
  • chmod 640 authorized_keys
  • service ssh restart
  • ssh localhost
    • 위의 코드 출처
• start-master.sh bash: start-master.sh: command not found
  • apt install ssh 를 했음에도 불구하고 계속 뜰 경우, scala -version 한번 쳐보고 하면 동작된다..?