EC2 Maria DB 설치

• Ubuntu 20.04LTS

• Docker는 설치되어 있음

• maria-db 설치
  docker run --name maria-db -d -p 3306:3306 --restart=always -e MYSQL_ROOT_PASSWORD=[] mariadb --lower_case_table_names=1

• DB 및 계정 생성
  1. DB 접속
  docker exec -it maria-db mysql -u root -p

  2. create database IF NOT EXISTS returnz_develop;

---

Hadoop, Spark, Zeppelin

• Docker로 구성

• docker-compose 다운로드

  https://github.com/ManduTheCat/docker-hadoop-spark

• git clone한 후 docker-compose up -d 실행

• spark-zeppelin의 경우 spark버전이 맞지 않으므로 spark 버전을 맞춰주어야 함.

• spark 버전은 3.0.0을 사용 (3.0.2 -> 3.0.0으로)

• spark-zeppelin에서 실행 docker exec -it spark-zeppelin bash

• 이후 아래 명령어 실행

cd / 
wget https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz
tar zxvf spark-3.0.0-bin-hadoop3.2.tgz
mv spark spark-3.0.2
mv spark-3.0.0-bin-hadoop3.2 spark

• 설치 확인 완료
  

---

SSH

1. ssh 설치
   apk add openssh

2. openrc 설치
   apk add openrc

   https://github.com/gliderlabs/docker-alpine/issues/183

3. sshd를 rc-service 등록
   `rc-update add sshd default'

4. Service start
   /etc/init.d/sshd restart

5. 접속 확인 => Permission Deny
   ssh localhost

6. ssh root login 허용

   $ vi /etc/ssh/sshd_config
   
   # 파일에 아래 내용 추가
   
   PermitRootLogin yes

7. 접속 확인 => 정상 접속 확인
   ssh localhost

   https://wiki.alpinelinux.org/wiki/Setting_up_a_SSH_server
   https://docs.jdcloud.com/en/virtual-machines/ssh-login-time-report-permission-denied-please-try-again

8. SSH 접속할 수 있도록 키 파일 생성 / 권한 설정

   $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_dsa
   $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   $ chmod 0600 ~/.ssh/authorized_keys

알파인 리눅스 환경변수 설정

• JAVA_HOME, PATH, HADOOP 관련 환경 변수 설정

• JAVA_HOME 설정
  export JAVA_HOME=/usr/lib/jvm/java-1.8-openjdk
• PATH 설정
  export PATH=$PATH:/usr/lib/jvm/java-1.8-openjdk/bin
• /etc/profile 설정

$ vi /etc/profile

# 파일을 아래와 같이 변경

export CHARSET=UTF-8
export LANG=C.UTF-8
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/lib/jvm/java-1.8-openjdk/bin
export JAVA_HOME=/usr/lib/jvm/java-1.8-openjdk
export PAGER=less
export PS1='\h:\w\$ '
umask 022

for script in /etc/profile.d/*.sh ; do
        if [ -r $script ] ; then
                . $script
        fi
done