k-ict에서 분석 관련서버를 제공받을 수 있다.
최대 3개월까지 가능하니 참고하면 좋을 것 같다.

k-ict 빅데이터센터

문제

해당 서버를 처음 받았을때 putty로 접속, 필요한 파일들을 다운 받으려고 했으나. 아무것도 되지 않았다.

• centos7
• python2..... 버전
• 외부 ftp 사용 불가.
• yum install 불가.

총체적 난국 그 자체였다.

센터에 문의

총 5번정도 문의를 통해 원하는걸 얻어냈다.

• python 업데이트
  -> 파이썬 3.6버전으로 재설치 해주었다.
• ftp 사용
  -> filezilla를 사용할 수 있게 되었다.
• 포트 추가개방
  -> 분명 설명에는 포트가 할당된게 4개가 있었지만 안되는 문제가 있었고, 원하는 포트를 추가로 개방해달라고 하여 airflow, jupyternotebook, mongodb 등 바꿔가며 사용하고 있다.

외부 통신 접속

이 부분은 아주 열심히 뒤져보면서 찾아내었다.

redhat에 등록되어 있지 않아서 문제가 발생한 것으로 보였고, 구글링을 수차례해보고 시도해본결과 dns서버 때문이라는 것을 알 수 있었다.

dns 서버 설정

해당 서버에는 vim도 설치되어있지 않아 nano로 작업을 하게 되었다.
sudo nano /etc/resolv.conf: 유닉스 계열 시스템에서 DNS 설정을 위해 사용되는 파일을 nano 편집기로 연다.
nameserver 8.8.8.8 : nameserver에 구글 퍼블릭 dns 서버 ip주소를 추가한다.
8.8.8.8은 핑을 확인할때도 사용하면 좋다.

모듈 설치

이후 접속이 원할하게 되었고, 주피터 노트북도 설치하고,필요한 것들을 설치해주었다.

sudo yum install unzip
pip install jupyter notebook

주피터노트북 접속포트 수정

해당 서버에서는 사용할 수 있는 포트가 한정되어있기때문에 접속포트를 지정해주어야한다.

vi /root/.jupyterupyter_notebook_config.py: 주피터노트북 컨피그 파일을 연다.

/c.NotebookApp.port:주피터노트북 접속포트 8888->26698로 수정
c.NotebookApp.ip = '*’ : 접속을 허용되게 설정한다.

만약 실행했을때 해당포트가 사용중이라고 문구가 뜬다면 sudo lsof -i :확인할포트 로 확인후 필요없는 프로세스라면 중지시켜준다.

에어플로우 실행

nohup airflow webserver -p 26696 >> /파일저장할 경로/airflow-webserver.log 2>&1 & : nohup으로 백그라운드 실행할 것이다.

nohup airflow scheduler & :
scheduler도 백그라운드로 실행한다.

결론

위 과정을 통하면 aws ec2 와 같이 고정 ip로된 나만의 서버를 3개월동안 가질 수 있다.
또한 계속 켜져있기 때문에 전기요금 및 계속 돌려야하는 작업에대해서는 충분히 이점이 있다고 생각한다.