개요

• 데이터 분석을 위한 개발자로서 갖춰야할 역량 공부

• big data를 다루기위한 ELK STACK 사용
  

• 좋은 개발자는 빅데이터 무더기에서 필요하고 쓸만한 insight를 빠르게 얻어낼 수 있어야 한다.

• logstash : 어떤 데이터이든지 수집해줌.

• elasticsearch : logstash에 있는 데이터를 빠르게 검색함.

• kibana : data visualation tool 로 elasticserach에 있는 data를 시각화 해줌.

설치

https://www.elastic.co/kr/support/matrix

• 사용가능한 version 확인하는 url
• elasticsearch는 JVM 위에서 돌아간다 따라서 반드시 JDK가 깔려있어야 한다.
• 다음은 ELK stack 사용을 위한 선행 조건이다.

1. VirtualBox, Ubuntu

https://www.virtualbox.org/wiki/Downloads

• Windows hosts 링크에 들어간다. 그냥 next를 갈겨서 설치를 완료해주면 된다.

https://ubuntu.com/download/desktop

• 밑에 있는 ubuntu version LTS를 다운로드 한다. (약 3.6GB 정도 된다)

(1) ubuntu 사용을 위한 virtual box 환경설정하기

• 환경설정에 들어가서
  

• 가상 머신이 저장되는 위치를 정할 수 있다.
  

• 또한 입력tab에서 호스트 키(약간 mac의 command 버튼) 조합을 설정해줄 수 있다. 이때 ten key less 키보드에서는 입력이 잘 안될 수 있으니 호스트 키 조합을 Shift + Ctrl로 바꿔주면 좋다.
  

• 마지막으로 압정 오른쪽 메뉴버튼을 클릭하여 확장으로 들어간다.
  

• 확장기능 패키지 까지 설치하면 Ubuntu 설치준비 완료!
  

• 위과 같이 설정해주고
  메모리 할당 부분 : 1024 ~ 4096 사이 추천
  지금 새 가상 하드 디스크 만들기 체크 후 만들기 버튼 클릭.
  VDI(VirtualBox 디스크 이미지) 체크 후 다음 버튼 클릭.
  고정 크기 클릭 : 동적할당이 좋아보이지만 안그래도 느린 가상환경이 더 느려져 비추천
  할당 크기 : 30GB ~ 50GB 사이 선택
  CPU : 2~4개

• 이제 CD삽입을 위해, 설정 -> 저장소 -> 컨트롤러 : IDE에 비어있음 -> CD icon -> 가상 광학 디스크 선택/ 만들기 -> 추가 -> 아까 설치했던 Ubunto iso 파일

• 디스플레이 탭에가서, 비디오 메모리 128MB로 설정, 그래픽 컨트롤러 VBoxVGA로 설정

• 필자는 이 화면을 보기위해 약 10분간 기다렸다.... 추후 램이나 cpu 설정을 다시 해주어야되겠다.
• 다음으로는 그냥 Ubuntu가 하란대로만 하면 된다.

  혹시 다음 버튼이 안 보인다면 1. 창을 늘려볼 것. 만약 늘려도 안 늘어난다면
  실행중이 우분투를 끄고 display tab을 확인할 것.
  

(2) 본체와 같은 네트워크를 사용하고 싶을 때

2. Ubuntu에 JAVA 설치

1. sudo add-apt-repository -y ppa:webupd8team/java
2. sudo apt-get update
3. sudo apt-get -y install oracle-java8-installer
4. java -version

• Ubuntu에 위의 명령어를 사용하여 JDK 설치하기

3. Elasticsearch 설치

1. Download DEB file from https://www.elastic.co/downloads/elasticsearch
2. dpkg -i elasticearch-8.5.0.deb
3. sudo systemctl enable elasticsearch.service

• 2번은 다음과 같은 경로로 들어가면 파일을 확인할 수 있다.
• 3번은 서버를 켜고 끌 때 Elasticsearch를 안전하게 켜고 끌려고 다음과 같음 명령어로 쉽게 사용가능하다.

elastic search 기본 설정 command

• 서버가 켜고 꺼질 때 : when server starts and stop Automatic start and stop
• 켜기 : sudo service elasticsearch start
• 끄기 : sudo service elasticsearch stop
• 포트번호 체크 : curl-XGET 'localhost:9200' # check if elasticsearch run