📌Today I Learned

Elasticsearch

엘라스틱 서치

• 리눅스 계열 구동 > CentOS vs Ubuntu
• 윈도우즈, 맥os 등..

Ubuntu

컴퓨터 > Ubuntu

1. 듀얼 부팅
2. VMWare, VirtualBox 가상머신
3. Docker (2와 비슷하며 가벼움)
4. WSL, Windows Subsystem for Linux (가장 가벼움)

WSL 설치하기

1. Windows 기능 켜기/끄기

• Linux용 Windows 하위 시스템 (체크)
• 가상 머신 플랫폼 (체크)
• + 재부팅

2. Microsoft Store > "Ubuntu" 검색
   aws와 버전 맞추어서 다운로드하기
   

3. 실행 > 오류 발생

4. PowerShell 실행(+ 관리자 모드)

• 01.txt 파일의 명령어 한 줄씩 실행.

5. wsl_update_x64.msi 설치

• 마지막 줄은 주소창에 입력해서 다운받고 설치
• pc 재부팅

6. cmd에서 WSL > 2 버전 변경 (기본은 1)

• $ wsl --set-default-version 2
• $ wsl --set-version Ubuntu-22.04 2 (위가 안되면 사용)
• $ wsl -l -v

7. Ubuntu 실행

• username: ubuntu
• password: java1234

재부팅
ubuntu 실행
username, password 등록

$ pwd
현재 디렉토리 위치 출력


8. 패키지 업데이트 + 패키지 업그레이드

• 업데이트 > 리포지토리 최신 상태 갱신
• 업그레이드 > 패키지(프로그램) > 실제 업그레이드
• $ apt-get update -> Permission denied (권한 없으면 거절됨)
• sudo(Super User Do) > 지금 명령에 한해서 최고 관리자 권한으로 실행
• $ sudo apt-get update

9. 리눅스 명령어
   1. pwd -> 현재 경로
   1. ls, list
   - ls
   - ls -a -> 모든 파일(숨김 포함)
   - ls -l -> 목록 형태
   drwxr-xr-x
   d -> directory
   - -> 파일
   1. cd -> change directory
   - cd 자식폴더
   - cd ..
   - cd ~ -> 자신의 홈 디렉터리로 이동
   - cd / -> 루트폴더로 이동
   1. vi(vim) 편집기
   - $ vi test.txt
   a. 모드
        1. 일반 모드
             - i
             - 검색
                 - /검색어
                 - esc
                 - n(다음찾기), N(이전찾기)
        2. 입력 모드
             - esc > 명령 모드 복귀
        3. ex명령 모드(콜론 모드)
             - 저장 or 나가기
             - :q > 종료
             - :q! > 저장하지 않고 종료
             - :w > 저장
             - :wq > 저장 후 종료
   
   

10. JRE + JDK 설치하기

• $ java -version
• $ sudo apt-get install default-jre
  
  
• $ javac -version
• $ sudo apt-get install default-jdk

---

elk 수업 폴더 생성
C:/class/code/elk/필기.txt

Elasticsearch

• https://elastic.co/kr

Elasticsearch란?

• 루씬 기반의 자바 오픈 소스 검색 엔진
• 방대한 양의 데이터를 신속하고 거의 실시간으로 저장/검색/분석할 수 있다.
• REST API를 제공한다.
• JSON 형태로 데이터 저장/조회한다.

ELK or Elastic Stack

• 엘라스틱 서치는 단독으로 사용 or ELK 스택으로 사용
• E(Elasticsearch)
• L(Logstash)
• K(Kibana)
• B(Beats)

1. Logstatsh/Beats

   • 역할 > Ingest
   • 다양한 소스(DB, CSV, Log...)로부터 데이터를 가져다, 조작 후 Elasticsearch에게 전달하는 역할

2. Elasticsearch

   • 역할 > Store, Search, Analyze
   • 직접 수집 데이터 or Logstash 수집 데이터 > 관리 or 조작(검색)

3. Kibana
   - 역할 > Visualize & Manage
   - Elasticsearch의 데이터를 시각화 or 편리하게 조작 기능 제공
   - GUI 환경 제공
   
   

ELK 설치

02.txt 명령문 실행

• $ curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch |sudo gpg --dearmor -o /usr/share/keyrings/elastic.gpg
• $ echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
  -$ sudo apt-get update
  

• $ sudo apt-get install elasticsearch
  
  
• $ systemctl status elasticsearch
  
  
• $ systemctl start elasticsearch -> 불가
• $ sudo systemctl start elasticsearch
• $ sudo systemctl enable elasticsearch -> 우분투 실행 시 자동으로 실행
  
  
• 브라우저
  > http://localhost:9200
  
  
• $ sudo apt-get install kibana
• $ sudo systemctl status kibana
• $ sudo systemctl start kibana
  
  
• 브라우저
  > http://localhost:5601
  
  -> Explore 선택

- $ sudo apt-get install logstash - $ sudo systemctl status logstash

---

Elasticsearch 핵심 개념

1. 클러스터

   • 노드의 집합
   • 하나 이상의 노드 집합

2. 노드

   • 엘라스틱서치가 설치된 서버(컴퓨터)

3. 인덱스

   • 비슷한 특성을 가진 문서의 집합
   • 데이터베이스 역할

4. 타입

   • 도큐먼트 집합
   • 테이블 역할

5. 도큐먼트

   • 데이터 저장 단위
   • 레코드 역할(***)
   • JSON 포맷

6. 샤드&리플리카

   • 분산 환경을 위한 요소

---

RDBMS vs Elasticsearch

Scheme    Mapping
Database  Index(***)
Table       Type
Row        Document(***)
Column   Field
SQL        QueryDSL

---

Elasticsearch REST API

RDB vs Elasticsearch
SELECT  GET
UPDATE PUT/POST
INSERT  PUT/POST
DELETE  DELETE

SQL > select * from address where id = 1;
ES > curl -X GET "localhost:9200/address/1"

---

REST API를 사용하기 위한 도구

1. curl
2. Postman, Insomnia 등 REST Client
3. Kibana > Dev Tools

---

Index(DB, 테이블), Document(데이터(행))

Index CRUD

• Index 조작

Index 생성 전 > 이미 존재하는지 확인 > 조회한다.

in cmd(+ 우분투 켜두기)

• $ curl -X GET "localhost:9200/<인덱스명>"
• $ curl -X GET "localhost:9200/member"
• $ curl -X GET "localhost:9200/member?pretty"

Index 생성하기

• $ curl -X PUT "localhost:9200/member?pretty"

Index 삭제하기

• $ curl -X DELETE "localhost:9200/member?pretty"

---

Document CRUD

• Document 조작
• Document == 레코드 1줄

테이블 생성

• $ curl -X PUT "localhost:9200/member"

Document 추가하기

• PUT

• 데이터 입력하기

• Document를 저장할 Index가 존재하지 않아도 데이터를 넣으면 자동으로 Index를 생성해준다.

• $ curl -X PUT "<서버주소>:<포트번호>/<인덱스>/_doc/<도큐먼트ID = primary key>" -H "Content-Type: application/json" -d "데이터"

• $ curl -X PUT "localhost:9200/member/_doc/1" -H "Content-Type: application/json" -d '{"name": "홍길동", "age": 20}'
  (윈도우에서는 ' 대신 "사용)

• $ curl -X PUT "localhost:9200/member/_doc/2" -H "Content-Type: application/json" -d '{"name": "아무개", "age": 22}'

---

경고메세지 제거