Distributed system

• 네트워크를 통해 연결된 여러 컴퓨터 또는 노드로 구성됨.
• 각각이 공동의 목표를 가짐
• 단일 머신이 할수없는 형태의 작업을 진행
• 대량의 데이터 처리, 특정 연산 가속 같은 것들을 처리함

• 예
• 분산 데이터베이스
• 분산 컴퓨팅
• 클라우드 컴퓨팅
• 컨텐츠 배포 네트워크
• 블록체인

Distributed system 의 Profiling

• 분산 시스템에서 프로파일링이 중요한 이유
• 성능 최적화
• 결함 진단
• 시스템 이해

ELK stack

• ELK
• 세 개의 오픈소스를 결합한 프로파일링 스택
• Elasticsearch - 분산형 검색엔진
• Logstash - 로그 수집
• Kibana - 시각화, 사용자 인터페이스

• 장점
• 실시간 분석
• 스케일 아웃
• 다양한 데이터 소스 지원
• 강력한 검색 기능
• 풍부한 시각화

• 단점
• 복잡성
• 리소스 사용량
• 시간 동기화 문제
• 데이터 보안과 개인정보 보호
• 장기 데이터 저장

Elasticsearch

• 실시간 검색 및 분석 엔진
• 분산 및 확장성
• 실시간 검색 및 분석
• 다양한 검색 기능
• 풀 텍스트 검색
• Json 기반의 Restful API
• Schema-less 및 동적 schema 지원

Logstash

• Log + Stash
• 다양한 입력소스
• 데이터 변환
• 다양한 출력 목적지

Kibana

• Elastic search 시각화를 위한 오픈소스
• 데이터 탐색 및 검색
• 대화식 시각화
• 대시보드 생성
• 시계열 분석
• 머신 러닝 기능

메모리 부족시

• Swap space
• sudo fallocate -l 8g /swapfile
• sudo chmod 600 /swapfile
• sudo mkswap /swapfile
• echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

보안

• sudo apt-get install ufw
• sudo ufw allow 5601
• sudo ufw allow 9200

• Apache + html 로 간단하게 만들어보기

• sudo apt-get install apache2 -y
• localhost or ip 로 동작 확인해보기
• sudo vi /var/www/html/index.html

탐색하기

• Logstash 에 붙이기
• sudo vi /etc/logstash/conf.d/apache.conf
• sudo chown -R logstash:logstash /usr/share/logstash/
data
• sudo systemctl restart logstash
• sudo systemctl status logstash
• sudo chmod a+r /var/log/apache2/access.log

• logstash

• elasticsearch