10/24

AWS Cloud

Route 53

• Route 53
  • 높은 가용성과 확장성이 뛰어난 클라우드 Domain Name System(DNS) 웹 서비스
  • 리전 수준의 장애 조치 서비스
  • EC2, ELB, S3 등 AWS에서 실행되는 인프라에 효과적으로 연결
• DNS record type
  • A
    • ip 대신 S3, CloudFront, ELB 설정 가능
  • CNAME
    • canonical name
    • 다른 도메인, 하위 도메인을 매핑
  • SOA
    • start of authority
    • 호스팅 영역에 대한 정보
  • NS
    • name server
• 라우팅 정책
  • 단순 라우팅 정책
    • 도메인에 대해 특정 기능을 수행하는 하나의 리소스만 있는 경우 사용
  • 장애 조치 라우팅 정책
    • 액티브-패시브 장애 조치
  • 지리 위치 라우팅 정책
    • 사용자 위치 기반
  • 지리 근접 라우팅 정책
    • 리소스 위치 기반
• Resolver
  • 인/아웃바운드 엔드포인트

Microservice

• MSA
  • 네트워크 대신 API를 통해 통신하는 독립적 서비스 집합으로 구성
    • API 통신은 네트워크 통신이 아니기 때문에 비용이 들지 않음
  • Monolithic application은 각 서비스 간 긴밀한 결합을 통해 동작
  • microservice는 모든 서비스가 각각 application 단위로 구성
    • 유연한 확장
    • 디버깅 용이
    • 독립된 application 환경
    • 서비스 단위 업무 분리
    • API 설계 개발 복잡
• Container Service
  • 컨테이너의 목적은 반복 가능하고 배포 가능한 프로세스 제공
  • 컨테이너 애플리케이션을 실행하는데 필요한 인프라 환경 구성이 없는 독립적 환경
  • VM 가상환경보다 빠른 처리 속도
  • Docker
    • 프로세스 격리
    • Linux에서는 LXC(LinuX Container)라는 방식을 사용하여 프로세스를 격리하기 때문에 가볍고 빠르게 동작
    • CPU나 메모리는 프로세스가 필요한 만큼 추가로 사용
• ECS
  • Elastic Container Service
  • EC2 기반
  • Fargate 기반
• Serverless
  • 서버 구성을 생각하지 않고 애플리케이션과 서비스 구축 가능
  • 사용자가 서버를 프로비저닝, 확장, 관리할 필요가 없이 거의 모든 유형의 애플리케이션 또는 백엔드 서비스를 위해 서버리스 애플리케이션 구축 관리
  • AWS Lambda
    • 완전 관리형 컴퓨팅 서비스
    • 서버 구성이 아닌 애플리케이션에 집중
    • 마이크로서비스(micro second)에 대해서만 지불
    • API Gateway
    • RDS Proxy

Cloud Infrastructure Automation

• 업무 자동화
  • 사람이 관리하게 되면 실수 발생
  • 많은 시간 소요
  • 항상 동일하게 작업되어야 하는 것을 보장 받기 어려움
    • 멱등성
      • 연산을 여러 번 적용하더라도 결과가 달라지지 않는 성질
• AWS CloudFormation
  • 템플릿을 작성하는 것 하나로 모든 리소스와 해당 속성에 대한 설정을 한번에 할 수 있음
  • 리소스를 단 한곳에서만 관리하면 되기 떄문에 전체적인 흐름도 파악할 수 있음
  • 변경 작업에도 용이
  • 코드로 인프라를 관리하기 떄문에 이 코드만 버전 관리한다면 초기부터 인프라 변경 과정을 추적할 수 있음
    • IaC 서비스 특징
  • Template과 Stack으로 작업
  • JSON/YAML 템플릿 파일 내에 전체 애플리케이션 스택 정의
    • 애플리케이션에 필요한 모든 리소스
    • AWS의 어떤 리소스를 어떤 속성으로 생성할 것인지 작성
  • 스택을 생성할 때마다 CloudFormation이 템플릿에 작성된 리소스를 프로비저닝 수행
    • AWS의 모든 리소스는 API 사용
  • Stack
    • CloudFormation은 스택이라는 하나의 단위로 리소스 전체 관리
    • 스택 단위로 인프라를 만들고 지울 수 있음
  • Template 구조
    • AWSTemplateFormatVersion
    • Description
    • Metadata
    • Parmeters
    • Mappings
    • Conditions
    • Transform
    • Resources
    • Outputs

---

10/25

AWS Cloud

---

10/26

AWS Cloud

---

10/27

ELK

• 검색 엔진
  • Data Search
• Elastic stack
  • Elasticsearch
    • NoSQL
  • Beats
    • 경량 data 수집
  • Logstash
    • data 정제
    • 생략 가능
  • Kinaba
    • 시각화
• Elasticsearch
  • Opensearch
    • AWS
  • Clutser
    • Master node
      • 제어, 관리, 헬스체크 등
    • Data node
      • 빠른 검색을 위한 data
    • UltraWorm node
      • IA 검색을 위한 data
    • Cold node
      • store data
  • 기업에서 발생하는 거대한 data 물결의 흐름을 통해 새로운 가치 창출은 기업의 생존과 직결
    • 대량의 데이터를 빠르게 수집, 분석
    • 고객이 오래 머물 수 있는 서비스 제공
  • 수집
    • 데이터 분석의 시작
    • 서비스 이용 고객의 패턴
    • 여러 기관의 데이터(패턴) 서비스 활용
    • 데이터 저장
      • 3V
        • Volume
        • Variety
        • Velocity
      • 기존 RDBMS의 Big data 처리
        • Bottleneck 발생
  • NoSQL
    • Multi-Storage에 데이터를 분산, 저장
    • Cluster
    • Hadoop
    • 유연한 확장성을 갖추고 있고, 데이터를 빠르고 효과적으로 저장
    • 저장된 대량의 데이터를 시각화
    • 성능 좋은 분석을 통해 고객에게 맞춤 서비스 제시
  • 고사용성의 확장 가능한 검색 엔진 DBMS
    • 자료를 쌓아두고 필요한 자료를 빠르게 검색할 수 있도록 해주는 도구
  • Keyword
    • 검색 서비스를 제공하는 검색 시스템 기반의 검색 엔진
      • 사용자가 필요로 하는 정보 수집
      • 찾기 쉬운 형태로 조직, Index
      • 해당 정보를 빠르게 찾아 제공
  • 데이터 처리
    • index
    • shard
    • lucene index
    • segment
    • document
  • write/read queue
    • multi-thread-pool
  • import
  • export

---

10/28

ELK

Elasticsearch

• Alias
  • index
    • table
• Reindex
• 집계 조회
• 문장 분석
  • tokenizer
    • standard
      • 공백, 특수문자/기호
    • whitespace
      • 공백
    • Ngram
      • 지정 특정 문자, 글자 수 필터링
    • keyword
      • 전체 문자열을 하나로 처리
• 분석 방식
  • 전처리 필터
    • 문장을 규칙에 의해 필터링
    • character filter
  • Tokenizer filter
    • 수정된 문장을 개별 token으로 분리
  • Token filter
    • 개별 token을 특정한 규칙에 의해 변경
    • 대문자, 소문자 등
    • 불용어
      • stopword
      • stop token filter
• analysis-nori
  • nori_tokenizer
    • 입력된 문장을 형태소(token)로 분리하는데 사용
    • decompound mode
      • none
      • discard
      • mixed
    • user_dictionary
      • 사용자 사전 정의
  • nori_part_of_speech
    • 품사 태그로 구분
    • 일치하는 토큰을 제거하여 색인화
    • stoptags
      • 해당 품사는 제거
  • nori_readingform
    • 한자를 한글로 변경

Logstash

• ELK
  • EFK
    • 적은 메모리
    • 향상된 성능
• 기능
  • 데이터 수집 및 가공
  • elasticsearch 저장
  • pipeline 사용
    • input
      • host:port
      • log
      • beat
      • file plugin
    • filter
      • JSON plugin
    • output
      • elasticsearch
      • mysql