다음주 화요일 오후 2시에 네이버 클라우드 기본 부분을 지원해서 이것도 같이 적어볼 예정이다
원래는 AWS자격증을 따고 싶었지만 15만원이라는 비용이 너무 부담이라서ㅜ
이번에 Ncloud 자격증을 무료로 지원받을 수 있어서 바로 시험에 지원했다!
딥러닝 파이토치 교과서 - 1강
결국 딥러닝을 정확하게 알려면 머신러닝이 무엇인지도 알아야 하고 무슨 차이가 있는지 스스로 정확하게
파악하는것이 중요해서 그 내용을 여기 적어보려고 한다!
머신러닝과 딥러닝의 공통점과 차이점 (간단 ver)
공통점: 모두 학습 모델을 제공하여 데이터를 분류할 수 있는 기술이다!
차이점: 접근방식에서 차이가 있다
머신러닝: 주어진 데이터를 인간이 먼저 처리(전처리)를 해야합니다
ex) 이미지 데이터면 사람이 학습데이터를 컴퓨터가 인식할 수 있도록 준비해줘야한다.
머신러닝에서는 데이터의 특징을 스스로 출력하지 못한다
즉 머신러닝의 학습과정은 각 데이터 특징을 컴퓨터에 인식시키고 학습시켜 문제를 해결
머신러닝의 경우 학습시간이 딥러닝보다 짧고, 데이터가 덜 든다
딥러닝: 머신러닝에서 인간이 해주는 전처리 과정이 필요없음
대용량의 데이터를 신경망 적용하면 컴퓨터가 스스로 분석한 뒤 답을 찾는다
머신러닝의 학습과정
크게 학습단계(learning)와 예측단계(prediction)로 구분
훈련데이터를 머신러닝 알고리즘에 적용하여 학습시키고,
이 학습결과로 모형이 생성, 학습단계에서 생성된 모형에 새로운 데이터를 적용하여 결과를 예측!
특정추출(feature extraction)
사람이 인지하는 데이터를 컴퓨터가 인지할 수 있는 데이터로 변환해야함!
이때 데이터별로 어떤 특징을 가지고 있는지 찾아내고, 그것을 토대로 벡터로 변환하는 작업!
머신러닝의 주요 구성요소
데이터와 모델
데이터: 실제 데이터의 특징이 잘 반영되고 편향되지 않는 훈련 데이터를 확보하는 것이 중요
훈련데이터셋(이걸 또 훈련과 검증으로 나눔!)과 테스트 데이터셋으로 나눔 -> 80: 20비율로
여기서 훈련데이터를 또 훈련과 검증으로 나누는 이유는 모델의 성능을 평가하기 위해서다!
모델의 성능 평가는 테슽트 데이터셋에 대한 성능을 가늠할 수 있다
훈련데이터셋에 대한 정확도는 높은데 검증데이터셋이 낮으면
=> 과적합(overfiting) => epoch를 줄이는 방식등으로 과적합 막자
모델: 머신러닝의 학습단계에서 얻은 최종결과물로 가설이라고 함
입력데이터의 패턴은 A와 같다 -> 라는 가정을 머신러닝에서는 모델이라고 함!
머신러닝의 학습 종류(지도학습, 비지도 학습, 강화학습)
지도학습
정답을 알려주고 학습
분류: K-최근접 이웃, 서포트벡터 머신, 결정트리
회귀: 로지스틱회귀, 선형회귀
비지도 학습
정답 알려주지 않고 특징이 비슷한 데이터를 클러스트링(범주화)하여 예측
유사도 기반으로 특징이 유사한 데이터끼리 클러스트링으로 묶음
군집: K-평균 군집화, 밀도기반 군집분석,
차원축소- 주성분 분석
강화학습
자신의 행동에 대한 보상을 받으며 학습을 진행!
쿠키런 -> 쿠키가 agent이며 게임배경이 환경, 이때 에이전트가 변화하는 환경에 따라 다른 행동을 취함!
동정이나 젤리를 취득하는 등 행동에 따라 보상(몸집이 커짐)
강화학습은 이런 보상이 커지는 행동은 자주하도록하고, 줄어드는 행동은 덜 하도록 학습을 진행!
(마르코프 결정과정)
딥러닝 정의와 데이터, 모델
인간의 신경망 원리를 모방한 심층 신경망 이론을 기반으로 고안된 방법
각각의 뉴런은 복잡하게 연결된 수많은 뉴런을 병렬로 연산하여 기존에 컴퓨터가 못했던 음성,영상인식 처리 가능
데이터 준비: 캐글이나 파이토치, 케라스에서 제공되는거 사용하면 쉬움
모델정의: 신경망생성, 은닉층 개수 너무많으면 과적합 발생확률 높아짐
모델 컴파일: 컴파일 단계에서 활성화 함수, 손실함수, 옵티마이저를 선택
모델 훈련: 한번에 처리할 데이터 양을 지정, 학습속도가 느려지고 메모리 부족을 야기할수도 있어서 적당한 데이터 양 선택 중요!
일정한 묶음으로 처리하는 epoch선택이 중요
훈련 데이터셋 1000개에 대한 배치 크기가 20 -> 샘플단위 20개마다 모델 가중치를 업데이트 - 즉 50번 가중치 업데이트!
이때 에포크가 10, 배치 크기가 20이면 가중치 50번 업데이트를 총 10번 반복! => 총 500번 업데이트!
모델예측: 실제로 예측을 진행, 잘안되면 신경망 재설계 필요
심층 신경망에는 데이터셋의 어떤 특성들이 중요한지 스스로에게 가르쳐 줄 수 있는 기능이 있습니다.
특히 역전파 계산 과정에서 사용되는 미분(오차를 각 가중치로 미분)이 성능에 영향을 미치는 주요한 요소
딥러닝에서 학습(지도, 비지도)
CNN, RNN이 지도인걸 알고 깜짝놀랐다.. 근데 이거 정리하면서 지도 일수밖에 없구나를 느꼈다!
딥러닝에서 지도
이미지 분류(CNN, AlexNet, ResNet)
이미지 분류는 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전기술(CNN, AlexNet, ResNet)
합성곱신경망(Convolutional Neural Network, CNN)
목적에 따라
- 이미지 분류(이미지를 알고리즘에 입력하면 어떤 클래스에 속하는지 알려줌!)
- 이미지 인식(사진을 분석하여 그 안에 있는 사물의 종류를 인식, 의료 이미지에서 질병을 식별)
- 이미지 분할(영상에서 사물이나 배경 등 객체각 영역을 픽셀단위로 구분, x-ray, CT등)
시계열데이터(RNN, LSTM, GRU)
주식데이터처럼 시간에 따른 데이터가 있을때 순환 신경망을 사용,
역전파 과정에서 기울기 소멸 문제가 발생하는 단점 -> LSTM으로 잡음! 이러한 문제점을 개선하고자 gate를 3개 추가한게 LSTM
(망각게이트, 입력게이트, 출력게이트를 도입하여 기울기 소멸문제 해결)
비지도
비지도 학습:
워드 임베딩과 군집
워드임베딩을 통해 단어를 벡터로 표현!
자연어 처리 분야의 일종으로 번역이나 음성인식 서비스에서 사용!
군집은 아무런 정보가 없는 상태에서 데이터를 분류하는 방법,
훈련데이터셋에 넣어놓고 다른 클러스터의 데이터와 구별되도록 나누는것이 목표
네이버 클라우드
Migration 부분
Data Telepoter:
Data Telepoter는 수십 TB 규모의 스토리지 용량을 가진 전용 어플라이언스를 통해
네트워크와 비용 보안에 대한 걱정없이 빠르고 간편하게 데이터 이전가능
NFS, CIFS, FTP 등의 파일 전송 프로토콜 지원
한대당 저장용량 100TB, 150TB면 두대 필요!
최초 대여후 90일 이내 반환
Object Migration
타 CSP의 Object Storage에 저장된 Object를 Ncloud의 Object Storage로 이관하는 서비스
이용전에 Object Storage에 버킷 생성 필요!
Ncloud상에서는 버킷간 데이터 이동 지원 안한다!
무료!
Media 부분
Vod Transcoder
네이버 클라우드 플랫폼의 Object Storage를 연동하여 사용하는 서비스
미디어 원본을 모방일 pc등 다양한 디바이스에서 다양한화질로 시청할 수 있게 미디어 변환 서비스임
Live Station
실시간 라이브 방송 서비스 구축에 필요한 모든 기능을 제공하는 영상 인코딩 플랫폼
youtube,twitch, 아프리카 TV등 다양한 방송 플랫폼에 동시 송출도 가능
Image Optimizer
원본이미지를 모바일, 태블릿, pc등 다양한 기기의 해상도에 맞게 손쉽게 리사이징 할 수 있는 실시간 이미지 변환 서비스
Object Storage가 필요!, cloud log Analytics, CDN+도 호환
VOD Station -=> 삭제 예정?
Object Storage에 원본 영상을 저장하고, CDN을 연동하여 사용하는 서비스
저장된 수많은 영상 파일을 이용하여 쉽고 빠르게 고객이 원하는 VOD 스트리밍 서비스를 구축가능
Video Player
네이버 동영상 서비스에 적용되어 수 많은 성공사례를 가지고 최신의 네이버 플레이어를
손쉽고 빠르게 고객의 미디어 서비스에 적용 할 수 있다
Media Connect Center
네이버 클라우드 플랫폼의 다양한 미디어 서비스 및 Object Storage와 결합하여 CDN+부터 배포까지
서비스 전체를 한 화면에서 통합하고 관리하는 서비스
Management & Governance
Monitoring
서버와 Auto Scailing을 생성한 Auto Scailing 그룹에 대해 다양한 모니터링 정보, 이벤트 발생 및 알림 기능 제공!
Cloud Log Analytics
다양한 로그를 수집 및 분석하고 저장(모든 종류)
로그를 실시간 수집 + 로그 검색, 로그 데이터 저장 및 다운로드 가능
개별 저장소에 2개이상의 복제본으로 분산
순차적으로 삭제되며, 데이터 용량 초과시 과거데이터부터 최대 30%씩 순차 삭제
보관기간 경과시 과거 데이터부터 매일 삭제
Object Storage로 내보내기를 통해 전체 데이터 다운로드 가능
월평균 1GB 로그 저장용량 무료!
Sub Account
여러사용자가 같은 리소스를 이용하고 관리할 수 잇는 서브 계정을 제공
네이버 클라우드 플랫폼을 이용하기 위해 등록한 메일 주소를 ‘계정’이라고 합니다.
메인 계정 사용자가 Sub Accont에서 서브 계정을 생성
-
네이버 클라우드 플랫폼의 메인 계정과 동일한 접근 권한(포털 마이페이지, 콘솔 내 모든 서비스에 접근 가능)Sub Account에서 제공하는 관리형 정책
'NCP_ADMINISTRATOR' 정책을 부여하면 메인 계정과 동일하게 네이버클라우드 플랫폼 내 포털, 콘솔에 접근할 수 있습니다. -
네이버 클라우드 플랫폼 콘솔 내 모든 서비스 접근 권한 Sub Account에서 제공하는 관리형 정책 중
'NCP_INFRA_MANAGER' 정책을 부여하면 메인 계정과 동일하게 콘솔 내 모든 서비스에 접근할 수 있습니다. -
네이버 클라우드 플랫폼 콘솔 내 서비스별 접근 권한 Sub Account에서 제공하는 관리형 정책 중
'NCP_서비스명_MANAGER/VIEWER' 정책을 부여하면 해당 서비스에 접근할 수 있습니다. -
네이버 클라우드 플랫폼 포털 내 마이페이지 > 이용관리 메뉴 접근 권한 Sub Account에서 제공하는 관리형 정책 중
'NCP_FINANCE_MANAGER' 정책을 부여하면 네이버 클라우드 플랫폼 포털의 마이페이지 내 서비스 이용 내역, 이용 현황, 프로모션 내역, 청구 내역 추세 메뉴에 접근할 수 있습니다.
RUA(Real user Analytics)
서비스 페이지에 접속하는 실사용자 데이터를 수집하여
국가, 브라우저, Device별로 웹페이지 속도 데이터와 PV Count를 분석
Web service Monitoring System
가상 모니터링 방법을 활용한 웹 서비스 환경에서 모니터링 시나리오 실행하고 데이터를 수집
URL/Scenario 등록, 모니터링 대시보드 제공, 맞춤형 모니터링 및 알람설정
모니터링 결과에 따라 보관주기가 다름
RAW: 1달, 5분: 3개월, 30분: 6개월, 2시간: 1년
유료 서비스
Network Traffic Monitoring
고객 서버에서 모든 인터넷 트래픽을분석하여 리전별 고객의 서버별, 통신사별 등 트래픽 정보를 제공
고객서버와 LoadBalance의 네트워크 트래픽을 수집하고 분석
Cloud Activity Tracer
콘솔 및 API등을 통해 수행되는 사용자의 계정활동(접근 기록) 정보를 제공하는 서비스
무료 서비스, 별도의 신청없이 사용가능하며 사용자의 계정활동 기록이 자동으로 수집!
Object Storage에 보관 가능
Resource Manager
naver 클라우드 플랫폼 내 생성한 모든 리소스를 통합적으로 관리 가능
생성한 젠처 리소스 현황 한번에 확인 가능!, 개별 소스 작업 이력도 확인 가능!
무료로 제공, 리소스는 서버 내 인스턴스, 공인 IP, 스냅샷, Object Storage내 버킷등 사용자가 생성한 자원의 단위
NRN으로 리소스는 관리 - Naver cloud platform에서 유일하게 구분되기 위해서!
네이버 클라우드 민간(PUB) 플랫폼의 한국(KR) 리전에서 제공하고 있는 서비스 Server에 대해 회원 번호 2942 계정인 사용자가 소유한 리소스로,
유형이 ServerImage이며 ID가 7449인 경우 해당 리소스에 대한 NRN(nrn)을 작성하면 다음과 같습니다.
nrn:PUB:Server:KR:2942:Serverimage/7449
Cloud insight:
네이버 클라우드 플랫폼이 제공하는 서비스들의 성능 지표를 통합 관리하고 장애 발생시 담당자에게 바로 전달!
Pinpoint Cloud:
대규모 분산 서비스 및 시스템의 성능을 분석/진단/추적하는 플랫폼 Pinpoint를 클라우드 환경에서 간편 사용
구성요소간의 트랜잭션을 손쉽게 파악가능, 병목현상 및 장애 발생시 문제지점 빠르게 식별해 오류 및 예외 정보 확인
Cloud Advisor
사용자의 리소스를 점검하여 리소스를 점검하여 안정적인 상태에서 운영될수 있도록 도와주는 management서비스
VPC전용 서비스!, 1주일 간격으로 점검 리포트를 이메일로 발송, 일시적으로 무료 제공
Sub Account는 관리 및 운영 권한 설정을 위해 관리형(System Managed) 정책과 사용자 정의(User Created) 정책을 제공합니다.
NCP_ADMINISTRATOR - 네이버 클라우드 플랫폼 내 포털, 콘솔 접근에 있어서 메인 계정과 동일하게 접근할 수 있는 권한
NCP_INFRA_MANAGER - 네이버 클라우드 플랫폼의 모든 서비스에 대한 이용이 가능하고 포털 마이페이지 > 알림 관리를 접근할 수 있는 권한
NCP_VPC_CLOUD_ADVISOR_MANAGER - Cloud Advisor의 모든 기능을 이용할 수 있는 권한
NCP_VPC_CLOUD_ADVISOR_VIEWER - Cloud Advisor의 목록 보기, 조회 기능만 이용할 수 있는 권한
Organization
조직이 가진 모든 계정에서 발생한 비용의 통합결제 및 자원사용 정책 관리 기능을 제공하는 서비스
미납 금액이 존재하는 계정은 Organization 생성 및 가입 불가
계정당 1개의 Oranization 생성가능
맴버 계정당 1개의 Organization 가입 가능
초대 메일 30일만 유효
마스터 계정만이 다른 계정을 Organization에 초대하거나, Organization의 멤버 계정을 관리할 수 있습니다.
API Workflow
API 또는 HTTP기반API를 조합하여 새로운 마이크로 서비스를 빠르게 구현할 수 있는 서비스
별도의 코드 작성없다, 이벤트 및 스케줄 기반으로 workflow를 자동으로 실행, 실시간 모니터링 기능
프로세스 자동화, 실시간 모니터링, 다양한서비스와의 연계, 직관적인 웹UI제공
한국만 제공!
Single Sign-on
조직이 보유한 어플리케이션에 대한 접근 권한을 통합 관리 가능
아이디/비밀번호 관리 간소화, 어플리케이션 통합 관리 가능
계정당 100개의 어플리케이션을 등록 가능, 한시적 무료
Internet of Things
Cloud IOT Core
IOT기기를 쉽고 안전하게 클라우드에 연결하여 실시간으로 메시지를 전달하고 처리할 수 있는 서비스
암호화 통신, 실시간 메시지 처리 기능을 제공하며, 사용자는 서버 유지 비용 고민 없어도 됨!
한국만 가능, 메시지 구독은 Connection당(연결된 IOT 기기) 10개, 계정당 10만개!
MQTT프로토콜 사용(성능 부족한 장비에서도 동작하여 IOT시스템 구축시 자주 사용하는 경량형 메시지 프로토콜)
IOT Device Hub
네이버의 CLOVA의 앱, 마크티(MARKT)의 IOT기능 구현 기술, SimPlatform의 IOT관리 솔루션을 활용하여 저렴한 비용으로 클라우드 환경에 IOT 서비스를 구성할 수 있도록 돕는 서비스
한국만 지원
IoT Edge:
대규모 IoT 디바이스를 클라우드와 빠르고 안전하게 연결하고 관리 할 수 있는 네이버 클라우드 플랫폼의 서비스
한국만 지원
Hybrid & Private Cloud
Hybrid Cloud Hosting,
VMWare on Ncloud:
서비스는 고객에게 VMware 기반의 가상 데이터센터를 제공하는 서비스입니다.
고객께서는 사전에 할당받은 VDC(Virtual Data Center) 내에서 논리적으로 격리된 가상의 네트워크 공간에서
자유롭게 VM을 사용하실 수 있습니다.
또한 VMware의 NSX 솔루션을 통해 LB(Load Balancer), Firewall, IPSec VPN 등을 NFV(Network Function Virtualization) 형태로 이용이 가능합니다.
- 서버, 스토리지: vCPU와 메모리는 최소 10개부터 입력이 가능하며, 블록 스토리지는 SSD 100GB가 최소 값입니다.
GAME
GamePOT:
game을 개발, 서비스 , 운영하는데 필요한 기능을 통합하여 제공하는 클라우드 서비스
게임 인프라 구현 쉬워짐 - 시간과 비용 절약
월 기본 DAU를 포함하는 시간제 요금 및 종량제 요금을 합친 하이브리드 요금제로 서비스하고 있습니다
GameReport:
게임의 모든 데이터를 분석하여 게임내 지표를 개선할 수 있도록 하는 게임 전분 빅데이터 서비스
기본료와 초과된 MAU의 합산으로 요금이 계산됩니다.
Game Chat:
게임 내 실시간 채팅 및 메시지 시스템, 여러사용자가 대화할 수 있도록 채널을 구현할 수 있는 서비스
——————여기까지가 Ncloud 임! 오늘 집에서 바로 정리하기!!
