Codestates Section4
1.[TIL] Artificial Neural Network
딥러닝 기초 정리
2.[TIL]Training Neural Network
신경망 학습 과정에대해 알 수 있다.
3.[TIL] 더 나은 신경망 학습을 위한 방법들
신경망 학습을 높이는 방법들을 알수 있다.
4.[TIL]Hyperparameter Tuning
딥러닝의 하이퍼 파라미터에 대해서 알 수 있다.
5.[TIL] Count-based Representation
자연어 처리 이해
6.[TIL] Distributed Representation
보통 자연어 처리에서 인풋되는 데이터는 텍스트인데 텍스트를 숫자로 표현하는 과정을 인코딩이라고 함 Distribution Representation 분포가설에 기반하여 주변 단어 분포를 기준으로 단어의 벡터 표현이 결정됨=> 분산표현 원핫인코딩 범주형 변수를 벡터로 나타내는 방법 단점: 단어간 유사도를 구할 수 없음 Embedding 원핫인코딩의 단점...
7.[TIL]RNN, LSTM
언어모델이란 문장과 같은 단어 시퀀스에서 단어의 확률을 구하는 것 1) 통계적 언어 모델 단어 등장 횟수 기반으로 조건부 확률을 계산 한계) 희소성 문제 2) 신경망 언어 모델 임베딩벡터 사용> 희소성 문제 해결 순환신경망(RNN) 연속형 데이터: 순서가 달라지면 데이터의 의미가 달라짐 예) 자연어, 시계열 구조 기존 신경망과 차이점: 은닉층에서 나와서...
8.[TIL]트랜스포머
기존 Seq2seq 모델들의 한계점 context vector v에 소스 문장의 정보를 압축 병목이 발생하여 성능 하락의 원인이 됨 트랜스포머 트렌스포머는 RNN과CNN을 전혀 사용하지 않아서 단어의 순서정보를 주기가 어려운데 그래서 문장내에 각각의 단어들의 순서정보를 알려주기위해서 별도로 순서에 대한 positional encoding을 이용해서 순...
9.[TIL]Convolutional Neural Network(CNN)
CNN
10.[TIL]Beyond Classification
21이란 숫자는?분류 클래스 수
11.[TIL]AutoEncoder
AutoEncoder 입력 데이터츷 저차원의 벡터로 압축한 뒤 원래 크기의 데이터로 복원하는 신경망 출처: https://techblog-history-younghunjo1.tistory.com/130 > Latent vector: 원본데이터보다 차원이 작으면서도, 원본 데이터의 특징을 잘 보존하고 있는 벡터 즉, 오토 인코더는 latent벡터를 잘 ...
12.[TIL] GAN
GAN 실제와 유사한 데이터를 만들어내는 생성모델 지폐 위조범과 경찰의 이야기: 위조 지폐범이 위조지폐를 만들면 경찰은 해당 지폐가 진짜인지 아닌지를 구별하게 되고 이를 반복하다보면 위조 지폐범이 점차 더욱 진짜같은 위조지폐를 만든다는 이야기 생성적 적대 신경망 경쟁을 통해서 배운다는 개념의 인공지능 기술 CycleGAN DCGAN의 구조를 변경하여 ...