MLP 숫자인식을 하려면 크기와 위치를 비슷하게 맞춰야 함
CNN 특징들을 추출해서 비교함 (MLP보다 사람처럼)
CNN 구조
Conv Layer 특징 추출 부각, 픽셀값
Pooling Layer
Padding 입력과 출력의 이미지 크기가 달라질 때,
그 공백을 0으로 채우는 것
전이학습 - 이미 학습된 모델을 유사한 다른 데이터를 인식하는데 사용하는 기법
특성추출, 미세조정 방식
과대적합 피하는 방법
드랍더아웃 학습을 하는 동안 모든걸 학습하지않고 일부만
데이터 증강 - 각도, 크기, 명암등 원본이미지로 조금씩 다른데이터를 만드는것
fill_mode='nearest' 사용시 저렇게 가까운 픽셀로 채워짐!
RNN
RNN 탄생이유
- 순환신경망
이전 데이터의 기록을 잠시 기억해 놓고 다음 데이터와 함께 연산됨
RNN층 하나에서 계속 맴돌면서 연산을 진행하는 프로세스
RNN 수식
vanilla 가장 기본이 되는
relu는 사용 불가!
과거에 입력된 데이터와 나중에 입력된 데이터의 관계
Timesteps feature 를 잘 생각해야함!
RepeatVector 같은 데이터가 반복적으로 들어감
return_sequences = True 매 순환마다 출력이 됨 (다수 출력)
False 단일출력
인코더 디코더
RNN 가로
유치원에서 학대를 안하는지(녹화영상에서 폭력을 하는지 안하는지)
프로젝트 주제로 많이 쓰임
tokenizing 단어들을 쪼개 각 char별로 모델이 이해할 수 있게
start_char =1 뉴스의 시작점 (데이터 시작이 1)
oov_char = 2
0,1,2 는 다른의미로 사용되기때문에 3번부터 단어들의 랭킹을 나타냄
토큰화 수치화 길이 셋 다 맞춰야 학습 할 수 있음!
RNN 문제점
sigmoid대신 relu대신 >tanh 하지만 Vanishing Gradient를 피할 수 없음
