MLDL

딥 러닝을 이용한 자연어 처리 입문 - 유원준/안상준

하나의 데이터 type만 배열에 넣을 수 있음List 1,0.7,0.5 안됨한가지 데이터 타입만 들어감dynamic typing not supportednumpy arraydata가 공간에 차례대로 할당되어 붙어있음차례대로 값이 들어가서 연산이 좋아짐메모리 위치를 고려

다층 퍼셉트론 오차역전파 적용시, 입력층으로 갈수록 기울기가 작아지는 현상gadient vanishing 이유 \- activation function으로 적용한 sigmoid함수결과 값을 0과 1 사이의 값으로 조정하여 반환 => 0~100%의 확률값을 가질 수 있

음성인식이나 문자인식(OCR)에서 target sequence와 output sequence 길이가 다를때, ouput 길이가 target보다 길때, loss function을 정의하는 방법'hello'라는 음성 파일로부터 -> 'hello'라는 text를 만드는 것이

분류 문제는 출력 결과가 달라, 분류 타입에 따라 다른 activation function을 사용하는게 일반적Binary Classification : Final action Sigmoid / Loss function BCE Loss Multi-Class Classif

번역기나 텍스트 요약과 같이 입력과 출력 문장의 길이가 다른 경우에 사용입력 문장의 정보가 하나의 컨텍스트 벡터로 모두 압축되면 인코더는 컨텍스트 벡터를 디코더로 전송합니다. 디코더는 컨텍스트 벡터를 받아서 번역된 단어를 한 개씩 순차적으로 출력합니다.하나의 고정된 크