기존 seq2seq 모델인코더-디코더 구조인코더 : 입력 시퀀스를 하나의 벡터 표현으로 압축디코더 : 이 벡터 표현으로 출력 시퀀스 생성이 과정에서 입력 시퀀스의 정보가 일부 손실 가능이를 보정하기 위해 attention 사용$d\_{model}$(512) : tran
문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? text 내에서 핵심 문장 추출데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? SubSumE데이터 구조는 어떻게 생겼는가?intent : 요
문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는
인공지능 분야 공부를 하며 NLP에 대한 관심이 생겨 원티드 프리온보딩 AI/ML 에 참가하게 되었습니다. Natural Language Inference 문제 정의 task가 해결하고자 하는 문제가 무엇인가? hypoth
인공신경망을 re-centering과 re-scaling으로 layer의 input 정규화를 통해 더 빠르고 안정화시키는 방법Covariate shift : 이전 레이어의 파라미터 변화로 현재 레이어 입력 분포가 바뀌는 현상Internal covariate shift
one-hot vector : 단어 간 유사도 표현 불가vector(벡터) 또는 matrix(행렬)의 값이 대부분 0으로 표현one-hot vector벡터의 차원 == 단어 집합(vocabulary)의 크기고차원에 각 차원이 분리된 표현 방법가정(분포 가설) : 비슷한
라벨링 되지 않은 데이터의 효과적 코딩을 학습하는데 사용되는 인공신경망의 종류차원 축소 등을 위해 representation learning 또는 feature learning을 비지도학습 형태로 학습하는 신경망Untitledencoder, decoder 두 부분으로
Untitled모델 학습시에 쓰이는 dataset모델 학습중 모델의 성능을 검증하는데 쓰이는 dataset모델의 hyperparameter와 configuration을 tuning 하는데 쓰임(학습이 잘 되고 있는지)validation set으로 모델 평가오버피팅 방지