국민대학교 인공지능학회 (XAI)

이 논문에서는 신경망 기계 번역(Neural Machine Translation, NMT)의 성능을 향상시키기 위해 새로운 접근 방식을 제안한다.기존 encoder-decoder 구조는 소스 문장을 고정 길이(fixed-length) 벡터로 인코딩하여 번역하는 방식이었

U-Net은 의학 영상 segmentation을 위해 만들어진 CNN 기반의 네트워크 구조로,이미지의 각 픽셀을 클래스별로 분류해서 정밀한 분할(Segmentation)을 수행하는 데 특화되어 있어.이름 그대로 네트워크 모양이 U자형 구조를 하고 있어서 "U-Net"이

요즘 자연어처리(NLP)를 공부하다 보면 단어 임베딩이라는 개념은 빠질 수 없다. 단어를 숫자 벡터로 표현해서 기계가 언어를 이해하게 만드는 기본 도구다. 그런데 단어 임베딩 방식에도 다양한 진화가 있었고, 그 한계를 해결하려는 시도들이 이어져왔다. ELMo 논문에서는

논문 Attention Is All you need는 자연어 처리 분야에서 엄청난 변화를 일으킨 Transformer 모델을 소개한 논문이에요. 여기서 제안된 Transformer 모델은 기존에 주로 사용되던 RNN이나 CNN을 완전히 제거하고, 오직 Attention

BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 구글이 공개한 사전 훈련된 모델입니다. BERT라는 이름은 세서미 스트리트라는 미국 인형극의 케릭터 이름이기도 한데, 앞서 소개한 임베딩 방법론

기존 object detection 시스템(Fast R-CNN 포함)은 Region Proposal 단계가 병목 현상이 존재한다. 이를 해결하기 위해 제안된 것이 Region Proposal Network (RPN) :Fully convolutional 구조로 이미지

Abstract YOLO는 기존 방식과는 다르게 객체 탐지를 분류하는 문제가 아니라 회귀(regression) 문제로 접근하는 모델이다. 한 번의 이미지 입력으로 바로 바운딩 박스 좌표랑 클래스 확률까지 모두 예측해버리는 통합형 네트워크이다. 이게 왜 대단하냐면 원

이제는 논문 작명 센스까지 학회에서 평가하는 것 같다.T5 (Text-to-Transfer Transformer)는 앞글자 t가 5개 들어간다고 T5인 것이다. 2017년에 나온 Transformer를 기본으로 한 Encoder-Decoder 모델로 새로운 학습 데이터

이 논문은 BART라는 denoising auto-encoder를 기반으로 한 seq-to-seq 모델 사전학습 기법을 제안했다.BART는 두 가지 과정을 통해 학습된다.(1) 임의의 노이징 함수로 입력 텍스트를 손상시킨다.(2) 손상되기 전의 원본 텍스트를 복원하는

BERT와 같은 Masked Language Modeling 기반의 사전 학습 방법은 입력 문장의 일부 토큰을 mask로 대체해 손상시키고 모델이 원래의 토큰을 복원하도록 학습시킨다.MLM은 다양한 downstream NLP 작업에 전이 학습될 때 좋은 성능을 내지만

경쟁하는 과정을 통해 generative model을 추정하는 새로운 프레임워크 제안2개의 모델 학습generative model(생성 모델), G : training data의 분포를 모사함 → discriminative model이 구별하지 못하도록 한다.discr