# NLP
[논문 읽기] GloVe: Global Vectors for Word Representation
오늘은 단어 임베딩의 방법 중 하나인 GloVe에 대해 알아보고자 한다. GloVe는 2014년 스탠포드 대학에서 발표된 단어 임베딩 알고리즘으로, 당시 단어 유추, 유사도 테스트 등에서 SOTA모델을 달성했다.언어를 의미적 벡터 공간에 모델링할 때, 우리는 단어 각각
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT paper summary
장르 자동 분류기 만들기 #7
지금까지는 여러 소설 사이트에서 소설 제목, 작가 이름, 소개글, 장르를 가지고 왔다.현재까지 내가 가지고온 소설 사이트들은카카오 페이지 카카오페이지네이버 시리즈 네이버 시리즈문피아 문피아노벨피아 노벨피아이렇게 4가지가 있다.노벨피아는 기본적으로 f12를 막아놨기 때문
CS224n Lec 6: Simple and LSTM Recurrent Neural Networks
LSTM RNN은 예측 시점으로부터 최근에 있는 데이터를 필요로 하는 예측에는 성공적이다. 그러나 가까이 있는 문맥만으로는 부족하고 더 많은 양의 문맥이 필요한 경우에는 RNN이 정보를 서로 연결짓지를 못한다. 이론적으로 시간 차이가 많이 나는 입력들 사이의 의존성을
[논문 리뷰] Attention is all you need
이번 글에서는 Attention is all you need 논문을 살펴봄과 동시에 논문에서 제시하는 아키텍처이자, 현재로서는 매우 중요해진 transformer에 대해 살펴보도록 하겠다.
GPT-Neo를 사용해 던전앤드래곤 Spell 생성하기 (1) - 데이터셋 확보
프로젝트 목적 던전앤 드래곤의 Spell을 GPT-2를 이용해 생성해보자 1편. 데이터셋을 확보하자! 우리는 지도학습에 기반해서 Spell을 만들것이므로 기존 데이터셋을 모아주는 것부터 시작해봅니다 오피셜 데이터셋: https://www.kaggle.com/dat
Game & NLP Workshop (at LREC 2022) 구경하기
주요 컨퍼런스들 워크샵들 둘러보면 종종 재밌고 신기한 주제의 워크샵들을 볼 수 있는데 (특히 1회차 워크샵들) 서치하다가 LREC 2022에서 게임이나 게이미피케이션 쪽에서 NLP 주제들을 발굴한 워크샵이 있어서 둘러보았다
Diffusion 정리
Denoising Diffusion Probabilistic Models (DDPM) 1. DPM dataset을 확률분포로 표현하는 것이 매우 중요하다고 한다. 특히, 우리가 확률분포를 구하고자 할 때에는 tractability와 flexibility라는 개념이 중
정리 필요한 논문들
Attention is All You Needhttps://arxiv.org/abs/1706.03762(NIPS 2017)Real-Time Scene Text Detection with Differentiable Binarization and Adaptive
논문 분석: Learning Transferable Visual Models From Natural Language Supervision
CoCa논문을 읽으며 알게된 사실이 주요 기술이 CLIP이나 SimVLM을 모방했다는 것이다. 그래서 CLIP을 우선적으로 공부 후 찾아봐야겠다 결정하고 CLIP 논문을 분석했다.computer vision의 SOTA는 predetermined object catego
[논문리뷰] DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
기존 문제점 BERT는 Pre-trained + finetuning 하여 사용 Pre-trained는 메모리 용량 및 프로세스 성능 등 많은 자원을 소요하는 문제 DistilBERT 개요 DistilBERT는 기존 BERT-base 보다 40% 가볍고, 60% 빠름
Sequence to Sequence Learning with Neural Networks
Seq2Seq를 소개하는 논문입니다. Input의 단어 순서를 뒤집어줌으로써 long sentence에서도 학습이 잘 될 수 있고, 성능 향상도 달성할 수 있다는 것을 보여주는 논문입니다.
Using the Output Embedding to Improve Language Models
해당 논문에서는 language model과 neural machine translation에서 input embedding과 output embedding의 weight tying의 효용성을 소개합니다.