# Embedding

28개의 포스트
post-thumbnail

[텍스트 마이닝] 9. Embedding(3)

Learn parameters to combine the RNN output across all layers for each word in a sentence for a specific task(NER, semantic role labeling, question ans

약 22시간 전
·
0개의 댓글
post-thumbnail

[텍스트 마이닝] 8. Embedding(2)

pre-traiend word embeddings great for words that appear frequently in data Unseen words are treated as UNKs and assigned zero or random vectors; every

약 23시간 전
·
0개의 댓글
post-thumbnail

[NLP | 논문리뷰] Skip-Thought Vectors

부스트캠프 스터디원분들과 진행한 논문 스터디에서 이번주에는 Skip-Thought Vectors라는 생소한 논문을 리뷰했다. Skip-gram과 Word2Vec, Seq2Seq까지 Transformer가 나타나기 이전에 word embedding에서 한 획을 그었다 할

2022년 4월 30일
·
0개의 댓글
post-thumbnail

[Project] Natural Language Processing with Disaster Tweets - Kaggle

| 머리말 | 전공과목인 데이터마이닝 수업의 2달 여정의 프로젝트로 저는 LSTM을 이용한 재난관련 트윗 분류문제를 선정했습니다. 지난학기에는 타이타닉 분류예측 문제를 했었는데 교수님께서 이번에는 LSTM을 이용하여 정확도를 높여보라고 하셔서 어떤 주제를 할지 캐글을

2022년 3월 26일
·
0개의 댓글
post-thumbnail

Item2Vec

Item2Vec 논문 리뷰

2022년 3월 11일
·
0개의 댓글
post-thumbnail

Song2Vec

word2vec을 이용한 노래 추천 시스템

2022년 3월 10일
·
0개의 댓글

Gensim(Word2Vec) function

gensim 파라미터 함수

2022년 3월 8일
·
0개의 댓글

Word2Vec

Word2Vec 개념정리

2022년 3월 8일
·
0개의 댓글
post-thumbnail

Contextual Embedding - How Contextual are Contextualized Word Representations?

오늘 살펴볼 논문은 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings 라는 논문이다. 이름이 무척 긴데, 사실 이

2022년 2월 26일
·
0개의 댓글
post-thumbnail

타이타닉 탑승객 Embedding 시각화

타이타닉 탑승객 Embedding 시각화

2022년 2월 13일
·
1개의 댓글
post-thumbnail

임베딩이란? [Focusing on one-hot encoding]

최근들어, 사람과 소통할 수 있는 능력을 갖춘 인공지능이 증가하고 있습니다. 대표적으로 우리 핸드폰에 있는 Siri 나 빅스비 등을 예로 들 수 있겠군요. 그런데 가끔씩 이러한 인공지능들은 어떻게 사람의 말은 인식하는지 의문이 들곤 합니다. 그래서 이러한 궁금증을

2022년 2월 9일
·
2개의 댓글
post-thumbnail

[Aiffel] 아이펠 30일차 개념 정리 및 회고

1. 딥러닝 개념 정리 2. CS231n 개념 정리 3. 회고

2022년 2월 9일
·
0개의 댓글
post-thumbnail

MongoDB Schema Design

MongoDB schema design best practice

2022년 2월 4일
·
0개의 댓글
post-thumbnail

ᄂ 🔶 [18 일차] : EXPLORATION 6. 영화 리뷰 감성분석

IMDb Large Movie Dataset은 50000개의 영어로 작성된 영화 리뷰 텍스트로 구성긍정은 1, 부정은 0의 라벨50000개의 리뷰 중 절반인 25000개가 훈련용 데이터, 나머지 25000개를 테스트용 데이터로 사용하도록 지정Downloading dat

2022년 1월 20일
·
0개의 댓글
post-thumbnail

Embedding이 중요한 이유

임베딩에는 Corpus의 의미, 문법 정보가 함축되어있다.임베딩은 Vector이므로 연산이 가능하며, 단어/문장/문서 간의 유사도를 측정할 수 있다.전이학습(Transfer Learning)을 통해 Fine-tuning하여 과제에 맞게 업데이트. 효과적인 이유가 제로베

2021년 11월 17일
·
0개의 댓글
post-thumbnail

Theory of Transformer and each component (brief summary)

Theory RNN은 병렬처리를 할 수 없다는 단점이 있습니다. 이는 이전 스텝의 결과를 이용하기 때문에 구조상 어쩔 수 없습니다. 때문에 학습시간도 상대적으로 오래 걸립니다. 또, 텍스트 데이터는 멀리 떨어진 단어와의 관계와 맥락도 파악할 수 있어야 합니다. 하지만 LSTM은 거리가 멀어질수록 이전 단어의 정보는 점점 사라져갑니다. 논문 'Attent...

2021년 11월 7일
·
0개의 댓글

word2vec 이해하기 2부

앞에서 word2vec 의 대표 모델로 주변에 있는 단어들을 가지고, 중간에 있는 단어들을 예측하는 방법인 CBOW와 중간에 있는 단어로 주변 단어들을 예측하는 방법인 Skip-Gram 가 있다. 둘의 매커니즘은 유사하며 먼저 CBOW에 대해서 알아보자 CBOW CB

2021년 9월 30일
·
0개의 댓글
post-thumbnail

word2vec 이해하기 1부

들어가기에 앞서 최근에 딥러닝 기반 추천시스템을 공부하면서 밑바닥부터 시작하는 딥러닝을 읽게 되었다. 그 중에서 자연어 처리중에 기본시 되는 word2vec를 이해하는 과정에서 Embedding 과 negative sampling 에 대해 알아보자. 자연어와 단어

2021년 9월 26일
·
0개의 댓글