profile
네이버 부캠 AI Tech 중🌈
post-thumbnail

DALL-E 논문 정리

이번 DALL-E 논문은 MultiModal task에 관심이 많아져서 읽고 싶었던 논문이다.이미지 생성 모델답게 어려운 수식들이 있었지만 저걸 어떻게 하지?로 시작해서 어떤 아이디어로 이 모델이 학습되었구나를 알아가는 과정을 즐길 수 있었다.이전에는 논문 형식을 지키

2022년 4월 29일
·
0개의 댓글

논문 속 RE Task 관련 데이터셋 이해하기 | TAC Relation Extraction Dataset | KLUE

RE 데이터셋을 구축하기 위해 RE 관련 논문 2개를 데이터셋 구축 위주로 보았다.Position-aware Attention Supervised Data Improve Slot filling 논문 안에 있는 내용이다.Slot filling 과제는 Subject 엔티티

2022년 4월 13일
·
0개의 댓글

Linux(Ubuntu)에 Konlpy 설치 & 에러 해결하기

GPU 서버에 Konlpy를 설치하면서 겪었던 과정을 정리해보았다.우선 konlpy만 먼저 설치할 경우 JAVA HOME에 대한 에러가 난다. 그래서 이 부분 먼저 해결해줘야한다.apt-get install g++ openjdk-8-jdk python3-dev pyth

2022년 3월 24일
·
0개의 댓글
post-thumbnail

Improving Language Understanding by Generative Pre-training | GPT-1 | 논문 정리

Author: Alec Radford, OpenAIReading date: March 20, 2022 11:50 AMSubmitted date: 2018Summary: GPT-1Type: Paperunlabeled 텍스트 corpus들은 많은 반면에 특정 task들에

2022년 3월 20일
·
0개의 댓글
post-thumbnail

GPT-1 간단하게 알아보기

Open AI에서 개발한 모델로 다양한 자연어처리 task를 처리할 수 있는 통합된 모델이 중요한 특징이다.우선 Text를 position 임베딩을 더한다.self-attention 블럭을 12개 쌓는다.Text Prediction : 첫 단어부터 다음 단어까지 순차적

2022년 3월 16일
·
0개의 댓글
post-thumbnail

BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding | 논문 정리

Author: Google AI Language, Jacob DevlinLink: https://arxiv.org/pdf/1810.04805.pdfReading date: March 13, 2022 12:44 PMStatus: ReadingType: Paper

2022년 3월 14일
·
0개의 댓글
post-thumbnail

BLEU Score 알아보기

NLP 논문을 읽다보면 정말 자주 나오는 것 같다.우선 precision과 recall을 먼저 알고 넘어가야한다.이미지 분류 모델처럼 cross-entropy loss와 같이 일반적인 loss 방법들을 사용하면 NLP에서 맞지 않을 수 있다.가령 문장 생성 task에서

2022년 3월 14일
·
2개의 댓글
post-thumbnail

Beam Search 알아보기

매 타임 스텝마다 높은 확률을 가지는 단어 하나만을 선택해서 진행한다.이를 Greedy decoding이라고 한다.알고리즘 공부했을 때 배운, 그리디 알고리즘처럼 당시 상황에서의 최선의 선택을 하기 때문에 앞에 Greedy가 붙은 것 같다.이 단점중 하나는 뒤로 못 돌

2022년 3월 14일
·
0개의 댓글
post-thumbnail

Sequence-to-Sequence | Attention

Sequence to Sequence 모델은 NLP 중 many-to-many 타입에 해당되는 모델이다인코더와 디코더로 구성되어 인코더는 input을 받고 디코더는 output을 낸다.서로 share하지 않는다.세부구조를 보면 여기서는 lstm을 선택한 것을 볼 수 있

2022년 3월 11일
·
1개의 댓글

TIL(Today I Learned) - 3월 첫째 주

03.07 부스트캠프 NLP 트랙의 첫 시작으로 NLP의 여러가지 task들과 Bag-of-Words와 word embedding에 대하여 공부하였다. 실습과제로 직접 워드 임베딩 과정을 구현해보고 spacy, konlpy를 사용해보았다. 그리고 새로운 팀원들과 앞으로

2022년 3월 8일
·
0개의 댓글
post-thumbnail

Word Embedding | Word2Vec, GloVe

단어들을 특정한 차원으로 이루어진 공간 상의 한 점, 좌표로 변환해주는 기법text dataset을 학습 데이터로 제공하고dimension수를 사전에 정하여 알고리즘에 전달하면결과 값으로 각각의 단어의 최적의 벡터 표현형이 나온다.비슷한 단어는 가까운 공간에 표현되도록

2022년 3월 7일
·
2개의 댓글
post-thumbnail

Bag-of-Words & NaiveBayes Classifier | NLP

단어 등을 숫자형태로 나타내는 기법유니크한 단어들을 모아서 사전에 등록한다.예시로 "John really really loves this movie","Jane really likes this song." 문장이 있다면사전 Vocabulary에는 {"John","rea

2022년 3월 7일
·
2개의 댓글
post-thumbnail

Alleviating Over-segmentation Errors by Detecting Action Boundaries | ASRF | 논문 정리 | Action Segmentation

Submitted date: July 14, 2020Summary: ASRFType: PaperASRF - Action Segment Ref

2022년 3월 4일
·
0개의 댓글

IProgress not found. Please update jupyter and ipywidgets

파이토치 Efficient Net이나 RegNet을 쓰려고 하니까 이런 에러가 떴다.jupyter와 ipywidgets를 업데이트도 해봤는데 계속해서 떴다.그러다가 콘솔에 downloading "http\~~" to 현재dir/torch/hub/checkpoints라는

2022년 2월 28일
·
3개의 댓글
post-thumbnail

ASFormer 논문 정리 | Action Segmentation

이 논문은 2021년에 나온 Transformer를 action segmentation task에 맞게 변형시킨 모델에 대해 나와있다.NLP의 Transformer가 CV에서도 활용되어 여러 논문들이 나왔다고 들었는데 action segmentation task에도 나

2022년 2월 26일
·
1개의 댓글

TIL(Today I Learned) - 2월 넷째 주

이번 주와 다음 주는 Mask, Age, gender classification이 주제인 competition이 있다. 그래서 그런지 강의도 이전에 배운 내용을 컴피티션을 위한 내용을 중점적으로 나온 듯 했다.강의는 수월하게 들을 수 있었다.competition을 위한

2022년 2월 22일
·
0개의 댓글
post-thumbnail

Docker Compose | 여러 컨테이너 관리하기

이번 포스팅은 도커 컴포즈에 관한 내용이다.멘토님이 실제 서비스에서는 여러 컨테이너를 띄우기 때문에docker compose 공부를 추천해주셨다!👍Docker compose는compose 파일로 여러 컨테이너를 관리하기 쉽게 해주는 기능이다.아래 실습 내용들은 도커의

2022년 2월 19일
·
2개의 댓글
post-thumbnail

TIL(Today I Learned) - 2월 셋째 주

월요일에 2022-2학기 교환학생 결과가 나왔다.프랑스 Grenoble-Alphes University에 합격이 돼서 신났다ㅎㅎㅎㅎ막상 가려니까 더 일찍 준비시작해서 영어권으로 갈 수 있었으면 좋았을텐데 라는 후회도 들었다ㅠㅠㅠ그래도 바쁜 3학년 2학기랑 토플 공부 병

2022년 2월 18일
·
0개의 댓글
post-thumbnail

도커란? | 가상화, 컨테이너, 도커 개념, 기능

도커를 소개하기 전에 먼저 가상화란 개념이 필요하다.개발할 때, 서스 운영에 사용하는 서버에 직접 들어가서 개발하지 않는다.Local환경에서 개발하고 완려되면 Staging서버, Production 서버에 배포한다.개발을 진행한 local 환경과 Production 서

2022년 2월 15일
·
2개의 댓글

AI 프로젝트의 Flow 와 유의할 점 파악해보기

오늘은 머신러닝 프로젝트의 flow에 대하여 정리하려고 한다.특정 현상을 파악하고그 현상에 있는 문제를 정의하는 과정이다.본질을 파악하는 과정문제를 잘 풀기 위해서는 문제정의가 중요하다.해결해야 하는 문제는 무엇이고,해결하면 무엇이 좋을까?어떻게 해결하면 좋을까?How

2022년 2월 14일
·
1개의 댓글