한동안 교환학생을 갔다온다고 블로그 업로드를 미뤘는데...다시 시작해보려한다. 한동안은 교환가서 배운 내용들을 정리겸 올릴 계획이다. 교환 가서 들은 수업들이 석사수업들이라 쉬운 내용이 없어 차근차근 다시 공부하며 올릴 예정이다.가장 먼저는 C언어로 작성한 이미지 프로

부스트캠프하면서 더 듣고 싶었던 부분인 Transformer 부분을 다시 복습하였다!주재걸 교수님 강의는 언제 들어도 정말 좋은 것 같다.밤에는 보아즈 동아리에서 하는 폰드 생성모델 후처리를 erosion, denosing을 이용하여 진행해보았다.'텐서플로2와 머신러닝

이번 DALL-E 논문은 MultiModal task에 관심이 많아져서 읽고 싶었던 논문이다.이미지 생성 모델답게 어려운 수식들이 있었지만 저걸 어떻게 하지?로 시작해서 어떤 아이디어로 이 모델이 학습되었구나를 알아가는 과정을 즐길 수 있었다.이전에는 논문 형식을 지키

RE 데이터셋을 구축하기 위해 RE 관련 논문 2개를 데이터셋 구축 위주로 보았다.Position-aware Attention Supervised Data Improve Slot filling 논문 안에 있는 내용이다.Slot filling 과제는 Subject 엔티티

GPU 서버에 Konlpy를 설치하면서 겪었던 과정을 정리해보았다.우선 konlpy만 먼저 설치할 경우 JAVA HOME에 대한 에러가 난다. 그래서 이 부분 먼저 해결해줘야한다.apt-get install g++ openjdk-8-jdk python3-dev pyth

Author: Alec Radford, OpenAIReading date: March 20, 2022 11:50 AMSubmitted date: 2018Summary: GPT-1Type: Paperunlabeled 텍스트 corpus들은 많은 반면에 특정 task들에

Open AI에서 개발한 모델로 다양한 자연어처리 task를 처리할 수 있는 통합된 모델이 중요한 특징이다.우선 Text를 position 임베딩을 더한다.self-attention 블럭을 12개 쌓는다.Text Prediction : 첫 단어부터 다음 단어까지 순차적

Author: Google AI Language, Jacob DevlinLink: https://arxiv.org/pdf/1810.04805.pdfReading date: March 13, 2022 12:44 PMStatus: ReadingType: Paper

NLP 논문을 읽다보면 정말 자주 나오는 것 같다.우선 precision과 recall을 먼저 알고 넘어가야한다.이미지 분류 모델처럼 cross-entropy loss와 같이 일반적인 loss 방법들을 사용하면 NLP에서 맞지 않을 수 있다.가령 문장 생성 task에서

매 타임 스텝마다 높은 확률을 가지는 단어 하나만을 선택해서 진행한다.이를 Greedy decoding이라고 한다.알고리즘 공부했을 때 배운, 그리디 알고리즘처럼 당시 상황에서의 최선의 선택을 하기 때문에 앞에 Greedy가 붙은 것 같다.이 단점중 하나는 뒤로 못 돌

Sequence to Sequence 모델은 NLP 중 many-to-many 타입에 해당되는 모델이다인코더와 디코더로 구성되어 인코더는 input을 받고 디코더는 output을 낸다.서로 share하지 않는다.세부구조를 보면 여기서는 lstm을 선택한 것을 볼 수 있

03.07 부스트캠프 NLP 트랙의 첫 시작으로 NLP의 여러가지 task들과 Bag-of-Words와 word embedding에 대하여 공부하였다. 실습과제로 직접 워드 임베딩 과정을 구현해보고 spacy, konlpy를 사용해보았다. 그리고 새로운 팀원들과 앞으로

단어들을 특정한 차원으로 이루어진 공간 상의 한 점, 좌표로 변환해주는 기법text dataset을 학습 데이터로 제공하고dimension수를 사전에 정하여 알고리즘에 전달하면결과 값으로 각각의 단어의 최적의 벡터 표현형이 나온다.비슷한 단어는 가까운 공간에 표현되도록

단어 등을 숫자형태로 나타내는 기법유니크한 단어들을 모아서 사전에 등록한다.예시로 "John really really loves this movie","Jane really likes this song." 문장이 있다면사전 Vocabulary에는 {"John","rea

Submitted date: July 14, 2020Summary: ASRFType: PaperASRF - Action Segment Ref

파이토치 Efficient Net이나 RegNet을 쓰려고 하니까 이런 에러가 떴다.jupyter와 ipywidgets를 업데이트도 해봤는데 계속해서 떴다.그러다가 콘솔에 downloading "http\~~" to 현재dir/torch/hub/checkpoints라는

이 논문은 2021년에 나온 Transformer를 action segmentation task에 맞게 변형시킨 모델에 대해 나와있다.NLP의 Transformer가 CV에서도 활용되어 여러 논문들이 나왔다고 들었는데 action segmentation task에도 나

이번 주와 다음 주는 Mask, Age, gender classification이 주제인 competition이 있다. 그래서 그런지 강의도 이전에 배운 내용을 컴피티션을 위한 내용을 중점적으로 나온 듯 했다.강의는 수월하게 들을 수 있었다.competition을 위한

이번 포스팅은 도커 컴포즈에 관한 내용이다.멘토님이 실제 서비스에서는 여러 컨테이너를 띄우기 때문에docker compose 공부를 추천해주셨다!👍Docker compose는compose 파일로 여러 컨테이너를 관리하기 쉽게 해주는 기능이다.아래 실습 내용들은 도커의

월요일에 2022-2학기 교환학생 결과가 나왔다.프랑스 Grenoble-Alphes University에 합격이 돼서 신났다ㅎㅎㅎㅎ막상 가려니까 더 일찍 준비시작해서 영어권으로 갈 수 있었으면 좋았을텐데 라는 후회도 들었다ㅠㅠㅠ그래도 바쁜 3학년 2학기랑 토플 공부 병