post-thumbnail

Huggingface tokenizers를 사용한 Wordpiece Tokenizer 만들기

말뭉치 데이터(Corpus)를 바탕으로 언어모델을 만드려고 할때, 말뭉치 데이터를 언어모델에 학습시키기 위해서는 우리가 사용하는 자연어를 벡터로 변환하는 과정이 필요하다. 자연어를 벡터로 변환하기 위해서는 자연어를 토큰화 하고, 토큰화된 단어들에 인덱스를 부여해서,

2020년 10월 26일
·
0개의 댓글
post-thumbnail

Meta Learning 2 - 멀티 태스크 & 메타러닝 기초

멀티 태스크 & 메타러닝 기초 다루는 주제 멀티 태스크 러닝 멀티태스크 러닝에서 다루는 모델과 아키텍처 학습 알고리즘들과 실제 어떻게 학습하는 지 그 과정에서 발생하는 문제 실제 사례 연구 메타 러닝 문제 공식화: 첫 강의에서는 대략적으로(informal) 메타러닝 태

2020년 10월 19일
·
0개의 댓글
post-thumbnail

React Native google map 스타일 변경

https://mapstyle.withgoogle.com/ 사이트에서 원하는 스타일의 맵 만들고 Finish를 통해 생성된 json 파일을 customMapStyle={MapStyle} 에 넣어주면 스타일이 변경된다. 생성된 json

2020년 10월 18일
·
0개의 댓글

Quantumstat의 Super Duper NLP Repo

Quantumstat의 Super Duper NLP Repo테이블 구문 분석 에서 텍스트 음성 변환에 이르기까지 모든 것을 다루는 colab 노트북 NLP 데모 모음입니다. 현재는 262개의 데모가 정리https://notebooks.quantumstat.co

2020년 10월 15일
·
0개의 댓글
post-thumbnail

Meta Learning 1 - Intro

Meta Learning이란? Learn to learn으로 적은 데이터로 학습하기 위한 방법. 기존에도 존재해 왔으나 Deep Learning과 결합하여 로봇, 강화학습, GPT-3 등에 적용 되며 뛰어난 성능을 보이고 있다. CS330을 통해 학습 및 정리해본다.

2020년 10월 2일
·
0개의 댓글
post-thumbnail

나만의 Language Model 만들기

최근 자연어 처리 분야에서 Transformer 등장 이후 다양한 BERT, GPT, ELECTRA 등의 다양한 언어모델들이 나오면서 뛰어난 성능을 보이고 있다. 대부분 구글이나 OpenAI 와 같은 회사들의 경우, 고성능의 컴퓨팅 자원을 바탕으로 매우 큰 파라미터들을

2020년 10월 1일
·
0개의 댓글
post-thumbnail

10. RND(Exploration by Random Network Distillation)

OpenAI에서 발표한 Exploration에 대한 논문. Atari 게임에서 어려운 게임인 몬테주마의 복수(Montezuma’s Revenge) 게임에서 SOTA를 기록한 논문이다. 지금까지 여러 강화학습 알고리즘이 있었지만 Reward가 Sparse한 환경인 몬테주

2020년 9월 16일
·
0개의 댓글
post-thumbnail

🤖 심리상담 챗봇 만들기 - 1. React Native를 이용한 챗봇 앱 만들기

심리상담 데이터 세트와 챗봇 데이터 세트를 이용해 학습한 한국어 언어모델들을 이용하여 심리 상담 챗봇을 만들어본다. 이 포스트에서는 react native와 expo를 이용해 채팅 앱을 만들어 본다. react native와 expo는 기본적으로 설치 되어 있는것을

2020년 9월 12일
·
0개의 댓글

😭pytorch GPU에서 Out of Memory 나는 경우😭

cpu에서 테스트 후에 gpu에서 파인튜닝시, gpu 메모리가 증가하여 oom으로 중단되는 경우가 발생하였다.for 문에서 data를 할당 받는 경우, 데이터를 받을 때, 이전에 사용한 메모리를 저장하기 때문에 순간적으로 2배가 되어 oom이 발생할 수 있다.아래와 같

2020년 9월 7일
·
0개의 댓글

🤦‍♂️ pytorch 다른 모델을 내 모델로 불러올 때 Unexpected key(s) in state_dic 문제 🤦‍♂️

다른 모델을 내 모델로 불러올 때 Unexpected key(s) in state_dic 문제🤦‍♂️ 학습한 모델을 파인튜닝을 하기 위해 torch.load를 이용해 다시 불러오려고 했는데, 아래와 같은 에러가 발생했다. 어떤 부분이 다른가 했더니 파인튜닝 시에는

2020년 9월 4일
·
0개의 댓글
post-thumbnail

React Native, Expo로 iOS 빌드시 transparency 오류

나의 경우 icon.png 파일에 투명한 부분이 존재하여 발생한 에러. icon.png 경로에서 아래에서 터미널로 아래 명령어 수행. 투명한 부분을 없애주는 명령어

2020년 9월 3일
·
0개의 댓글
post-thumbnail

React Native, ios app 빌드를 위한 p12 파일 만들기

ios에서 앱을 퍼블리쉬 하기 위해서는 .p12 파일이 필요하다. 초심자로서 모르는 부분이 많아 p12파일 생성하는 방법을 블로그에 따라서 만들어보도록 한다. p12 파일은 일종의 증명서이다. 내가 배포하려는 앱이 나로부터 나온게 맞는지 증명하기 위한 파일. .p12

2020년 9월 3일
·
0개의 댓글

python 특정 경로에 있는 파일 확인

2020년 8월 31일
·
0개의 댓글

pytorch 두 tensor 간 같은 인덱스 구하기

두 텐서 간에 같고 다른 값을 구할 때, torch tensor 간의 비교연산자를 사용해 쉽게 구할수 있다.

2020년 8월 31일
·
0개의 댓글
post-thumbnail

한국어 뉴스 댓글 데이터 12GB(KcBERT Pretraining 데이터)

한국어 뉴스 데이터로 사전 학습한 BERT인 KcBERT를 학습시킨 데이터를 캐글에 공개해주셨다.12GB의 데이터로 필요에 따라 다운로드 후 활용 가능하다. 댓글이 한줄한줄씩 되어있는데, 무난한 내용이 미리보기에는 안보이네요;;;https://www.kaggl

2020년 8월 23일
·
0개의 댓글
post-thumbnail

React Native Expo로 앱배포하기

완성된 앱을 빌드하여, standalone 파일로 변환android는 apkios는 ipastandalone 파일은 expo의 서버 연결 없이, 설치 파일로써 기기에서 동작하는 파일을 말한다앱 빌드를 위해서는 인증서를 발급 받아야 한다.Certificates: 누가 앱

2020년 8월 17일
·
0개의 댓글

06. Noisy Network

강화학습에서의 Agent는 현재상태에서 reward를 많이 받는 action을 선택하기 위해 exploition을 하지만, 다른 더 좋은 reward를 얻기 위해서는 적절하게 exploration이 필요하다. exploition: state 에서 지금까지 경험한 act

2020년 8월 8일
·
0개의 댓글
post-thumbnail

01. DQN(Deep Q Leaning)

Neural network를 이용한 function approxiamtor로 기존의 딥러닝 방식의 강화학습이 가진 문제를Experience Replay Buffer와 Fixed Q Targets을 이용해 해모델이 없는 (Model-Free) 환경에서 학습하는 알고리즘.

2020년 8월 8일
·
0개의 댓글

강화학습 관련 자료 모음

higgsfield/RL-Adventure : 파이토치로 DQN / DDQN / Prioritized replay/ noisy networks/ distributional values/ Rainbow/ hierarchical RL 다룬

2020년 7월 29일
·
0개의 댓글