06. Noisy Network

강화학습에서의 Agent는 현재상태에서 reward를 많이 받는 action을 선택하기 위해 exploition을 하지만, 다른 더 좋은 reward를 얻기 위해서는 적절하게 exploration이 필요하다. exploition: state 에서 지금까지 경험한 act

4일 전
·
0개의 댓글

01. DQN(Deep Q Leaning)

Neural network를 이용한 function approxiamtor로 기존의 딥러닝 방식의 강화학습이 가진 문제를Experience Replay Buffer와 Fixed Q Targets을 이용해 해모델이 없는 (Model-Free) 환경에서 학습하는 알고리즘.

4일 전
·
0개의 댓글

강화학습 관련 자료 모음

higgsfield/RL-Adventure : 파이토치로 DQN / DDQN / Prioritized replay/ noisy networks/ distributional values/ Rainbow/ hierarchical RL 다룬

2020년 7월 29일
·
0개의 댓글

02. Multi-step TD

MDP를 모르는 경우에도 어떻게 prediction을 하고 어떻게 control을 할지. prediction은 value를 찾는 문제. MC와 TD가 있다.에피소드를 끝까지 수행하고 얻은 결과에 대해 평균으로 value를 취한다. 실제 수행한 값의 평균을 취한다. 목표

2020년 7월 24일
·
0개의 댓글
post-thumbnail

Archive

자료 모음

2020년 7월 20일
·
0개의 댓글
post-thumbnail

HuggingFace generate 함수 사용해서 문장 생성하기 1

how to generate text 를 보며 정리 huggingface의 transformer 라이브러리를 보면 GPT2 부분에 generate 함수가 있다. 이 generate 함수를 이용해서 문장 생성 하는데 보다 적은 노력으로 훌륭한 문장을 생성할 수 있다.

2020년 7월 16일
·
0개의 댓글

2020 Deep Learning 강의

https://www.youtube.com/playlist?list=PLqYmG7hTraZCDxZ44o4p3N5Anz3lLRVZF

2020년 7월 15일
·
0개의 댓글

huggingface text generate 사용 예

huggingface text generate 사용 예

2020년 7월 14일
·
0개의 댓글

Hugginface Reformer 정리

LSH Self-Attention: https://colab.research.google.com/drive/15oP52_7W5dRcAnbgX3tYADsu4R3cjMIf?usp=sharingChunked Feed Forward: https://colab

2020년 7월 14일
·
0개의 댓글
post-thumbnail

챗봇 대화 데이터

챗봇 QA https://github.com/songys/Chatbot_data 한국어 대화 http://www.aihub.or.kr/aidata/85 심리상담 데이터 http://www.aihub.or.kr/ketidataboard/language_intelligence 한국어 연속적 대화 데이터셋 (XLS) http://www.aihub.o

2020년 7월 14일
·
0개의 댓글
post-thumbnail

GPT-3의 모델

GPT-3의 접근 방법은 기존의 GPT-2의 모델, 학습데이터, 학습 방법 등에서 유사하다. 거기서 확장하여, 모델의 사이즈와 데이터의 사이즈를 확대했으며, 데이터의 다양성을 증가했고, 학습 길이도 증가시켰다.

2020년 6월 24일
·
0개의 댓글

Nodejs aws-sdk S3 오브젝트 삭제

S3에서 이미지나 다른 정적 파일들을 nodejs로 삭제

2020년 6월 22일
·
0개의 댓글
post-thumbnail

GPT-3가 보이고 싶은 것

GPT-3는 175억개의 파라미터를 `autoregressive language model` 방식으로 학습하므로써 큰 모델이 in-context learning을 하고, zero, one, few-shot 학습을 통해 파인튜닝만큼의 성능을 실험해보고자 했다.

2020년 6월 19일
·
0개의 댓글

Nodejs에서 스케줄 작업

Agenda, Node-cron, Node-schedule 위 3 모듈 다 cron 형식으로 시간을 일정 규칙에 맞춰 지정해주면 고정된 작업을 시간 규칙에 따라 동작한다.유닉스와 같은 컴퓨터 운영체제에서 사용되는 시간 기반 작업 스케줄러이다. 위 표를 보면 Agenda

2020년 6월 18일
·
0개의 댓글
post-thumbnail

사전학습과 파인튜닝 패러다임을 넘어서

GPT-3, 사전학습과 파인튜닝 패러다임을 넘어서

2020년 6월 17일
·
0개의 댓글
post-thumbnail

GPT-3 들어가기 전에

GPT-3 들어가기 전에

2020년 6월 17일
·
0개의 댓글

Pyenv를 이용한 파이썬 패키지 관리

기존에는 맥에서 아나콘다를 사용해 파이썬 패키지를 관리하였다. 중간 중간 아나콘다를 업데이트 하게되면서 잘 사용 되지 않는 경우가 있어 pyenv를 설치해보았다. zsh 터미널을 사용하지만 나의 경우 .bash_profile의 설정과 연결되어 있어 아래와 같이 사용.

2020년 6월 8일
·
0개의 댓글

Javascript 시간 관련 Date 사용 방법

https://blueskai.tistory.com/100

2020년 5월 18일
·
0개의 댓글

React Native 리덕스 스토어 컴포넌트 밖에서 사용하기

리덕스를 사용하다 보면 리덕스 스토어를 컴포넌트 바깥에서 사용해야하는 경우가 필요.위와 같이 사용. store.getState().all 뒤에 리덕스에서 선안한 변수에 접근하여 사용할 수 있다.Access the Redux Store Outside a React Com

2020년 5월 17일
·
0개의 댓글