post-thumbnail

WebGPT: Browser-assisted question-answering with human feedback

OpenAI 에서 최근에 발표한 새로운 버전의 GPT. 텍스트 베이스의 웹 브라우징 환경을 통해서 GPT3를 파인튜닝 하고, 긴 맥락을 가진 질문에 대해서 답을 할수 있는 모델을 제안했다. 이러한 과정에서 이미테이션 러닝이나 강화학습의 개념을 사용였다. 모델의 평가는

2021년 12월 26일
·
0개의 댓글

DeepSpeed Pipeline Parallelism

딥스피드에서 사용하는 Pipeline Parallelism에 대해 정리https://www.deepspeed.ai/tutorials/pipeline/ 문서 참조딥스피드 v0.3에서부터 pipeline paraelleism을 지원한다. Pipeline Paral

2021년 11월 29일
·
0개의 댓글
post-thumbnail

Pytorch wandb (Weight & Biases) 적용

Pytorch Wandb (Weight & Biases) 적용 딥러닝 모델을 학습하다가 보면 Loss나 필요한 Metric, 평가지표들을 그래프로 시각화해서 보는 방법이 필요하다. 많이 사용하는 방법으로는 텐서보드나 파이썬에서 제공하는 모듈들을 사용해 표현 하는 방법들

2021년 11월 28일
·
0개의 댓글
post-thumbnail

Billion 단위의 언어모델을 학습시키기 위한 방법: Megatron-LM

최근 언어모델에서는 큰 트랜스포머 모델을 학습하는게 중요하다. 그러나 매우 큰 모델을 학습하는데는 많은 제약사항들이 따른다.Megatron-LM 논문에서는 매우 큰 트랜스포머 모델을 학습하기 위한 테크닉들을 보인다. intra-layer model 병렬화를 이용해 쉽

2021년 11월 9일
·
0개의 댓글
post-thumbnail

Decision Transformer: Reinforcement Learning via Sequence Modeling

Decision Transformer는 시퀀스 모델링 문제를 해결하기 위해 강화학습을 사용한 프레임워크. 트랜스포머 구조에서 단순하고, 확장성 있게 적용할 수 있다. 그리고 GPT계열의 모델과 BERT 모델들 관련해서 발전된 것을 적용할 수 있다. Decision Tr

2021년 10월 28일
·
0개의 댓글

PyTorch Lightning DeepSpeed

PyTorch Lightning DeepSpeed 토치 라이트닝에서 딥스피드를 사용하기 위한 방법 학습 및 정리. DeepSpeed 딥스피드는 딥러닝 학습 optimization 라이브러리이다. 딥스피드를 통해 트랜스포머 모델의 메모리 를 효율적으로 학습할 수 있게

2021년 10월 17일
·
0개의 댓글

Perceiver IO: A General Architecture for Structured Inputs & Outputs

최근 DeepMind에서 소개된 모델인 Perceiver는 여러 도메인에서 좋은 성능을 얻었다. 그와 동시에 컴퓨팅과 메모리 부분에서는 input size에 따라 선형적으로 확장할 수 있다. Perceiver는 다양한 종류의 input들을 지원하며, 쉽게 output을

2021년 9월 25일
·
0개의 댓글
post-thumbnail

ReZero is All You Need, 뉴럴네트워크를 더 깊고 빠르게 학습하는 방법

딥 뉴럴 네트워크는 여러 분야에 걸쳐서 많은 성능 향상을 가져왔지만 종종 기울기가 사라지거나 과도하게 커지거나 하는 문제가 발생한다. 특히 12 레이어를 초과하고 많은 데이터셋과 컴퓨팅 자원이 필요한 트랜스포머 모델들도 이런한 문제에서 예외는 아니며, 저자들은 비효율적

2021년 8월 15일
·
0개의 댓글

pytorch | torch.bmm

Batch matrix multiplication 으로 두 operand가 모두 batch일때 사용하며, 브로드캐스트 기능을 지원하지 않는다. 두 입력은 3-D 텐서가 되어야한다.B, N, M x B, M, P = B, N, P$$out_i = input_i @ mat

2021년 8월 6일
·
0개의 댓글
post-thumbnail

BigBird, Block Sparse Attention

BigBird, Block Sparse Attention

2021년 8월 2일
·
0개의 댓글

BlenderBot 2.0: 장기 기억 메모리와 인터넷 검색을 활용한 오픈소스 챗봇

BlenderFackbookAI BlenderBot2.0 글에 대한 정리코드: blenderbot2Facebook에서 만든 장기 기억 메모리와 인터넷 검색을 사용하는 오픈소스 챗봇으로 blender의 두번째 버전이다. 소스와 데이터를 공개했다. 소스: facebookr

2021년 7월 21일
·
0개의 댓글

쿠버네티스 살펴보기 | 4. 쿠버네티스 처음 배포하기

subicura님의 쿠버네티스 안내서를 따라해보며 쿠버네티스 기본 사용법에 대해 익히고 정리.쿠버네티스는 설치부터 운영, 여러 고급 기능들을 알아야한다. 하지만 그 전반적인 과정이 어렵고 처음 접하는 사람에게 쉽지 않다. subicura님의 안내서는 가이드를 통해 최소

2021년 7월 20일
·
0개의 댓글

쿠버네티스 살펴보기 | 3. 쿠버네티스 기초 용어

쿠버네티스 살펴보기 | ① 쿠버네티스 개요 > 쿠버네티스 학습을 위한 제타위키 쿠버네티스 용어를 정리 쿠버네티스 기초 용어 쿠버네티스에 사용하는 기본 용어들에 대해 알아본다 필수 용어 Cluster, 클러스터: 노드라고 불리는 머신들의 집합으로 쿠버네티스가 관리하는

2021년 7월 19일
·
0개의 댓글

쿠버네티스 살펴보기 | 2. 쿠버네티스 구성요소

쿠버네티스 학습을 위한 쿠버네티스 공식문서를 정리쿠버네티스를 배포하면 클러스터가 생성된다. 이때 클러스터는 컨테이너를 실행하는 노드라 불리는 워커 머신의 집합이다. 모든 클러스터는 최소한 한개의 워커 노드를 가진다.워커 노드는 애플리케이션의 구성요소인 파드를 호스트 한

2021년 7월 14일
·
0개의 댓글

쿠버네티스 살펴보기 | 1. 쿠버네티스 개요

쿠버네티스 학습을 위한 쿠버네티스 공식문서를 정리쿠버네티스는 컨테이너화된 서비스를 관리하기 위한 이식성있고, 확장가능한 오픈소스 플랫폼이다. 즉 컨테이너들을 관리하기 위한 플랫폼이다. 선언적 구성과 자동화를 용이하게 해준다.쿠버네티스는 흔히 k8s라 불린다. K8s는

2021년 7월 14일
·
0개의 댓글

Poly-encoders: 빠르고 정확하게 여러 문장을 비교하고 스코어링 하기 위한 방법

최근에 프리트레이닝된 트랜스포머들을 수 많은 결과들을 보여주고 있습니다. 문장의 쌍을 비교하는데 일반적으로 2가지 방법을 사용합니다. 하나는 두 문장 전체에 Full Attention을 하는 Cross-encoder. 다른 하나는 문장을 각각 Encoding 후에 비교

2021년 5월 9일
·
0개의 댓글

React Native Expo iOS앱 App Store 등록 가이드

App Store Connect 사이트에 접속 후 로그인 합니다. 좌측 상단에 있는 Apps 버튼 옆에 +를 눌러 New App을 추가한 후 정보들을 기입합니다. 스크린샷과 설명, 키워드들을 가이드에 맞게 기입합니다. 정보를 다 채우면 우측 상단의 save 버튼을 클릭

2021년 5월 2일
·
0개의 댓글

10배 더 크고 10배 더 빠른 딥러닝 모델 학습, DeepSpeed

더 크고, 더 빠른 모델을 향해, DeepSpeed.최근에는 모델의 크기들이 점점 더 커지고 단일 GPU에서 학습하기 어려운 환경이 되어갑니다.어디서는 몇백개의 GPU와 TPU를 이용해 자유롭고 빠르게 학습하는 반면 개인 딥러너들은 갈수록 따라잡기 어려워지는 현실.하

2021년 4월 26일
·
0개의 댓글

사람처럼 대화하는 오픈-도메인 챗봇을 향해, Google Meena

Meena는 멀티턴 오픈 도메인 챗봇으로, 공개되어있는 소셜 데이터들을 수집하여 end-to-end로 만든 챗봇입니다. Meena는 다음 토큰을 예측하는 방식으로 학습하여 perplexity를 최소화 하도록 학습하였습니다. 크기는 2.6B개의 파라미터를 가지는 네트워크

2021년 4월 22일
·
0개의 댓글

Deview2020 루다 발표 자료 정리

Deview 2020 이루다 육아일기 발표를 정리한 내용하고자 합니다. 아래의 내용은 https://bit.ly/3mu8YWe 을 정리하며 작성했습니다. 챗봇의 경우 목적지향형챗봇(Goal-orientedchatbot) 과 오픈도메인챗봇(Open-domainc

2021년 4월 9일
·
0개의 댓글