post-thumbnail

Poly-encoders: 빠르고 정확하게 여러 문장을 비교하고 스코어링 하기 위한 방법

최근에 프리트레이닝된 트랜스포머들을 수 많은 결과들을 보여주고 있습니다. 문장의 쌍을 비교하는데 일반적으로 2가지 방법을 사용합니다. 하나는 두 문장 전체에 Full Attention을 하는 Cross-encoder. 다른 하나는 문장을 각각 Encoding 후에 비교

2021년 5월 9일
·
0개의 댓글
post-thumbnail

React Native Expo iOS앱 App Store 등록 가이드

App Store Connect 사이트에 접속 후 로그인 합니다. 좌측 상단에 있는 Apps 버튼 옆에 +를 눌러 New App을 추가한 후 정보들을 기입합니다. 스크린샷과 설명, 키워드들을 가이드에 맞게 기입합니다. 정보를 다 채우면 우측 상단의 save 버튼을 클릭

2021년 5월 2일
·
0개의 댓글
post-thumbnail

10배 더 크고 10배 더 빠른 딥러닝 모델 학습, DeepSpeed

더 크고, 더 빠른 모델을 향해, DeepSpeed.최근에는 모델의 크기들이 점점 더 커지고 단일 GPU에서 학습하기 어려운 환경이 되어갑니다.어디서는 몇백개의 GPU와 TPU를 이용해 자유롭고 빠르게 학습하는 반면 개인 딥러너들은 갈수록 따라잡기 어려워지는 현실.하

2021년 4월 26일
·
0개의 댓글
post-thumbnail

사람처럼 대화하는 오픈-도메인 챗봇을 향해, Google Meena

Meena는 멀티턴 오픈 도메인 챗봇으로, 공개되어있는 소셜 데이터들을 수집하여 end-to-end로 만든 챗봇입니다. Meena는 다음 토큰을 예측하는 방식으로 학습하여 perplexity를 최소화 하도록 학습하였습니다. 크기는 2.6B개의 파라미터를 가지는 네트워크

2021년 4월 22일
·
0개의 댓글

Deview2020 루다 발표 자료 정리

Deview 2020 이루다 육아일기 발표를 정리한 내용하고자 합니다. 아래의 내용은 https://bit.ly/3mu8YWe 을 정리하며 작성했습니다. 챗봇의 경우 목적지향형챗봇(Goal-orientedchatbot) 과 오픈도메인챗봇(Open-domainc

2021년 4월 9일
·
0개의 댓글

Pytorch Nvidia Apex를 이용한 모델 학습 최적화

Language Model Pretraining을 Colab에서 하다 보면, 학습시간도 단축하고 싶고, 배치 사이즈도 늘려서 학습하고 싶다는 생각이 들게 됩니다.자료를 찾아보다가 위와 같은 문제를 단 몇줄의 코드로 해결해주는 Nvidia의 APEX에 대해 정리

2021년 4월 5일
·
0개의 댓글
post-thumbnail

나만의 언어모델 만들기 - GPT-2 (Autoregressive Language Model) 만들기

이전 포스트에서 Reformer의 Encoder를 이용한 이용한 BERT 스타일의 Masked Language Model을 만들었습니다. 동일하게 Reformer의 Decoder를 이용해 대표적인 Decoder 언어모델인 GPT-2를 Pretraing 시켜보고자 합니다

2021년 4월 3일
·
0개의 댓글
post-thumbnail

React Native Expo Android앱 Google Play Store 등록

세부정보 등록 후 앱 만들기 선택하면 메인 화면으로 이동ㅇ함특수한 엑세스 권한 없이 모든 기능 이용가능등록하고자 하는 앱의 항목에 맞는 내용을 기입하고 콘텐츠 등급을 받습니다.간단하게 뉴스앱 여부만 선택합니ㅣ다 위의 절차를 완료하면 아래와 같이 등록된 내용들에 대해 체

2021년 3월 30일
·
0개의 댓글

React Native Expo Android앱 Google Play Store 등록 가이드

얼마전부터 준비했던 앱을 조금씩 배포하고자 합니다. 퇴근하고 하루에 조금씩만 진행하다보니 연속성이나 집중력도 떨어져서 기록으로 남기고자 합니다. 항상 일련의 절차가 익숙해지고 나면 그것을 다시 수행하는건 어려운일이 아니지만 이렇게 처음 앱스토어에 올릴때는 모든 절차들이

2021년 3월 15일
·
0개의 댓글
post-thumbnail

나만의 언어모델 만들기 - BERT Pretrained Language Model (Masked Language Model) 만들기

최근 자연어처리에서 많이 사용되는 대표적인 언어모델로 BERT, GPT, ELECTRA가 있습니다. 단계별로 언어모델을 학습하는 과정 학습해보고, Colab 환경에서 직접 학습 시켜보고자 합니다. https://github.com/nawnoes/reformer

2021년 3월 15일
·
0개의 댓글
post-thumbnail

Pytorch로 큰 모델 학습시 어떻게 배치 사이즈를 늘릴수 있을까?

최근에 파이토치로 모델을 학습하는 경우 단일 GPU로 학습하는 경우 메모리에 제한이 있어 큰 배치사이즈를 가지지 못하는 문제가 있습니다. 모델의 성능향상을 위해 어떻게 하면 더 큰 배치사이즈로 학습할 수 있을지 찾아보다 적용할 만한 부분이 있어 찾아보고 간략하게 정리하

2021년 2월 23일
·
0개의 댓글
post-thumbnail

Amazon AWS ELB와 EC2 인스턴스 연결

로드밸런서는 여러 가용영역에서 오는 어플리케이션의 트래픽을 EC2 인스턴스로 분산시켜주는 서비스를 말합니다. ELB의 장점으로는 큰 어려움없이 고 가용성을 가진 서비스를 구축할수 있는 장점. 로드밸런싱 알고리즘응로는 라운드로빈 방식을 사용하며, 헬스체크를 통해 인스턴

2021년 2월 15일
·
0개의 댓글
post-thumbnail

서버를 위한 AWS EC2(t3.small) 인스턴스 생성과 docker 설치

AWS 계정 생성EC2 콘솔 열기 지리적으로 가장 가까운 리전 선택.인스턴스를 실행하는데 필요한 모든 리소스는 동일한 리전에서 생성되어야한다.생성한 EC2 와 컴퓨터 연결하기 위해서는 putty를 이용하거나 맥을 이용하는 경우 터미널을 통해 접근 가능하다.EC2에 직접

2021년 2월 14일
·
0개의 댓글

프로덕션 서버 배포를 위한 AWS EC2 인스턴스 결정

결정의 연속..AWS에서 앞서 빌드한 Nodejs 서버를 EC2에 도커를 이용해서 배포하고자 합니다. 먼저 EC2의 인스턴스를 살펴보면 굉장히 많은 인스턴스들이 존재하며, AWS는 처음이 아니더라도 개발에서만 하다 실제로 배포하려고 보니 범용, 컴퓨팅, 메모리 최적화된

2021년 2월 8일
·
0개의 댓글
post-thumbnail

Performer - RETHINKING ATTENTION WITH PERFORMERS

Perforemr 논문에 대해 간략하게 살펴보고자 합니다. performer는 기존의 트랜스포머가 self-attention 계산시에 제곱의 시간 및 공간 복잡도를 가지는 것을 선형으로 변형하여, 트랜스포머의 소프트맥스 어텐션 커널에 근접하고자 하였습니다. Perfor

2021년 1월 29일
·
0개의 댓글
post-thumbnail

nodejs express 서버 docker에서 pm2로 기동하기

기존에 개발한 서버를 pm2와 도커를 이용해 기동하려고 하니 수많은 에러를 뿜어 내면서 기동 되지 않았습니다. pm2를 사용하지 않고, 단일 서버에 대해 빌드하여 기동했을 때는 정상적으로 서버를 사용할 수 있었고, 기본적으로 제공하는 pm2 기동 방법에서 최신 자바스크

2021년 1월 29일
·
0개의 댓글

torch.einsum

파이토치에서 코드를 보다보면 einsum을 많이 볼수 있습니다.근래 들어서 더 많이 보게 되는데 잘 모르는 부분이라 아래 관련 자료들 찾아보고 정리합니다https://ichi.pro/ko/einsum-eul-hwal-yonghayeo-dib-leoning-ko

2021년 1월 27일
·
0개의 댓글
post-thumbnail

Transformer로 한국어-영어 기계번역 모델 만들기

최근에 여러가지 자연어처리 모델들을 다루면서 트랜스포머 기반의 모델들인 BERT, GPT, ELECTRA 등과 같이 다양한 사용하게 되는데, 모델들을 사용하게 되면서 트랜스포머 모델 자체에 대한 직접 구현을 해보고 싶다는 생각을 가지게 되었습니다. 기존에 트랜스포머

2021년 1월 22일
·
0개의 댓글

BLEU Score - Bilingual Evaluation Understudy Score

BLEU Score

2021년 1월 18일
·
0개의 댓글

CloudFront Lambda@edge을 이용한CDN과 이미지 리사이징 제공

이전에 한번 구성하였던 기능이나, s3 버켓이 바뀌게 되면서 새로 구성할 필요성이 생기게 되었습니다. 다시 새로 구성하려고 하니 하나도 기억이 나지 않아 정리하여 남겨둡니다. 보다 자세한 절차는 참조 링크에 자세히 남겨져 있으니 참고하시면 됩니다. CloudFrontL

2021년 1월 12일
·
0개의 댓글