# Deep Learning
Huggingface tokenizers를 사용한 Wordpiece Tokenizer 만들기
말뭉치 데이터(Corpus)를 바탕으로 언어모델을 만드려고 할때, 말뭉치 데이터를 언어모델에 학습시키기 위해서는 우리가 사용하는 자연어를 벡터로 변환하는 과정이 필요하다. 자연어를 벡터로 변환하기 위해서는 자연어를 토큰화 하고, 토큰화된 단어들에 인덱스를 부여해서,
나만의 Language Model 만들기 Intro
최근 자연어 처리 분야에서 Transformer 등장 이후 다양한 BERT, GPT, ELECTRA 등의 다양한 언어모델들이 나오면서 뛰어난 성능을 보이고 있다. 대부분 구글이나 OpenAI 와 같은 회사들의 경우, 고성능의 컴퓨팅 자원을 바탕으로 매우 큰 파라미터들을
One-hot encoding
학습 시킬 때는 모든 데이터를 숫자로 넣어줘야 한다.명목형 데이터의 경우엔 어떻게 처리해야할까?예를 들자면 지역의 경우0: 오렌지, 1: 사과, 2: 바나나3가지의 과일이 해당타입의 숫자로 배열되어있다. Ex) 0, 1, 2, 2, 2, 1, 1, 0 기계학습이나 딥러
Tensorflow 2.X
Tensorflow 2.X 기초 tensorflow에서 numpy는 떼려야 뗄 수 없는 관계 Tensor 생성 [] List 생성
2020 NAVER AI RUSH 후기
AI RUSH 는 NAVER 에서 주최하는 AI 모델링 챌린지입니다. 좀 더 자세히 설명드리자면 어떠한 문제가 주어지고 그 문제를 머신 러닝 및 딥 러닝 알고리즘을 이용하여 해결하는 챌린지입니다. 선발 일정 특이하게도(?) 지원 선발에 있어 서류뿐만아니라 코딩 테
Stanford University CS231n - Lecture3 Loss Functions and Optimization
스탠포드 대학교 cs231n 2017년 강의를 정리하였습니다.이전 강의에서는 KNN, 하이퍼파라미터를 찾는 방법, linear classifier 에 대해서 배웠습니다.image → f(x,w)→ class scores (어떤 class의 score가 높으면 분류기는
Stanford University CS231n - Lecture2 Image Classification
스탠포드 대학교 cs231n 2017년 강의를 정리하였습니다.이미지 분류 문제는 컴퓨터비전 분야에서 코어 테스크에 속하는 문제입니다.구분된 label의 set이 있을 때 이것이 어떤 label에 속하는지 찾아내는 것입니다. 사람에게는 쉬운일이지만, 기계에게는 쉽지않은
딥러닝 강의 모음
edwith인공지능을 위한 선형대수논문으로 짚어보는 딥러닝의 맥\[부스트코스]텐서플로우로 시작하는 딥러닝 기초UDACITYIntro to TensorFlow for Deep Learning by TensorFlowIntroduction to Computer Vision
NEURAL MACHINE TRANSLATION by jointly learning to align and translate 논문 정리
오늘은 랩실에서 논문 스터디가 있었던 NEURAL MACHINE TRANSLATION by jointly learning to align and translate 를 가져왔다.
Non-Local Neural Networks 논문 정리
이번에 리뷰해볼 논문은 작년 초쯤에 읽었지만 사실 그때가 학기중이었어서 거의 이해를 하지 못했던 Non-local Neural Network이다.
분류기 평가 지표 간단 정리
언제나 헷갈리는 정밀도, 정확도, 재현율 머신러닝에 입문한지 얼마 안되는 초짜라 분류기의 평가 지표는 언제나 헷갈립니다. 익숙해졌다고 또는 다 외웠다고 자만(근자감)했을때 누군가 물어보면 어버버하면서 제대로된 설명이나 답을 못하는 경우가 많았습니다. 이 글을 쓰는
Reformer Chunking
Illustrating the Reformer를 보며 정리.리포머는 피드포워드 레이어의 4K 이상 갈수 있는 고차원 벡터들의 메모리를 줄인다. 피드포워드레이어의 각 부분은 위치와 관계없이 독립적이기 때문에 청크 단위로 잘라서 계산이 가능하다. 따라서 메모리에 올라갈때,
torch.gather란
간혹 깃헙을 보다보면 torch gether를 볼수가 있는데 어떻게 동작하는 건지 잘 이해되지 않아 정리해본다.input 텐서가 입력으로 주어지고, 차원 dim을 따라서 각 행으로부터 값을 취해, 새로운 텐서를 반환한다. torch.LongTensor를 index로
리포머의 Reversible Transformer
Illustrating the Reformer를 보며 정리.트랜스포머에서 인코더와 디코더 레이어를 여러개를 쌓을 때, Residual Network에서 역전파를 위해 그래디언트 값들을 저장하고 있다. 이때 저장하고 있는 값들이 매우 많아, 큰 트랜스포머 모델을 사용할