# Deep Learning

27개의 포스트
post-thumbnail

Stanford University CS231n - Lecture3 Loss Functions and Optimization

스탠포드 대학교 cs231n 2017년 강의를 정리하였습니다.이전 강의에서는 KNN, 하이퍼파라미터를 찾는 방법, linear classifier 에 대해서 배웠습니다.image → f(x,w)→ class scores (어떤 class의 score가 높으면 분류기는

2020년 7월 31일
·
0개의 댓글
post-thumbnail

Stanford University CS231n - Lecture2 Image Classification

스탠포드 대학교 cs231n 2017년 강의를 정리하였습니다.이미지 분류 문제는 컴퓨터비전 분야에서 코어 테스크에 속하는 문제입니다.구분된 label의 set이 있을 때 이것이 어떤 label에 속하는지 찾아내는 것입니다. 사람에게는 쉬운일이지만, 기계에게는 쉽지않은

2020년 7월 31일
·
0개의 댓글
post-thumbnail

[AI] Tensorflow 기본개념 :)

Tensorflow 개념과 소개

2020년 7월 27일
·
0개의 댓글

[AI] Python 기초문법 :)

Python 기초 개념 학습

2020년 7월 27일
·
0개의 댓글
post-thumbnail

딥러닝 강의 모음

edwith인공지능을 위한 선형대수논문으로 짚어보는 딥러닝의 맥\[부스트코스]텐서플로우로 시작하는 딥러닝 기초UDACITYIntro to TensorFlow for Deep Learning by TensorFlowIntroduction to Computer Vision

2020년 7월 26일
·
0개의 댓글
post-thumbnail

NEURAL MACHINE TRANSLATION by jointly learning to align and translate 논문 정리

오늘은 랩실에서 논문 스터디가 있었던 NEURAL MACHINE TRANSLATION by jointly learning to align and translate 를 가져왔다.

2020년 7월 1일
·
0개의 댓글
post-thumbnail

Non-Local Neural Networks 논문 정리

이번에 리뷰해볼 논문은 작년 초쯤에 읽었지만 사실 그때가 학기중이었어서 거의 이해를 하지 못했던 Non-local Neural Network이다.

2020년 7월 1일
·
0개의 댓글

분류기 평가 지표 간단 정리

언제나 헷갈리는 정밀도, 정확도, 재현율 머신러닝에 입문한지 얼마 안되는 초짜라 분류기의 평가 지표는 언제나 헷갈립니다. 익숙해졌다고 또는 다 외웠다고 자만(근자감)했을때 누군가 물어보면 어버버하면서 제대로된 설명이나 답을 못하는 경우가 많았습니다. 이 글을 쓰는

2020년 6월 12일
·
0개의 댓글

Reformer Chunking

Illustrating the Reformer를 보며 정리.리포머는 피드포워드 레이어의 4K 이상 갈수 있는 고차원 벡터들의 메모리를 줄인다. 피드포워드레이어의 각 부분은 위치와 관계없이 독립적이기 때문에 청크 단위로 잘라서 계산이 가능하다. 따라서 메모리에 올라갈때,

2020년 5월 11일
·
0개의 댓글

torch.gather란

간혹 깃헙을 보다보면 torch gether를 볼수가 있는데 어떻게 동작하는 건지 잘 이해되지 않아 정리해본다.input 텐서가 입력으로 주어지고, 차원 dim을 따라서 각 행으로부터 값을 취해, 새로운 텐서를 반환한다. torch.LongTensor를 index로

2020년 4월 24일
·
0개의 댓글

리포머의 Reversible Transformer

Illustrating the Reformer를 보며 정리.트랜스포머에서 인코더와 디코더 레이어를 여러개를 쌓을 때, Residual Network에서 역전파를 위해 그래디언트 값들을 저장하고 있다. 이때 저장하고 있는 값들이 매우 많아, 큰 트랜스포머 모델을 사용할

2020년 4월 21일
·
0개의 댓글

LSH Attention

Q와 K 매트릭스의 LSH 해시를 찾는다같은 LSH를 거쳐서 같은 버켓 안에 있는 $k$와 $q$에 대해서 아래 어텐션을 계산한다.충분히 가까운 항목들이 다른 버켓에 빠지지 않도록, LSH를 여러번 반복한다.LSH로 query, key들에 대해 버켓팅버켓에 따라 정렬청

2020년 4월 21일
·
0개의 댓글
post-thumbnail

(작성중) [논문/구현] DenseNet (By Tensorflow 2)

설명할 시간도 없다. (존댓말할 시간도 없음) 논문을 간단히 보고, 구현을 바로 해 보자. (Tensorflow 2) 1. 들어가면서 DenseNet은 ResNet보다 더 적은 Parameter수를 유지하면서도, ImageNet에서 SOTA(State of the a

2020년 4월 19일
·
0개의 댓글

Top-p 샘플링 aka. Nucleus Sampling

How to sample from language models 을 보며 정리GPT-2로 텍스트를 생성하다보면, 랜덤 샘플링이나 Top-k 샘플링 등을 사용해도 문맥이 잘 맞지 않는다고 생각이 된다. 추가로 다른 방법 중 Top-p, Nucleus 샘플링을 찾을 수 있다

2020년 4월 17일
·
0개의 댓글

피처베이스(feature-based)와 파인튜닝(fine-tuning) 학습의 차이

논문이나 책을 읽다보면 피처베이스와 파인튜닝 부분을 학습에 대해 종종 볼 수 있는데, 그 차이는 다음과 같다.파인튜닝(fine-tuning): 임베딩까지 모두 업데이트하는 기법피처베이스(feature-based): 임베딩은 그대로 두고 그 위에 레이어만 학습 하는 방법

2020년 4월 15일
·
0개의 댓글

Downstream Task란?

딥러닝 관련 글들을 보면 최근 다운스트림 태스크에 대한 부분을 많이 볼 수 있다. 몇몇 글들을 찾아보다보면 잘 이해가지 않는 부분이 있었다가 한국어임베딩 책에서 적절한 설명을 찾았다.한마디로 구체적으로 풀고 싶은 문제들을 말한다. 최근 자연어 처리분야에서는 언어모델

2020년 4월 15일
·
0개의 댓글

Reformer LSH(Locality sensitive hashing)

Illustrating the Reformer를 보며 정리. 트랜스포머 모델에서는 위와 같이 3종류의 어텐션이 있다. 어텐션의 과정을 그림으로 보면 아래와 같다.이때 우측에 it의 어텐션을 모습을 보면 5개를 제외하면, 어텐션을 받지 못했는데, 이때 나머지 didn't

2020년 4월 10일
·
0개의 댓글
post-thumbnail

GPT-2 문장 생성 시, 왜 중복이 발생할까

NLP 논문 리뷰 - The Curious case of Neural Text Degeneration을 정리하며 작성.koGPT-2로 학습 시킨 후 문장을 생성할 때, gready search를 통해서 문장을 생성했는데, 문장 생성이 조금 지나면 중복된 문장이 생성이

2020년 4월 9일
·
0개의 댓글