profile
말보다는 행동
post-thumbnail

Averaging Weights Leads to Wider Optima and Better Generalization (2018) / SWA 논문리뷰

한줄요약: 모델 앙상블 시 대상 모델의 prediction값들을 averaging 하지 말고 모델들의 weight를 averaging 하자. \[paper]AbstractIntroductionRelated WorkStochastic Weight AverageExperi

약 9시간 전
·
0개의 댓글
post-thumbnail

Multi-Head Attention: Collaborate Instead of Concatenate (2020) / 논문리뷰

기존의 Multi Head Attention(MHA)이 파라미터 사용 측면에서 비효율적인 측면이 있으며, 이를 head들간 공유가능한 파라미터를 사용함으로써 해소시키려는 시도의 논문이다. [paper] ICLR 2021에 제출되었으나 아래의 이유로 기각된 논문 ㅠㅠ

6일 전
·
0개의 댓글
post-thumbnail

Conditional VAE (CVAE), 2015 논문리뷰

[Learning Structured Output Representation using Deep Conditional Generative Models, NIPS 2015] (https://papers.nips.cc/paper/2015/hash/8d55a249e6baa5

2021년 7월 4일
·
0개의 댓글
post-thumbnail

cs231n 2017 lecture 2 : image classification pipeline 리뷰

cs231n - Convolutional Neural Networks for Visual Recognition / 2017 spring Lecture2. Image Classification pipeline 내용을 요약/정리한 글입니다. Materials video s

2021년 7월 3일
·
0개의 댓글
post-thumbnail

InfoGAN (2016) 논문리뷰

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

2021년 6월 29일
·
0개의 댓글
post-thumbnail

Conditional Generative Adversarial Nets, CGAN (2014) 논문리뷰

기본 GAN에 부가적인 정보를 함께 주입하여 생성 결과물을 통제할 수 있는 연구에 관한 논문이다.original paper분량이 매우 적은편에 속하며 내용도 직관적이라 GAN에 대한 사전지식이 있으면 가볍게 읽으실 수 있을 듯.AbstractIntroductionRel

2021년 6월 25일
·
0개의 댓글
post-thumbnail

Auto-Encoding Variational Bayes (VAE) 논문리뷰 (2)

리뷰글(1)은 딥러닝 관점에서 표현학습(representation learning)과 생성모델링(generative modeling)에 VAE가 어떻게 녹아들었는지를 알아보고자 하는 성격이었다. 본 글에서는 본문내용을 정주행하며 정리하는 식으로 리뷰를 진행하려 한다.

2021년 6월 22일
·
0개의 댓글
post-thumbnail

DCGAN 논문리뷰 / Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, 2015

[DCGAN paper link] CONTENTS Abstract Introduction Approach and Model Architecture Details of Adversarial Training Empirical Validation of DCGANs Ca

2021년 6월 21일
·
0개의 댓글
post-thumbnail

Generative Adversarial Nets; GAN (NIPS'14) 논문리뷰

Adversarial Learning을 생성모델에 처음? 제대로 적용한 새로운 프레임워크generator와 discriminator 두 모델을 경쟁적으로 학습시켜 둘 모두를 동시에 최적화함.데이터의 분포에 대한 명시적인 가정없이 데이터 생성이 가능함.그 당시 생성모델연

2021년 6월 4일
·
0개의 댓글
post-thumbnail

딥러닝과 표현학습(representation learning) 관점에서의 VAE. Auto-Encoding Variational Bayes 리뷰 (1)

얼마전부터 표현학습(representation learning)과 생성모델(generative model)에 관심이 생겨, 다양한 자료들로 공부를 열심히 하고있다.

2021년 5월 20일
·
0개의 댓글
post-thumbnail

Vision Transformer(ViT) 논문리뷰 (An Image is Worth 16*16 Words: Transformers for Image Recognition at Scale, ICLR 2021)

An Image is Worth 16\*16 Words: Transformers for Image Recognition at Scale작년 가을?에 구글리서치에서 ICLR(2021)에 제출한 논문으로대규모 사전학습, 이미지 인식에 트랜스포머 사용이 주요 내용인데, 트랜

2021년 4월 4일
·
0개의 댓글
post-thumbnail

Backpropagation in CNN / CNN의 역전파 / cmu 11785 lecture12

11-785. Introduction to Deep Learning / Fall 2020 Lecture12를 듣고 요약/정리한 글입니다.CNN에서 역전파가 어떻게 이루어지는지 딱히 고민해본 적이 없었는데 생각보다 상당히 복잡하다는 것을 알게되었고, 그 상세한 과정들을

2021년 3월 13일
·
0개의 댓글
post-thumbnail

History of CNNs & Mathematical details /cmu 11785 lecture10, 11

11-785. Introduction to Deep Learning / Fall 2020 Lecture10 ~ 11. CNNs 를 듣고 요약/정리한 글입니다.저번 강의에서 image data의 효율적인 processing을 위한 scanning 아이디어를 살펴보았다.

2021년 3월 7일
·
0개의 댓글
post-thumbnail

[학습률 스케쥴링] Cyclical Learning Rate Schedule - Cosine Decay Restarts / Cosine Annealing

신경망 모델의 성능을 끌어올리는 방법은 매우 다양하다.모델 Architecture 변경최적화 대상 목적함수 커스터마이징학습 데이터 추가Normalization, Regularization 적용Ensemble, Test Time Augumentation(이미지)Optim

2021년 2월 26일
·
0개의 댓글
post-thumbnail

python에서 URL로 파일 다운받기, tar 파일 압축풀기 (os, tarfile, urllib 모듈)

파이썬 내장 os, tarfile, urllib 모듈을 이용한 간단한 예제.Hands-On Machine Learning 2nd ed \_ O'reilly의 ch3 notebook을 참고하여 작성하였다.http://spamassassin.apache.org/o

2021년 2월 24일
·
0개의 댓글
post-thumbnail

강화학습이란? Reinforcement Learning, RL overview

NASNet이나, RL for abstractive Summarization 등 딥러닝을 공부하다보면 한 번씩 RL 개념이 튀어나온다.한 번쯤 공부해보고 싶었던 강화학습을 드디어 동아리 스터디 세션에서 가볍게나마 다뤄보았다. 이전까지는 강화학습이 딥러닝에 속하는 sub

2021년 2월 22일
·
0개의 댓글
post-thumbnail

Scanning Method for Pattern Recognition/ cmu 11785 lecture 9

11-785. Introduction to Deep Learning / Fall 2020 Lecture9. Deep Neural Networks. Scanning for patterns 를 듣고 요약/정리한 글입니다. Materials video slide _이번 강

2021년 2월 19일
·
0개의 댓글
post-thumbnail

Transformer 논문리뷰 (Attention Is All You Need, NIPS 2017)

본 논문 Attention Is All You Need의 Training과 Result를 제외한 나머지 부분을 모두 정리(번역..?)했습니다.오류 지적이나 질문 너무너무 환영입니다 :)

2021년 2월 16일
·
0개의 댓글
post-thumbnail

자연어 생성(Natural Language Generation) / Stanford cs224n lecture 15

cs224n - Natural Language Processing with Deep Learning / Winter 2019 Lecture15. Natural Language Generation(NLG)을 듣고 요약/정리한 글입니다.

2021년 2월 16일
·
0개의 댓글
post-thumbnail

분류 오차에 대한 분석. Analysis of Classification Errors

Classification task에서 모델의 성능을 향상시킬 한 가지 방법으로, 분류모델이 학습 데이터 셋에 대해 만들어 낸 예측의 에러 종류를 분석해볼 수 있다.7만 개의 이미지 데이터 ( 0 ~ 9까지의 손글씨 숫자 )각 이미지는 28\*28 픽셀 1채널(흑백 이

2021년 2월 3일
·
0개의 댓글