Deep Learning
1.딥러닝의 고질병, Overfitting(과적합) 해결 팁!
학교강의에서 언급된 방법들을 정리한 글입니다.네이버 블로그에 포스팅한 글 중 가장 조회수가 높았던, 끊임없이 검색 유입되었던 글이다. 딥러닝을 접하는 누구라도 꼭 한 번은 만나게 될 과적합 문제. 2020년도 1학기 통계학과 딥러닝 전공수업을 수강하면서 얻은 팁들을 이
2.옵티마이저 Optimizer 정복기 (부제: CS231n Lecture7 Review)
딥러닝을 처음 공부할 때 주춤하게 되는 지점이 바로 이 옵티마이저 파트이다. 개인적 경험상 여러번 반복해서 공부하였고, 어느 정도 이해하는데에 꽤나 긴 시간이 소요되었다. 따라서 이 글을 보시는 여러분들에게 추천하는 방법은
3.[210113 TIL] Tensorflow Masking, Mini-Batch with similar size
seq2seq regression(text2keypoing)에서 zero-padding된 프레임의 영향을 줄이기 위해 Masking을 도입하여, 패딩된 프레임은 손실함수 계산 등의 학습 과정에서 제외되도록 해준다.Pytorch에서 구현된 코드는
4.[210114 TIL] pickle, npy 저장
written by 602실제 프로젝트를 할 때 너무나 유익한 오늘의 TIL(딥꿀팁에서 따로 다룰 예정이다.)컨퍼런스를 목전에 두고 모델 학습시킬 때마다 매번 전처리 코드를 실행하는게 시간적 부담이 커서 오늘은 전처리해둔 skels 데이터를 pickle로 저장해두었다
5.[210115 TIL] Tacotron masking, DTW
written by 602컨퍼런스 D-1tf.keras.layers.Embedding(mask_zero=True) 외에도 tf.keras.Masking 추가기존에 마스킹이 구현되어있지 않았던 타코트론마스킹 레이어를 추가한 이후, 키포인트 값이 0으로 수렴하는(사람 형상
6.[210116 TIL] 수어생성모델, json, Easydict
written by 602컨퍼런스 D-daytacotron: 동작을 명확히 구현하지만, 값이 튀는 현상이 발생transforemrs: 안정적인 양상을 보이지만, 세밀한 동작을 잘 따라가지는 못함제로 패딩의 영향을 무력화시키기 위한 장치로 Masking layer를 추가
7.[210117 TIL] 모델 초기 설정 관리(yaml)
written by 602yaml을 활용하여 딕셔너리 형식으로 모델 초기 설정을 관리할 수 있다.파일을 열어보면 위와 같이 직관적으로 구성되어 있으며, 실제로 코드에서는이렇게 간단하게 로드할 수 있다.cfg는 딕셔너리 형식이라 get()이나 cfg\["data_path
8.[210118 TIL] Class 상속
written by 602aka. tensorflow에서 custom callback 만들기수어 생성 프로젝트 준비하면서 가장 애를 먹었던 부분 중 하나인 커스텀 콜백 지정 파트이다.커스텀 콜백은 대부분 class를 새로 만들어주어야 하는데, 이때 tf.keras.ca
9.[210119 TIL] 코드 주석 깔끔하게 정리하는 법
written by 602aka. 코드 주석 깔끔하게 다는 법해당 파일이 어떤 역할을 담당하는지 설명해당 클래스가 어떤 역할을 담당하는지 설명해당 함수(메소드)가 어떤 역할을 담당하는지 설명param, return원활한 코드 이해를 위하여 중간중간 설명이 필요한 부분
10.[210122 TIL] PyTorch, 역전파
학회에서 제공받은 <파이썬 딥러닝 파이토치> 책으로 파이토치 다시 한 번 제대로 공부해보기! clamp(), mm(), pow() backward(), item(), torch.no_grad(), grad(), grad.zero()
11.[210127 TIL] 딥러닝 주요 학회지 목록
그간 프로젝트에 필요한 논문들을 키워드 위주로 찾아서 간헐적으로 읽었다면, 이제는 논문을 제대로 찾아서 읽어볼 때가 왔다. 그 기념으로(?) 학계에서 인정받는 학회지를 위주로 정리해봤다.
12.[210131 TIL] CS231n Lecture 6 - Training Neural Networks 1
기초과목 제대로 다지기📕: cs231n 복습 지난 학기, 투빅스 이미지 세미나를 진행하면서 cs231n을 한번 쭉 수강하며 학회원들과 [gitbook]에 자료정리를 했기 때문에, 새로 합류한 딥러닝 스터디에서는 기억해야할 내용 위주로 간략하게 정리하였다.
13.[210201 TIL] CS231n Lecture 7 - Training Neural Networks 2
지난 학기, 투빅스 이미지 세미나를 진행하면서 cs231n을 한번 쭉 수강하며 학회원들과 gitbook에 자료정리를 했기 때문에, 새로 합류한 딥러닝 스터디에서는 기억해야할 내용 위주로 간략하게 정리하였다. 이번 7강은 내가 리뷰했던 강의이기도 해서 다른 사람의 발표
14.[210204 TIL] Text Analysis 주요 개념
distributed Representation 단어 사이의 유사성을 보존하는 연속형의 벡터, ''분산 표상''이라고도 불림 Pre-Trained Word Models Word2Vec, fastText, GloVe
15.[210214 TIL] Language Model 개념 정리
Statistical Language ModelSparsity problem: 새로운 단어 조합에 대해서는 확률값이 0이 되는 문제N-Gram Language ModelUni-gram하나의 단어에 대한 확률만 계산 ->웬만하면 확률값이 0이 되지는 않음
16.[210215 TIL] CS231n Lecture 9 - CNN Architectures
모델이 훨씬 깊어짐(Deeper Network) - 3x3 Conv filter로 고정 -> why? - effective receptive field - 3x3을 3층 쌓은 것이 7x7 한 층과 같은 범위의 영역을 보면서 필요한 파라미터가 더 적음 - FC
17.[210216 TIL] Lecun DL Course) Lecture 10. Self-Supervised Learning
뉴욕대학교 Lecun 교수의 Deep Learning Course, 2020년 강의영상으로 최신 트렌드도 반영한 강의라는 점에서 유용한 코스다. 이번 주차 딥러닝 스터디에서는 10강 Self-Supervised Learning을 다루었다.