Machine Learning/Deep Learning
1.신경망 모델 Hyper Parameter 및 Callbacks 함수 정리
: model에서 사용자가 직접 설정해 주는 값: 모델이 학습을 시작하면 학습이 완료될 때까지 사람이 할 수 있는게 없기 때문에, 학습되는 과정 사이에 학습률을 변화시키거나 val_loss가 개선되지 않으면 학습을 멈추게 하는 등의 작업을 지정하는 함수들Early St
2.[Recommendation System in Practice] 콘텐츠 기반 필터링, 협업 필터링, Cold start problem
Recommendation System in Practice Recommendation System in Practice 정리 본 글은 Recommendation System in Practice 를 공부하고 정리한 글입니다. < 세 가지의 주요 시스템과 실용적 관점
3.[모델 경량화 기법] Knowledge Distillation
Knowledge Distillation 추가 조사 1. Knowledge Distillation 개요 다수의 큰 네트워크들인 전문가(Experts, Teacher) 모델에서 출력은 일반적으로 특정 레이블에 대한 하나의 확률값 만을 나타내지만, 이를 확률값들의 분
4.AI 모델 경량화 툴 적용 기법 조사 및 On-device Object Detector SOTA Model 비교
1. TensorRT 적용 경량화 기법 2. Pytorch 모델 경량화 툴 3. Knowledge Distillation 추가 조사 4. Edge 컴퓨팅 환경을 위한 AI 모델 최적화 및 경량화 기술개발최종보고서
5.Define-by-Run
딥러닝 프레임워크는 동작 방식에 따라 크게 두가지로 나눌 수 있음 정적 계산 그래프 (Define-and-Run) 동적 계산 그래프 (Defien-by-Run) Define-and-Run 계산 그래프를 정의한 다음 데이터를 흘려보내는 식 ⏳ 계산 그래프 정의 →
6.Skip-Connection
Deep Neural Network에서 고질적인 문제 중 하나가 Vanishing Gradient이다. 이 문제를 해결하기 위해서 batch normalization도 하고, weight initialization에도 신경을 쓰는 것이다. Vanishing Gradie
7.오토인코더의 모든 것 강의 정리
이활석 님의 '오토인코더의 모든 것' 유튜브 강의를 듣고 정리한 노트입니다.
8.CEVAE / Causal Effect Inference with Deep Latent-Variable Models
"Causal Effect Inference with Deep Latent-Variable Models"은 2017년 NIPS (Neural Information Processing Systems) 컨퍼런스에서 발표된 논문입니다. 이 논문은 딥러닝과 잠재 변수 모델을
9.ViT의 Inductive Bias가 도대체 어떻다는 거야
ViTPose 정리하다가 ViTPose 살펴보고, 이미지 태스크에서 CNN 기반 모델과 ViT가 어떤 구조적 차이점이 있을까 살펴보다가 거슬러 여기까지 온 이야기 거슬러 온 순서 ··· 1) ViTPose: Simple Vision Transformer Baselin
10.Attend, Infer, Repeat: Fast Scene Understanding with Generative Models
이번 논문은 2016년 발표된 논문으로 VAE에 RNN구조를 추가하여 구조화된 이미지 해석이 가능한 프레임워크를 제안하였습니다. 객체에 대해 명시적으로 추론하는 구조화된 이미지 모델에서 효율적인 추론을 위한 프레임워크 제시한다.한 scene의 요소들에 주목하고 장면을