# DeepLearning
.png?w=768)
Sigmoid 와 CrossEntrophy
치역이 0,1에 있어 Regression algorithm에 사용될 가능성 있음수식적 성질은 아래와 같고이로부터 도함수 그래프 그리면 아래와 같아서x 값이 커지면 0으로 수렴해 layer가 증가할수록 gradient vanish 문제가 생길 수 있다는 단점이 존재한다.
What is log likelihood + L2 Norm 정당화
least square regression 상황 하에서 i 번째 정보에 대해 다음과 같은 식을 생각할 수 있다. $y^{(i)} = \\theta^Tx^{(i)} + \\epsilon^{(i)}$만약 $\\epsilon$가 normal distribution 을 따른다
Loading Data
Minibatch Gradient Descent 전체 데이터를 균일하게 나눠서 학습 Minibatch Gradient Descent: Effects 모든 데이터를 사용하지 않아 업데이트가 좀 더 빠르다 전체 테디트를 쓰지 않아서 잘못된 방향으로 업데이트 할 수도
Jacobian Matrix
Jacobian 행렬의 정의는 $x \\in R^n$ 인 벡터 x에 대해 $f(x) \\in R^m$ 인 함수를 가정했을 때 다음과 같은 mxn 행렬로 정의할 수 있다. Jacobian의 기하학적 의미는 미소영역에서의 비선형 변환을 선형 변환으로 근사시킨 것이다. 선형
[AI/DL] Cost Function and Activation Function
Cost Function > 기계학습에서 실제값 - 예측값의 오차를 계산하는 함수 종류
[Stat/Math] 확률 변수와 확률 모형
무작위 실험을 통해 발생하는 각 사건들의 확률을 실수형으로 표현하는 변수실험의 조건 및 시점에 관계 없이 결과가 매번 동일한 데이터실험의 조건 및 시점에 따라 결과가 매번 상이한 데이터확률적 데이터에서 어떠한 값이 자주 or 드물게 출현하는지 나타내는 정보확률변수가 취
Tensorflow, Pytorch 환경 구성 (Conda Env)
Anaconda 환경에서 tensorflow, pytorch 환경 구성하기. conda env
[PyTorch] Transformer 구현
작년부터 Transformer가 성능이 그렇게 좋다더라... 이제 RNN이고 LSTM이고 다 필요없고 이미 NLP는 저걸로 천하통일이라더라... 하는 소식을 듣고 있었다. 중간에 강화학습 공부 좀 찍먹해보다가 다시 캐글에서 PetFinder 이미지 비전 태스크 공부로
Transformer를 구현하며 배운 것들
named_parameters() 함수는 (param_name, param_weight) 형태의 튜플을 반환한다.Xavier Uniform Initilization을 이용하고자 한다면 다음과 같이 조건식을 추가하여 초기화하면 된다. (bias와 nn.layerNorm(
[DL] Pytorch의 Dataloader에 관해
Pytorch는 Google의 Tensorflow-Keras와 더불어, 세계에서 가장 많이 쓰이는 딥러닝 프레임워크 중 하나이다.본인은 학부생 시절, Tensorflow 1.3을 처음 접하게 되고, 2.X 버전까지 Tensorflow를 사용하다가 실무에 와서 Pytor
Augmentation 기법
https://hoya012.github.io/blog/Image-Data-Augmentation-Overview/
[DL] NMS, Non-Maximum Suppression 파헤치기
Object Detection에서 사용하는 NMS(Non-Maximum Suppression, 비 최대 억제 알고리즘)에 대해 알아보고, 간단한 코드를 작성하여 실습해봅니다.
[Paper] DETR - End-to-End Object Detection with Transformer
Facebook AI 팀에서 발표한, Transformer를 Object Detection task에 사용한 논문입니다.
[DL] Semantic Segmentation에서 Label Image 생성하기
Semantic Segmentation에서 사용하는 라벨링 데이터에 대해 알아보고, 어떻게 제작할 수 있는지 알아봅니다.
Auto Mixed Precision이란?
이번에는 AutoMixedPrecision에 대해서 알아보겠습니다. AutoMixedPrecision이란 NVIDIA와 BAIDU에서 연구하고 ICLR에 발표한 논문인 Mixed Precision Traing을 바탕으로 발전된 내용입니다. 이 부분의 내용은 NVIDIA