# DeepLearning

229개의 포스트
post-thumbnail

딥러닝 정리

인공신경망 - 완벽한 수학식으로 구현(신경세포, 뉴런 -> 구현한것: 퍼셉트론)신경세포(뉴런)—--(신호전달)-----> 신경세포(뉴런)

4일 전
·
0개의 댓글
post-thumbnail

Sigmoid 와 CrossEntrophy

치역이 0,1에 있어 Regression algorithm에 사용될 가능성 있음수식적 성질은 아래와 같고이로부터 도함수 그래프 그리면 아래와 같아서x 값이 커지면 0으로 수렴해 layer가 증가할수록 gradient vanish 문제가 생길 수 있다는 단점이 존재한다.

2022년 1월 18일
·
0개의 댓글
post-thumbnail

What is log likelihood + L2 Norm 정당화

least square regression 상황 하에서 i 번째 정보에 대해 다음과 같은 식을 생각할 수 있다. $y^{(i)} = \\theta^Tx^{(i)} + \\epsilon^{(i)}$만약 $\\epsilon$가 normal distribution 을 따른다

2022년 1월 18일
·
0개의 댓글

Loading Data

Minibatch Gradient Descent 전체 데이터를 균일하게 나눠서 학습 Minibatch Gradient Descent: Effects 모든 데이터를 사용하지 않아 업데이트가 좀 더 빠르다 전체 테디트를 쓰지 않아서 잘못된 방향으로 업데이트 할 수도

2022년 1월 18일
·
0개의 댓글
post-thumbnail

Jacobian Matrix

Jacobian 행렬의 정의는 $x \\in R^n$ 인 벡터 x에 대해 $f(x) \\in R^m$ 인 함수를 가정했을 때 다음과 같은 mxn 행렬로 정의할 수 있다. Jacobian의 기하학적 의미는 미소영역에서의 비선형 변환을 선형 변환으로 근사시킨 것이다. 선형

2022년 1월 18일
·
0개의 댓글

Attention 기법

https://comlini8-8.tistory.com/37

2022년 1월 16일
·
0개의 댓글

[AI/DL] Cost Function and Activation Function

Cost Function > 기계학습에서 실제값 - 예측값의 오차를 계산하는 함수 종류

2022년 1월 16일
·
0개의 댓글

[Stat/Math] 확률 변수와 확률 모형

무작위 실험을 통해 발생하는 각 사건들의 확률을 실수형으로 표현하는 변수실험의 조건 및 시점에 관계 없이 결과가 매번 동일한 데이터실험의 조건 및 시점에 따라 결과가 매번 상이한 데이터확률적 데이터에서 어떠한 값이 자주 or 드물게 출현하는지 나타내는 정보확률변수가 취

2022년 1월 16일
·
0개의 댓글
post-thumbnail

Tensorflow, Pytorch 환경 구성 (Conda Env)

Anaconda 환경에서 tensorflow, pytorch 환경 구성하기. conda env

2022년 1월 15일
·
0개의 댓글

[PyTorch] Transformer 구현

작년부터 Transformer가 성능이 그렇게 좋다더라... 이제 RNN이고 LSTM이고 다 필요없고 이미 NLP는 저걸로 천하통일이라더라... 하는 소식을 듣고 있었다. 중간에 강화학습 공부 좀 찍먹해보다가 다시 캐글에서 PetFinder 이미지 비전 태스크 공부로

2022년 1월 14일
·
0개의 댓글

Transformer를 구현하며 배운 것들

named_parameters() 함수는 (param_name, param_weight) 형태의 튜플을 반환한다.Xavier Uniform Initilization을 이용하고자 한다면 다음과 같이 조건식을 추가하여 초기화하면 된다. (bias와 nn.layerNorm(

2022년 1월 14일
·
0개의 댓글
post-thumbnail

[DL] Pytorch의 Dataloader에 관해

Pytorch는 Google의 Tensorflow-Keras와 더불어, 세계에서 가장 많이 쓰이는 딥러닝 프레임워크 중 하나이다.본인은 학부생 시절, Tensorflow 1.3을 처음 접하게 되고, 2.X 버전까지 Tensorflow를 사용하다가 실무에 와서 Pytor

2022년 1월 14일
·
0개의 댓글

Augmentation 기법

https://hoya012.github.io/blog/Image-Data-Augmentation-Overview/

2022년 1월 13일
·
0개의 댓글
post-thumbnail

DL workstation 구축에 대한 고민, 조립 방법

deep learning workstation 구축 고민흔적, 그리고 조립 방법

2022년 1월 13일
·
0개의 댓글
post-thumbnail

[DL] NMS, Non-Maximum Suppression 파헤치기

Object Detection에서 사용하는 NMS(Non-Maximum Suppression, 비 최대 억제 알고리즘)에 대해 알아보고, 간단한 코드를 작성하여 실습해봅니다.

2022년 1월 12일
·
0개의 댓글
post-thumbnail

[Paper] DETR - End-to-End Object Detection with Transformer

Facebook AI 팀에서 발표한, Transformer를 Object Detection task에 사용한 논문입니다.

2022년 1월 12일
·
0개의 댓글
post-thumbnail

[DL] Semantic Segmentation에서 Label Image 생성하기

Semantic Segmentation에서 사용하는 라벨링 데이터에 대해 알아보고, 어떻게 제작할 수 있는지 알아봅니다.

2022년 1월 12일
·
0개의 댓글

Introduction to NLP (Wk.9)

Introduction to NLP Ch.9.1 to Ch.9.13

2022년 1월 7일
·
0개의 댓글
post-thumbnail

CNN으로 OX 이미지 분류하기

CNN과 Augmentation을 활용한 OX 이미지 분류

2022년 1월 4일
·
0개의 댓글
post-thumbnail

Auto Mixed Precision이란?

이번에는 AutoMixedPrecision에 대해서 알아보겠습니다. AutoMixedPrecision이란 NVIDIA와 BAIDU에서 연구하고 ICLR에 발표한 논문인 Mixed Precision Traing을 바탕으로 발전된 내용입니다. 이 부분의 내용은 NVIDIA

2022년 1월 1일
·
0개의 댓글