Deep Learning

Imgur

참고자료우선 예제를 위해 사용될 인공 신경망을 소개한다. 역전파의 이해를 위해서 여기서 사용할 인공 신경망은 입력층(Input layer), 은닉층(Hiddel layer), 출력층(Output layer) 이렇게 3개의 층을 가진다. 또한 해당 인공 신경망(예제에서

참고기울기 소실 문제(Vanishing Gradient problem)는 역전파(Backpropagation) 알고리즘에서 처음 입력층(input layer)으로 진행할수록 기울기가 점차적으로 작아지다가 나중에는 거의 기울기의 변화가 없어지는 문제를 말한다.이 문제의

참고1참고2딥러닝에서 가장 기본이 되는 개념은 바로 신경망(Neural Network)이다.신경망이란 인간의 뇌가 가지는 생물학적 특성 중 뉴런의 연결 구조를 가리키며, 이러한 신경망을 본떠 만든 네트워크 구조를 인공신경망(Artificial Neural Network

참고1참고2계기(Motivation)합성곱(convolution)에 대해 작성하게 된 계기는 딥러닝 강의를 보다가 합성곱 챕터에서 '두 함수에서 한 함수를 뒤집어서 서로 곱한다고'라고만 되어있어서 이게 무슨말인가 싶어서 좀 더 찾아보고 정리하게 되었다.어떤 위치에서 공

참고 1. LeNet-5란 무엇인가? LeNet는 이미지 분류용 CNN 중에 조상격으로 CNN초기에 CNN의 기본 구조를 잘 정립하였다. LeNet의 다양한 버전들(LeNet-1, LeNet-2,...)이 있으나 최종 버전은 LeNet-5이다. LeNet은 CNN을 처

참고AlexNet은 2012년에 개최된 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회의 우승을 차지한 컨볼루션 신경망(CNN) 구조이다. CNN의 부흥에 아주 큰 역할을 한 구조라고 말할 수 있다. Alex

VGGNet은 옥스포드 대학의 연구팀 VGG에 의해 개발된 모델로써, 2014년 이미지넷 이미지 인식 대회에서 준우승을 한 모델이다. 여기서 말하는 VGGNet은 16개 또는 19개의 층으로 구성된 모델을 의미한다(VGG16, VGG19로 불림).역사적으로 봤을 때 V

참고1참고2이 글은 Vanilla RNN에서 기울기 소실 문제(vanishing gradient problem)를 해결한 LSTM(Long Short-Term Memory)을 이해하기 위해 정리한 것이다.인간은 모든 생각을 밑바닥부터 시작하지 않는다. 지금 이 글을 읽

GRU(Gated Recurrent Unit) 셀은 2014년에 K. Cho(조경현) 등에 의해 논문에서 제안된 LSTM 셀의 간소화된 버전이라고 할 수 있다.주요 특징은,1) LSTM의 cell state가 없고 hidden state가 cell state의 역할까지

참고1 참고2 참고3 1. 동기(Motivation) 2015년 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 우승을 차지한 ResNet에 대해서 소개하려고 한다. ResNet은 마이크로소프트에서 개발한 알

참고대표적으로 ResNet에서 Bottleneck를 사용하는데 ResNet의 Bottleneck 구조를 가지고 설명하겠다.ImgurResNet에서 왼쪽은 BottleNeck 구조를 사용하지 않았고, 오른쪽은 BottleNeck 구조를 사용했다.BottleNeck을 설명

참고1참고2본 내용은 DenseNet으로 잘 알려져 있는 CNN architecture를 다룬 “Densely Connected Convolutional Networks”의 훌륭한 논문을 바탕으로 정리한 것이다.2017년 CVPR Best Paper Award를 받았으

1. Keras 모델이란 무엇인가? Keras는 Theano와 Tensorflow 기반의 딥러닝용 고차원 라이브러리이다. Python 언어로 쓰여 광범위한 딥러닝 모델을 깔끔하고 편리하게 제작할 수 있다. Keras는 신경망 개발 및 테스트에 관한 한 가장 애용되는 고

참고1참고2비지도 학습(unsupervised learning) 인공지능입력 데이터를 가공하여 목표값을 출력하는 방식이 아니라서 목표값(label 정보)이 없는 데이터 특성을 분석하거나 추출하는 용도로 사용된다.(대표적인 예로 이미지 노이즈 제거, 이상 탐지 등이 있다

참고1참고2참고3Neural Network를 이용한 이미지 처리에는 다음과 같이 분류할 수 있다. 다음 그림을 예제로 들어 이미지 처리의 종류를 알기 쉽게 설명하였다.Imgur1) Image Classification : 사진의 이미지 객체가 어떤 것인지 구분하는 것(

참고1참고2이미지 세그멘테이션(image segmentation)은 이미지의 모든 픽셀이 어떤 카테고리(예를 들면 자동차, 사람, 도로 등)에 속하는지 분류하는 것을 말한다.이미지 전체에 대해 단일 카테고리를 예측하는 이미지 분류(image classification)

참고1참고2컴퓨터가 인간의 언어를 처리하는 분야인 자연어 처리(NLP:Natural Language Processing)에서 컴퓨터가 풀고자 하는 문제의 용도에 맞게 텍스트를 사전에 처리하는 작업을 텍스트 전처리(Text Preprocessing)라고 한다.텍스트 전처

Window Dataset은 Tensorflow의 Dataset에서 sliding window기법을 적용한 것으로 시계열 데이터(Time series Data)를 처리하는데 적합하다.이 문서를 작성하는데 참고자료는 다음과 같다.참고1참고2참고3참고4window data

참고 자료는 다음과 같다.여기1여기2Keras 및 TensorFlow 2.0은 자체 신경망 아키텍처를 구현하는 세 가지 방법을 제공한다.Sequential APIFunctional APISubclassing APIImgur배경Tensorflow는 처음부터 딥러닝 플랫폼

참고문헌은 다음과 같다.참고1참고2참고3이번 글은 RNN(Recurrent Neural Network)에 대해 이미 알고 있다는 가정하에 썼습니다. 따라서 RNN의 개념을 잘 모르면 이것부터 먼저 이해하고 읽기 바란다.NLP(Natural Language Process

참고 문서 참고1 참고2 텍스트를 컴퓨터가 이해하고, 효율적으로 처리하게 하기 위해서는 컴퓨터가 이해할 수 있도록 텍스트를 적절히 숫자로 변환해야 한다. 단어를 표현하는 방법에 따라서 자연어 처리의 성능이 크게 달라지기 때문에 단어를 수치화 하기 위한 많은 연구가 있