profile
DSC Duksung 겨울방학 NLP 스터디
post-thumbnail

밑바닥부터 시작하는 딥러닝2 - 6장

게이트가 추가된 RNN 5장에서 본 RNN은 순환 경로를 포함하여 과거의 정보를 기억할 수 있으며 구조가 단순하여 구현도 쉽게 할 수 있었다. 하지만 성능이 좋지 못하였는데 그 원인은 시계열 데이터에서 시간적으로 멀리 떨어진, 즉 장기 의존 관계를 잘 학습할 수 없기

2020년 2월 15일
·
0개의 댓글
post-thumbnail

밑바닥부터 시작하는 딥러닝2 - 8장

seq2seq 란, 2개의 RNN 을 연결하여 하나의 시계열 데이터를 다른 시계열 데이터로 변환하는 것이다.이번 장에서는, seq2seq 와 RNN 의 가능성을 높여주는, 어탠션 이라는 기술에 대해 학습해보자.어탠션 매커니즘은 seq2seq 를 더 강력하게 해준다. s

2020년 2월 15일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝2 - 5장

CHAPTER5 순환신경망(RNN) 피드포워드(feed forword) 신경망 흐름이 단방향 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없음 순환 신경망(Recurrent Neural Network, RNN)의 등장 5.1 확률과 언어 모델 5.1.1 wor

2020년 2월 8일
·
0개의 댓글

[밑바닥부터 시작하는 딥러닝2] 7장. RNN을 사용한 문장 생성

7.1 언어 모델을 사용한 문장 생성 5장,6장에서는 RNN 과 LSTM 을 자세하게 살펴봤다. 이번 장에서는 LSTM을 이용할 것이다. 이번 장에서는 언어 모델을 사용해 문장 생성을 수행한다. 구처젝으로는 우선 말뭉치를 사용해 학습한 언어 모델을 이용하여 새로운 만장을 만들어낸다. 그런 다음 개선된 언어 모델을 이용하여 더 자연스러운 문장을 생성해보겠...

2020년 2월 4일
·
0개의 댓글

밑바닥 부터 시작하는 딥러닝2 - 4장

이번 4장에서는 word2vec의 속도 개선하는 법을 알아보겠다. 앞서 3장에서 보았던 CBOW(Continuous Bag of Words) 모델은 처리 효율이 떨어져 말뭉치에 포함된 어휘 수가 많아지면 계산량도 커진다. 따라서, 단순한 word2vec에 두가지 개선을 추가한다. Embedding 이라는 새로운 계층을 만든다. 네거티브 샘플링 이라는 ...

2020년 2월 2일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝2 - 2장

2.1 자연어 처리란 한국어와 영어 등 우리가 평소에 쓰는 말을 자연어라고 한다. 차연어 쳐리(NLP)를 풀어서 말하면 '우리의 말을 컴퓨터에게 이해시키기 위한 기술(분야)'이다. 자연어 처리가 추구하는 목표는 사람의 말을 부드럽게 컴퓨터가 이해하도록 만들어서, 컴퓨터가 우리에게 도움이 되는 일을 수행하게 하는 것이다. 2.1.1 단어의 의미 우리의 말은...

2020년 2월 2일
·
0개의 댓글

[밑바닥부터 시작하는 딥러닝2] 3장. word2vec

밑바닥부터 시작하는 딥러닝2 github 이번 장의 주제도 단어의 분산 표현이다. 앞 장에서는 통계 기반 기법으로 단어의 분산 표현을 얻었는데, 이번 장에서는 더 강력한 기법인 추론 기반 기법을 살펴본다. 추론 기반 기법의 추론 과정에서 신경망을 이용한다. 여기서 word2vec 이 등장한다. 이번 장에서는 word2vec 의 구조를 차분히 들여다보고 ...

2020년 2월 1일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝-5장

밑바닥부터 시작하는 딥러닝 5 오차역전파법 수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 게 단점이다. 가중치 매개변수의 기울기를 효율적으로 계산하는 오차역전파법 backpropagation 을 배워보자. 오차역전파법을 제대로 이해하는 방법은 두 가지가 있다. 수식을 통한 것 계산 그래프를 통한 것 5.1 계산 그래프 계산...

2020년 1월 28일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝-8장

chapter8 딥러닝 8.1 더 깊은 신경망 8.1.1 손글씨 숫자를 인식하는 심층 CNN 손글씨심층CNN.png 3*3의 작은 필터를 사용한 합성곱 계층(Conv) 활성화 함수(ReLU) 풀링 계층 추가해 중간 데이터의 공간 크기를 줄여나감 완전연결 계층 뒤에 드롭 아웃 계층 사용 완전 연결 신경망이란, 인접하는 계층의 모든 뉴런과 결합되어 있는 ...

2020년 1월 28일
·
0개의 댓글
post-thumbnail

밑바닥부터 시작하는 딥러닝 - 7장 CNN

Chapter 7. 합성곱 신경망(CNN) 7.1 전체 구조 CNN에서는 새로운 합성곱 계층과 풀링 계층이 추가된다. CNN 계층은 conc-relu-pooling 흐름으로 연결된다. 여기서 중요한 것은 출력에 가까운 층에서는 affine-relu 구성을 사용할 수 있다. 7.2 합성곱 계층 CNN에서는 패딩, 스트라이드 등 CNN 고유의 용어가 등...

2020년 1월 28일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝 6장 - 학습 관련 기술들

학습할 내용들: 매개변수 갱신, 가중치의 초깃값, 배치 정규화, 오버피팅, 하이퍼파라미터 최적화 매개변수 갱신 우리는 항상 손실함수의 값을 가능한 낮추는 매개변수를 찾는 것이 목표이고, 이러한 것을 최적화 라고 한다. 앞서 역전파오류법에서 최적의 매개변수 값을 미분을 이용하는 확률적 경사 하강법(SGD)을 이용했다. 확률적 경사 하강법(SGD) 수...

2020년 1월 28일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝 -4장

4.1 데이터에서 학습한다! 4.1.1 데이터 주도 학습 기계학습이란 데이터에서 답을 찾고 데이터에서 패턴을 발견하고 데이터로 이야기를 만드는 것이다. image.png 만약 5를 인식하고 싶다면 이미지에서 특징을 추출하고 그 특징의 패턴을 기계학습 기술로 학습하는 방섭이 있다. 여기서의 특징이란, 입력 데이터에서 본질적인 데이터를 정확하게 추출할 수...

2020년 1월 28일
·
0개의 댓글

밑바닥부터 시작하는 딥러닝-3장

chapter3 신경망 3.1 신경망이란? 신경망.png 입력층이나 출력층과 달리 은닉층의 뉴런은 사람 눈에는 보이지 않는다. 0층을 입력층, 1층을 은닉층, 2층을 출력층이라 한다. 위의 그림 속 신경망은 3층으로 구성되어있지만 가중치를 갖는 층이 2개이기 때문에 2층 신경망 이라고 한다. 활성화 함수(activateion function) : 입력...

2020년 1월 18일
·
1개의 댓글
post-thumbnail

밑바닥부터 시작하는 딥러닝-2장

chapter 2. 퍼셉트론 퍼셉트론(perceptron) : 신경망(딥러닝)의 기원이 되는 알고리즘. 퍼셉트론의 구조를 배우는 것은 신경망과 딥러닝으로 나아가는데 중요한 아이디어를 배우는 일이다. 2.1 퍼셉트론이란? 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 이 때 신호는 전류나 강물처럼 흐름이 있는 것. 신호도 흐름을 만들고 정보를 ...

2020년 1월 18일
·
0개의 댓글