# RNN

65개의 포스트
post-thumbnail

[Week 6] RNN,LSTM and GRU

LSTM 이란?RNN에서 발생하는 Long term dependency를 해결할 수 있는 Model 이다.LSTM의 GateLSTM은 어떻게 RNN 구조에서 가지는 근본적인 문제인 Long term dependency를 해결 할 수 있을까? 그 정답은 위 사진에 보이는

5일 전
·
0개의 댓글
post-thumbnail

[Week 6] Recurrent Neural Network

시간적 순서가 있는 데이터를 처리 할 때 사용하는 대표적인 모델RNN의 구조는 위의 사진처럼 X0으로 만들어진 H0의 output이 x1의 학습에 사용되는 구조를 갖는다. 여기서 중요한 것은 다음 각 Time Step에서의 Wight parameter A는 공유된다는

2021년 9월 11일
·
0개의 댓글

[Day 25] Boostcamp AI-Tech

2021년 9월 7일 Day 25

2021년 9월 7일
·
0개의 댓글
post-thumbnail

RNNs

sequence data가 입출력으로 주어진 상태에서 t에서의 입력 $xt$와 이전 hidden state인 $h{t-1}$을 입력으로 받고 $h_t$를 출력하는 네트워크.중요한 것은 매 time stamp마다 새로운 model이 등장하는 것이 아니라, 하나의 para

2021년 9월 7일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 2:: 11-6 PackedSequence

예시 : 자연어처리, NLP에 쓰이는 텍스트 data, audio data, video data emd길이가 미정인 데이터가 많음, 가장 긴 서킷 즉, short circuit이라는 문장의 길이에 맞춰 나머지 data의 뒷부분을 pad라는 token으로 채워넣는 방법장

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 시즌 2:: Lab-11-5 RNN seq2seq

Seq2Seq가 잘 적용되는 예 : chatbot, 번역다음과 같은 상황에서는 잘 대답할 수 있을까? 대부분의 모델은 단어가 입력됨에 동시에 다음단어를 예측해서 출력됨으로 긍정-부정으로 이어지는 문장같은 경우 예측해서 대답하기가 쉽지 않음. 이러한 경우 seq2seq모

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 2:: Lab-11-4 RNN timeseries

Time Series Data란? 시계열 데이터라고 불리며, 일정한 시간 간격으로 배치된 데이터를 말한다. 대표적인 예로는 주가 데이터를 예로 들 수 있다.사용할 데이터 : 구글 주가 데이터이 모델은 7일간의 주가데이터를 이용해 8일차의 주가데이터를 예측하는 모델을 전

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 2:: Long Sequence

hihello/charseq과 다른점 : input문장이 길어 특정 size로 잘라서 사용함. 조각조각 데이터를 만드는 것이다. Ex) 한칸씩(character씩) 움직이면서 10칸씩 잘라냄

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 2 :: Lab-11-2 RNN hihello and charseq

hihello를 예측하는 모델을 만들려고 함. 하나의 알파벳이 주어질 때 다음 문자를 예측할 수 있도록 하는 RNN 모델을 만들려고 함.벡터의 하나의 축에서만 1로 표현되고 나머지부분은 0으로 표현되는 방식으로 벡터의 차원의 수는 알파벳의 종류이다. 입력할때는 출력될

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 2 :: RNN 11 -1 Basics

PyTorch에서 RNN은 크게 두줄을 통해 한셀을 정의해줄 수 있음.첫번째 줄 = torch.nn.RNN() 을 이용해서 inputsize와 hiddensize을 선언해줌. cell을 정의 해주는 문장이라고 생각하면됨. 두번째 줄 = A라는 function에 inpu

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 2 :: RNN intro

Sequential Data를 처리하기 위해 도입됨. 기존에는 Position index를 이용해서 순서를 분류해서 NN을 만들어서 데이터를 학습했었음. 하지만 사람의 언어와 같이 모델을 파악하는데에는 쉽지 않은 모델이었음. 하지만 RNN은 사람의 언어, 자연어와 같은

2021년 8월 23일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 12 :: NN의 꽃 RNN 이야기

Sequence Data란? : 시리즈 데이터로 앞선 데이터가 뒤의 데이터의 영향을 미치는 데이터를 말한다. 예를 들어서 음성어와 자연어처럼 단어만 이해한다고 전체를 이해할 수 없고, 앞선 단어와 뒤의 흐름까지 명확하게 이해해야 전체를 이해할 수 있는 데이터들을 말한다

2021년 8월 23일
·
0개의 댓글
post-thumbnail

순환 신경망 Recurrent Neural Network(RNN)

RNN은 기본적으로 '시간 개념이 있는 데이터'들을 처리하기 위한 신경망이다. xt는 현재의 입력으로써, 입력을 받은 후 Cell에서 루프를 사용하여 입력에 대한 출력값을 다시 입력으로 사용하게 된다. 따라서 yt는 과거와 현재의 정보를 동시에 반영한 출력값이다.

2021년 8월 22일
·
0개의 댓글
post-thumbnail

자연어 처리 : Language Modeling with RNN

👩🏻 언어모델 > 🔑* 언어모델이란?* : 단어 시퀀스(단어가 연속적으로 연결= 문장)에서 각 단어의 확률을 할당하는 일을 하는 모델 : 즉, 가장 자연스러운 단어 시퀀스를 찾아내는 모델 크게 통계를 이용한 방법 / 인공신경망을 이용한 방법으로 나뉨 가장

2021년 8월 21일
·
0개의 댓글
post-thumbnail

RNN

Intro FeedForwar Neural Network는 단순하고 이해하기 쉽지만, 시계열 데이터의 성질을 잘 파악 못한다. 그래서 RNN이 등장함. 또한 언어적 능력에 탁월함.

2021년 8월 14일
·
0개의 댓글
post-thumbnail

AI Tech - RNN

이미지 classification : one-hot vector or 내가 원하는 class 갯수만큼 바꿔주는 것detection : bounding box 찾기sementic segmantaion : 이미지 각 픽셀별로 어떤 class에 속하는지RNN : 주어지는 입

2021년 8월 13일
·
0개의 댓글
post-thumbnail

딥러닝의 이해 RNN

단어를 컴퓨터가 알아볼 수 있도록 바꿔줍니다!Embedding 레이어는 입력으로 들어온 단어를 분산 표현으로 연결해 주는 역할을 하는데 그것이 Weight에서 특정 행을 읽어오는 것과 같아 이 레이어를 룩업 테이블(Lookup Table) 이라고 부르기도 합니다.dis

2021년 8월 12일
·
0개의 댓글
post-thumbnail

RNN

RNN Sequential model sequence data는 몇차원인지 알 수 없다. 즉, 임의의 n차원 입력에 대한 처리가 가능한 모델이 필요하다. sequential model은 고정된 길이의 과거 정보들을 활용해 다음의 seuqence에 대한 예측을 하는 모

2021년 8월 12일
·
0개의 댓글

[Day 9] Boostcamp AI-Tech

2021년 8월 12일 Day 9

2021년 8월 12일
·
0개의 댓글