투빅스 14기 정세영

Text classification에 적용되는 CNN의 개념을 맥락을 집어주시면서 설명해주셔서 이해하기 수월했습니다.

• RNN은 prefix context 없이 phrase를 잡아내기 어렵고 마지막 hidden state 하나만을 가지고 예측하는 구조의 한계가 있다.
• NLP에서는 1D convolution을 사용하고 pooling은 주로 max pooling이 사용된다.
• dilation rate란 filter를 적용할 데이터 사이의 간격을 의미한다. 적은 parameter로 더 넓은 범위를 보기 위함이다.
• 1 Convolution은 filter가 한 줄인 구조이다.
• NLP 분야에서는 vision 분야만큼 deep한 모델을 사용하기엔 어렵다.
• CNN을 사용하면 RNN에서 불가했던 병렬화가 가능해진다.

투빅스 14기 한유진

• RNN은 prefix context 없이 phrase를 잡아낼 수 없고, 마지막에 있는 단어의 영향을 많이 받는 다는 한계가 있어 CNN으로 text classification을 해보자는 내용이 등장하게 됩니다.
• NLP에서는 filter가 한방향으로만 이동하는 1D Convolution를 사용합니다. Filter는 polite/non-polite, about food/non about food 등의 특징을 나타냅니다. 특징들을 요악하는 역할을 하는 Pooling에서는 max pooling을 많이 사용하는데, 그 이유는 NLP에서 특징이 나타나는 경우가 sparse하기 때문입니다.
• VD-CNN : deep CNN모델, 실험결과 NLP에서는 이미지분야에서처럼 deep한 모델은 쓴다고 성능이 잘 나오는것이 아니라는 것을 알 수 있었습니다.
• Quasi-Recurrent Neural Network : 느리다는 단점을 가진 RNN을 개선하기 위해 parallelize가 쉬운 CNN과 결합한 모델입니다. Convolution과 pooling을 통해 sequential data를 병렬처리하였습니다.

CNN을 사용하여 Text classification을 수행하는 과정, 흐름을 잘 설명해주셔서 좋았습니다. 또한, 이미지처리와 비교한 NLP에서의 CNN활용법도 알 수 있었습니다. 좋은 강의 감사합니다!

투빅스 15기 조준혁

• 기존 RNN의 단점은 prefix context가 없이 phrase를 잡아낼 수 없고 마지막 벡터에 영향을 많이 받습니다.
• Dilation rate는 filter 사이의 간격을 의미하며 dilation가 2라면 3x3 filter는 2만큼 건너 뛰어 연산을 진행합니다.
• Sentence Classification을 위한 Convolution 연산은 word vector들을 concat하여 진행합니다. 필터 연산을 진행하고 max pooling을 진행하여 channel 마다 하나의 값을 얻게되는데, 이를 통해 filter weight와 window size, 문장 길이의 변화에 강인해집니다. 이후 feature vector에 softmax를 취해 클래스를 분류합니다.
• Text Classification을 위한 Deep CNN인 VD-CNN의 구조는 VGGnet, ResNet과 비슷한 구조를 가지고 있습니다.

CNN을 이용해 Text관련 Task를 수행하는 방법과 모델에 대한 이해를 할 수 있었던 강의였습니다.

투빅스 15기 김동현

Filter / Padding / Pooling(Max pooling, Average pooling) / Stride / Dilation rate의 개념과 계산방법을 자세히 알아볼 수 있는 시간이었습니다.

• Gates units used vertically은 Residual Block과 Highway Block 모두 Shorcut connection의 개념으로 convolution layer를 지나 나온 결과에 x에 대한 정보를 더해줍니다. Highway Block에서의 T(x)는 Transform gate, C(x)는 Carry gate를 의미하는데, 이는 output이 input에 대하여 얼마나 변환되고 옮겨졌는지를 표현합니다.

• 두 모델의 장점만을 가져와 parallelize가 쉬운 CNN과 결합한 모델이 Quasi-Recurrent Neural Network은 Convolution과 Pooling을 통해 sequencial data를 parell로 처리합니다. 이를 통해 RNN이 parallelize가 어려워 느리다는 단점을 개선합니다.

투빅스 14기 정재윤

• RNN은 Prefix context없이는 Phrase를 잡기 힘들고 마지막 단어에 영향을 굉장히 많이 받는 단점을 가지고 있다. 그래서 "문장 내 가능한 모든 단어 subsequence의 representation을 계산하면 어떨까?"라는 생각을 바탕으로 텍스트 처리에 CNN을 적용하려고 시도했습니다.

• 연산의 대부분은 CNN의 연산과 크게 차이가 없으나 dilation은 조금 생소한 개념이다. dilation이란 filter를 적용할 때 데이터 사이의 간격을 넓혀서 보는 것으로 적은 parameter로 더 넓은 범위를 볼 수 있게 된다.

• 이러한 발전으로 VD-CNN이라는 구조가 만들어졌다. 그러나 vision분야와는 달리 NLP분야에서는 단순히 모델이 깊다는 이유만으로 성능이 개선되지는 않았다.

투빅스 15기 조효원

• 시퀀셜 데이터를 다루는 대표적인 모델인 RNN은 prefix context없이 phrase를 잡아낼 수 없고, 마지막 단어 벡터의 영향을 많이 받는 문제가 있었기에, CNN을 이용하여 문장 내 가능한 모든 단어 subsequence의 representation을 계산하자는 제안이 등장했다.
• 텍스트 처리를 위한 CNN은 filter가 한방향으로만 이동하는 1D Convolution을 이용한다. Filter는 polite/non-polite등의 텍스트의 특징을 나타냅니다. 특징들을 요악하는 역할을 하는 Pooling에서는 max pooling을 많이 사용하는데, 그 이유는 NLP에서 특징이 나타나는 경우가 sparse하기 때문이다. Dilation rate는 filter 사이의 간격을 의미하는데, 문장의 의미를 이해하는 것을 주목적으로 한다면, filter의 크기를 증가시키거나 dilated convolution을 사용하여 한번에 보는 범위를 늘리는 방식을 택할 수 있다.
• 이미지 처리와 다르게 deep한 모델을 사용해도 성능이 크게 좋아지지 않았다.
• RNN의 시퀀셜 데이터에 강하다는 장점과 CNN의 병렬화 가능하다는 장점을 가져와 합친 모델이 Quasi-Recurrent Neural Network이다. Convolution과 Pooling을 통해 sequencial data를 병렬적으로 처리한다.

투빅스 15기 조효원

• 시퀀셜 데이터를 다루는 대표적인 모델인 RNN은 prefix context없이 phrase를 잡아낼 수 없고, 마지막 단어 벡터의 영향을 많이 받는 문제가 있었기에, CNN을 이용하여 문장 내 가능한 모든 단어 subsequence의 representation을 계산하자는 제안이 등장했다.
• 텍스트 처리를 위한 CNN은 filter가 한방향으로만 이동하는 1D Convolution을 이용한다. Filter는 polite/non-polite등의 텍스트의 특징을 나타냅니다. 특징들을 요악하는 역할을 하는 Pooling에서는 max pooling을 많이 사용하는데, 그 이유는 NLP에서 특징이 나타나는 경우가 sparse하기 때문이다. Dilation rate는 filter 사이의 간격을 의미하는데, 문장의 의미를 이해하는 것을 주목적으로 한다면, filter의 크기를 증가시키거나 dilated convolution을 사용하여 한번에 보는 범위를 늘리는 방식을 택할 수 있다.
• 이미지 처리와 다르게 deep한 모델을 사용해도 성능이 크게 좋아지지 않았다.
• RNN의 시퀀셜 데이터에 강하다는 장점과 CNN의 병렬화 가능하다는 장점을 가져와 합친 모델이 Quasi-Recurrent Neural Network이다. Convolution과 Pooling을 통해 sequencial data를 병렬적으로 처리한다.

투빅스 15기 이윤정

• RNN은 prefix context 없이 phrase를 잡아낼 수 없으며 위치의 영향을 많이 받는다는 한계점을 지닌다. 이러한 한계점을 보완하기 위해 CNN을 통해 문장 내 모든 단어 subsequence의 representation을 계산하자는 대안이 등장하였다.
• 이미지 처리에서는 2D Convolution이 사용되는 반면, 자연어 처리에서는 위아래 한방향으로만 이동하는 1D Convolution이 사용된다. Filter/Padding/Pooling/Stride 등 대부분의 개념이 2D Convolution과 유사하지만, Dilation이라고 하는 filter 사이의 간격을 의미하는 생소한 개념이 등장한다. (물론 이미지 처리에서도 사용된다.) Dilation Convolution을 통해 적은 parameter로 넓은 범위를 볼 수 있다.
• VD-CNN의 경우 VGGnet, ResNet과 유사한 구조를 지니며 Quasi-Recurrent Neural Network의 경우 RNN과 CNN을 결합하여 병렬 처리를 통해 RNN의 느린 속도를 보완한다.

투빅스 15기 이수민

• 기존 RNN 모델은 prefix context 없이 phrase를 잡아낼 수 없고, 마지막 단어 벡터의 영향을 많이 받는 문제점이 있다.
• CNN을 text classification 에 사용하면 단어의 등장 순서나 문맥과 같은 정보를 보존할 수 있지만, 문법적으로 혹은 언어학적으로 맞는지 판단을 내릴 수 없다.
• 일반적으로 텍스트 처리를 위한 CNN에서는 1D convolution을 이용하여 계산을 진행하고, 정보가 sparse하게 존재하기 때문에 주로 max pooling을 사용한다.
• Dilation rate는 filter 사이의 간격을 의미한다.
• Sentence classification을 위한 CNN에서는 convolution 연산이 word vector를 concat하여 진행된다.
• Text classification을 위한 deep CNN 모델로는 VD-CNN 구조가 있으며, VGGnet과 ResNet과 비슷한 구조를 가진다.
• Quasi-Recurrent Neural Network: 병렬화가 어렵운 RNN의 단점을 개선한 모델로, sentiment classification 진행 시에 LSTM보다 3배 더 빠른 속도를 보인다.

투빅스 15기 김재희

• RNN 기반의 모델들은 마지막 시점에 가까운 입력값에 영향을 많이 받게 되고, 접두어 등의 맥락이 없이는 제대로 phrase를 잡지 못했습니다.
• CNN을 1d로 이용하면 필터, 패딩, max pooling over time 등 여러가지 트릭들을 통해 자연어에 이용할 수 있었습니다.
• 이외에도 깊은 NN을 구성하기 위해 Batch Norm, 1x1 Conv, Residual Connection 등의 방법들이 발표되었습니다.
• 이를 이용해 이미지 분야에서는 깊은 네트워크를 구성할 수 있었지만, 자연어에서는 깊은 네트워크가 유의미하지 않아 일정 깊이 이상 깊어질 수 없었습니다.
• Quasi-Recurrent Nueral Network 등에서 CNN을 활용하여 병렬처리를 시도했습니다.

투빅스 14기 박준영

• CNN을 사용한 Text classification은 마지막 단어 벡터의 영향을 많이 받는 RNN 문제를 극복하고자 연구되었습니다.
• 텍스트 처리에서는 filter가 위아래 한방향으로 이동하는 1D Convolution을 사용한다. input은 문장에 각 단어를 나타내는 dense word vector이며, Filter는 단어들의 특징을 나타낸다. padding을 사용하여 input과 동일한 output 길이를 얻는다. pooling은 특징을 요약하는 역할을 한다.
• single Layer CNN for sentence classification 논문의 목적은 sentence Classification이다. word vectors를 concatenate하여 convolution연산을 한다. 간단한 single layer cnn으로 유의미한 분류 결과를 도출해냈습니다.
• Deep CNN for Text Classification은 text classification을 위한 deep cnn을 제안한다.

CNN을 text에 적용하는 방법과 관련 모델들을 배울 수 있었던 유익했던 강의였습니다. 감사합니다!!