투빅스 14기 정세영

NLG를 좀 더 깊숙히 배울 수 있는 시간이었습니다.

• samping based decoding은 greedy, beam search의 단점을 보완하여 너무 일반적인 답안이 나오지 않게 한 방식 (이를 이어 끝판왕이라고도 불리는 Top-p (nucleus) sampling도 있음)
• ROUGE는 주로 summarization을 평가하는데에 이용되는 recall 기반의 지표로, 실제 요약본의 단어 중 몇 개를 포함하는지, 즉 실제 중요한 정보가 다 들어갔는지를 평가 (<-> precision은 예측한게 맞는지를 평가)
• neural summarization으로 나온 copy mechanism은 인풋의 단어 일부를 그냥 복사하는 것 -> 너무 많이 복사해와 결국 extractive의 결로 따라감 -> 이를 보완해 나온 bottom up summarization은 단어 포함 여부를 태깅하여 mask를 씌워 크게 기여하지 않도록 만든 것
• NLG에서는 각 측면을 평가하는 지표는 있으나 전반을 통틀어 평가하는 명확한 지표가 존재하지 않음. 가장 이상적인 지표는 human judgement라고 언급 (조심스럽게 챗봇 평가하자~)
• paired corpus 구축의 어려움을 타파하고자 unpaired corpus로 생성모델 형태의 모델들이 등장하고 있음

투빅스 14기 한유진

• NLP는 NLG(문장 생성)과 NLU(의미 분석)이 합쳐진 것으로 이번 강의에서는 NLG를 중점으로 다뤘습니다. 학습 후 문장을 생성할 때 Decoding 알고리즘을 사용할 수 있습니다. 최적의 beam size를 찾는 과정에서 생기는 문제점 때문에 Sampling based decoding방식이 등장하였습니다. k이 크더라도 일반적인 답안을 얻지 않게 합니다.
• NN연구 전의 text summarization은 문서의 원본문장을 그대로 추출하는 방식인 Extractive 요약을 사용했습니다. text summarization 모델의 성능평가 지표인 ROUGE는 모델과 사람의 요약본을 대조하여 성능점수를 계산하게되고 recall, precision을 모두 구하여 평가할 수 있습니다.
• Neural summarization은 seq2seq, attention을 적용했지만 고유명사 출력에 문제가 있어 copy mechanism을 추가했습니다. input으로 들어오는 문장에서 ouput생성에 필요한 것들을 복사해오는 방법으로 copy와 generation을 모두 쓰는 방식입니다. 하지만, 너무 많은 copy에 문제가 발생하여 bottom up summarization이 등장했습니다.
• unpair한 data에 대한 text summarization은 input을 latent vector화하여 디코더 통과후 생성된 문장과 생성된 문장을 다시 input문장화 하였을 때의 차이를 보는 과정을 통해 연구가 진행되고 있습니다.

text summarization에 대해서 자세히 배울 수 있었고, unpair한 data로 NLG를 수행하는 과정도 설명해주셔서 좋았습니다. 좋은 강의 감사합니다!

투빅스 15기 김동현

자연어를 생성하는 모델들에 대해 자세히 알 수 있었습니다.

• Extractive Summarization이란 문서 내에서 핵심이 되는 문장을 추출하는 것으로, 비교적 쉽지만 제한적인 요약 결과를 얻게 됩니다.
• Abstractive Summarization이란 문서의 중요한 내용을 담은 새로운 문장을 생성하는 것으로, 보다 유연한 결과를 얻을 수 있지만 비교적 어렵습니다.
• Copy Mechanisms을 seq2seq과 함께 사용해서 디테일을 잡아내고자 했습니다. Attention에서 copy를 더 잘할 수 있도록 처리한 것입니다.
• Autoencoder loss
  X 스타일의 문장 x를 latent vectors로 변환한 후, 이를 다시 X 디코더를 이용해 문장 x’가 생성되었을 때, x’과 원래의 문장 x와 얼마나 다른지
• Cycle loss
  X 스타일 문장 x를 변환 과정을 통해 Y 스타일의 문장 y로 변환하였을 때, 이 문장 y를 다시 X 스타일로 변환한 문장 x’’과 원래의 문장 x는 얼마나 다른지

투빅스 15기 조준혁

• NLP는 자연어 형태의 문장을 기계가 이해할 수 있게 만드는 기술인 NLU와 학습 결과로 가계가 자연어 문장을 생성하는 NLG 두가지 Task가 합쳐진 것 입니다.
• Language Modeling이란 주어진 단어를 바탕으로 다음에 나올 단어를 예측하는 task 입니다. Conditional LM은 주어진 단어들과 어떤 입력으로부터 다음 단어를 예측하는 모델입니다. 이렇게 학습한 모델로 문장을 생성하는 알고리즘으로는 Greedy Algorithm, Beam Search, Sampling based decoding 방식이 있습니다.
• Text Summarization이란 입력 텍스트 x를 바탕으로 중요한 정보만을 정제해서 요약문인 y를 생성하는 작업입니다. 이는 single-document와 multi-document로 나뉘어집니다.
• NLP에는 BLEU, ROUGE, F1등 많은 평가지표가 있으나 이상적인 지표는 아닙니다. 가장 이상적인 지표는 인간이 직접 평가하는 방식이지만 이는 시간이 너무 오래걸리고 비용이 너무 많이 나간다는 단점이 있습니다.

투빅스 15기 강재영
NLG에 대해 이해할 수 있는 강의였습니다.

• 우리가 앞서 배웠던 Decoding Algorithms에는 Greedy와 Beam Search가 있었다. 하지만 Greedy는 한번 단어를 잘못 산출하면 그이후 값들도 영향을 미친다는 단점, Beam Search는 Beam size에 따라 답이 지나치게 일반화되거나 말이 되지 않는 것을 산출한다는 단점이 있었습니다.
• 이러한 단점을 보완하기 위해 나온 방법인 Sampling based decoding은 Pure Sampling, Top-n Sampling을 통해 일반적이면서 적절한 문장이 나오도록 하였습니다.
• Text summarization에서 성능이 떨어지는 문제점을 보완하고자 Copy mechanism을 적용했습니다.
• copy mechanism이란 input으로 들어오는 문장에서 Output 생성에 필요한 단어나 구문을 복사해오는 방법입니다.
• NLP Task에는 다양한 평가지표들이 있는데 어느하나 명확하게 이상적인 지표라고 볼수는 없습니다.

투빅스 15기 이수민

• NLG는 주어진 input에 대해 새로운 text를 만들어내는 작업이다. 대표적인 NLG task로는 machine translation, summarization, dialogue, creative writing 등이 있다.
• LM 학습 후 문장을 생성해내기 위해서 decoding algorithm을 사용한다: greedy algorithm, beam search, sample-based decoding.
• Summarization은 input text x에 대해 요약된 y를 만들어내는 task이다.
• Pre-neural summarization에서는 포함할 중요 문장을 선택하고 문장들을 중요도에 따라 나열한 뒤 summary를 생성한다. Neural summarization에서는 seq2seq과 attention을 사용하였지만, 문장을 생성할 때 OOV 문제가 발생하여 고유 명사를 출력해내지 못함. 이를 보완하고자 copy mechanism을 적용했지만, 중요 문장을 선택하는 content selection 부분에 대한 성능이 떨어지는 문제점이 발생한다.
• Bottom up summarization: 앞서 언급한 copy mechanism의 문제를 해결하기 위해 등장했다. 단어의 포함 여부를 0,1로 태깅하고 포함되지 않은 부분에는 집중하지 않게 하는 효과적인 방법이다.
• Dialogue는 크게 task-oriented dialogue와 social dialogue로 나눌 수 있다. Seq2Seq based dialogue는 지나치게 일반적인 반응을 보이거나 문맥을 고려하지 못하여 흐름과 무관한 말을 하고 persona가 형성되어 있지 않다는 문제점이 있다.
• NLG의 각 task에 대해 사용할 수 있는 성능 지표는 존재하지만 모든 task에 대해 범용적으로 사용될 수 있는 적절한 지표는 없다.
• Paired corpus로 학습을 진행하는 것에 어려움이 따르게 되면서 최근 unpaired corpus를 활용한 비지도학습이 연구되고 있다.

투빅스 15기 조효원

• NLG 는 문장을 생성하는 NLP의 일종이다. 문장을 생성할 때, Decoding 알고리즘을 사용한다. 즉, 앞선 단어들이 주어졌을 때 다음 단어를 예측하는 전형적인 언어 모델의 태스크를 가진다.
• greedy search, beam search 의 단점을 보안하여 너무 일반적인 답안이 나오지 않게 하즞 Sampling based decoding방식이 있다.
• 텍스트 요약은 추출 요약과 추상요약으로 나누어지는데, 추출 요약은 주어진 텍스트에서 주요한 문장 혹은 구를 조합하여 요약을 완성하는 방식이고, 추상 요약은 신경망을 이용해 새로운 문장을 생성하는 것을 의미한다.
• 텍스트 요약에는 seq2seq, attention을 적용했지만 고유명사 출력에 문제가 있어 copy mechanism을 고안했다. 이는 입력 문장에서 최종 출력 문장에 필요한 부분을 복사해와 문장을 생성하는 방식이다.
• NLG 평가 방식에는 BLEU, ROUGE, F1등의 지표가 있으나 이상적인 지표는 아니다.

투빅스 15기 김재희

• NLP는 NLG와 NLU로 구성되어 있습니다.
• NLG는 자연어 문장을 생성하는 분야로 기계번역, 요약, 대화 등의 태스크가 있습니다.
• conditional LM이란 입력값이 주어진 상태에서 LM을 수행하는 모델입니다.
• LM에서 문장 생성은 디코딩 알고리즘을 통해 이루어집니다.
• Pre-Neural 요약에선 주어진 글에서 포함할 문장을 선택하는 방법을 택했습니다.
• Nerual 요약에선 문장을 생성하고자 했으나 고유명사나 OOV를 해결하지 못했습니다. 이를 copy mechanism을 통해 보완했습니다.
• 이외에도 Bottom up summarization 등의 보완이 등장했습니다.
• ROUGE는 요약문과 모델 생성본 간의 recall이나 precision을 이용해 모델 성능을 측정하지만, 완벽한 지표는 아닙니다.
• NLG 성능 평가는 ROUGE나 PPL, BLEU 등을 통해 평가하지만 모델의 전반적인 성능은 측정하기 매우 어렵습니다.

투빅스 15기 이윤정

• NLU : 자연어 형태의 문장을 기계가 이해도록 만드는 기술, NLG : 기계가 자연어 문장을 생성하는 기술로 NLP는 NLU와 NLG가 결합된 기술이다.
• 문장 생성은 decoding 알고리즘을 사용하며, greedy 방식과 beam search 방식, sampling based 방식이 존재한다. greedy 방식은 한번 단어를 잘못 도출하면 이후 값들도 계속 영향을 받는다는 단점을 가지며, beam search는 size에 영향을 받는다는 단점을 지닌다.
• neural network 기반의 연구가 진행되기 이전의 문서요약은 extractive summeraization을 연구하였으며, 모델의 요약본과 사람이 만든 요약본을 대조하는 방식의 성능 평가 지표인 ROUGE를 사용하였다.
• neural network 기반의 연구는 seq2seq와 attention을 적용했으나, OOV 문제가 발생하므로 이러한 단점을 보완하기 위해 copy mechanism을 통해 copy와 generation을 모두 사용하여 디테일을 고려하였다. 그러나, 해당 방식도 copy가 많아질 수록 문제가 발생하여 bottom up 방식이 등장하였다.
• NLP의 성능 평가 지표는 여러가지가 존재하지만 명확한 지표는 존재하지 않는다.

투빅스 14기 박준영

-LM : 언어 모델링이란 주어진 단어를 바탕으로 다음에 나올 단어를 예측하는 작업

• Conditional LM: 주어진 단어와 입력으로부터 다음 단어를 예측하는 모델.
• Teacher Forcing이란, Encoder의 input으로 source sentence를 넣고, Decoder의 input으로 Decoder를 빠져나온 output이 아닌 target sentence를 넣어서 학습시키는 것이다.
• 입력 텍스트 x를 바탕으로 중요한 정보를 정제하여 요약문 Y를 생성하는 text summarization이 있다. text summarization 모델을 평가하기 위해 ROUGE 평가 지표가 있다.
• RouGE란 모델이 생성한 요약본을 사람이 미리 만들어 둔 요약본과 대조하여 성능 점수를 계산하는 방법이다.
• NLG모델을 평가하는 방법은 Fluency, Diversity, Relevance 등의 방법은 있으나 NLG 성능을 평가하는 방법은 없다. 가장 이상적인 기준은 인간의 판단이지만 비용이 많이 나간다.

NLG의 개념과 NLG성능 평가의 한계에 대해 배울수 있는시간이었습니다. 좋은 강의감사합니다!

투빅스 14기 이정은

• 기존의 RNN은 병렬화가 불가능하고, Long-term dependency 처리에 약하며 계층 구조로 모델링이 불가하다는 단점을 가집니다. CNN은 RNN의 병렬화 문제를 해결하였지만, Long-term dependency 처리를 위해 많은 계층이 필요하여 연산량이 많아집니다.
• NLG는 학습 결과로 기계가 문장을 생성하는 기술로 Machine Translation, Summerization 등의 대표적인 task가 있습니다.
• 주어진 단어와 input으로부터 다음 단어를 예측하는 conditional LM 작업 이후, 문장 생성을 위해 Decoding Algorithm을 사용합니다.
• Decoding Algorithm에는 크게 3가지 방식이 있습니다. Greedy Algorithm은 속도는 빠르지만 초반에 이상한 단어가 추출되면 이후 결과가 안 좋아지는 단점을 가집니다. Beam Search는 k개의 가능한 가설로 높은 확률을 갖는 문장을 찾는 방식으로, 이 때 최적의 k(=Beam Size)를 찾는 것이 매우 중요합니다. Sampling Based Encoding은 Beam Search의 큰 k를 가지면 일반적인 답안이 나오는 단점을 보완한 방식입니다.
• NLG의 task 중 Text Summerization은 원본 문장을 그대로 추출하는 Extractive 방식과 중요한 내용을 담은 문장을 새로 생성하는 Abstractive 방식이 존재합니다.
• NN을 사용한 Neural Summerization은 single document abstractive summarization은 번역과 다를 바 없다는 가설을 가지고 seq2seq과 attention을 합쳐 적용하였습니다. 그러나 해당 모델은 oov나 고유명사 등의 디테일을 제대로 잡지 못하는 단점을 가지고 있습니다.
• 이를 보완하고자 필요한 단어나 구문을 그대로 복사하는 copy mechanism을 사용하였지만, 너무 많이 copy하여 결국 extractive 형태로 수렴한다는 문제가 발생하였습니다. 이는 모델은 단어가 포함되지 않은 부분에는 집중하지 않게 만든 bottom up summarization으로 해결했습니다.
• NLG의 평가지표로는 ROUGE, Perplexity 등이 존재하지만 모델 전체 성능을 보여줄 수 있는 이상적인 지표는 없습니다. 또한, 사람이 평가한 것과 수치적 지표 간의 평가가 달라 결국 사람이 평가하는 것이 제일 유의미하다고 말하기도 합니다.

Text Summerization에 대해 자세히 설명해주신 점이 좋았습니다. 감사합니다! : )