언어를 보는 관점

언어를 의사소통수단으로 보는 관점과 internal though로 보는 관점 두 개가 존재한다. EMNLP2021 콘퍼런스에서 Fedorenko’의 FMRI에 기반한 연구에 따르면, 언어는 일종의 predictive한 것으로써, 추론 시스템과 언어 시스템은 분리가 되어 있다고 주장한다. 그리고 이러한 언어 시스템은 현대 NLP 모델의 구조와 매우 유사하다고 한다.

현대 NLP의 한계 - 추론이 안된다.

Bender and Koller에 따르면 지금 NLP는 겉으로는 요약과 Q&A task를 푸는 것 같지만 실제로는 그렇지 않고, text-based에만 의존하는 것을 벗어나야 한다고 주장한다.

Timkey, W. and van Schijndel, M. (2021)논문에서는 Rogue라는 개념을 제안하며, rogue(작은 몇 개의 차원)가 모델을 좌우한다고 주장한다. 그래서 이러한 rogue를 제어하는 postprocessing 테크닉을 제안했다.

Paik, C., Aroca-Ouellette, S., Roncone, A., and Kann, K. (2021)에서는 CoDa(사람이 인지 가능한 색을 구분하기 위한 데이터)라는 데이터셋을 새롭게 구성했으며, 이를 바탕으로 PLM의 한계를 지적했다. 근본적으로 사람은 명백하게 딱 이거다라고 말하지 않는 경향이 있어, 텍스트만으로는 이러한 데이터를 인지하는 것에 부족함을 발견했고 그래서 다양한 형태의 데이터를 언어 모델에 적용하는 방법을 탐구했다.

Kalyan, A., Kumar, A., Chandrasekaran, A., Sabharwal, A., and Clark, P. (2021)에서는 새로운 추론 데이터셋을 고안해서 대략적으로 예측해야 되도록 만들 뿐 정확히 계산을 못하도록해서 추론을 검증하도록 했다. 예를 들어, 얼음이 다 녹으면 해수면이 얼마나 상승할까?와 같은 질문과 답을 구성해서 좀 더 진실된 추론 능력을 판단하도록 만들었다.

Jiang, Z., Tang, R., Xin, J., and Lin, J. (2021)연구에서는 bert는 오직 순서에 맞게 재정렬을 시킨 token matching에 의존한다고 주장한다. 즉, 몇 개의 초기 토큰들이 Q&A 문제에서 답을 내는 것에 좌우를 하고 그 뒤의 나오는 단어들은 미미한 영향력을 가진다고 한다.

그럼에도 LMs이 성공적으로 사용한 사례

Schick, T. and Schütze, H. (2021)연구에서는 pretrained LM으로 높은 퀄리티를 지닌 문장 백터를 얻을 수 있어, label데이터를 만드는 것에 매우 유용하다는 것을 입증했다.

Meng, Y., Zhang, Y., Huang, J., Wang, X., Zhang, Y., Ji, H., and Han, J. (2021)연구에서는 NER을 개선하는 두 가지의 포인트를 짚었다. 첫 번째로, noise에 잘 휘둘리지 않게 학습 스키마를 새로운 loss함수와 noisy한 라벨을 제거하는 스텝을 넣어서 제안했다.(distantly-labeled data로 학습했다.) 두 번째로, self-training방법론을 이용해서 generalization(일반화)성능을 높였다.

Mekala, D., Gangal, V., and Shang, J. (2021)연구에서는 fine-grained classification 문제를 해결하는 것의 시작점으로 coarse dataset을 LM과 함께 이용해서 pseudo 라벨을 빠르게 만들어서 학습을 한다면 효과적으로 풀 수 있다고 입증했다.

Amplayo, R. K., Angelidis, S., and Lapata, M. (2021)에서는 리뷰와 요약 합성 데이터를 새롭게 만들어서 하나의 문서를 다양한 층위와 디테일의 관점에서 볼 수 있도록 했다. 저자들은 문서를 요약할 때 multi-instance learning에서 새롭게 aspect controller라는 것을 도입해서 성능을 개선했다고 말한다.

LMs 개선 for 추론과 설명

Thawani, A., Pujara, J., and Ilievski, F. (2021)에서 exponent embeddings를 도입해서 성능을 개선했다고 한다.

Shi, J., Ding, X., Du, L., Liu, T., and Qin, B. (2021)에서 인간의 추론과정과 딥러닝 아키텍쳐를 통합하는 neural-symbolic QA approach를 제안했다.

기타

1. 설명가능성이 요즘에 가장 큰 핫 이슈이다.

2. Sara Hooker, a research scientist at Google Brain, pointing out the Clever Hans problem with current language models. They may look intelligent but possibly get their answers from different keys that leak into the model and therefore the systems do not have actual language understanding.