[Paper Review] Investigating BERT’s Knowledge of Language: Five Analysis Methods with NPIs

📍 Investigating BERT’s Knowledge of Language: Five Analysis Methods with NPIs

https://aclanthology.org/D19-1286/

---

💡 Summary

• State-of-the-art 언어 모델들은 상당한 언어학적, 문법적 지식을 요구하는 많은 NLP 태스크를 수행할 수 있지만, 내재한 문법 지식을 잘 평가하는 방법은 여전히 고안해내야하는 과제이다.
• any와 같은 NPI는 부정 환경과 같은 일부 라이선싱 환경에서만 문법적으로 허용된다. 해당 환경은 NPI의 종류에 따라서도 달리 정의되기 때문에 평가의 측면에서 매우 까다롭다.
  
  
• 본 연구는 영어의 부정 극어 항목 (Negative Polarity Item, NPI)에 대한 라이선싱이라는 단일 언어 현상을 사례 연구로 사용하여, 5가지 실험 방법을 탐색한다.
• 본 연구는 실험을 위해 NPI 라이선싱의 핵심 특징을 일부 조정하여 인공적으로 생성된 데이터셋을 도입한다.
• BERT는 NPI의 문법적 특징에 대한 상당한 지식을 보유하지만, 그 성공 여부가 실험 방법에 따라 상이하게 나타남이 발견되었다.
• 그에 따라 주어진 영역에서 모델의 문법적 지식의 관련 측면을 모두 밝히기 위해서는 다양한 평가 방법론이 동원되어야 함을 알 수 있다.

---

💡 Introduction

• BERT (Devlin et al., 2018) 와 같은 문장 인코더의 문법 지식을 평가하는 표준 방법론은 느리게 발전해왔으며, 관련한 기존 연구들은 다양한 방법론을 시도해왔다.
  
  

  • Probing Tasks : 특정 문법적 특징에 대한 지식을 목표로 평가하고자 하였다. (Shi et al., 2016; Ettinger et al., 2016; Tenney et al., 2019)
  • Minimal Pairs probabilities : 문법적 허용 가능성에서 최소 대립쌍 문장 간의 언어 모델 확률을 비교하였다. (Marvin and Linzen, 2018; Wilcox et al., 2019)
  • Boolean acceptability judgments : 생성 문법 방법론에서 영감을 받은 방법론으로, 문장의 수용성을 binary classification 형태로 도출한다. (Linzen et al., 2016; Warstadt et al., 2018; Kann et al., 2019)
    
    

• 본 연구는 NPI 라이선싱을 사례 연구로 사용하여 각 태스크 선택의 장단점을 이해하고자 한다.

• 이때, NPI 라이선싱은 (i) 라이선서(licensor)가 존재해야 하고 (ii) NPI가 해당 라이선서의 통사적 범위(syntactic scope) 내에 있어야만 문장이 허용되는 현상을 의미한다.

  • 관련한 자세한 개념 설명은 다음 링크를 참고하면 된다.

• 비교된 다섯 가지 실험 방법은 다음과 같다 :
  

  • Boolean acceptability classification : 문장을 단독으로 평가하는 boolean 허용 가능성 분류 태스크
  • Absolute minimal pair task : 최소 대립쌍 중 허용 가능성에 차이가 있는 문장 쌍을 절대적인 boolean 출력으로 평가하는 태스크
  • Gradient minimal pair task : 허용 가능성 분류기의 경향성 출력(gradient outputs)이 최소 쌍을 구별하는지 평가하는 태스크 (비허용 문장보다 허용 가능한 문장에서 더 높은 수용성을 도출하면 정답 처리한다.)
  • Cloze test : BERT의 마스킹된 언어 모델링(MLM) 헤드의 문법적 선호도를 평가하는 태스크
  • Probing task : NPI 라이선싱과 관련된 특정 문법적 특징에 대한 BERT 표현을 직접 평가하는 태스크
    
    

---

💡 Methods

• NPI 허용 가능성 판단 데이터셋(S4)을 사용하여 다섯 가지 접근 방식을 실험한다.
• 각 데이터 샘플은 문장, 문법성 레이블, 세가지 메타 데이터 변수 (라이선서, NPI, 범위)를 포함한다.
  
• 4가지 평가 모델을 사용한다:
  • GloVe BoW (단순 Bag-of-Words) 베이스라인 (Pennington et al.,2014)
  • BERT-large
  • 각 한가지 추가 태스크에서 파인 튜닝된 두개의 BERT 모델 (BERT→MNLI, BERT→CCG)

(i) Boolean Acceptability

• NPI 데이터셋에서 문장의 문법적 허용 가능성(완전히 허용 가능하거나 완전히 불가능하다고 가정)을 판단하는 모델의 능력을 테스트한다.
• BERT 기반 모델의 경우 마지막 레이어의 [CLS] 임베딩 위에 분류기를 추가하고, BoW의 경우 최대 풀링 후 MLP 분류기를 사용한다.
• 성능은 Matthews Correlation Coefficient (MCC)로 측정한다.

  ✏️ Matthews Correlation Coefficient (MCC) ?
  정답 레이블과 모델 예측이 서로 얼마나 잘 일치하는지를 상관계수 형태로 측정한 값이다.
  값의 범위는 -1에서 +1이며, 0은 상관 관계가 없음을 의미한다.
  해당 지표는 특히 클래스 불균형이 심할 때 Accuracy에 비해 높은 신뢰성을 보인다.

(ii) Absolute Minimal Pair

• 하나의 특징 (라이선서, NPI, 또는 범위)에서 차이가 나고 허용 가능성이 다른 문장 쌍을 사용하여 boolean 허용 가능성을 분류한다.

• 예를 들어, 다음 두 문장은 최소 대립쌍에 속한다 :

  • Mary hasn't eaten any cookies.
    Mary has eaten any cookies.

• 최소 대립쌍 내 쌍의 두 문장을 모두 정확하게 분류할 때 모델은 정확성을 가졌다고 판단된다.

(iii) Gradient Minimal Pair

• Absolute Minimal Pair보다 관대한 평가 방식이다.
• 분류기가 허용 가능한 문장에 대해 비허용 가능한 문장보다 더 높은 허용 가능성 값을 예측하기만 하면 올바르게 분류된 것으로 간주한다.

(iv) Cloze Test

• BERT의 마스킹된 언어 모델링(MLM) 컴포넌트를 사용하여, 최소 쌍 중 허용 가능한 문장에 더 높은 확률을 할당하는지 평가한다.
• 테스트된 최소 쌍은 길이가 같고 단 하나의 토큰에서만 차이가 나야 한다.
• 서로 다른 단어 하나만 [MASK]로 치환하여 확률을 비교하는 방식으로 평가한다. 그에 따라, acceptable한 문장의 단어 토큰 확률이 더 높을 때 정확하다고 판단한다.
• 이 실험은 다른 최소 쌍 실험과 달리 비지도 학습 방식으로 BERT의 기본 MLM 기능을 사용한다.

(v) Feature Probing

• NPI 문장의 허용 가능성을 판단하기 위해 모델이 학습해야 하는 핵심 속성인 라이선서 존재 여부, NPI 존재 여부, NPI가 라이선서의 통사적 범위 내에 있는지 여부에 해당하는 메타데이터 레이블을 예측하도록 경량 분류기를 훈련한다.

---

💡 Data

• 인공적으로 136,000개의 NPI 관련 영어 문장과 수용성 레이블을 가진 데이터셋을 생성한다.
  

• 데이터셋에는 9가지 NPI 라이선싱 환경 (Adverbs, Conditionals, Determiner negation, Sentential negation, Only, Quantifiers, Questions, Simple questions, Superlatives)과 2가지 NPI(any, ever)가 포함된다.

• 대부분의 라이선서-NPI 쌍은 3가지 boolean NPI 라이선싱 특징을 조작하여, 2×2×2 패러다임을 따른다. 해당 패러다임은 Table 2에서와 같이 라이선서 존재 여부, NPI 존재 여부, NPI가 라이선서의 범위 내에 있는지 여부를 포함한다.
  

  • 라이선서 : NPI를 허가하는 라이선서가 문장 내에 있는지를 나타낸다. 라이선서가 없을 경우, 유사한 구문 분포를 가지지만 NPI를 라이선싱하지 않는 대체 항목 (licensor replacement)으로 대체한다.
    예를 들어, NPI를 허가하는 양화사 every에 대해서는 some, many, more than three 등의 양화 개념을 대체 항목으로 사용한다.

  • NPI : NPI가 문장에 있는지, 아니면 유사한 구조적 분포를 가진 NPI 대체 항목 (NPI replacement)으로 대체되었는지 나타낸다.
    예를 들어, NPI에 해당하는 ever에 대해서는 often, sometimes, certainly 등의 대체 항목을 사용한다.

  • 범위 : NPI/NPI 대체 항목이 라이선서/라이선서 대체 항목의 범위 내에 있는지 나타낸다. 이는 라이선서 유형에 따라 크게 달라진다.

    • "Any cookies have not been eaten."과 같은 문장에서, NPI는 문두에 등장하여 부정어보다 높은 위치 (=scope 밖)에 자리한다. 따라서 부정어가 NPI를 c-command 하지 못하고, 이 경우 언어학에서는 NPI인 Any가 라이선서의 범위 밖에 있다고 정의한다.

• Simple Questions 환경만 범위 조작이 없는 축소된 2×2 패러다임을 따른다.
  

• 데이터 생성을 위해, 각 조건에 대해 문장 템플릿을 생성하고, 구문적, 형태학적, 의미적 특징으로 주석이 달린 1,000개 이상의 어휘 항목에서 단어를 샘플링한다.

• 훈련 세트는 환경당 10K 문장, 개발 및 테스트 세트는 각각 1K 문장을 포함하며, 동일한 패러다임의 문장은 항상 동일한 세트에 배치된다.

• 생성된 문장이 의도대로 허용 가능성 측면에서 대비되는지를 확인하기 위해 Amazon Mechanical Turk (MTurk)를 사용하여 데이터의 하위 집합 (500개 문장)을 검증한다.

  • 참가자들은 각 문장을 1 (가능하지 않음)부터 6 (가능함)까지의 리커트 척도로 평가한다.
  • MTurk 평가 결과, 허용 가능하도록 레이블링된 문장의 81.3%가 허용 가능 등급을 받았고, 비허용 가능하도록 레이블링된 문장의 85.2%가 비허용 가능 등급을 받아 전반적인 일치율은 82.8%을 기록한다.

---

💡 Experimental Settings

• 사용한 모델은 다음과 같다 :
  
  

  • GloVe BoW : 840B 토큰의 300차원 GloVe 단어 임베딩을 최대 풀링한 Bag-of-Words 베이스라인
  • BERT : BERT-large (cased 버전) 모델
  • BERT → MNLI : Multi-Genre Natural Language Inference(MNLI) 코퍼스에서 중간 파인 튜닝된 BERT
  • BERT → CCG : Combinatory Categorial Grammar Bank(CCG) 코퍼스에서 파인 튜닝된 BERT
    

• 모델이 학습된 환경에서 이전에 보지 못한 환경으로 일반화할 수 있는지를 확인하기 위해 여러 구성을 테스트한다.
  

  • CoLA (Corpus of Linguistic Acceptability): boolean 형태의 문장 수용성 레이블을 가진 CoLA 데이터셋에서 훈련하고 해당 환경에서 평가한다.
  • 1 NPI : 동일한 NPI 환경에서 훈련 및 평가를 진행한다.
  • Avg Other NPI : 하나의 NPI 환경을 제외한 모든 환경에서 훈련하고, 해당 환경에서 평가 결과를 평균하여 도출한다.
  • All-but-1 NPI : 하나의 환경을 제외한 모든 환경에서 훈련하고, 해당 환경에서 평가를 진행한다.
  • All NPI : 모든 환경에서 훈련하고, 해당 환경에서 평가를 진행한다.
    

    ✏️ Configuration에 대한 부가 설명
    
    명확한 설명이 제시되지는 않았지만, Avg Other NPI와 All-but-1 NPI 구성의 가장 큰 차이점은 성능 측정 및 결과 보고의 측면에 있는 것으로 보인다.
    
    Avg Other NPI의 경우, N-1 (하나의 NPI 환경을 제외한 모든 환경) 개의 환경에서 각각 독립적으로 훈련된 후, 제외된 1개의 환경에 대한 평가를 진행하여, 모든 독립적인 테스트 결과의 평균을 보고한다.
    
    다만, All-but-1 NPI의 경우, 모든 N-1개의 환경을 합쳐 훈련을 진행한 후, 제외된 1개의 환경에 대한 단일 점수를 도출하는 것으로 보인다. 즉, 대규모에서 훈련을 진행한 후 새로운 단일 환경에 대한 일반화 능력을 측정한 것이다.

---

💡 Results

Acceptability Judgements

• BERT는 모든 테스트 데이터에서 BoW 베이스라인보다 우수한 성능을 보인다.
• 1 NPI 설정에서는 모든 BERT 변형이 모든 테스트 데이터에서 MCC 1.0에 도달한다.
• All-but-1 NPI 구성에서는 BERT의 성능이 하락한다.
  특히, Simple Question 환경에서는 0.58로 떨어짐을 알 수 있다.
• MNLI 및 CCG 파인 튜닝은 허용 가능성 판단에 명확한 이점을 가져오지 못한다. 일반 BERT가 9개 환경 중 7개에서 더 나은 성능을 보인다.

Absolute and Gradient Minimal Pairs

• 경향성 측정 (Gradient measure) : BERT는 라이선서 및 범위에서 차이가 나는 최소 쌍에 대해 거의 완벽한 성능을 달성한다.
• 절대 측정 (Absolute measure) : BERT와 BoW 모두 성능이 저조하다.
  특히 라이선서와 범위 (자명하지 않은 통사적 지식 요구)를 목표로 할 때 절대적인 판단이 더 어려운 것으로 나타난다.
• NPI의 존재 여부로만 차이가 나는 최소 쌍에 대해서는 BoW와 일반 BERT 모두 거의 완벽한 정확도를 보인다.

Cloze Test

• BERT MLM은 NPI 데이터에 대한 지도 학습 없이도 허용 가능한 문장과 허용 불가한 문장을 구별할 수 있다.
• NPI 존재 감지 정확도는 모든 환경에서 0.76에서 0.93 사이로 비교적 높다.
• 라이선서 존재 감지 정확도는 환경에 따라 훨씬 더 가변적이다.
  • Conditional, Sentential negation, Only 환경에서 높고, Quantifier, Superlative 환경에서 낮게 나타난다.

Feature Probing

• BoW 베이스라인은 NPI 및 라이선서 존재 감지 (구문이나 어순 지식이 필요하지 않은 태스크)에서 거의 완벽한 성능을 보인다.
  이는 라이선서의 GloVe 임베딩이 NPI와의 공통 속성을 공유하며, 존재 감지 여부는 통사 구조, 문장 순서 차원의 지식을 별도로 요구하지 않기 때문이다.
• 일반 BERT는 BoW 기준선보다 범위 감지(초록색 바 차트)에서 뛰어난 성능을 보인다.
• CoLA 파인 튜닝은 BERT의 NPI 존재 감지 성능을 향상시키며, NPI 데이터 파인 튜닝은 범위 감지 성능을 향상시킨다.
• 라이선서 존재 감지에 비해 전반적으로 범위 감지 성능이 낮게 나타났는데, 이는 최소 쌍 실험에서는 발견되지 않은 현상이다.
  

---

💡 Discussion

• BERT는 대부분의 개별 라이선싱 환경에서 NPI 라이선싱과 관련된 모든 특징을 체계적으로 표현하지만, 이러한 결과는 비교하는 방법론에 따라 상이하다.

• 경향성(Gradient) / 절대적(Absolute) 태스크

  • 경향성 태스크는 절대적 태스크보다 전반적으로 쉽다.
  • 실험 결과, BERT의 경향성 태스크에서의 높은 성능은 모델이 NPI 영역에 체계적인 지식을 내포함을 시사한다.
  • 그러나 경향성 태스크의 천장 효과 (ceiling effects)는 절대적, 클로즈, 프로빙 태스크에서 명확히 관찰되는 NPI 라이선싱 환경 간의 실제 차이를 밝히는 데 실패한다.
    ✏️ 이때 천장 효과란, 모델의 성능이 특정 태스크에서 너무 높아져 (즉, 천장에 도달하여) 더 이상의 개선이나 미묘한 차이를 포착하기 어렵게 되는 현상을 말한다.

• 지식의 종류

  • BERT의 NPI와 라이선서 (어휘적 존재 여부 판단)에 대한 지식은 라이선서의 범위(구조적 지식 요구)에 대한 지식보다 일반적으로 더 강건하다.
  • 범위 감지에 성공하려면 최소한의 어순 정보를 반영해야 하며, 이는 단순한 동시 발생 정보만으로는 충분하지 않기 때문이다.

• 지식의 성격

  • BERT는 허용 가능성 대비에 대한 체계적인 지식을 가지고 있지만, 이 지식은 라이선싱 환경에 따라 다르며 범주적이지 않다.
  • 이는 생성 문법 모델 (Chomsky, 1965, 1981, 1995)이 인간의 언어 지식을 범주적으로 모델링하는 방식과는 다르다.

• 파인 튜닝의 영향

  • CCG 및 MNLI에 대한 추가적인 파인 튜닝은 성능을 향상시키지 못했으며, 경우에 따라서는 성능을 저하시키기도 한다.
  • 이는 NPI 영역에서 구조적 지도 학습이 성능을 개선했다고 보고한 Wilcox et al. (2019)의 결과와 대조된다.

• 이에 따라, 지정된 영역 내에서 모델 성능을 평가할 때는 다양한 방법론을 사용할 것이 권고된다.
  한 태스크에서의 좋은 성능이 다른 태스크에서 드러날 수 있는 실제적인 차이를 숨길 수 있으며, 반대로 저조한 성능이 모델이 내포한 체계적인 문법 지식을 감출 수 있기 때문이다.

---

💡 Conclusion

• 영어의 문법 영역 내에서 다양한 평가 태스크를 사용하면, 인코더 지식의 서로 다른 측면을 파악할 수 있다는 사실이 드러났다.
• 본 연구는 여러 평가 방법의 결과를 종합적으로 고려하여, BERT가 대체로 NPI 라이선싱에 대한 체계적인 지식을 가지고 있음을 입증한다.
• 그러나 이 지식은 해당 현상과 관련된 특징 전반에 걸쳐 균등하지 않으며, 이러한 특징들이 허용 가능성에 미치는 범주적 (boolean) 효과를 완전히 반영하지는 못한다.

---

💭 My Thoughts

• 실험 결과에서, BERT 모델의 문법 지식이 과제 및 환경에 따라 상이하게 나타나며, 특히 단순 문장 요소의 존재 여부보다 스코프 제약에서 불완전한 판단을 내리거나 환경에 따라 문법성 경계가 흐려지는 (gradient한 판단을 내린다는 점) 양상을 보인다는 점이 (비록 언어학의 전통적인 생성 문법 모델과는 차이를 보인다 하더라도) 실질적인 인간의 문법성 판단과 일맥상통한다고 생각하였습니다.
  본 연구에서 데이터 검증을 위해 인간 평가자로 하여금 0-6의 likert scale로 문장의 수용성을 판단하도록 지시하였을 때, 개인에 따른 수용성 판단의 범위가 상이했다는 점을 떠올려보았을 때 이러한 모델의 경향성은 결코 낯설지 않다고 생각합니다. 인간 또한 통합된 NPI 라이선싱의 메커니즘을 학습하기보다는 경험적으로 관련 환경 및 패턴을 학습하면서 문장을 이해하고 그 수용성을 판단하기 때문입니다.

• 실험 자체는 여러 베이스라인과 인공적으로 생성한 데이터셋을 기반으로 비교적 체계적으로 이루어졌다고 생각합니다. 다만, 생성된 synthetic data가 실제 언어적 복잡성을 얼마나 반영했는지에 대한 설명이 다소 부족하다고 느꼈습니다. 본 연구는 주로 템플릿 기반의 데이터 증강을 수행하였기에 자동 생성이 가지는 한계점이 분명 존재했을 것으로 보이는데, 그 과정에서 제한된 어휘에 대한 대응, selectional requirements에 대한 고려, 문법성 검수 등이 어떻게 이루어졌는지에 대한 설명이 첨부되지 않은 점이 다소 아쉬웠습니다.
  (저 또한 실제 NPI 관련 데이터를 증강해보며 각 단어 및 문장 구조에 들어맞는 데이터를 일관성 있게 생성해내는 데 어려움을 겪었기에, 이에 대한 설명이 부가적으로 이루어졌다면 더 흥미로웠을 것 같습니다 !)