[Paper Review] NPIs Aren’t Exactly Easy: Variation in Licensing across Large Language Models

📍 NPIs Aren’t Exactly Easy: Variation in Licensing across Large Language Models

https://aclanthology.org/2023.blackboxnlp-1.25/

---

💡 Summary

• 연구 목적 : LLM이 구문-의미론 인터페이스에서 NPI를 언어 현상으로 습득하는 방식을 이해하기 위해 LLM 내 NPI licensing을 조사한다.
• 이전 연구들과는 달리, 본 연구는 서로 다른 NPI가 서로 다른 licensing 환경에서 가능하다는 NPI 분포 자체의 복잡성을 고려한다.
• 이에 따라 모델 아키텍처의 특징, 훈련 데이터의 속성, NPI 현상 자체의 언어적 특성 중 어떤 요소가 모델의 성능을 좌우하는지 탐색한다.

---

💡 INTRODUCTION

✏️ NPI (Negative Polarity Item)의 정의
: NPI는 언어학적 개념으로, 다른 요소에 의해 (주로 부정 환경) 통사적으로 적절한 맥락에서 허가 (licensed)되어야 하는 단어나 구문이다.

• 영어의 NPI는 긍정 문장에서 일반적으로 나타나지 않으며, 부정이나 부정 양화사, 하향 단조성 맥락과 같은 특정한 환경에서만 허가된다. 전형적 라이선서로는 단순 부정 not, 소수 양화사(few), 전제 부정자(without, before) 등이 논의되어 왔다.
• 주로 상위 명제가 성립하면 하위 명제도 성립하는 Downward Entailment (DE) 맥락에서 허가된다. (not, no, few, doubt, refuse 등)

• LLM에게 이러한 요소가 가능한 맥락을 결정하는 것은 어려운 문제다.
  • 관련 연구에 따르면 초기 LSTM 모델은 문법적인 NPI 발생과 비문법적인 발생을 체계적으로 구별하지 못한다. (Marvin and Linzen, 2018)
  • BERT (Warstadt et al., 2019) 와 GPT-2 (Hu et al., 2020)는 비교적 개선된 성능을 보이며, 충분한 매개변수와 훈련 데이터를 갖춘 RoBERTa 모델은 NPI licensing에서 거의 인간 수준의 성능을 달성할 수 있다. (Zhang et al., 2021)
    
    
• NPI Licensing이 어려운 이유
  1) NPI를 허가하는 맥락과 NPI의 범위가 상당히 다양하다.
  2) 주어 - 동사 일치와 달리, NPI를 허가할 수 있는 많은 맥락이 NPI를 명시적으로 포함하지 않는다.
  3) NPI licensing은 선형 거리에 제한되지 않는 비제한적 종속성 (unbounded dependency)를 가질 수 있다. 즉, 문장 내에서 NPI를 허가하는 맥락과 NPI 사이의 구조적인 거리는 무한히 증가할 수 있다.
  → 문장 내에서 요소 간 근접성이나 동시 발생 등의 힌트로 NPI 허가성을 완전히 파악할 수는 없다.
  
  

  📍 연구 목표
  본 연구는 NPI의 고유한 분포 패턴에 민감한 방식으로 LLM의 NPI 지식을 평가하는 접근 방식을 개발한다.

---

💡 VARIABILITY IN NPI LICENSING

• NPI는 일반적으로 부정적 맥락 (예 : 부정 양화사 no / none of the, 문장 부정 not)에서 허가된다.
• 영어 NPI 중 ever은 부정 외에도 (간접) yes/no 질문, 최상급의 제한어, only의 범위 아래 등과 같은 맥락에서도 허가된다.

예시) 영어의 ever (*표시가 된 문장은 비문법적이다)
a. No/None of the packages had ever arrived at the yellow house.
b. Packages had not ever arrived at the yellow house.
c. *Packages had ever arrived at the yellow house.
d. I wonder whether the packages had ever arrived at the yellow house. - yes/no 질문
e. These are the greatest packages that had ever arrived at the yellow house. - 최상급의 제한어
f. Only packages had ever arrived at the yellow house. - only의 범위 아래

• 모든 NPI가 동일한 맥락에 의해 허가되는 것은 아니다.

  • adverbial any는 부정과 간접 yes/no 질문에서는 허가되지만, 최상급에서는 허가되지 않는다.
  • exactly는 부정과 함께만 발생하며, 매우 제한적으로 허가된다.

• Zwarts (1998)와 Giannakidou (1998)는 licensing 맥락을 의미론적 속성에 따라 특성화하며, 이는 NPI의 위계를 가능하게 한다.

  • 이는 가장 약한 조건만 충족하도록 요구하는 superweak NPI부터 가장 강한 조건을 충족하도록 요구하는 superstrong NPI에 이르기까지 다양한 NPI 위계을 생성한다.

• Hoeksema (2012)는 이 분류가 NPI 분포의 전체 복잡성을 포착하지 못해 불완전함을 보이며, 다음과 같은 분류 체계를 보인다.
  

  • 이에 따르면 각 NPI의 허가하는 맥락이 무조건적으로 부분 집합-상위 집합 관계를 따르지는 않음을 알 수 있다.

• 실험에서 문장에서 위치만으로 NPI로 식별되지 않는 표현(예: either, can help) 및 여러 단어로 구성된 NPI(예: at all, in years)는 제외된다.

---

💡 EXPERIMENT

• 모델 : 다양한 아키텍처, 크기, 훈련 데이터셋을 기반으로 한 LLM을 포함한다.
  
  • Encoder-only Masked Language Models (MLMs)
  • Decoder-only Language Models (LMs)
  • Encoder-Decoder Sequence to Sequence Models (Seq2Seqs)
    → 매개변수 수는 1,100만 개에서 1,750억 개, 훈련 데이터 크기는 6GB에서 4.7TB에 이른다.
    
    
• 자료 및 방법
  • Table 1에 나열된 8개의 NPI와 9개의 허가 맥락을 포함한다.
  • 더불어, NPI를 라이선스하지 않는 추가적인 Null 맥락을 추가한다.
  • 각 NPI에 대해 6개의 고유한 문장 템플릿을 생성하고, 허가 맥락의 접두사가 추가되어 총 576개의 테스트 문장이 구성된다.
    

• 테스트 절차

  • MLMs 및 Seq2Seq 모델 : 테스트 예제의 NPI를 MASK 토큰으로 대체하고, 해당 위치에서 NPI의 로그 확률을 추출한다.

  • Autoregressive LM : 문장을 NPI 직전 위치에서 잘라, 다음 토큰 위치에서의 NPI 로그 확률을 추출한다.

    ⚠️ MLMs와 Seq2Seq 모델은 좌우 맥락을 모두 보는 반면, LMs는 좌측 맥락만 본다는 비대칭성이 존재하지만, 본 연구는 우측 맥락이 NPI의 가능성에 대한 정보를 제공하지 않도록 자극을 구성하였다.

• 상관 관계 분석
  • NPI 허가 여부를 판단하기 위해, Null 맥락의 확률을 빼서 조정된 로그 확률을 계산한다.
    : 양수 값은 해당 맥락에서 NPI가 Null 맥락보다 더 가능성이 높다고 예측됨 (모델이 '허가'함)을 나타낸다.
  • 조정된 모델 로그 확률과 Table 1의 이분적 인간 판단 사이의 점-이연 상관 관계를 계산하여 LLM이 NPI 분포에 얼마나 민감한지 탐색한다.
    • NPI별 분석에서는 NPI의 '강도'를 나타내는 대리 변수인 허가 수(n1)를 사용한다. (약한 NPI는 높은 값, 강한 NPI는 낮은 값)
    • 맥락별 분석에서는 모든 NPI를 허가하는 부정(Negation) 맥락은 제외한다.

      ✏️ 점-이연 상관 관계 분석
      연속적인 변수와 이분적인(dichotomous, 즉 두 가지 값만 가지는) 변수 사이의 상관 관계를 측정하는 데 사용된다.
      본 논문에서는 LLM의 예측값(조정된 로그 확률)과 인간의 이분적 문법성 판단(허가됨/허가되지 않음) 사이에 상관 관계를 계산하여, LLM이 NPI 분포에 얼마나 인간과 동일한 방식으로 반응하는지를 탐색한다. $n$ : 테스트 데이터 개수
      $s_x$: 인간의 이분적 판단의 표준 편차
      
      NPI별 분석 (특정 NPI $N$에 대해)
      $\bar{x}_1$ : NPI $N$이 허가되는 항목들의 조정된 평균 로그 확률
      $\bar{x}_0$: NPI $N$이 허가되지 않는 항목들의 조정된 평균 로그 확률
      ${n_1}$: NPI $N$이 허가되는 항목의 수 (인간 판단 기준)
      : 이 $n_1$ 값은 NPI의 강도(strength)를 대략적으로 나타내는 대리 변수로 간주될 수 있으며, 약한 NPI일수록 높은 값을 가진다.
      ${n_0}$: NPI $N$이 허가되지 않는 항목의 수
      
      허가 맥락별 분석 (특정 맥락 $C$에 대해)
      $\bar{x}_1$: 맥락 $C$에 의해 허가되는 NPI들의 평균 조정된 로그 확률
      $\bar{x}_0$: 맥락 $C$에 의해 허가되지 않는 NPI들의 평균 조정된 로그 확률

• 베타 회귀
  : LLM의 성능 (인간 판단과의 상관 관계) 변동에 기여하는 요인들 (모델 크기, 언어적 특성 등)을 이해하기 위해 수행된다.

  • 두 가지 주요 회귀 분석 유형이 NPI별 상관 관계 데이터 셋과 맥락별 상관 관계 데이터 셋 각각에 대해 수행된다.
    
    1) 모델 특성 및 허가 수 (licensing number)을 사용한 회귀
    모델의 크기와 NPI / 맥락의 언어적 제한성이 성능에 미치는 영향을 파악한다.
    • 주요 변수 :
      • 매개 변수 수의 로그 값 (모델 크기)
      • NPI의 허가 수 : 특정 NPI를 허가하는 고유한 환경의 수로 정의된다. (Table 1 참고)
      • 맥락의 허가 수 : 특정 맥락이 허가하는 NPI의 수 (Table 1 참고)
        : 일부 LLM은 특정 NPI를 단일 토큰으로 포함하지 않기 때문에, 맥락의 허가 수는 모델의 어휘에 단일 토큰으로 존재하는 NPI 수로 나누어 비율(ratio)로 변환된다.
        = 모델이 해당 맥락에서 허가하는 NPI의 비율
    
    2) 개별 NPI 또는 맥락을 사용한 회귀
    특정 NPI나 맥락의 상대적인 성능을 평가하여 부분 순서를 도출한다.
    • 개별 NPI 또는 맥락이 one-hot encoding으로 변환되어 예측 변수로 사용된다.

• 맥락 빈도
  : 모델 상관 관계의 추가 예측 변수로 다양한 허가 맥락의 빈도를 고려한다.

  • 빈도는 Penn Treebank 데이터셋을 검색하여 추정되었으며, 이는 모델 훈련 코퍼스에서의 빈도를 나타낼 수 있을 것이라 예상된다.
    

---

💡 RESULTS

• NPI별 결과
  [Figure 1] NPI에 대한 모델 매개변수의 수와 모델 예측 및 인간 판단 간의 상관관계. NPI는 가장 많이 허가된 것부터 적게 허가된 것까지 왼쪽에서 오른쪽으로 표시된다.
  
  

  • 상관 관계 분석 : LM과 Seq2Seq 모델에서 NPI별 성능에 상당한 변동성이 관찰된다.

  • 베타 회귀 : NPI의 허가 수와 매개변수 수 모두 모델 성능에 유의미한 양의 효과를 미치는 것으로 나타난다.
    → 이러한 양의 관계는 Seq2Seq 모델에서만 눈에 띄게 유지된다.

    [Figure 2] NPI에 따른 모델별 결과 시각화 (Hasse 다이어그램 형식)
    왼쪽에서 오른쪽으로 순서대로 제시된다 - MLM, LM, Seq2Seq.

    ✏️ [Figure 2] 의 Hasse 다이어그램의 해석 방법
    
    이 Hasse 다이어그램은 one-hot encoding에 대해 수행된 베타 회귀 결과를 기반으로 NPI의 부분 순서 (partial ordering) 를 나타낸다.
    순서는 NPI와 인간 라이선스 판단 간의 상관관계에서 도출되며, 그에 따라 특정 NPI는 상대적으로 높은 상관 관계를 나타낸다.
    이러한 다이어그램은 수직 위치를 사용하여 상대적 순서를 나타낸다. 즉, 다이어그램에서 높은 위치에 있는 NPI는 아래쪽 선을 따라 도달할 수 있는 모든 NPI에 비해 인간 판단과 더 강한 상관관계를 나타낸다.
    
    예를 들어, Seq2Seq 다이어그램(오른쪽)에서는 ever이 가장 높은 위치를 차지한다. 다른 모든 NPI는 ever에서 시작하여 아래쪽 선을 추적함으로써 도달할 수 있다. 연결되지 않은 NPI는 결과에서 통계적으로 유의미한 관계를 보이지 않는다.

  • Hasse 다이어그램 상에서의 NPI의 성능 순서를 보았을 때, 허가 수가 높은 NPI가 주로 상위에 위치하는 것을 알 수 있다.
    → 즉, 특정 NPI가 허가되는 환경이 많을수록 인간과 유사한 판단을 내리기가 수월하다는 것이다.

  • 예외적으로, exactly는 허가 맥락이 1개로 가장 낮음에도 불구하고, 가장 높은 순위의 NPI 중 하나로 나타난다.

• 맥락별 결과
  [Figure 3] 모델 매개변수의 수와 허가 맥락에 대한 모델 예측과 인간 판단 간의 상관관계. 허가 맥락은 가장 적게 허가하는 것부터 많이 허가하는 것까지, 왼쪽에서 오른쪽으로 제시된다.
  
  

  • 상관 관계 분석 : LM 결과에서 특히 변동성이 큰데, 간접 Wh-질문은 상관 관계가 0에 가깝고, 간접 yes/no 질문 및 조건절은 일반적으로 0.5 이상으로 나타난다.

  • 베타 회귀 : 허가 수(음의 효과) 및 매개변수 수(음의 효과)의 유의미한 효과가 발견되며, 허가 수와 매개변수 수 간의 상호작용이 이를 조정한다.
    → 모델이 작을수록 더 많은 NPI를 허가하는 맥락에서 성능이 낮아지지만, 이 페널티는 모델이 커질수록 감소한다.

    (모델의 크기가 NPI 허가 현상을 습득하는 데 중요한 역할을 하며, 특히 넓고 복잡한 맥락을 포괄하는 데 중요하게 작용한다는 사실을 추정해볼 수 있다.)

    [Figure 4] 허가 맥락에 따른 모델별 결과 시각화 (Hasse 다이어그램 형식)
    왼쪽에서 오른쪽으로 순서대로 제시된다 - MLM, LM, Seq2Seq.

  • 조건절 환경은 세가지 모델 유형 모두에서 일관되게 상위에 위치한다.
    → if와 같은 단어의 사용이 조건절을 구별하는 구문적 표시자 역할을 하여, 이 허가 구조를 학습하기가 상대적으로 쉬웠을 것이라 추정할 수 있다.

  • 간접 yes/no 질문과 보편 제한어 맥락에서는 세 모델 전반에 걸쳐 중상위권 성능과 연관되는 경향을 보인다.

  • 최상급 제한어와 간접 Wh-질문 등의 허가 맥락은 모델 유형에 따라 모든 수준의 성능과 연관되어, 순위가 비교적 가변적이다.

  • 맥락 빈도에 대한 회귀 분석에서는 유의미한 양의 효과가 발견된다.

---

💡 DISCUSSION

• 모델 크기와 NPI의 허가 맥락 수는 모두 인간 판단과의 높은 상관 관계에 기여하지만, NPI 유형 및 허가 맥락에 걸쳐 상당한 성능 변동이 관찰된다.
• NPI별 결과에서는 모델 아키텍처 전반에 걸쳐 NPI의 상대적 위치가 비교적 일관적임을 알 수 있다. 이는 NPI 클래스 내에 흥미로운 구조적 패턴이 있음을 나타낸다.
• exactly는 허가 맥락이 오직 하나임에도 불구하고, 모델이 가장 잘 수행하는 NPI 중 하나로 나타난다. 이는 exactly가 부정어 외에 다른 맥락에서는 허가되지 않아 학습 조건이 더 쉬울 수 있음을 시사한다.
• 더 크고, 더 많은 데이터로 훈련된 LLM이 인간의 언어 행동을 완전히 모방할 수 있다는 낙관론이 무조건 옳은 것은 아니며, 모델이 NPI 허가 맥락에 대한 일정 수준의 지식은 습득하지만 미묘한 차이는 놓칠 수 있음을 보여준다.

---

💡 CONCLUSION & LIMITATIONS

• NPI별 분석 결과, 모델 크기와 NPI의 허가 수 모두 모델 성능과 유의미한 양의 관계를 보인다.
• 맥락별 분석 결과, 더 큰 LLM이 특정 세분화 수준에서는 더 작은 LLM보다 본질적으로 우수하지 않을 수 있음을 알 수 있다.
• NPI 및 허가 맥락의 계층 구조와, NPI를 허가하는 맥락의 수, 환경의 구문적 특성 등 이에 영향을 미치는 중요한 특징을 발견하였다.

다만 본 연구는

• 계산 자원이 증가함에 따라 모델 크기와 데이터셋 크기가 함께 커지는 경향이 있어, 모델 아키텍처, 크기, 데이터셋 크기의 개별적인 효과를 구별하기 어렵다는 점과,
• NPI 허가에 대한 인간 판단 데이터는 이분적 판단으로 표현되어 있지만, 실제 인간 판단은 더 점진적(gradient)이며 정도성을 지닐 수 있다는 사실이 반영되지 않는다는 점에서

일부 한계를 지닌다.

---

💭 MY THOUGHTS

• LLM이 언어 현상을 어떻게 이해하고 활용하는지를 낱낱이 파악하는 데에는 구조적인 한계가 존재하다보니, 이렇듯 개별적인 현상에 대한 통제된 실험이 진행되어야만 메커니즘에 대한 설명이 어느정도 가능해지는 것 같습니다. 도출된 실험 결과를 살펴보며 그것이 어떠한 구문 구조나 문법, 문맥적인 특성에서 기인하는지, 각 모델이 이를 어떻게 학습하는지를 간략하게나마 고민해볼 수 있는 기회였습니다.

• 제가 이번 학기에 구상하고 있는 졸업 논문의 주제도 이와 관련되어 있어, 어떤 실험 방식으로 LLM의 판단에 조금이나마 설명력을 더하고, 더 나아가 이를 언어학적인 개념과 결부하여 이해할 수 있을지를 고민해보았습니다.

  • 의미론의 관점에서 보면 NPI licensing은 단순 상위 명제가 성립하면 하위 명제도 성립하는 downward entailment 환경에서만 이루어지지 않습니다. 부정극어가 허가되는 의미론적 환경으로는 only, exactly n과 같이 전제(presupposition)가 충족되는 한에서만 DE를 보이는 Strawson DE와 의문문, 조건문의 전건 등 진실성(veridicality)이 결여된 맥락으로, 명제의 참 여부가 보장되지 않는 환경 등도 포함됩니다. 저는 이번 졸업 논문에서 이러한 환경에 대한 LLM의 성능 변이를 관찰하고, 스코프 제약, 복잡한 구문 구조 등을 반영한 학습 데이터 증강이나 언어학적 지식을 주입한 중간 훈련 과정 등을 고안해보고자 합니다 ! 이에 시작점으로써 참고하기 매우 좋은 연구였다고 생각합니다 :)

• 더불어 연구의 결론과 관련하여 첨언하자면 .. 인간이 특정 구문에 대한 수용성 판단을 할 때에도 개인에 따른 변이나, 직관적으로 받아들이는 수용 가능성에 정도가 존재할 수 있다는 점에서, 모델의 판단이 인간의 판단과 얼마나 align하는지를 단순히 수치적으로 치환하여 생각할 수는 없을 것 같습니다. 따라서 모델에 따른 변이가 심하고, 도출되는 해석들이 상이한 것 또한 딱 잘라 설명할 수 없는 언어학적 현상의 특성을 단적으로 보여준다고 생각합니다. 이에 연구에서 제안한 한계점 또한 어쩌면 당연하고도 불가피한 영역이라는 생각이 들었습니다.