1. 언어 구조의 두 가지 관점

• 인간 언어의 구조를 이해하는 데는 두 가지 주요 관점이 있습니다.

구 구조(Phrase Structure)

• 이는 문장을 구성하는 단어들이 계층적인 그룹(구, Phrase)을 형성한다고 보는 방식입니다.
• 예를 들어 'the cat'은 명사구(NP)가 되고, 'ate a fish'는 동사구(VP)가 되어 이들이 합쳐져 하나의 문장(S)을 이룹니다.
• 마치 레고 블록을 쌓아 올리듯 작은 단위들이 모여 더 큰 의미 덩어리를 만드는 원리입니다.

의존 구조(Dependency Structure)

• 이 관점은 문장의 단어들이 서로 직접적으로 의존하는 관계에 주목합니다.
• 문장에는 핵심적인 역할을 하는 '핵심어(head)'가 있고, 다른 단어들('수식어', modifier)은 이 핵심어를 보충하거나 수식합니다.
• 이 관계는 화살표로 연결된 트리 형태로 표현되어 문장의 핵심적인 의미 관계를 시각적으로 보여줍니다.
• 강의는 이 의존 구조에 초점을 맞춰 구문 분석 알고리즘을 설명합니다.

---

2. 구문 분석의 주요 난제와 역사적 배경

• 언어는 생각보다 모호한 부분이 많습니다.
• 이 때문에 모델은 문장의 의미를 올바르게 해석하는 데 어려움을 겪기도 합니다.

언어의 모호성

• 강의에서는 "Scientists count whales from space"와 같은 문장의 예시를 통해 문법적으로 여러 가지 해석이 가능한 모호성을 설명합니다.
• 'space'가 'scientists'를 수식하는지, 'count'를 수식하는지에 따라 의미가 달라질 수 있습니다.
• 이러한 전치사구 부착 모호성 외에도 조정 범위 모호성과 같은 다양한 유형의 모호성이 존재합니다.

의존 문법의 역사

• 놀랍게도, 의존 문법은 역사적으로 인간 언어 구조를 표현하는 데 가장 오래되고 지배적인 방식이었습니다.
• 강의에서는 고대 산스크리트어 문법을 연구한 최초의 문법학자인 파니니(Pāṇini)가 이미 의존 문법의 개념을 사용했음을 언급하며 그 깊은 역사를 강조합니다.

---

3. 의존 구문 분석의 핵심 알고리즘

• 구문 분석의 목표는 문장에서 의존 구조를 찾아내는 것입니다.
• 이를 달성하기 위해 크게 세 가지 방법이 사용됩니다.
  
  
  

전이 기반 구문 분석(Transition-Based Parsing)

• 이 방법은 문장을 분석하는 과정을 마치 게임처럼 일련의 연속적인 동작(actions)으로 접근합니다.
• 스택과 버퍼라는 두 개의 자료 구조를 이용해, 단어를 옮기거나(shift), 단어들 간의 관계를 설정하는(left-arc, right-arc) 규칙을 순차적으로 적용하여 최종적인 의존 트리를 만듭니다.
• 이 방식은 매우 빠르고 효율적이지만, 각 동작이 이전 단계의 결정에 의존하기 때문에 한 번의 실수가 전체 분석에 영향을 미칠 수 있습니다.
  

그래프 기반 구문 분석(Graph-Based Parsing)

• 이 접근법은 전이 기반과 달리, 문장 내에 존재하는 모든 단어 쌍에 대해 의존 관계의 점수를 계산합니다.
• 이 점수들을 바탕으로 전체 문장에서 가장 높은 점수를 가진 의존 관계들만을 선택하여 최적의 의존 트리를 구축합니다.
• 모든 가능한 조합을 고려하기 때문에 전이 기반 방식보다 더 높은 정확도를 얻을 수 있지만, 계산 비용이 더 많이 드는 경향이 있습니다.

신경망 기반 구문 분석(Neural Dependency Parsing)

• 과거의 모델들은 단어의 희소성 문제(데이터 부족)나 방대한 계산량에 직면했습니다.
• 신경망의 도입은 이 문제를 혁신적으로 해결했습니다. 신경망은 단어를 의미를 내포하는 단어 임베딩(Word Embedding) 벡터로 변환하여 사용합니다.
• 이 벡터는 단어의 문맥 정보를 압축하여 담고 있어, 모델이 복잡한 문법적 패턴을 효과적으로 학습할 수 있게 합니다.
• 강의에서는 댄치 첸(Danqi Chen)의 연구를 예로 들며, 신경망이 어떻게 구문 분석 모델의 성능을 획기적으로 향상시켰는지 보여줍니다.

$\Rarr$ 이 세 가지 방법은 각기 다른 방식으로 문장의 구조를 해독하며, 특히 신경망은 현대 자연어 처리의 발전을 이끌어 구문 분석의 정확도를 크게 끌어올리는 데 결정적인 역할을 했습니다. Dependecy Parsing은 NLP 기본기를 다지는 데 매우 중요하지만, 최신 태스크 대부분에서는 LLM이 암묵적으로 대체한다고 보면 됩니다.