Linear Algebra

Orthogonal

각이 90도로, 직교한다는 의미.

Advantages

1. 특성이 독립적이면 모델이 더 효율적
   • 머신러닝에서 특성(Feature)들이 독립적이면 모델이 더 잘 학습됨.
   • PCA, 신경망 가중치 초기화 등에 활용됨.
2. 내적이 0이므로 계산이 단순해짐
   • 직교 벡터는 내적이 0이라 연산이 단순해지고 빠름.
   • RNN, CNN 가중치 최적화에 사용됨.
3. 잡음(Noise) 제거 및 데이터 압축에 유용
   • PCA(주성분 분석), SVD(특이값 분해) 등에서 직교 벡터를 사용하면 중요한 정보만 유지 가능.
   • 데이터 차원 축소에 효과적.
4. 수치적으로 안정적인 연산 가능
   • 정규화된 직교 벡터는 수치적 오류(overflow, underflow)를 줄여 학습을 더 안정적으로 진행 가능.

Disadvantages

1. 실제 데이터는 완벽하게 직교하지 않음

   • 현실 세계의 데이터는 서로 상관관계가 있음.
   • 직교화를 강제하면 중요한 정보가 사라질 수 있음.

2. 추가적인 변환 비용 발생

   • PCA, SVD처럼 직교화를 적용하려면 추가적인 연산 비용이 필요.
   • 딥러닝에서는 학습 도중 직교성이 깨질 가능성도 있음.

3. 자연어 처리에서는 직교하면 의미 표현이 어려움

   • 단어 벡터(Word2Vec, GloVe)는 의미적으로 유사한 단어들이 가까이 있어야 함.
   • 완전 직교하면 유사한 단어도 멀리 떨어지므로 비효율적.

! 차원 축소, 신경망 학습할 때는 유용하지만, 무조건 직교화하면 정보 손실가 손실될 수 있다.

Features of Angle

• 각이 작아질수록 벡터가 유사해짐
  • (코사인 유사도 ↑, 내적 ↑)
• 각이 90도면 벡터가 독립적인 정보
  • (코사인 유사도 = 0, 내적 = 0)
• 각이 커질수록 벡터가 반대되는 정보
  • (코사인 유사도 ↓, 내적 < 0)