도메인 지식을 인코딩하기 위한 Theseus 소개

Theseus 소개 (link)

연구 내용 개괄

• Theseus(테세우스)란, 미분가능한 비선형 최소 제곱법(differentiable nonlinear least squares; NLS)이라고 불리는 최적화 테크닉을 위한 오픈소스 라이브러리
• 어플리케이션에 무관하게 적용 가능한 첫번째 라이브러리 (by Meta AI)
• 파이토치 기반, 로보틱스와 컴퓨터 비전과 같은 어플리케이션에 유용하며 연산과 메모리 속도를 증가시켜 효율성 증대
• AI 아키텍처에 손쉽게 전문가 도메인 지식을 통합시킬 수 있음
  • 지식을 최적화 문제로 표현해 아키텍처에 모듈화된 optimization layer 추가
  • 일반적인 그래디언트 기반 학습 진행

Theseus가 결합한 두 가지 방법론

• 개별문제를 해결하기 위한 AI 최적화 알고리즘 (딥러닝 이전)
  • 직접 선택한 요소들의 조합의 최소값을 찾는 방식으로 문제 해결
    • 특정한 문제에 대한 최적화
  • 효과적이나 새로운 환경 및 시스템에서 유연하게 사용될 수 없음
  • 처음부터 끝까지 미분가능해야 backpropagation으로 모델 가중치를 학습할 수 있으나 전통적인 최적화 알고리즘은 그렇지 않음
• 딥러닝
  • 확장 가능하지만 많은 양의 데이터를 필요로 함
  • 효과적이나 학습데이터 밖에서는 불안정한 성능
• 테세우스는 최적화의 결과를 레이어로 전환하여 어느 뉴럴 네트워크 아키텍처에 연결해도 사용 가능하도록 두 방법을 결합

작동 방법

• NLS는 예측해야 하는 실제 값으로부터 비선형 함수가 얼마나 변형되어 있는지를 측정
  • 작을수록 함수가 데이터와 일치함을 의미
  • 컴퓨터 비전, 로보틱스에서 자주 사용
• NLS를 미분가능하도록 만들기 위해, 테세우스는 미분가능한 비선형 최적화를 레이어로써 제공
  • input: sum-of-weighted-squares objective function
  • output: arguments producing minimum of the objective
• 이는 옵티마이저와 known priors를 딥러닝 학습 루프에 결합해 도메인 지식을 인코딩하고 실제 태스크 loss를 학습하게 함
• 효율성을 위해 sparse solver, automatic vectorization, batching, GPU acceleration, gradient computation with implicit differentiation 등을 지원