#2 ML-Embed

Beyond the storage benefits of Matryoshka Representation Learning (MRL) and flexible inference-time depth provided by Matryoshka Layer Learning (MLL), we introduce Matryoshka Embedding Learning (MEL) for enhanced parameter efficiency.

자연어와 프로그래밍 언어를 같은 축에서 나열했다.

기존의 표준 임베딩 공간에서 벡터의 각 원소(차원 인덱스 $1, 2, \dots, D$)는 정보와 엔트로피를 동등하게 나누어 분담한다. 그 결과 임베딩의 일부 차원을 잘라내면 전체 의미가 손상된다. 최종 목표는 차원의 순서(인덱스)에 따라 의도적으로 불평등한 책임(정보 밀도)을 강제하여, 앞쪽 인덱스 몇 개만 떼어내도 대상의 핵심 본질을 완전하게 식별할 수 있는 차원 계층 구조를 학습시키는 것이다.

최종 목표는 단 하나의 모델을 학습시켜 필요에 따라 파라미터(MEL), 레이어 깊이(MLL), 표현 차원(MRL)을 러시아 인형(마트료시카)처럼 자유롭게 잘라내어 즉시 배포할 수 있는 3차원 유연성을 확보하는 것이다.