Orthogonality는 선형차원 축소에 쓰인다. D차원의 vector space V와 M차원의 subspace U에 대해 orthogonal complemnet 은 D-M차원의 subspace이며, U의 모든 벡터에 직교하는 V의 모든 벡터를 포함한다. 이므로 V의 모든 벡터 x는 다음과 같이 분해되며 유일하다.

면 에 직교하면서 인 벡터 는 의 기저벡터다. 아래 그림은 이를 보여준다. 그림에서 에 직교하는 모든 벡터들은 상에 놓여있으며 이때 를 의 normal vector라 부른다.