6. 전사함수와 일대일함수

본 게시글은 주재걸 교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다.
https://www.boostcourse.org/ai251/joinLectures/195088

Notation

Scalar : 소문자
Vector : 굵은 소문자 (기본 형태가 column vector)
Matrix : 대문자

핵심

• 전사함수의 정의
• 일대일함수의 정의

전사함수 (Onto)

• 전사함수란 공역과 치역이 같은 함수

• 전사함수의 필요조건
  정의역의 원소 개수 (차원) >= 공역의 원소 개수(차원)
  ex) 정의역이 2차원이고 공역이 3차원인 경우 전사함수가 되는 것은 불가능하다.

선형대수 관점에서 본 전사함수

• 전사함수를 선형대수 관점에서 해석해보면 어떤 선형 변환 A가 $\R^2 \rightarrow \R^3$ 일 때 공역은 3차원이지만 치역은 A 벡터의 열벡터 2개가 만드는 span이 된다. 따라서 이는 공역 = 치역이 될 수 없다.

신경망 관점에서 본 전사함수

• 우선 전사함수가 되려면 높은 차원에서 낮은 차원의 변환이어야 한다. 이는 정보 축약의 의미를 가진다

전사함수가 아닌 경우는 무엇이 있을까?

대표적으로는 Decoder 구조가 있다.
Decoder 구조는 필연적으로 치역이 공역보다 더 작은 span이 된다.
Decoder의 핵심은 넓은 공역 내에서 정답이 될만한 곡면(활성화함수를 거친)을 찾도록 학습하는 것에 있다.

이러한 것을 manifold learning 이라고도 한다. (manifold = 정답이 있을만한 span)

일대일함수 (One-to-One)

• 치역의 원소와 정의역의 원소가 일대일대응 관계에 있는 함수

• 필요 조건
  1. 정의역의 원소 개수(차원) <= 공역의 원소 개수(차원)

  2. 선형독립

선형대수 관점에서 본 일대일함수

• 어떤 선형 변환 A가 $\R^3 \rightarrow \R^2$ 일 때 정의역은 3차원이지만 치역은 A의 열벡터 2개가 만드는 span이다. 따라서 모든 정의역의 원소가 하나의 원소에 mapping 될 수 없다.

• 이를 재료 벡터 관점에서 보자. A는 2 x 3의 행렬이다. 이는 3개의 2차원 재료벡터들이 있다는 것인데, 재료벡터의 수가 차원보다 크므로 선형종속임을 의미한다.
  따라서 하나의 치역에 대해 무수히 많은 해가 존재함을 의미하며 이는 일대일함수가 될 수 없음을 의미한다.

신경망 관점에서 본 일대일함수

• 일대일함수는 정보의 손실이 없다는 것을 의미한다.

• 일대일함수가 아닌 경우는 many - to - one 경우이다. 이는 키 170 몸무게 70인 사람의 정보와 키 180 몸무게 80인 사람의 정보가 하나로 mapping 되는 것을 의미한다. 이러한 현상은 정보의 손실이지만 떄로는 필요없는 정보가 제거되었다고도 해석할 수 있다.