제가 참 좋아하는 영화 감독이자,
영화를 참 어렵게 만들기로 소문난 크리스토퍼 놀란 형님의 '테넷' 리뷰 입니다.
군대 휴가 때 한번 보고,
놀란의 모든 영화가 그렇듯,
한번 보고는 도통 이해할 수 없었던 기억이 있습니다.
그래서 2번인가 3번인가 봤던 영화인데,
학교에서 영화에 나오는 수학 관련 내용 보고서 써와라 라는 과제를 받았습니다.
그래서 영화 '테넷' 속의 Entropy를 다뤄볼까 합니다.
영화 '테넷'의 Entropy
'테넷'을 관통하는 핵심 설정은 시간 역행 입니다.
영화에서 이걸 가능하게끔 하는 것은 Entropy(엔트로피)라 했고,
'테넷' 주인공은 이 엔트로피를 기반으로 한
시간 순행과 역행 세계가 충돌하는 것을 직접 경험합니다.
엔트로피는 물리학, 인공지능에서 통용되는 개념인데,
물리학에서는 무질서도, 인공지능에서는 불확실성, 예측의 혼란도를 표현하는 개념으로 활용됩니다.
영화 보다보면 중간에 실험실 같은 곳에서 어떤 장갑끼고 탄알 역재생 하는 장면이 나온다.
내 기억 상, 그때 이 설명 간결히 나왔었다.
여기서는 제 블로그 분야에 맞게,
인공지능의 엔트로피를 중점으로 다루겠습니다.
Entropy와 시간 방향성(물리학에서의 Entropy)
물리학에서의 엔트로피는 열역학 제2법칙에 근거하며,
얼마나 무질서한 상태에 가까운지를 수치로 표현합니다.
: 엔트로피
: 볼츠만 상수(약 x )
: 상태의 수
이 수식은 (상태의 수)가 많을 수록, (엔트로피)가 증가한다는 것을 뜻합니다.
즉, 상태 경우의 수가 많을 수록, 무질서도가 커지고,
이로 인해 엔트로피는 증가하게 되는 것을 뜻합니다.
이거 정리하면서 고등학교 때 내용이 어렴풋이 생각났다.
여기서 고립계(Isolated System)라는 개념이 나오는데,
열역학 제2법칙의 전제조건이고,
어떤 외부 에너지나 물질적 교환이 일어나지 않는 시스템을 의미합니다.
예를 들면 다음과 같습니다.
잉크가 물에 떨어져 퍼지는 현상.
얼음이 녹아 물이 되는 현상.
등등,
우리가 일상 생활에서 아무렇지 않게, 엄청 당연히 넘기는 것들을 떠올리면 됩니다.
즉, 이런 것들은 모두 상태 경우의 수가 커진 것이고,
이에 따라 자연스럽게 엔트로피 값도 함께 증가하게 됩니다.
근데 가만 생각해보면,
현실에서는 벌어질 수 있는 상황이 어쩔 수 없이 많아집니다.
현재 시점에서 그냥 아무것도 안해도 숨 더 쉬고, 뭐 밥 먹을수도 있고, 아 배고프다.
그래서 점차적으로 늘어날 수 밖에 없습니다.
즉, 현실에서는 상태의 수 가 줄어든 다는 것은 불가능하고,
'테넷'에서는 어떤 장치로 이걸 가능하게끔 합니다.
영화적 설정이긴 한데,
뭐 아무튼, 이런 설정을 통해 영화에서는 시간 역행이 가능하게끔 합니다.
인공지능에서의 Entropy
인공지능에서의 엔트로피는 아래와 같이 정의됩니다.
: X의 엔트로피
: 사건 가 일어날 확률
굉장히 익숙한 식 입니다.
이는 예측이 어려울 수록, 엔트로피는 상승하고, 반대로 모든 결과가 확실할수록, 엔트로피는 0에 수렴합니다.
물리학 엔트로피와 연관지어서 보면,
물리학에서는 가능한 상태 경우의 수 가 크면 클수록 엔트로피는 증가하고,
인공지능에서는 예측이 어려울 수록, 즉 확률 분포가 고를수록 엔트로피는 증가합니다.
그리고 수식 앞에 마이너스 기호 붙은거는,
확률값 가 범위에 존재할 때,
로그함수 특성 고려해서 붙인것이고, 이를 통해 최종 양수값으로 출력하게끔 됩니다.
Cross-Entropy Loss 식 입니다.
위 와 굉장히 유사한 형태로 구성되어 있습니다.
는 분류에서의 정답 Label,
는 소프트맥스와 같은 어떤 함수를 통해서 출력된 모델 예측 확률값을 뜻합니다.
이 수식은 모델이 얼마나 정답을 잘 맞췄는가를 수치화 한 것으로,
예측이 정확할 수록 손실이 작아지고, 예측이 잘못될 수록 자연스레 손실은 커집니다.
이처럼, 사용하는 곳도 다르고, 수식의 형태 또한 다릅니다.
하지만,
어떤 시스템이 얼마나 예측 불가능 한가, 혹은 무질서한가를 수학적으로 측정하고 있다는 것을 보면,
본질적으로 동일한 철학을 공유합니다.
마무리
수학 세계를 보다보면,
참 접근하기 어렵기도 하지만,
막상 좀 이해하다 보면, 세상의 모든 현상을 풀어낼 수 있다는 것을 깨닫게 됩니다.
그리고 이 현상들을 수식으로 표현하고, 설명하는 걸 보아하면,
역돌격의 철학에 따라,
지구가 둥글어 한 방향으로 가게 되면, 그 자리로 돌아오게 되듯,
결국 돌고 돌아 만나는 부분이 존재합니다.
한번씩 이런거 때문에 놀라기도 하면서
이래서 어른들이 인생은 부메랑이라 하는건가? 도 한번씩 생각합니다.
영화를 자주 보기도 하고, 또 감상에 있어서 있는 그대로 느끼는 편인데,
과제때문에 어쩔 수 없이 이렇게 파고 들었던 것 같습니다.
근데 또 막상 해보니 재밌어서 앞으로도 한번씩 이런 내용 적어보려 합니다.
다음에 또 찾아뵙도록 하겠습니다.
감사합니당 ~ 🦾
참고자료
https://namu.wiki/w/%EB%A1%9C%EA%B7%B8%ED%95%A8%EC%88%98
https://en.wikipedia.org/wiki/Entropy_(information_theory)
https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula
https://medium.com/@chris.p.hughes10/a-brief-overview-of-cross-entropy-loss-523aa56b75d5
