🐍 How Python works?

A thumbnail was created from banner.godori.dev

파이썬이 어떻게 코드를 실행하는지 궁금합니다.
왜냐면 면접때 질문을 받았기 때문이죠 👻

제대로 대답한 것 같지 않은 찝찝함을 씻어 내고자
추가로 더 공부하여 정리해 보았습니다.

내용의 많은 부분은 아래의 것들을 참고 했습니다.

📚 References

---

1. 러닝 파이썬 - 마크 루츠
2. How Python runs?

🏃‍♂️ 프로그램의 실행

---

파이썬 코드를 실행하려면 당연하지만, 파이썬 인터프리터가 있어야 합니다.
파이썬 인터프리터는 홈페이지에서 다운로드 받거나
OS 별로 제공되는 패키지 매니저를 통해서 설치할 수 있습니다.

파이썬을 설치하면, 인터프리터와 내장 지원 라이브러리 등이 설치됩니다.
여기서 인터프리터 란, 파이썬 코드를 실행하는 소프트웨어 입니다.

인터프리터는 어떤 언어로도 구현할 수 있습니다.

파이썬을 실행하는 인터프리터 중에는 심지어
파이썬으로 작성한 PyPy 라는 인터프리터가 있는 것 처럼 말이죠.
(PyPy 의 로고는 그래서 인지 뱀이 뱀을 물고 있습니다 크앙)

아무튼 워드 파일을 열려면 MS Word 가 있어야 하는 이치인가 봅니다 하고 일단은 넘어갑시다.

🐶 개발자인 내가 할 일

---

.py 확장자로 실행 가능한 코드를 만들면 됩니다.
오타를 내지 않고, 문법을 잘 지켜 python app.py 로 실행했을때 문제 없이 동작하는 코드 말이죠!

🐍 파이썬이 해주는 것

---

당신의 파이썬 코드, 바이트코드로 대체되었다

python app.py 를 실행하면 아래와 같은 일이 일어납니다.

1. .py 파일을 바이트 코드 상태로 컴파일 합니다.
2. PVM (Python Virtual Machine) 이라 하는 파이썬 실행 환경에 바이트코드를 전달합니다.

📣 Compile to byte code

---

바이트 코드로 소스 코드를 컴파일 하는 과정은 그 정확한 동작을 알 수 없습니다.

컴파일한다는 것은, 소스 코드를 해석하여 원하는 상태로 변환 하는 것을 의미하고
파이썬에서 컴파일은 소스 코드를 저수준의, 플랫폼 독립적인(!) 코드로 변환 하는 것을 의미합니다.

파이썬의 컴파일 과정은 아래와 같습니다. (정확하지 않을 수 있습니다)

1. 소스 코드를 Parse Tree 로 변환합니다
2. Parse Tree 를 AST(Abstract Syntax Tree) 로 다시 한 번 변환 합니다
3. AST를 제어 흐름 그래프(Control FlowGraph)로 변환 합니다
4. 제어 흐름 그래프를 Byte code 로 변환 합니다.

이 과정을 거치고 나면, .pyc 파일이 생성 됩니다.
.pyc 파일은 파이썬 3.2 버전 이전에는 .py 파일과 같은 경로에 생성되고
3.2 이후 버전에서는 __pycache__ 디렉터리 아래에 생성 됩니다.

.pyc 파일은 다음과 같은 경우에 유용하게 사용할 수 있습니다

1. AWS Lambda 에 배포할 때 용량 제한을 피할 수 있습니다.
   (여러 라이브러리는 .pyc 파일로 컴파일된 것만 배포)
2. 파이썬 프로그램을 작성하여 판매 하는 경우

추가

.pyc 파일을 python app.py 와 같은 명령어로 실행 한다고 반드시 생성 되는 것은 아닙니다.
.py 파일이 다른 스크립트에 의해 import 되었을 경우에만 생성 됩니다.

import 문이 호출되었을 때는 아래와 같은 확인을 합니다

1. 파이썬은 import 되는 스크립트의 컴파일 된 파일이 존재 하는지 확인 합니다
2. 없다면, .pyc 파일을 생성하고 불러 옵니다.
3. 있다면, 내부 timestamp 에서 .py 파일 보다 .pyc 파일이 더 오래 되었는지 확인합니다

→ 한 마디로, 소스 코드가 변경 되면 자동으로 새 .pyc 로 갱신합니다
→ 대화형 프롬프트(REPL) 환경에서 입력한 코드에 대해서는 .pyc 파일을 생성하지 않습니다

👾 파이썬 가상 머신 PVM

---

PVM 은 파이썬의 런타임 엔진 입니다.
파이썬 시스템의 일부이기 때문에 별도의 설치가 필요하지 않고, 항상 존재 합니다.

소스 코드를 .pyc 와 같은 바이트 코드 형태로 변환한 뒤 PVM 으로 전달하면
파이썬 가상 머신은 이것을 실행해 줍니다.

추가로, 프로즌 바이너리는 내가 작성한 파이썬 프로그램을 우리가 아는 실행 파일로(.exe)
변환 하는 것 또한 가능합니다.

이를테면, PyInstaller, py2exe, py2app 등을 통해서 실행 가능한 바이너리로 만들 수 있습니다.

프로즌 바이너리를 만들 때에는 바이트 코드와, 실행 환경(PVM)
그리고 의존성 모듈을 단일 패키지로 만듭니다.
그리고 그 결과물은 실행 가능한 형태 (.exe 등) 가 됩니다

🔑 인터프리터 구현의 종류

---

위 내용 중에서, 인터프리터는 어떤 언어로도 구현할 수 있다고 말씀 드렸는데요
좀 더 쉽게 나눠 보자면 이렇습니다.

• Python: 그냥 언어. 인터프리터(파이썬 코드를 해석할 수 있는)에 전달할 표현의 방법 입니다.
• 구현(Implementation): 어떤 언어를 어떻게 실행할 것인가에 대한 구현 입니다.

표준 파이썬 구현은 현재 CPython 입니다. (Cython 이 아닙니당)
파이썬 코드를 읽고, 바이트 코드로 만들고 실행하고 하는 행동을
ANSI C 언어로 구현한 프로그램 입니다.

그리고 다양한 요구 사항과 목적에 따라 아래와 같은 구현이 존재 합니다

• Jython, IronPython, PyPy...

각각을 자세히 다루기에는 내용이 많으므로 넘어가겠다냥!

🙄 Cython vs CPython

---

아니 그게 그거 아닌가? 라고 생각했었는데 아니었습니다.
Cython 은 "언어" 였습니다... (두둥)
파이썬을 2년이나 공부했는데, 뭐 하나 제대로 아는게 없네요.

이를 테면 Cython 은 파이썬의 Superset 과 같은 개념입니다.
Python의 대부분의 문법을 지원하고 (조금 다릅니다) Cython 만의 문법을 사용하여 작성하면
이 소스 코드를 C 파일로 컴파일 합니다.

파이썬 문법 그대로를 작성하여 Cython 컴파일러로 실행하는 것도 문제가 되지 않습니다.
다만 Cython 을 사용했을때의 잇점인 C 네이티브 가속이 적용되지 않을 뿐입니다.

이를 테면 공식 문서에는 이렇게 설명 되어 있죠

(어떤 동작을 하는 코드인지 굳이 이해하지 않으셔도 됩니다)

def f(x): return x ** 2 - x

def integrate_f(a, b, N):
    s = 0
    dx = (b - a)/N
    for i in range(N):
        s += f(a + i * dx)
    return s * dx

이대로 Cython 으로 컴파일 해도 문제는 없지만,
아래와 같이 한다면 성능상의 개선을 얻을 수 있습니다.

cdef double f(double x):
    return x ** 2 - x
  
def integrate_f(double a, double b, int N):
    cdef int i
    cdef double s, x, dx
    s = 0
    dx = (b - a)/N
    for i in range(N):
        s += f(a + i * dx)
    return s * dx

변한건 cdef 라는 키워드가 사용된 것과, 함수인자 및 변수에 타입이 지정되었다는 점 입니다.
이를 C 언어로 컴파일 할 수 있기 때문에 성능상으로 잇점을 가질 수 있습니다

Cython 에 대한 좀 더 자세한 설명은 여기를 참고 해주세요

🐶 마치며

---

코드만 잘 짜면 된다는 생각으로 살아왔는데, 코드가 어떻게 실행되는지에 대해서는
크게 궁금해 하지 않았던 것 같아 반성이 됩니다.

잘 동작하는 프로그램도 중요하지만, 이 프로그램이 어떻게 잘 동작하게 된 것인가에 대해
호기심을 갖는 것 또한 한 명의 프로그래머로서의 의무라고 생각합니다.

시간은 부족하고, 공부할 것은 끝이 없다는걸 다시 한 번 느끼며 글을 마칩니다 😭
긴 글 읽어주셔서 감사합니다!