파이썬에 내장되어 있는 함수를 사용하는 원리를 이해하고, 모듈과 패키지를 가져오는 방법에 대해 알아보자.

1. module

모듈은 객체(변수, 함수, 클래스 등)을 모아놓은 파일이다. 객체를 재사용하거나 코드를 나누어 정리하기 위해 사용한다.

예를 들어 자료구조의 길이를 구할 때 len() 내장 함수를 사용하게 되는데, 파이썬에서 모듈로 이미 구현해놓았기 때문에 따로 정의하지 않아도 사용 가능하다.

1.1 사용 방법

파이썬은 파일 이름 > 모듈 이름 순으로 내용을 찾기 때문에, 먼저 파일 이름을 알려줘야 한다. 이러한 구조를 "name space" 라고 한다. 이름의 공간 혹은 영역을 알려주기 때문이다.

import module_name
module_name.module_function # 모듈에서 사용하길 원하는 변수/함수/클래스 이름

from module_name import mu_func, my_var, my_class 

from 키워드를 사용해 모듈 내에 원하는 함수, 클래스만 가져올 수 있다. 아래와 같이 별 모양(all)으로 모든 내용을 부를 수도 있지만, local scope의 객체와 이름 충돌이 날 수 있기 때문에 권장되지 않는다. (?)

from my_module import my_module_func, my_module_var

print(my_module_var)
my_module_func()

from my_module import* # *은 모든 것을 뜻한다.

print(my_module_var)
my_module_func()

모듈을 가져온 뒤 사용하게 될 경우 모듈이름.함수 로 불러야 하기 때문에 이름이 길면 번거로울 수 있다. 해당 파일에서 어떤 이름으로 부를건지 정할 수도 있다.

from my_module3 import function_with_name_too_long as f3

f1()
f2()
f3()

1.2 name space

(참고 문서) 파이썬에 있는 모든 객체가 특별한 이름을 가질 수 있도록 하는 시스템이다. 객체는 변수나 함수가 될 수 있고 name space는 딕셔너리 형태로 가지고 있다.

만약 반에 여러 명의 예은이가 있다면 한 명을 특정해서 찾기 어려울 것이다.하지만 성을 붙이거나 별명을 붙이면 한 명으로 특정할 수 있다.

name space도 비슷한 원리다. 어떤 변수나 함수를 사용하는지 정확히 알아야 하기 때문에, name space를 기반으로 단어 구분을 할 때 조금의 정보를 더추가하는거다

• name: un unique identifier
• space: scope 관련 부분

2. package

module과 마찬가지로 다른 파일에서 객체를 불러와 사용하는 개념인데, 더 크고 복잡한 코드를 갖고 있다.

파이썬 파일들로 이루어져 있는 디렉토리(directory)가 하나의 package가 되고, 디렉토리 이름이 package 이름이 된다.

2.1 사용 방법

Package는 일반 모듈 처럼 import 하여 사용하고, 클래스 객체를 사용할때 처럼 "dot notation" 으로 원하는 모듈을 import한다.

import pkg.mod1 # pkg의 mod1을 불러오기
from pkg.mod2 import func2 #pkg mo2의 func2만 불러오기

pkg.mod1.func2()
func2()

2.2 init.py

package가 import 될때 초기 설정을 해줘야 할때가 있다. 파이썬은 __init__.py 파일을 통해 package를 초기 설정하고 이를 Package Initialization이라고 한다. 패키지 안에 해당 파일이 있으면, 코드가 자동으로 실행되는데 기능은 다음과 같다.

Import 할때 경로의 총 길이 줄여주기

패키지의 init 파일에서 먼저 한번 import를 해주면, 내가 패키지를 사용할 main 파일에서 모듈을 중복으로 사용할 필요가 없다.

# __init__.py
from mod1 import func2

# main.py
from pkg import func2

func2()

import 할 수 있는 객체 제한하기

내부적으로만 사용되어야 하는 객체가 package 외부에서 import 및 사용되는 것을 막기 위해 __all__ 변수를 지정해 줄 수 있다.

all 변수의 default 값은 모든 함수/변수/클래스이고, init 파일에서 따로 정의해 import될 수 있는 요소를 제한한다. __init__은 string 요소를 가지는 list이고 import를 원하는 요소를 list에 선언하면 된다.

# __init__.py
from mod1 import func2
from mod2 import func3

__all__ = ['func2', 'func3'] # 사용될 함수를 제한 

# main.py
from pkg import *

func2()
func3()
func4() ## Error. func4 함수는 __all__ 에 정의되지 않았으므로 import 될 수 없음.

3. keyword 'import'

import statement는 모듈과 패키지를 어떻게 찾을까? 파이썬은 다음 3가지 장소를 순서대로 보면서 찾는다.

3.1 모듈, 패키지를 찾는 순서

- sys.modules

파이썬이 모듈이나 package를 찾기위해 가장 먼저 확인하는 곳이다. sys.modules는 단순한 dictionary고, 이미 import된 모듈과 package들을 저장하고 있다.

즉, 한번 import된 모듈과 package들은 파이썬이 또 다시 찾지 않아도 되고 새로 import 하는 모듈은 sys.modules 에서 찾을 수 없다.

- built-in modules

파이썬에서 제공하는 파이썬 공식 라이브러리. Built-in 모듈들은 이미 파이썬에 포함되어 나오므로 파이썬이 쉽게 찾을 수 있다.

- sys.path

마지막으로 보는 장소가 바로 sys.path이다. sys.path는 기본적으로 경로를 string type으로 가지고 있는 list이다.

그러므로 파이썬은 list의 각 경로를 하나 하나 보며 해당 경로에 import 하고자 하는 package가 위치하는지 확인한다. sys.path 에서도 못찾으면 ModuleNotFoundError 에러를 리턴한다.

site packages?

built-in이 아닌 패키지가 있는 디렉토리이다. pip 으로 설치한 외무 모듈은 자동으로 site-packages 라는 디렉토리에 설치되고, 이는 sys.path에 이미 포함되어 있기 때문에 찾는데 문제가 없다.

3.2 절대, 상대 경로

local package를 import 할때는 해당 package의 위치에 맞게 import 경로를 잘 선언해야 한다. Local package를 import 하는 경로에는 absolute path 와 relative path 가 있다.

** 마크다운에서 띄어쓰기가 번거로우므로 파일의 계층을 이미지화하진 않았다. my_app이라는 프로젝트는 두 개의 패키지(package 1,2)를 가지고 있으며, package2는 subpackage라는 중첩 패키지를 가지고 있다.

└── my_app
├── main.py
├── package1
├── module1.py
└── module2.py
└── package2
├── init.py
├── module3.py
├── module4.py
└── subpackage1
└── module5.py

- absolute path

절대 경로. import를 하는 파일이나 경로에 상관없이 항상 경로가 동일하고, 경로들의 시작점이 전부 "my_app" 프로젝트의 가장 최상위 디렉토리다. (이미 my_app 프로젝트 안에 있으므로 my_app은 생략)

from package1 import module1
from package1.module2 import function1
from package2 import class1
from package2.subpackage1.module5 import function2

참고로 current directory 라고 하는 현재의 프로젝트 디렉토리는 default로 sys.path 에 포함된다. 그러므로 absolute path는 current directory 로 부터 경로를 시작하게 된다.

- relative path

반면 Relative path 는 import 하는 위치를 기준으로 경로를 정의한다. 그래서 local package 안에서 다른 local package를 import 할때 사용되지만, 파일의 위치가 바뀌면 재정의해야하고 불러올 때 헷갈릴 수 있어 절대 경로가 권장되긴 한다.

package2의 module3에서 package2의 class1과 package2의 하위 package인 subpackage1의 module5의 function2 함수를 import해보자.

# package2/module3.py
from . import class1
from .subpackage1.module5 import function2

# subpackage1/module5.py
from ..module4 import class4

• dot(.): import가 선언되는 파일의 현재 위치. 현재 위치는 package2/module3.py 이므로 현재 위치에서부터 원하는 모듈의 경로만 선언해주면 된다.
• dot 2개(..) 는 현재위치에서 상위 디렉토리로 가는 경로다.

4. 과제

4.1 sys.modules 와 sys.path의 차이

- sys란?

sys 모듈은 파이썬 인터프리터가 제공하는 변수와 함수를 직접 제어할 수 있게 해주는 모듈이다. 답을 찾기 전에 sys 모듈에 대해 더 자세히 찾아보았다. 공식 문서에서는 다음과 같이 정의했다.

시스템 특정 파라미터, 함수 (System - specific parameters and funcions)
인터프리터에 의해 사용되거나, 유지되고 있는 변수 & 인터프리터가 강력하게 상호작용하는 함수에 접근할 수 있도록 해주는 모듈. 항상 사용 가능하다. (It is always available)

간단한 예시로 해당 모듈이 어떤 기능을 하는지 살펴보자.

sys.argv

명령행의 인자를 받는 것. python 명령어 뒤의 모든 것들이 공백을 기준으로 나뉘어서 sys.argv 리스트의 요소가 된다. 만약 명령을 인터프리터에 -ccommand line option을 사용해서 실행했다면 argv[0]는 '-c'로 바뀐다. 만약 인터프리터에 pass되는 script name이 없다면 argv[0]은 빈 문자열이 된다.

• sys.argv로 받는 값들은 string이다.
• argv[0]은 sciprt 이름이고 OS에 따라 full path이거나 아닐 수 있다.

sys.exit

강제로 스크립트 종료하기. Ctrl+Z나 Ctrl+D를 눌러서 대화형 인터프리터를 종료하는 것과 같은 기능을 한다. 프로그램 파일 안에서 사용하면 프로그램을 중단시킨다.

- 두 변수의 차이점

1) sys.modules

• Dictionary { key: value } 로 저장된다.
• 이미 로드된 모듈을 모듈 이름으로 확인(map)하고, 모듈들을 다시 부르도록 할 수 있다.
• 딕셔너리를 교체하는 것은 원하는 대로 작동하지 않을 수 있고, 중요 아이템을 삭제하는 것도 안 된다. (may cause Python fail)

터미널에서 sys를 import하고 module을 써보았다. 너무 길어서 중간까지만 붙여왔다.

import sys
sys.modules 

# retult: {'sys': <module 'sys' (built-in)>, 'builtins': <module 'builtins' (built-in)>, '_frozen_importlib': <module '_frozen_importlib' (frozen)>, '_imp': <module '_imp' (built-in)>}

print(sys.modules.keys()) #key만 부를 경우 리스트로 나온다
# result
'''['os.path', 'os', 'exceptions', '__main__', 'ntpath', 'strop', 'nt','sys', '__builtin__', 'site', 'signal', 'UserDict', 'string', 'stat']'''

2) sys.path

• List [ 'string' ]
• 모듈을 찾는 경로를 string(또는 bytes)으로 저장한다.
• 목적에 따라 리스트를 변경할 수 있다.

터미널에서 sys를 import하고 path를 써보니 다음과 같이 나왔다.

import sys
sys.path

['', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python37.zip', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/lib-dynload', '/Users/yeni/Library/Python/3.7/lib/python/site-packages', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages']

sys.path[0]=' ' 인 이유

초기화 이후 sys.path의 첫번째 아이템path[0]은 python 인터프리터를 불러올 때 사용된 script를 저장하고 있는 디렉토리다. 만약 script 디렉토리가 존재하지 않는다면 리스트는 빈 상태이다. 그래서 command line으로 파이썬을 쓰면 script가 없기 때문에 첫 번째 요소가 ''로 표시된다. 이 때는 파이썬이 최근 디렉토리에서 모듈을 찾게끔 한다.

script

script는 프로그램을 실행하기 위해 수행하는 내용을 담고있고, 그 자체로 실행이 가능하다. 반면 module은 library에 참조되어 그 자체로는 실행이 불가하하고 쓰기 위해서는 불러와야 한다.

Environment variables

OS의 command line 또는 터미널에 일관적인 방법으로 파이썬을 구성한다.

4.2 파이썬이 sys 모듈의 위치를 찾는 방법

python은 sys.modules > built-in modules > sys.path 순으로 모듈을 찾는다. sys는 built-in module이다. 때문에 import sys를 하면 파이썬은 built-in 모듈에서 sys를 찾아 실행한다.

- 추가적인 의문

sys 모듈은 인터프리터에 원래부터(inherently) 존재하는 것이다. 그렇다면 왜 import를 해야 할까? 사실 나도 처음에 sys를 써보려고 했는데 import를 깜빡해서 계속 오류가 났다.

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'sys' is not defined

답으로 stack overflow의 유사 질문을 참고했다. 기본적으로 모듈을 쓰려면 불러와야 한다. 그렇기 때문에 부르지 않음으로써 메모리를 아낄 수 있다는 점도 있긴 하다.

어쨌든 파이썬 개발자 팀은 모듈이 자동적으로 import되지 않도록 결정했고, 사용할 때는 요청을 해야한다. 그래서 import하지 않는 이상 sys는 변수나 함수 이름으로 사용 가능하다. 이 점을 비추어봤을 때, 내장되지 않은 모듈들은 프로그래머들에게 가능한 많은 네이밍 선택권을 주기 위해서도 있다.

공식 문서 6.1.2. The Module Search Path
모듈 spam이 import될 때, 인터프리터는 built-in module에서 spam을 찾는다. 만약 찾지 못하면, spam.py 라는 이름의 파일을 sys.path 변수에 있는 디렉토리 리스트에서 찾는다.

sys.path는 아래 경로에서 시작된다.

• input script를 포함하는 디렉토리 (아무 파일이 없으면 가장 최근 디렉토리)
• PYTHONPATH: shell 변수 syntax와 똑같은 syntax로, 디렉토리 이름들의 리스트.
• 설치 의존적인 초기값 (The installation-dependent default)

4.3 절대경로, 상대 경로의 차이

• 절대 경로: 위치에 상관 없이 최상위 디렉토리를 기준으로 경로를 정의
• 상대경로: 현재 위치를 기준으로 경로를 정의

절대 경로는 기준점이 있기 때문에 헷갈릴 일이 없고, 순서대로만 경로를 입력해주면 된다. 하지만 하위 디렉토리로 많이 내려가거나, 파일 이름 자체가 길 경우 코드가 길어질 수 있다는 단점이 있다.

from package1 import module1 # 패키지1의 모듈1을 가져오자
from package1.module2 import function1 #패키지1의 모듈2의 함수1을
from package2.subpackage1.module5 import function2 #패키지2 내 패키지1의 모듈5에서 함수2를 가져오자

반면 상대경로는 현재 위치를 기준으로 상위, 하위를 움직이기 때문에 보다 짧은 코드로 접근이 가능하지만, 경로 정의가 다소 헷갈릴 수 있고 파일이 위치한 경로가 바뀔 경우 재정의해야 한다는 단점이 있다.

• dot(.): 현재 경로
• dot dot(..): 상위 경로

# package2/module3.py
from . import class1 #패키지2의 모듈3에서 클래스1을 가져오자
from .subpackage1.module5 import function2 
# 패키지2 내 서브패키지1의 모듈5에서 함수2를 가져오자

# subpackage1/module5.py
from ..module4 import class4 
# 패키지2의 모듈4에서 클래스4를 가져오자(subpackage의 상위 디렉토리인 패키지2로 접속한 것)

그래서 일반적인 상황에서는 절대 경로를 사용하는 것이 권장된다 😃

5. exception

코드를 실행할 때 예외 상황이 발생하는 것을 exception이라고 한다. 완벽한 코드를 짜는 것이 현실적으로 항상 가능한 것이 아니고, 특히 유저의 input을 기반으로 연산을 하게 될 때는 어떤 data type을 넣을지 알 수 없기 때문에 exception이 발생할 확률이 높다.

exception이 발생하면 해당 코드 위치에서 다음 코드가 실행되지 않고 프로그램이 종료된다. 종료되지 않고 다른 로직을 실행하게 하기 위해 exception handling을 한다.

try except 구문

def return_elem_or_minus_one(index):
    short_list = [1, 2, 3]
    elem = 0

    try:
        elem = short_list[index]
        print("이 문장은 exception이 발생하지 않으면 실행됩니다")
    except IndexError: # 특정 exception을 catch할 수도 있고
        print(f"이 문장은 Exception이 발생하면 실행 됩니다")
        elem = -1
    except Exception as e: # 모든 exception을 받아, exception의 객체를 받아 정보를 더 얻을 수도 있다.
        print(f"IndexError가 아닌 다른 종류의 Exception이 발생했습니다 ==> {e}")
        elem = -1
    else: # 예외가 발생하지 않았을 때 
        print(f"Exception이 발생하지 않았습니다!") 
    finally:
        print("이 문장은 exception 발생 여부와 상관없이 무조건 실행됩니다!")

    return elem