🧊 데이터 분석과 Python: NumPy Part 1 기초

1. NumPy 개요

• NumPy (Numerical Python): 파이썬에서 과학적 계산을 위해 필수적인 패키지.
• 특징:
  • ndarray (n-dimensional array): 파이썬의 기본 list와 달리, 동일한 데이터 타입(dtype)을 가진 요소들로 구성된 다차원 배열을 제공합니다.
  • 메모리 효율성: C언어 기반으로 작성되어, 기본 list보다 메모리를 적게 차지하며 데이터가 연속된 메모리 공간에 배치됩니다.
  • 생성 시 크기 고정: 리스트와 달리 생성될 때 크기가 정해짐.
  • 동일한 데이터 타입: 모든 요소가 같은 데이터 타입(dtype)을 가져야 메모리 효율성이 극대화됨.
  • 대용량 데이터의 빠른 벡터 연산 및 브로드캐스팅 지원.

---

2. 배열의 기초와 연산

2.1 배열 모양 (Shape)과 인덱스

• 배열의 차원과 모양을 이해해야 인덱싱을 올바르게 할 수 있음.
• 예제: 3차원 배열 (2, 3, 4) 형태에서 값 24 찾기

  # (2, 3, 4) 형태의 3차원 배열
  array([[[ 1,  2,  3], 
          [ 4,  5,  6], 
          [ 7,  8,  9], 
          [10, 11, 12]], 
         [[13, 14, 15], 
          [16, 17, 18], 
          [19, 20, 21], 
          [22, 23, 24]]])
  
  # 값 24에 접근하기 (0-based index)
  # 첫 번째 차원 index 1 (두 번째 덩어리)
  # 두 번째 차원 index 3 (네 번째 행 - 만약 행이 4개라면)
  # 세 번째 차원 index 2 (세 번째 열)
  print(arr[1, 3, 2])

  • 인덱스: [1, 3, 2] (0-based index 기준 [1, 3, 2]는 shape (2, 4, 3)일 때 가능, (2, 3, 4)라면 [1, 2, 3] 등 확인 필요)

2.2 벡터화 연산 (Vectorization)

배열이나 행렬과 같은 다차원 데이터 구조에 대해 요소 별 연산을 한번에 처리하는 방법입니다.

• Loop 사용 금지: 배열 간의 연산 시 for 문을 사용하면 느림.
• 장점: 코드가 간결해지고, 내부적으로 C로 최적화된 루프가 실행되어 속도가 획기적으로 빠름.
• Element-wise Operation (요소별 연산): c = a * b와 같이 작성하면 같은 위치의 요소끼리 곱셈이 수행됨. (행렬 곱 아님)

2.3 브로드캐스팅 (Broadcasting)

• 서로 다른 모양(Shape)의 배열 간 연산을 가능하게 하는 규칙.
• 동작 조건 (뒤쪽[오른쪽] 차원부터 비교):

  1. 차원의 크기가 같거나

  2. 둘 중 하나의 크기가 1이어야 함.

     

• 크기가 1인 차원은 상대방 배열의 크기에 맞춰 복제(Stretch) 된 것처럼 동작하여 연산합니다.
  • 차원 수가 다르면 더 적은 쪽의 앞쪽(왼쪽)에 1을 추가해 차원을 맞춤.
  • 조건이 맞지 않으면 ValueError가 발생합니다.크기가 1인 차원은 다른 배열의 크기에 맞춰 스트레치(Stretch) 되어 연산됨.

---

3. 배열의 자료형 (Data Types)

NumPy는 C 언어 기반으로 동작하므로 파이썬보다 더 세분화된 자료형을 지원합니다.

분류	자료형 예시
논리형	bool
정수형	int8, int16, int32, int64 (부호 있음) uint8, uint16, uint32, uint64 (부호 없음, Unsigned)
실수형	float16, float32, float64
복소수형	complex64, complex128
문자열	str_ (Unicode), bytes_

• 주의: int8은 -128 ~ 127까지만 저장 가능합니다. 범위를 넘어가면 오버플로우(Overflow)가 발생합니다.

---

4. 배열 생성 및 실행 예시 (Array Creation & Examples)

4.1 기본적인 배열 생성 (List to Array)

다양한 차원의 배열을 생성하는 기본 방법입니다.

• Python 리스트 변환: np.array([1, 2, 3])

import numpy as np

a1D = np.array([1, 2, 3, 4])
a2D = np.array([[1, 2], [3, 4]])
a3D = np.array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])

print("1D Array:", a1D)
print("2D Array:\n", a2D)
print("3D Array:\n", a3D)

(실행 결과는 위 코드 블록과 동일)

⚠️ 주의: OverflowError (데이터 타입 범위 초과)

int8은 -128 ~ 127 범위의 정수만 표현 가능합니다. 이 범위를 넘는 값을 할당하면 에러가 발생합니다.

# 128은 int8의 범위를 벗어남
print(np.array([126, 127, 128], dtype=np.int8))

Error: OverflowError: Python integer 128 out of bounds for int8

4.2 데이터 타입과 연산 (Unsigned Int 주의)

• int8: -128 ~ 127 범위. 128을 넣으면 Overflow 발생.
• uint (Unsigned Integer, 부호 없는 정수): 음수 연산 시 Underflow로 인해 매우 큰 양수값으로 변환됨.

a = np.array([2, 3, 4], dtype=np.uint32)
b = np.array([5, 6, 7], dtype=np.uint32)

c_unsigned32 = a - b
print('unsigned c:', c_unsigned32, c_unsigned32.dtype)
# 결과: [4294967293 4294967293 4294967293] uint32 (Underflow 발생!)

c_signed64 = a - b.astype(np.int32)
print('signed c:', c_signed64, c_signed64.dtype)
# 결과: [-3 -3 -3] int64 (정상적인 음수 결과)

4.3 다양한 생성 함수 (Intrinsic Creation)

NumPy는 특정 패턴의 배열을 만드는 다양한 함수 40여개를 제공합니다. 수학적 계산이 필요한 상황에서 쓰입니다.

함수	설명	예시	특징
np.arange	범위 내 일정 간격의 값 생성	np.arange(10)	파이썬 range와 유사
np.linspace	범위 내 등간격으로 N등분	np.linspace(1, 4, 6)	그래프 그릴 때 유용
np.zeros	0으로 채운 배열	np.zeros((2, 3))	초기화용
np.ones	1로 채운 배열	np.ones((2, 3))	초기화용
np.full	특정 값으로 채운 배열	np.full((2, 3), 7)	fill_value 지정
np.empty	초기화되지 않은 값(쓰레기값) 생성	np.empty((2, 3)) (빠름)	가장 빠르지만 쓰레기값 포함
np.eye	단위 행렬 (대각선이 1)	np.eye(3)	선형대수용
np.diag	대각 성분 추출 또는 생성	np.diag([1, 2])	선형대수용(예, 분산값 추출, 다중회귀부석 가중치)

np.arange(10)               # [0, 1, ..., 9]
np.arange(2, 10, dtype=float)
np.linspace(1., 4., 6)      # 1.0부터 4.0까지 등간격으로 6개 생성

np.eye(3)                   # 3x3 단위 행렬
np.diag([1, 2, 3])          # 대각 행렬 생성

4.4 초기화 함수 (zeros, ones, full, empty)

• np.empty: 초기화 없이 메모리 공간만 할당 (매우 빠르지만 쓰레기 값이 들어있음).
• np.full: 지정한 값(fill_value)으로 배열 채움.

print(np.zeros((2, 3)))     # 0으로 채움
print(np.ones((2, 3)))      # 1로 채움
print(np.full((2, 3), 7))   # 7로 채움

⚠️ 주의: np.full 브로드캐스팅 에러

print(np.full((2, 3, 2), fill_value=[1, 2, 3]))

Error: ValueError: could not broadcast input array from shape (3,) into shape (2,3,2)

• 이유: (2, 3, 2) 형태의 배열을 만들고 싶은데, 마지막 차원의 크기(2)와 리스트 [1, 2, 3]의 길이(3)가 맞지 않아 브로드캐스팅에 실패했습니다.

4.5 Random 모듈 사용

• from numpy.random import default_rng
• default_rng(seed).random((shape)) 형태로 난수 배열 생성.
  • numpy.random.default_rng(seed).random()을 사용하는 것이 최신 권장 방식
• seed가 같으면 같은 값이 나옴. 동일한 값을 얻고 싶을 때 사용.

---

5. 배열 조작 (Manipulation)

5.1 복사(Copy)와 뷰(View)

NumPy의 슬라이싱은 뷰(View)를 반환합니다. 즉, 원본 데이터를 공유합니다.

• View (참조 / 메모리 공유): 슬라이싱한 배열을 수정하면 원본 배열도 함께 변경됨.

  a = np.array([1, 2, 3, 4, 5, 6])
  b = a[:2]
  b += 1
  # 결과: a도 함께 변경됨 ([2, 3, 3, 4, 5, 6])

• Copy (복제 / 별도 메모리): .copy()를 사용하면 별도의 메모리를 할당받아 원본에 영향 없음.

  a = np.array([1, 2, 3, 4])
  b = a[:2].copy()
  b += 1
  # 결과: a는 변경되지 않음 ([1, 2, 3, 4])

5.2 배열 결합 (Stacking)

여러 배열을 하나로 합치는 방법입니다.

• np.vstack (Vertical Stack): 수직(행 방향)으로 쌓기
• np.hstack (Horizontal Stack): 수평(열 방향)으로 쌓기
• np.block: 블록 형태로 조립하기

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
np.vstack((a, b))  # [[1, 2, 3], [4, 5, 6]]
np.hstack((a, b))  # [1, 2, 3, 4, 5, 6]

---

🧊 데이터 분석과 Python: NumPy Part 2 심화

1. 파일 입출력 (I/O) - Disk에서 데이터를 읽거나 저장하는 방법

1.1 텍스트/CSV 파일

• np.loadtxt: 데이터가 빠짐없이 채워져 있고, 타입이 일정한 정형화된 데이터에 적합합니다. (주로 float/int)
• np.genfromtxt: 결측치(Missing Values)가 있거나 데이터 타입이 복잡할 때 유용합니다. delimiter로 구분자를 지정하고, filling_values로 결측치를 채울 수 있습니다.

1.2 바이너리 파일 (JSON & Pickle)

• np.save / np.load: NumPy 전용 바이너리 포맷(.npy)으로 저장/로드.
• JSON: NumPy는 기본적으로 JSON 직렬화(Serializable)를 지원하지 않으므로, 리스트로 변환(tolist())하거나 json.JSONEncoder를 커스텀하여 사용해야 합니다.
• Pickle: 파이썬 객체를 저장하는 방식이지만, 보안 문제와 데이터 손상 위험으로 인해 가급적 피하는 것이 좋습니다. np.save와 np.load를 사용할 때 allow_pickle=False로 설정하는 것이 안전합니다.

---

2. 배열 인덱싱과 슬라이싱 (Indexing & Slicing)

2.1 인덱싱 (Indexing)

• 기본 인덱싱: x[0, 1, 2]처럼 콤마로 구분하여 차원별 인덱스에 접근합니다.
  • 인덱싱 효율성: x[0, 1, 2] vs x[0][1][2] Argument Evaluation (인자 평가 시점)때문으로, 파이썬은 함수 호출 시 인자(Argument)를 먼저 평가(Evaluation)한 후 함수 내부로 진입하기 때문.
    • x[0, 1, 2] (권장): C언어 레벨에서 즉시 해당 메모리 주소로 접근합니다. 가장 빠르고 효율적입니다.
    • x[0][1][2] (비권장):
      1. x[0]을 실행하여 임시 배열(View) 생성.
      2. 그 결과에서 [1]을 실행하여 또 임시 배열 생성.
      3. 마지막으로 [2]를 실행.
      • 문제점: 단계별로 불필요한 임시 객체가 생성되어 메모리와 연산 속도 면에서 비효율적입니다.
• 음수 인덱스: x[-1]은 마지막 요소를 의미합니다.
• 조건부 인덱싱 (Boolean Indexing): x[x % 2 == 0]과 같이 조건식(Mask)을 사용하여 True인 요소만 추출(필터링)할 수 있습니다.

2.2 슬라이싱 (Slicing) - 뷰(View)

• 구조: start:stop:step (예: x[1:5:2])
• Ellipsis (...): x[..., 0]은 x[:, :, 0]과 같이 나머지 차원을 모두 선택한다는 의미입니다.
• 중요: NumPy의 슬라이싱은 원본 데이터의 뷰(View)입니다. 슬라이싱한 배열을 수정하면 원본 배열도 변경됩니다. (복사를 원하면 .copy() 사용)

---

3. 배열 형태 조작 (Shape Manipulation)

3.1 형태 변경 (Reshape)

• np.reshape(a, newshape): 데이터의 총 개수가 유지되는 한 배열의 차원과 모양을 자유롭게 변경합니다.
  • 1을 사용하면 해당 차원의 크기를 자동으로 계산해 줍니다. (예: reshape(2, -1))
• np.flatten(): 평탄화. 다차원 배열을 1차원으로 쭉 폅니다. (복사본 반환)
• np.ravel(): 다차원 배열을 1차원으로 폅니다. (가능하면 뷰를 반환하여 메모리 효율적)

3.2 축 변경 (Transpose & Axes)

• np.transpose(a) 또는 a.T: 행과 열을 바꿉니다 (전치 행렬).
• np.moveaxis(a, source, destination): 특정 축을 원하는 위치로 이동시킵니다.
• np.swapaxes(a, axis1, axis2): 두 축을 서로 맞바꿉니다.

---

4. 집계 함수 (Aggregate function)

배열의 데이터를 요약하는 함수들로, 대용량 데이터의 계산을 빠르게 수행입니다. axis 파라미터가 핵심입니다.

함수	설명
np.sum	합계
np.mean / np.std	평균 / 표준편차
np.min / np.max	최솟값 / 최댓값
np.argmax / np.argmin	최댓값/최솟값의 인덱스 반환

• axis 매개변수: 연산을 수행할 축을 지정합니다.
  • axis=0: 열(Column)끼리 연산 (수직 방향, 세로로 압축)
  • axis=1: 행(Row)끼리 연산 (수평 방향, 가로로 압)
  • axis=None: 전체 요소 연산