신경망(Neural Network)과 딥러닝의 이해

1. 신경망의 개요

• 신경망(Neural Network)은 인간의 뇌 구조를 모방한 기계 학습 알고리즘으로, 복잡한 패턴 인식과 예측 문제에 강력한 성능을 발휘함
• 딥러닝(Deep Learning)은 은닉층(hidden layer)이 여러 개인 신경망으로, 대규모 데이터 학습에 유리
• 주로 음성 인식, 컴퓨터 비전, 자연어 처리, 추천 시스템 등 다양한 분야에 응용됨

2. 신경망의 동작 원리

• 기본 구성 단위는 뉴런(neuron)이며, 입력을 받아 가중치(weight)를 곱하고 편향(bias)를 더한 후 활성화 함수(activation function)를 적용해 출력

수식 표현:

$z = w \cdot x + b$
$a = g(z)$

• $g(z)$는 시그모이드 함수 등 비선형 함수로 사용됨

3. 신경망 구조

• 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성됨
• 은닉층의 수와 뉴런의 개수는 모델의 표현력을 결정

예시 구조:

입력 특징 벡터 $x \in \mathbb{R}^n$ → 은닉층 → 출력값 $\hat{y}$ 예측

• 각 은닉층은 이전 계층의 출력(활성화 값)을 입력으로 받아 연산 수행

4. 순방향 전파 (Forward Propagation)

입력값이 신경망을 따라 전달되어 최종 출력이 계산되는 과정

예시 순서:

1. $a^{[1]} = g(W^{[1]} x + b^{[1]})$
2. $a^{[2]} = g(W^{[2]} a^{[1]} + b^{[2]})$
3. $\hat{y} = a^{[L]}$ (최종 출력)

• 모든 계층에서 활성화 함수를 적용해 비선형성을 부여함

5. 특징 학습 (Feature Learning)

• 신경망은 중간층(은닉층)을 통해 입력 특성으로부터 유용한 표현(feature representation)을 스스로 학습함
• 사람이 직접 feature engineering을 하지 않아도 자동으로 특징을 조합할 수 있음

6. 딥러닝의 발전 배경

• 빅데이터: 디지털화로 인해 대규모 데이터 수집 가능
• 하드웨어 발전: GPU를 이용한 대량 병렬 연산이 가능해짐
• 알고리즘 개선: 신경망 구조의 고도화 및 정규화 기법, 최적화 기법의 발달

7. 컴퓨터 비전에서의 활용

• 이미지 → 벡터로 변환 → 신경망에 입력
• 초기 계층은 선, 가장자리 등의 단순한 패턴 탐지
• 중간 계층은 눈, 코 등 얼굴의 부분 감지
• 깊은 계층은 전체 얼굴 형태 감지 → 최종적으로 개인의 정체성 분류

8. 신경망 구현 방식

• 한 계층에서 다음 계층으로 활성화 값을 전달
• 텐서플로우(TensorFlow)와 같은 프레임워크로 쉽게 구현 가능

model = Sequential([
    Dense(25, activation='sigmoid'),
    Dense(15, activation='sigmoid'),
    Dense(1, activation='sigmoid')
])

• model.predict(x) 형태로 순방향 예측 수행 가능

9. 데이터 표현 방식

• TensorFlow에서는 입력 데이터를 2D 행렬(배치 처리)로 표현
• 예: (1, 2) 형태의 입력은 1x2 행렬 형태로 표현됨
• Tensor는 수학적으로 행렬보다 일반적인 데이터 구조

10. 실습 정리 및 학습 소감

• 이번 강의에서는 신경망의 개념부터 구조, 동작 방식, 실제 구현까지 전반적인 흐름을 완벽히 이해
• 실제로 손글씨 숫자 분류, 커피 로스팅 품질 예측 등의 예제를 통해 신경망의 실제 적용 사례를 학습
• 특히, 순방향 전파를 직접 코드로 구현하고 TensorFlow 프레임워크로 단순화된 구현을 실습함