딥 러닝 파이토치 교과서

텐서의 축과 모양을 읽는 법에서 출발해 브로드캐스팅, 축소 연산, 모양 변경과 데이터 공유를 연결한다. 하나의 텐서로 계산값과 결과 모양을 확인하며 연산을 선택하는 기준을 정리한다.

선형 회귀의 예측식과 평균 제곱 오차에서 출발해 경사 하강법과 자동 미분의 역할을 연결한다. 기울기 초기화와 매개변수 갱신을 구분하고, 하나의 계산 예시로 학습 과정을 확인한다.

모델의 매개변수와 계산 과정을 하나로 묶는 모듈의 역할을 정리한다. 선형층의 입력·출력 크기, 클래스의 초기화와 순전파, 손실과 옵티마이저의 연결을 설명한 뒤 다중 선형 회귀 예시로 확인한다.

미니 배치가 한 번의 계산과 갱신 범위를 정하는 원리를 살펴본다. 에포크와 갱신 횟수, 데이터셋과 데이터 로더의 역할을 구분하고, 다섯 표본을 묶어 학습하는 예시로 배치 구성과 마지막 배치 처리를 확인한다.

클래스별 점수를 확률로 바꾸는 소프트맥스와 정답 확률을 평가하는 교차 엔트로피를 연결한다. 텐서의 모양과 손실의 기울기를 설명하고, 세 클래스의 계산 예시로 로짓·확률·정답·손실의 관계를 확인한다.

MNIST 손글씨 이미지를 784개 특성으로 펼쳐 열 개의 숫자로 분류한다. 전처리와 텐서 모양, 교차 엔트로피, 학습·평가의 역할을 연결하고 실제 실행 결과로 전체 과정을 확인한다.

퍼셉트론이 가중합과 계단 함수로 출력을 결정하는 원리를 살펴본다. 편향과 임계값의 관계를 정리하고, 두 입력을 직선 하나로 구분한다는 성질에서 단층 퍼셉트론의 한계를 이해한다.

XOR를 직선 하나로 구분할 수 없는 이유와 은닉층의 역할을 정리한다. 두 뉴런으로 입력을 바꾸는 계산을 확인하고, 비선형 활성화 함수가 필요한 이유와 모델의 표현 능력·학습 성공의 차이를 설명한다.

역전파가 연쇄 법칙으로 각 가중치의 기울기를 구하는 과정을 정리한다. 여러 경로의 기울기를 더하는 이유와 가중치 갱신의 차이를 설명하고, 작은 신경망에서 순전파부터 한 번의 갱신까지 계산한다.

MNIST 픽셀에서 은닉층의 중간 특성을 거쳐 숫자별 점수를 만드는 흐름을 정리한다. 로짓과 교차 엔트로피의 연결, 마지막 배치 손실과 전체 평균의 차이, 같은 조건에서 모델을 비교해야 하는 이유를 설명한다.

훈련 성능과 새로운 데이터에서의 성능을 구분하고, 과적합을 줄이는 원리를 정리한다. 데이터 증강, 모델 크기 조절, L1·L2 규제, 드롭아웃의 역할과 검증 데이터로 효과를 확인해야 하는 이유를 설명한다.

깊은 신경망에서 기울기가 소실되거나 폭주하는 이유를 연쇄 법칙으로 설명한다. 활성화 함수와 가중치 초기화의 역할을 살펴보고, 배치 정규화와 층 정규화의 계산 범위 및 평가 시 동작을 비교한다.

합성곱이 같은 필터를 여러 위치에 적용해 특징을 학습하는 원리를 정리한다. 채널, 가중치 공유, 스트라이드와 패딩을 설명하고, 풀링을 거칠 때 출력 크기와 학습할 매개변수 수가 어떻게 달라지는지 구분한다.

순환 신경망이 이전 정보를 은닉 상태로 전달하는 원리를 설명한다. 가중치 공유에 따른 파라미터 수를 계산하고, PyTorch의 두 반환값에서 시점·층·방향이 어떻게 구분되는지 살펴본다.

LSTM과 GRU는 게이트로 이전 정보를 남기고 새 정보를 반영한다. 두 상태를 쓰는 LSTM과 한 상태를 쓰는 GRU의 갱신 원리, 장기 의존성의 한계, PyTorch 반환값의 차이를 설명한다.

토큰화는 모델이 처리할 텍스트의 단위를 정하는 일이다. 경계 분리와 정보 삭제를 구분하고, 한국어 어절·형태소 및 분석기별 차이를 통해 문제에 필요한 정보를 남기는 기준을 설명한다.

정수 번호로 임베딩 행렬의 행을 조회하고 벡터를 학습하는 원리를 설명한다. 입출력 크기와 가중치 수를 연결하고, 작은 사전 예시로 UNK·PAD의 차이와 패딩 처리의 범위를 확인한다.

리뷰의 전처리 규칙과 문장이 끝나는 위치를 중심으로 LSTM 분류기를 설명한다. 훈련 사전과 실제 길이를 관리하고, 임베딩에서 로짓·손실로 이어지는 크기를 하나의 예시로 확인한다.