DL Basic 오답노트

Q. bias와 variance 사이의 적절한 균형을 찾지 못하면 결과적으로 어떤 문제가 발생할 확률이 가장 높은가요?

→ 모델의 일반화 에러가 증가

머신러닝에서 Bias는 모델이 실제 데이터를 얼마나 잘 반영하고 있는지를 나타내는 지표입니다. Bias가 높다는 것은 모델이 데이터를 잘 반영하지 못하고 있음을 의미하며, 이는 과소적합(underfitting)을 초래할 수 있습니다.

반면에, Variance는 모델이 학습 데이터에 얼마나 민감하게 반응하는지를 나타내는 지표입니다. Variance가 높다는 것은 모델이 학습 데이터에 과도하게 민감하게 반응하여, 새로운 데이터에 대해 잘 일반화하지 못하게 됩니다. 이는 과적합(overfitting)을 초래할 수 있습니다.

Bias와 Variance 사이에는 일종의 트레이드오프 관계가 있습니다. 즉, Bias를 줄이려고 하면 Variance가 증가하고, 반대로 Variance를 줄이려고 하면 Bias가 증가하는 경향이 있습니다. 이 둘 사이의 균형을 잘 맞추는 것이 중요한데, 만약 이 균형을 잘 못 맞추면 모델의 일반화 오류(generalization error)가 증가하는 문제가 발생할 수 있습니다.

Q. CNN에서 여러 채널을 사용하는 주된 이유는 무엇인가요?

→ 다양한 공간적 특징을 동시에 학습

여러 채널을 사용하면 다양한 공간적 특징을 동시에 학습하여 모델의 성능을 향상시킬 수 있습니다. 예를 들어, 컬러 이미지의 경우 세 가지 채널(RGB)이 있으며, 각 채널은 이미지의 빨강, 녹색, 파랑 색상 정보를 담고 있습니다.

Q. VGGNet에서 small convolutional filter (3*3)의 사용이 파라미터 수를 줄이는 데 어떻게 도움이 되나요?

→ 같은 수용 영역을 가지면서 파라미터 수를 줄인다.

작은 convolution filter를 여러 번 사용하면, 큰 convolution filter를 사용하는 것과 같은 수용 영역을 가질 수 있으면서도 더 적은 파라미터를 사용할 수 있습니다.
이 때 수용 영역이란 합성곱 신경망(CNN)의 특정 뉴런이 '보는' 입력 데이터의 영역을 의미합니다. 예를 들어, 5x5 크기의 필터를 사용하면, 해당 필터를 통과하는 뉴런은 5x5 크기의 입력 데이터 영역에 대한 정보를 가지게 됩니다. 이를 그 뉴런의 수용 영역이라고 합니다.

Q. Fully Convolutional Network (FCN)

FCN은 pooling 레이어와 convolutional 레이어를 모두 사용하지만, 모든 레이어가 pooling 레이어만으로 구성되어 있지는 않다.

Q. Sequential Model

Sequential Model은 레이어를 선형적으로 쌓는 구조를 가지므로 복잡한 다중 입력, 다중 출력 구조를 가진 모델을 직접 구현하기에는 적합하지 않다.

Q. Recurrent Neural Network (RNN)

실제로 RNN은 모든 시간 단계에서 동일한 가중치를 재사용한다. 이러한 특성은 RNN이 시계열 데이터를 처리하는 데 효과적이라고 생각되는 이유 중 하나이다.

Q. Long Short Term Memory (LSTM)

실제로 LSTM은 많은 작업에서 기본 RNN보다 더 나은 성능을 보이지만, 항상 그런 것은 아니다. 작업 및 데이터의 특성에 따라 LSTM과 기본 RNN 사이의 성능 차이가 발생할 수 있다.

Q. Variational Autoencoder (VAE)에 관한 설명 중 정확한 것은?

→ VAE는 데이터의 원본과 압축된 표현 사이의 차이를 최소화하는 과정을 통해 학습된다.

Variational Autoencoder (VAE)는 잠재 변수 모델로, 데이터를 압축된 표현(잠재 공간)으로 변환한 후 다시 원본과 유사한 출력을 생성한다. 이 잠재 공간에서의 샘플링을 통해 새로운 데이터나 예측이 생성될 수 있게 되는 것이 VAE의 주요 특징 중 하나이다.