순전파, 역전파, 인코딩, 디코딩

이번 회사에 입사 후 모델 구조를 이해하는데 저 4개의 개념이 너무 어려웠다. 머리론 알겠지만 가슴 속으론 이해하지 못했다. 직접 하드코딩 해보면서 깨달아야지 이해가 되는 돌머리 ㅠ
지금은 시간이 없으니까 빠르게 개념만 정리해보자. (GPT canvas 이용)

인코딩 (Encoding)

• 인코딩은 입력 데이터를 압축해서 중요한 특징만 남기는 과정
• 이미지를 인코딩 시, 이미지 전체를 다 사용하지 않고 중요한 부분만 추출 주로 데이터를 더 작은 공간에 표현하려고 사용

디코딩 (Decoding)

• 인코딩된 데이터를 다시 원래의 형식으로 복원하는 과정.
• 주로 이미지를 복원하거나 텍스트를 다시 재생성할 때 사용.

순전파 (Forward Propagation)

• 입력 데이터가 인공 신경망을 통과하면서 계산되는 과정
• 입력이 첫 번째 층에서 시작해 마지막 층까지 이동하면서 각 층에서 계산이 일어남. 이 과정에서 예측 결과를 얻는다.
• 네트워크가 데이터를 '어떻게' 처리하는지를 알려주는 과정.

역전파 (Backpropagation)

• 모델의 예측이 실제 답과 얼마나 차이가 나는지 계산한 후, 그 차이를 줄이기 위해 가중치를 조정하는 과정
• 순전파로 나온 예측과 실제 값 사이의 오류를 바탕으로, 신경망의 가중치를 뒤로 되돌아가면서 조금씩 수정하고, 모델이 점점 더 정확한 예측을 함.

정리

인코딩 (Encoding)

입력 데이터 → 압축, 중요한 특징 추출, 작은 공간 표현.

디코딩 (Decoding)

압축된 데이터 → 원래 형식으로 복원.

순전파 (Forward Propagation)

입력 데이터 → 신경망 통과, 예측 결과 계산.

역전파 (Backpropagation)

예측값과 실제 값 차이 → 가중치 조정, 오류 수정