사실 llm 공부를 하려 했는데 고등학교 부전공 시간에 배웠던 인공지능 기초가 부분 부분 기억이 안나서 복습하는 느낌으로 몇몇 기초 개념들을 정리하려고 한다.
정말 많이 본 이미지지만, 이것도 llm 학습시키는 것에 1000분의 1도 안되게 축소한 것이다
뉴럴 네트워크는 인간의 뇌 구조를 모방한 기계학습 모델이다.
기본 구조
- 입력층(Input Layer): 외부 데이터를 받아들이는 계층
- 은닉층(Hidden Layers): 실제 연산과 학습이 이루어지는 계층
- 출력층(Output Layer): 최종 결과를 출력하는 계층
각 계층은 여러 개의 뉴런(노드)으로 구성되며, 이 뉴런들은 서로 연결되어 복잡한 데이터의 패턴을 학습함
작동 원리
- 각 뉴런은 입력을 받아 가중치를 적용.
- 가중치가 적용된 입력값에 편향(bias)을 더함.
- 이 값을 활성화 함수(예: Sigmoid, ReLU)에 통과시켜 출력값을 생성.
- 해당 출력값을 다음 층에 입력.
학습 과정
- 손실 함수를 사용하여 모델의 예측과 실제 값의 차이를 측정.
- 역전파(Backpropagation) 알고리즘을 사용하여 오차를 네트워크를 통해 역으로 전파.
- 경사 하강법(Gradient Descent)을 이용하여 가중치와 편향을 조정
여기서 역전파는 학습중 정답이 틀렸을 경우 출력층부터 오차를 전파하는 방식이다.
경사하강법으로 오차에 지분이 있는 가중치와 편향을 조정한다.
🐙