선형 함수
선형함수는 입력변수에 대해 1차식으로 표현되며, 즉 출력값이 입력값에 비례하여 변하는 함수
비선형 함수
비선형 함수는 1차식으로 표현되지 않는 함수로, 출력값이 입력 변수와 비례하지 않으며 복잡한 패턴을 모델링 할 수 있다.
신경망 (Neural Networks)
신경망은 1950년대 퍼셉트론에서 시작되어, 1980년대 다층 퍼셉트론으로 발전하였습니다.
이러한 신경망 구조는 딥러닝의 기초가 됩니다.
신경망은 여러 층 (layer)으로 구성되어 있으며,
각각의 층에서 학습한 정보가 다음 층으로 전달되며 복잡한 패턴을 학습할 수 있다.
인공 신경망과 생물 신경망
사람의 뉴런 사람의 뇌에서 뉴런은 가장 작은 정보 처리 단위입니다.
뉴런은 수상돌기를 통해 신호를 수신하고, 축삭을 통해 신호를 전달합니다 .
뉴런은 시냅스로 연결되어 있으며, 인간은 약 1000억 개의 뉴런을 가지고 있다.
퍼셉트론
퍼셉트론은 가장 기본적인 인공 신경망 모델로, 단순한 노드와 가중치, 그리고 층의 개념을 도입합니다.
퍼셉트론은 이진 분류 문제를 해결할 수 있으면 선형 분류 모델에 적합합니다.
퍼셉트론의 예시
학교가 끝나면 집에 가기 전에 항상 군것질거리에 대해 고민
ex) 배고픔의 정도, 남은용돈 (특징) -> 이를 바탕으로 군것질 여부를 결정함
단층 퍼셉트온
단층 퍼셉트론은 하나의 계층으로 구성된 신경망입니다.
입력 데이터를 받아 가중치를 곱하고, 편향을 더한 후 활성화 함수를 거쳐 출력을 도출합니다.
이 과정에서 퍼셉트론은 이진 분류 문제를 해결할 수 있습니다.
활성화 함수
단층 퍼셉트론에서 자주 사용되는 활성화 함수는 계단함수입니다.
이 함수는 입력값이 임계값을 넘으면 1을 반환하고, 넘지 않으면 0을 반환합니다.
학습 방법
퍼셉트론의 학습은 경사하강법과 유사한 방식인 퍼셉트론 학습 규칙을 사용한다
이 규칙에 따라 출력이 잘못된 경우 가중치가 수정되며, 오차가 줄어들도록 반복적으로 학습이 이루어집니다
단층 퍼셉트론의 중요한 한계는 선형 분리 문제만 해결할 수 있다는 점이다
즉, XOR 문제와 같이 입력 데이터가 선형적으로 분리되지 않는 경우에는
단층으로만으로는 부족하고 다층 퍼셉트론을 사용한다
단층 퍼셉트론은 직선의 방정식을 풀 수 있고, 더 고차원적인 문제를 해결하기 위해서는
다층 퍼셉트론이 필요하다
여러 개의 입력을 갖는 퍼셉트론의 수식
단층 퍼셉트론에서 여러 개의 입력값이 있는 경우, 이를 벡터로 이해할 수 있다
즉, 단일 입력이 아닌 다수의 입력값이 주어지면, 각각의 입력에 대해 해당하는 가중치가 존재하며, 전체 입력과 가중치의 선형 결합을 통해 출력을 계산한다
각 입력의 '중요도'를 가중치를 통해 표현하며, 이들을 합산하여 최종적으로 판단한다
