AI

그 한계를 임계값이라 하며, $θ$ 기호로 나타낸다.이러한 퍼셉트론이 중요한 이유는 서론에서도 말했지만 신경망을 이루는 기초가 되기 때문에 중요하다.

FC layer Fully Connected Layer(완전 열결 계층) 말 그대로 이전 층의 뉴런과 다음 층의 뉴런이 전부 연결 되어 있는 계층을 말한다.

Loss Function은 머신러닝이나 딥러닝 모델이 예측한 값과 실제 값의 차이를 비교하는 함수이다.이를 통해 모델의 성능을 평가하고 모델이 더 나은 성능으로 개선될 수 있게 한다.손실함수의 값을 계산하여 모델의 가중치를 계속 업데이트해 모델을 최적화한다.이러한 Lo

Gradient descent gradient descent(경사하강법)은 딥러닝, 머신러닝 모델을 학습할 때 매개변수(hyper parameter)를 갱신하여 손실함수의 오차를 최대한 줄이려는 알고리즘이다. 자세히는 손실함수의 기울기를 구해 기울기를 가장 최소화되는

가중치에 대한 손실함수의 기울기를 구하는 방식이다.이러한 backpropagation은 말 그대로 역순으로 gradient를 구하는 것인데 이 때 합성 미분법의 성질인 chain rule(연쇄 법칙)이 필요하다.chain rule은 합성 함수를 미분할 때 겉함수와 속함

Linear(선형) 함수 ${\displaystyle f}$에 대해, 가산성(Additivity), 즉, 임의의 수 $x, y$에 대해 $f(x+y) = f(x)+f(y)$가 항상 성립하고 동차성(Homogeneity), 즉, 임의의 수 $x$와 $α$에 대해 $f(

CNN 사용 이유 FC Layer는 1차원 데이터만을 입력으로 받는데 이미지 데이터를 1차원으로 평면화하는 과정에서 정보에 손실이 일어난다. 그러기 때문에 이미지의 공간정보를 유지한 상태로 학습할 수 있는 CNN모델을 사용한다. CNN의 구조 CNN은 두가지로 나

Logistic Regression(로지스틱 회귀) logistic regression은 다중 선형 회귀와 비슷하다. 데이터의 가중치($w$)를 곱하고 편향(bias)을 더하는 과정을 진행한다. 허나 선형 회귀와 다른 점은 그 안에 시그모이드 함수를 사용하고 오즈와

NLP NLP란 머신러닝, 딥러닝에 한 분야로 인간의 언어(한국어, 일본어, 중국어, 영어 등)를 기계가 이해하고 생성할 수 있게 하는 기술이다. RNN(Recurrent Neural Network) 모델이 이전 입력데이터의 정보를 가져와 현재 입력데이터와 출력에

말 그대로 기울기가 소실 되는 것이다. 정확히는 기울기 소실은 미분값이 0보다 크고 1보다 작을 때 계속 곱해지면 점점 0에 가까워져 결국 0에 수렴되는 것이다. 그러므로 backpropagation을 할 때 점점 뒤로 갈 수록 paramiter가 갱신되지 않을 수 있

Transformer Transformer은 처음 입력을 받는 encoder와 encoder에서 나온 sequence를 입력으로 받는 decoder로 이루어져 있다. Word embedding Text를 머신러닝, 혹은 딥러닝 모델에 입력으로 넣어주기 위해 단어들

AI란 인공적인 지능을 구현시키는 컴퓨터 과학의 분야이다.위의 사진을 바탕으로 알아보도록 하자.가장 큰 범위의 개념이다. 여기에는 일반적인 프로그램 등 규칙 기반의 시스템도 포함한다.ML은 데이터를 이용한 AI 모델 구조이다.비지도 학습, 지도 학습, 강화 학습 등 여

Fine-tuning 특정 분야를 위해 이미 학습된 모델에 새로운 데이터 셋을 추가하여 학습하는 작업이다. 출처: https://kr.appen.com/blog/fine-tuning/ https://wikidocs.net/120208 https://www.data

Dropout은 모델에 노드를 랜덤으로 선택하여 비활성화하는 것인데이러한 Dropout은 overfitting을 막는데 도움을 준다.Dropout으로 학습을 할 때 랜덤으로 노드를 비활성화하여 학습한다.이렇게 학습하여 loss를 하나 구하고 다시 랜덤으로 비활성화하는

PyTorch(파이토치)란? 머신러닝 라이브러리 중 하나이다. 파이토치에는 텐서라는 자료구조를 이용하여 여러 계산을 할 수 있다. ex) 내적, 행렬곱, 자동 미분 등 출처: 혁팬하임 파이토치 한국 사용자 모임

파이썬 패키지 관리자 중 하나로써 사용할 패키지를 쉽게 추가, 제거 해주고어떤 패키지가 있는지 그 패키지가 몇 버전인지 알려주는 도구이다.또한 uv를 사용하면 파이썬에 버전을 쉽게 바꿀 수 있다.1\. 패키지 다운로드가 빠르다.우선 첫 번째 이유로는 패키지를 다운로드

Regularization는 Overfitting을 줄이는 방법 중 하나이다.이 방법은 Loss 함수에 파라미터의 크기를 추가하여 함께 고려하는 것이다.$$L + \\frac \\lambda p ||W||^p_p$$여기서 W는 weight를 종합한 벡터다.또한 $$\\