ORM(Object-Relational Mapping)이란 DB의 테이블을 프로그래밍 언어의 class로, 테이블의 row들을 객체(instance)로 매핑하는 기술을 의미하며, 이를 통해 직접 SQL 문을 작성하지 않고도 DB와 상호작용할 수 있습니다. 예시로 Use

optimizer보다는 기존 optimizer에 덧붙여서 사용하는 기법이라고 볼 수 있다. 개념은 간단합니다. k번의 업데이트를 미리 진행하고, 최종 weight는 k번 업데이트된 weight를 따라가도록 업데이트됩니다.그림에서 theta와 파이가 각각 fast wei

Adam optimizer는 준수한 성능을 보이지만, 이동 평균을 이용하기 때문에 batch sample이 충분히 쌓이지 않은 학습 초기에는 문제가 있을 수 있습니다. 특히 분산의 이동 평균에서 문제가 생길 수 있는데, sample이 충분히 쌓이지 않으면 분산 값이 매

Gradient Descent 전체 데이터에 대해서 미분값 계산 및 업데이트 Stochastic Gradient Descent 전체 데이터가 아니라, 하나하나의 sample마다 업데이트를 진행하는 방식입니다. 하나씩 계산하기 때문에 학습 속도가 빠르다는 장점이 있지만

Maximum Likelihood Estimation(MLE)는 다른 글에서도 다뤘는데요, 정리해보면 확률 분포를 고정해두고, 주어진 데이터에 알맞은 확률 분포의 파라미터는 찾는 알고리즘입니다. 이전 글(MLE 설명)딥러닝과 MLE 모두 파라미터를 최적화하는 과정입니다

가장 먼저 likelihood의 정의에 대해서 알아야 합니다. probability: 확률 분포가 고정되어 있을 때, 어떤 사건이 일어날 가능성 고정된 확률 분포에 대한 파라미터에서 특정 데이터가 등장할 가능성 동전 던지기(확률 분포 고정)에서 앞면이 나올 가능성은 5

binary classification metric들을 알려면 가장 먼저 confusion matrix에 대해 알아야 합니다. binary classification은 모델이 결과를 True 혹은 False로 뱉을 수 있는 문제이고, confusion matrix는 이

베이즈 룰은 사전 정보들과 관측값들이 주어졌을 때, 사후 확률을 계산하는 방법을 말합니다. 간단하게는 조건부 확률을 뒤집는 방법을 말합니다. 예를 들어, COVID-19 검사기의 신뢰도를 얻어야 하는 상황이라고 해봅시다. \- COVID-19의 발병확률 (사전 정보

아래 그림과 같은 인간의 뉴런을 모방해 만든 아주 작은 인공 신경망입니다.입력신호들이 가지돌기에 도착한 후, 신경 세포에서 이들을 하나의 신호로 통합하고, 어떤 임계값을 넘으면 단일 신호가 생성되어 출력신호로 나가는 이러한 구조를 모방했습니다. 퍼셉트론의 구조는 아래와

Overfitting 감지 overfitting은 학습 데이터에 너무 fit해서 unseen data에 대해 일반화되지 않는 현상을 말합니다. 이러한 overfitting을 방지하기 위해서는 먼저 현재 모델이 overfitting되어 있는지 확인할 줄 알아야 합니다.

overfitting, underfitting은 데이터 분포와 모델의 복잡도관점에서 아래와 같이 설명할 수 있습니다. Overfitting : 모델의 복잡도 > 데이터 분포 Underfitting : 모델의 복잡도 < 데이터 분포 데이터에 비해 모델이 복잡해서

Triton Inference Server 는 NVIDIA 에서 공개한 open-source 추론 지원 소프트웨어입니다. 그렇다면 굳이 사용하는 이유는? 개인적으로 생각하기에 가장 큰 이유는 편해서입니다. 따로 backend 라이브러리를 공부할 필요 없이, 학습된 모델

PyTorch에서 나온 리서처의 편의(?)를 돕기 위한 라이브러리인데요, 공식 홈페이지에서는 이렇게 소개합니다. You do the research. Lightning will do everything else.