🦾 ML

앙상블(Ensemble)은 분류(Classification)를 위한 ML 모델을 만들 때 여러 개의 작은 모델들을 만들고 이들을 더해서 성능을 높이는 방법입니다.보통 모델을 학습하다보면 모델이 오버피팅되거나 언더피팅되는 경우가 있습니다.이는 분류 문제에서 너무 과하게

모델 선능평가란, 실제 모델과 모델의 예측값을 비교하여 오차를 구하는 것입니다.실제값-예측값=0이라면 모델이 100% 맞춘 것이겠죠.하지만 실제 모델이 그러기는 힘들고 오차를 구해서 어느정도까지의 오차를 허용할 것인지 결정하게됩니다.모델 평가를 하는 목적은 과적합을 방

모델이 과적합되게 학습하지 않고 일반성을 가질 수 있도록 규제 하는 것을 말합니다.데이터의 피쳐를 손대지 않고 제너럴하게 만드려면 기울기(가중치)를 건드리면 안되고 사용하는 것이 Lasso와 Ridge입니다.w는 가중치를 의미합니다.MSE에 알파를 곱한 L1규제항을 더

Ensemble 1편에서는 기본적인 Ensemble에 대해서 배워보았습니다.이번 포스팅에서는 좀 더 심화된 Ensemble을 알아봅시다.'XGBoost (Extreme Gradient Boosting)' 는 앙상블의 부스팅 기법의 한 종류입니다.이전 모델의 오류를 순차

Feature Engineering은 모델 정확도를 높이기 위해서 주어진 데이터를 예측 모델의 문제를 잘 표현할 수 있는 features로 변형시키는 과정으로'머신러닝 알고리즘을 작동하기 위해 데이터의 도메인 지식을 활용해 feature를 만드는 과정'이다.대부분의 통

PCA란 Principal Component Analysis의 약자로 분포된 데이터들의 주성분을 찾아내는 방법입니다. 아래와 같이 2차원 좌표에 n개의 데이터가 분포할 때 데이터들의 분포 특성을 2개의 벡터 e1,e2로 가장 잘 설명할 수 있는 방법이 무엇인가를 파악해내는 것입니다. 여기서 e1의 방향과 크기, 그리고 e2의 방향과 크기를 알면 데이터의 ...

Sklearn에서 cv score 사용할 때, 많은 scoring이 있지만, 경우에 따라 직접 scoring 방법을 만들어 사용해야할 때가 있습니다.그 방법에 대하여 포스팅해보겠습니다.make_scorer make_scorer의 custom_scoring : custo

모델을 구축하고 철저한 테스트를 마치고 나면 모델을 배포할 수 있다.모델을 운영환경에 배포하면 시스템 사용자가 생성한 쿼리를 처리하게 된다.입력받은 쿼리는 특징벡터로 변환되고, 변환된 특징 벡터를 모델에 입력해서 채점하고 채점결과를 사용자에게 반환한다.모델 배포는 머신

ROC curve는 다양한 threshold에 대한 이진분류기의 성능을 한번에 표시한 것이다.이진 분류의 성능은 True Positive Rate와 False Positive Rate 두가지를 이용해서 표현하게 된다.ROC Curve를 한마디로 하자면 ROC 커브는 좌

모델 서빙 런타임은 모델을 입력 데이터에 적용하는 환경이다.런타임의 특성은 배포패턴에 따라 결정되는데 효과적인 런타임의 특성을 알아보자.런타임은 사용자 인증과 사용자 요청 승인을 담당한다. 그래서 특정 사용자가 실행하려는 모델에 대한 접근권한이 있는지, 전달된 매개변수

머신러닝은 복잡한 문제들을 인간이 정의할 수 없는 큰 데이터나 복잡한 데이터를 효율적으로 풀어낼 수 있는 도구입니다. 이 도구를 활용하여 상품 추천 시스템, 스팸 메일 필터, 이상징후 감지 보안 등 다양한 서비스를 만들 수 있습니다.실제로 다수의 IT 기업들은 머신러닝

이전 포스팅인 MLOps에서도 말했는데 예측 모델이 사업적 성과를 만들기 위해서, 실제 운영 서비스에 적용되어야합니다. DevOps의 마이크로 서비스 아키텍처와 마찬가지로 MLOps 에서는 모델의 예측값을 만들어내는 마이크로 서비스가 필요합니다. 서비스의 목적에 따라

우리는 앞선 포스팅을 통해 모델 서빙에 대해 알아보았다.서빙은 손님에게 음식을 가져다주는 행위를 말한다. 모델 서빙도 이와 같은 개념인데, 딥러닝이든 머신러닝이든 어떠한 모델이 예측한 예측값을 사용자에게 전달하는 것이다. 모델 서빙을 위해서는 여러 상황을 고려해야 하는

저는 kubeflow를 minikube 환경에서 설치하고 사용하겠습니다.minikube를 시작해줍니다. 시작 시 스펙을 어느정도 할당해서 시작하겠습니다.minikube 설치를 했고 실행된 것을 확인했으니 kubeflow를 설치해보겠습니다.kubeflow 설치를 위해 k

참조 : https://lsjsj92.tistory.com/581

minikube에 Kubeflow 1.4.1을 설치한다.Kubeflow 설치 방식이 버전 1.2까지는 kfctl를 사용하였으나, 1.3부터는 kustomize를 사용한다.✓ kfctl is a CLI for deploying and managing Kubeflow, L