# serving
[MLOps] Triton Inference Server 구축기 2 - model repository 만들기
이전 글에서 triton inference server를 docker로 띄우는데 성공하였다면, 이제 serving 하고자 하는 모델을 trained model들이 위치하게 된다. 이어지는 블로그 글에서 자세한 내용을 적을 예정이다. 여기서 지정한 로컬 모델 경로에는
[MLOps] Inference Model Format
Inference model formats for production deployment
[MLOps] PyTorch 모델을 TensorRT로 변환하기
In this tutorial, converting a model from PyTorch to TensorRT™ involves the following general steps:Build a PyTorch model by doing any of the two opti
Triton Inference Server 사용법
Triton Inference Server 는 NVIDIA 에서 공개한 open-source 추론 지원 소프트웨어입니다. 그렇다면 굳이 사용하는 이유는? 개인적으로 생각하기에 가장 큰 이유는 편해서입니다. 따로 backend 라이브러리를 공부할 필요 없이, 학습된 모델
[BentoML] 오픈소스 기여를 해보다.
프로젝트에서 모델 서빙 프레임워크로 BentoML을 사용하고 있고, boto3를 사용해서 AWS S3에 객체를 업로드 하고자 했다. 프라이빗 버킷에 접근하기 위해서 AWS credentials을 Bento에 전달해야 했고, 아래와 같이 BentoML에 나와있는 방식으로
2. 실습_AWS & 실습 환경 세팅(ing)
Mac OS or Linux : 자체 터미널에서 바로 수행 가능Windows : OpenSSH 클라이언트 설치 후 CMD 또는 PowerShell에서 진행.다행히 나는 OpenSSH가 깔려있어서 CMD에서 바로 진행할 수 있었다.\~~chmod 400 kdt.pem :
6_Flask 기반 감성분석 API 개발
1. 네이버 영화리뷰 감성분석 개요 네이버 영화리뷰 데이터로 학습한 ML/DL 모델을 활용해 감성분석 API 개발 나이브 베이지안 모델과 딥러닝 모델로 학습한 두 개의 모델을 서빙하며 0은 부정을, 1은 긍정을 의미 과정 영화 리뷰 텍스트 POST predict 요
5. 실습_Inference를 위한 model handler 개발
학습된 모델을 REST API 방식으로 배포하기 위해 학습된 모델의 Serialization과 웹 프레임워크를 통해 배포 준비 필요모델을 서빙할 때는 학습 시의 데이터 분포나 처리 방법과의 연속성 유지 필요모델을 배포하는 환경에 따라 다양한 Serving Framewo
4. 실습_Serialization&De-serialization
Model serving 학습된 모델을 REST API 방식으로 배포하기 위해 학습된 모델의 Serialization과 웹 프레임워크를 통해 배포 준비 필요 모델을 서빙할 때는 학습 시의 데이터 분포나 처리 방법과의 연속성 유지 필요 모델을 배포하는 환경에 따라 다양한
Yolov5 모델을 BentoML을 이용해 Serving 해보자
사내에서 병원의 마약 이미지를 이용하여 마약을 분류하는 모델을 개발하였습니다.이 모델은 Yolov5를 이용해 개발하였고 pytorch 기반으로 작성하였습니다.실제 배포방식을 고민하며 flask보다 API Serving이 좋다고 소문나있는 BentoML에 얹는 방법을 공
.jpeg)
[MLOps] Multi-Model 서빙을 위한 RedisAI Cluster 구축하기 2편 - How to build RedisAI Cluster?
지난 글에서 RedisAI가 무엇인지 그리고 RedisAI와 FastAPI를 활용한 간단한 추론 서버를 구성해보았습니다. 하지만 운영환경에서 언제 늘어날지 모를(정말 언제 늘어날지 모른다고 한다..🥹) 트래픽을 감당하기 위해서는 확장성을 고려한 스케일 인/아웃이 가능
[MLOps] Multi-Model 서빙을 위한 RedisAI Cluster 구축하기 1편 - What is RedisAI ?
최근 팀에서 자체 NLU 모델을 개발하며 Multi-model Serving에 대한 수요가 생겨났습니다. 각 고객(에이전트)마다
