Stable Diffusion 모델은 Large-Scale Model이므로, 서비스를 위해선 고성능 GPU와 높은 Latency가 발생함효율적인 Stable Diffusion 서비스를 위해, 모델의 Latency를 줄이고 안정적인 Server 구성이 필요함Diffuse

paperwithcode 압도적 1등(2022/11/23)을 달리고 있는걸 보면, 해당 논문의 존재는 알곤 있었지만, 이정도로 뜨거울줄은 몰랐다.사실 Diffusion Model이 생성모델쪽에서 핫 하다는 얘기는 머신러닝 업계에 발 담구고 있는 사람들은 지겹도록 들었을

오랜만에 적는 포스팅진행하던 업무가 1차 프로토타이핑이 끝나서 회고록 느낌으로 적습니다.지금 다니는 회사에서 10월에 새로운 미션이 주어졌다.(정확하게 말해선 내가 셀프로 가져온 미션이긴 하다.)단일 비디오로 부터 3D 모션 캡쳐를 하여 캐릭터에 리타겟팅이 가능하도록

한동안 onnx 수정하는 tool을 (https://github.com/PINTO0309/simple-onnx-processing-tools) 개발하더니, 요즘은 이쪽으로 관심을 트는듯 하다.원래 onnx-tf(https://github.com/on

모델 종류 : Yolov7-TensorRTGPU : V100 x 2Maximum batch size 8concurrency : 동시성inference/Second : 1초당 inference 처리량concurrecy가 36일때 가장 높은 효율(765 inference/

들어가기 앞서, 우리 모두 Pinto0309님께 절한번씩 합시다. 문제 1 : 대부분 SOTA 모델은 Pytorch인데, Mobile inference 최적화는 TFLite가 잘되어 있음 문제 2 : Pytorch2TFlite의 공식 지원은 없으며, 개개인이 구현한

Fast Sparse ConvNets 기술이 TFmot과 TFlite에서 지원하기 시작(21.05.08)Nightly-version설치간단한 pip 설치로는 동작하지 않고, Ruy를 backend로 하는 TFlite에서 지원TF-mot(TF model optimizat

TFLite + XNNPACK이 int8 연산에서도 가속화를 지원하기 시작함 (21.09.09)https://blog.tensorflow.org/2021/09/faster-quantized-inference-with-xnnpack.htmlQuantized XN

Why Triton Inference Server?