RunPod

RunPod is a cloud computing platform designed for AI, machine learning applications, and general computing needs.

RundPod는 클라우드 컴퓨팅 플랫폼으로, AI, ML, 일반적인 컴퓨팅 자원으로 활용할 수 있다.
가장 큰 특징은 Serverless, Pods, vLLM 이다.

Concepts

Pods?

Pod은 GPU와 CPU인스턴스에서 container를 이용해 코드를 실행할 수 있게 한다. Pod의 종류는 2가지로, Secure Cloud와 Community Cloud로 구분할 수 있다.

• Secure Cloud는 T3/T4 데이터 센터에서 운영하고, 높은 신뢰성과 보안을 제공한다.
• Community Cloud는 여러 개별 컴퓨팅 제공자들이 모여 형성된 클라우드 시스템이다. 소비자들이 안전하게 리소스를 공유하는 "P2P 시스템"으로 때문에 중앙 서버 없이 사용자들을 직접 연결하기 때문에 안전하다.

Severless

Pay-per-sencods severless computing으로 REST API로 endpoint에서 동작하고 수요(demand)에 따라 autoscaling한다.

CLI

이 외에도, CLI를 통해서 빠르게 개발하고 사용자 endpoint에 서버없이 deployment 가능하다.

Practice

초기화면

Deploy GPU Pod

Reference

[1] https://docs.runpod.io/overview