replicate/cog

cog은(는) 무엇을 하나요?

머신러닝을 위한 컨테이너

Cog는 머신러닝 모델을 Docker 컨테이너로 패키징하는 오픈소스 도구입니다. 이 스킬은 Cog를 사용하여 ML 모델을 표준화된 방식으로 배포하고 실행하는 방법을 안내합니다.

주요 기능

• 모델 패키징: Python 의존성과 함께 모델을 완전한 Docker 이미지로 패키징
• 자동 API 생성: 모델에 대한 REST API를 자동으로 생성
• GPU 지원: NVIDIA GPU를 활용한 추론 지원
• 버전 관리: 모델의 여러 버전을 효율적으로 관리

사용 방법

1. cog init으로 프로젝트 초기화
2. cog.yml에 모델 구성 정의
3. cog build로 Docker 이미지 빌드
4. cog predict로 로컬에서 모델 테스트

예시

# cog.yml
build:
  gpu: true
  python_version: "3.11"
  system_packages:
    - "libgl1-mesa-glx"
    - "libglib2.0-0"
  python_packages:
    - "torch==2.0.1"

요구 사항

• Python 3.8 이상
• Docker 20.10 이상
• NVIDIA Container Toolkit (GPU 사용 시)
• macOS, Linux, Windows (WSL2) 지원