freellmpool은(는) 무엇을 하나요?
16개 LLM 제공업체(Groq, Cerebras, NVIDIA NIM, Gemini, OpenRouter, Cloudflare 등)의 무료 티어를 하나의 OpenAI 호환 /v1 엔드포인트로 통합합니다. 무료, 설정 불필요, 자동 장애 조치. Codex/에이전트에 최적화.
주요 기능
- 무료 사용: 모든 제공업체의 무료 티어를 활용하여 비용 없음
- 제로 설정: 별도의 API 키나 구성 파일 없이 즉시 실행 가능
- 자동 장애 조치: 한 제공업체가 실패하면 자동으로 다음 제공업체로 전환
- OpenAI 호환: 모든 OpenAI SDK 및 도구와 호환되는 단일
/v1엔드포인트 - 16개 제공업체 지원: Groq, Cerebras, NVIDIA NIM, Gemini, OpenRouter, Cloudflare 등 포함
- Codex/에이전트 최적화: AI 코딩 에이전트 및 자동화 워크플로우에 이상적
설치 및 사용법
도커를 통한 빠른 시작
docker run -p 8080:8080 0xzr/freellmpool
또는 소스에서 직접 실행
git clone https://github.com/0xzr/freellmpool.git
cd freellmpool
# Node.js 사용 시
node index.js
API 사용법
엔드포인트가 실행 중이면 OpenAI 호환 SDK 또는 HTTP 클라이언트를 사용하여 요청할 수 있습니다:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="dummy" # api_key는 필요 없지만 요구됨
)
response = client.chat.completions.create(
model="gpt-3.5-turbo", # 모델은 자동으로 적절한 제공업체로 라우팅
messages=[
{"role": "user", "content": "Hello, world!"}
]
)
print(response.choices[0].message.content)
지원 제공업체
| 제공업체 | 무료 티어 한도 | 노트 |
|---|---|---|
| Groq | 초당 30 요청 | 낮은 지연 시간 추론 |
| Cerebras | 시간당 1,000 요청 | 빠른 속도 |
| NVIDIA NIM | 일일 5,000 요청 | 기업용 |
| Gemini | 분당 60 요청 | Google AI |
| OpenRouter | 다양함 | 여러 모델 |
| Cloudflare Workers AI | 일일 100,000 요청 | 에지 네트워크 |
| (계속해서 다른 제공업체 기여 환영) |
환경 변수
선택적으로 특정 제공업체를 활성화/비활성화하거나 키를 구성합니다:
export ENABLE_GROQ=true
export ENABLE_CEREBRAS=true
export ENABLE_NVIDIA_NIM=true
export ENABLE_GEMINI=false # 비활성화 예시
아키텍처 개요
freellmpool은 각 지원 제공업체에 대한 경량 API 래퍼로 작동합니다. 요청이 들어오면 제공업체의 가용성, 속도 및 한도를 평가하여 최상의 후보를 선택합니다. 제공업체가 실패하거나 속도 제한에 도달하면 다음 최상의 옵션으로 자동 장애 조치됩니다. 이 모든 작업은 개발자에게 투명하게 이루어집니다.
기여
기여는 환영합니다! 새 제공업체를 추가하거나 기존 기능을 개선하려면 PR을 열어주세요.
라이선스
MIT