GoModel - Go로 작성된 고성능 AI 게이트웨이

LiteLLM과 유사한 경량 AI 게이트웨이. Go 단일 바이너리로 가볍고 빠른 콜드스타트.

핵심 개요

항목	값
언어	Go
라이선스	MIT
프로바이더 수	11개
스토리지	SQLite, PostgreSQL, MongoDB
Points	5

지원 프로바이더

OpenAI, Anthropic, Gemini, Groq, xAI 등 11개 프로바이더를 단일 OpenAI 호환 API로 통합.

주요 기능

API 지원

• /v1/chat/completions (스트리밍)
• /v1/responses
• /v1/embeddings
• /v1/models
• /v1/files
• /v1/batches
• 네이티브 API 패스스루: /p/{provider}/...

2계층 응답 캐시

• Layer 1: 요청 본문 해시 기반 정확 매칭 캐시 (서브밀리초 조회)
• Layer 2: 임베딩 벡터 KNN 검색 기반 시맨틱 캐시 (60~70% 적중률)

벡터 백엔드

Qdrant, pgvector, Pinecone, Weaviate 지원

운영 기능

• 관리 대시보드 UI (토큰 사용량, 비용 추적, 감사 로그)
• Prometheus 메트릭
• 감사 로깅
• 가드레일 파이프라인
• GOMODEL_MASTER_KEY API 인증
• 동일 프로바이더 복수 인스턴스 지원

설치

docker run -e OPENAI_API_KEY=sk-... ghcr.io/enterpilot/gomodel

로드맵 (0.2.0)

• 인텔리전트 라우팅
• DeepSeek V3, Cohere 추가
• user_path별 예산 관리
• 클러스터 모드

관련 도구

• ollama - 로컬 LLM 추론 엔진
• 2026-03-22-github-trending-vllm-project-vllm-omni - vLLM Omni 프로젝트
• moc-ai-models — AI Models MOC
• moc-dev-tools — Dev Tools MOC

출처

• 원본: github.com/ENTERPILOT/GoModel
• GeekNews: https://news.hada.io/topic?id=29021