OpenJarvis - 로컬 우선 개인 AI 에이전트 프레임워크
Stanford Hazy Research / SAIL 연구팀이 만든 오픈소스 프레임워크. “내 PC에서 최대한 AI를 돌리고, 정말 필요할 때만 클라우드를 쓰자”
연구 배경: Intelligence Per Watt
| 연구 결과 | 내용 |
|---|---|
| 로컬 LLM 처리율 | 88.7% 단일 턴 채팅/추론 쿼리 처리 가능 |
| 효율성 개선 | 2023~2025년 인텔리전스 효율성 5.3배 향상 |
| 결론 | 모델과 하드웨어는 준비됨 → 소프트웨어 스택이 부재 |
→ OpenJarvis가 그 스택을 제공
핵심 컨셉
Local-first 개인 AI 에이전트를 쉽게 만들 수 있게 해주는 프레임워크
- 로컬 우선 — 최대한 로컬에서 실행, 필요할 때만 클라우드
- 프라이버시 — 데이터가 내 PC를 떠나지 않음
- 속도 — 로컬 실행으로 빠른 응답
- 전력 효율 — 클라우드 호출 최소화
PyTorch처럼 연구용 + 실제 프로덕션용으로 설계
5가지 핵심 프리미티브
| 계층 | 설명 |
|---|---|
| 1. Intelligence | 모델 선택 (자동 감지 또는 수동). 로컬 모델 카탈로그 관리 |
| 2. Agents | 7가지 내장 에이전트 타입 (단순 채팅 → 오케스트레이션) |
| 3. Tools | 웹 검색, 계산기, 파일 I/O, 코드 인터프리터, RAG, MCP 서버 |
| 4. Engine | Ollama, vLLM, SGLang, llama.cpp, MLX, 클라우드 API 등 |
| 5. Learning | 사용할수록 개선. 트레이스 데이터로 모델/프롬프트/에이전트 자동 개선 |
10+ 엔진 백엔드
| 로컬 | 클라우드 |
|---|---|
| Ollama, vLLM, SGLang, llama.cpp, MLX, Exo | OpenAI, Anthropic, Google, OpenRouter, MiniMax |
→ 동일한 InferenceEngine 인터페이스로 자유롭게 교체
주요 기능
자동화 워크플로우
- Cron 기반 에이전트
- 코드 리뷰, 이메일 분류, 리서치 요약 — 24/7 로컬 실행
하드웨어 인식
- GPU 벤더, 모델, VRAM 자동 감지
- 최적 엔진 자동 추천
오프라인 우선
- 네트워크 없이 모든 핵심 기능 작동
- 클라우드 API는 선택적 추가
OpenAI 호환 API
jarvis serve --port 8000→ OpenAI 클라이언트의 드롭인 대체
에너지 & 비용 추적
- GPU 전력 소비, 토큰 비용, 지연 시간 측정
- 각 쿼리의 와트와 달러 비용 확인
빠른 시작
CLI
# 1. 설치
git clone https://github.com/open-jarvis/OpenJarvis.git
cd OpenJarvis
uv sync
# 2. 하드웨어 감지 & 설정
uv run jarvis init
# 3. Ollama 시작
curl -fsSL https://ollama.com/install.sh | sh
ollama serve
# 4. 모델 다운로드
ollama pull qwen3:8b
# 5. 질문
uv run jarvis ask "What is the capital of France?"
# 6. 진단
uv run jarvis doctorPython SDK
from openjarvis import Jarvis
j = Jarvis() # 자동 엔진 감지
response = j.ask("Explain quicksort.")
print(response)
# 상세 결과
result = j.ask_full(
"What is 2 + 2?",
agent="orchestrator",
tools=["calculator"],
)
print(result["content"]) # "4"
print(result["tool_results"]) # [{tool_name: "calculator", ...}]데스크톱 앱
개발
# Rust 설치
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 소스에서 빌드
git clone https://github.com/open-jarvis/OpenJarvis.git
cd OpenJarvis
uv sync --extra dev
uv run maturin develop -m rust/crates/openjarvis-python/Cargo.toml
uv run pytest tests/ -v링크
스폰서
Laude Institute • Stanford Marlowe • Google Cloud Platform • Lambda Labs • Ollama • IBM Research • Stanford HAI
관련 노트
- 2026-03-22-supermemory — AI 메모리 & 컨텍스트 엔진 (AI 컨텍스트 관리)
Sources
- GitHub: open-jarvis/OpenJarvis
- Intelligence Per Watt
- Stanford Hazy Research / SAIL
연결된 노트
- 2026-03-29-memento-skills — 로컬 에이전트에 스킬 기반 학습 접목 가능
- 2026-03-29-dream-cycle — 로컬 우선 아키텍처에서 야간 개선 루프 실행하면 비용 거의 제로