Anubis — Local LLM Benchmarking for Apple Silicon
Native macOS app for benchmarking, comparing, and managing local LLMs using any OpenAI-compatible endpoint.
요약
Anubis는 Apple Silicon Mac 전용 네이티브 LLM 벤치마킹 앱이다. Ollama, MLX, LM Studio, OpenWebUI 등 모든 OpenAI 호환 엔드포인트를 지원하며, 하드웨어 텔레메트리와 추론 성능을 실시간으로 상관분석한다.
주요 기능
벤치마킹 & 성능 분석
- 하드웨어 텔레메트리: GPU/CPU/ANE/전력/메모리 실시간 모니터링
- 추론 성능 기록: 전체 히스토리 저장 및 비교
- Reasoning-aware 메트릭: DeepSeek-R1, Qwen3-thinking, GLM 등 추론 모델의 thinking time 분리 측정
- Prefill 속도: 입력 토큰/초를 일급 메트릭으로 제공
Apple Intelligence 백엔드 (macOS 26+)
- 제로 구성: 백엔드 선택만으로 온디바이스 Foundation Model 직접 호출
- 스트리밍 토큰 출력: 다른 백엔드와 동일한 라이브 차트와 메트릭 카드
- 시스템 프롬프트 지원: Foundation Models
Instructions에 매핑
하드웨어 스트레스 테스트
- CPU 스트레스: 코어당
yes프로세스 생성 (모든 코어/P-코어만/E-코어만/단일 코어) - GPU 스트레스: Metal 컴퓨트 셰이더로 Mandelbrot 프랙탈 줌 렌더링 (4단계 강도)
- 메모리 대역폭 스트레스: 메모리 할당 후
memcpy로 메모리 버스 포화 (3단계 압력)
기타 기능
- Floating Monitor HUD: 항상 최상단에 고정된 컴팩트 오버레이 (라이브 CPU%/GPU%/메모리/전력/GPU 주파수/열 상태)
- OLLAMA PULL: 앱 내에서 직접 모델 다운로드
- 내보내기: 벤치마크 결과를 Markdown 또는 CSV로 내보내기 (브랜드 리포트 포함)
- 15+ 내장 프롬프트: 인과 추론, 시스템 설계, 대화 작성, 역사 분석, 제약 작성 등 5개 카테고리
기술 스택
- 플랫폼: macOS 15+ (Apple Silicon 전용)
- 언어: Swift (SwiftUI)
- 라이선스: GPL-3.0
- 지원 백엔드: Ollama, MLX, oMLX, LM Studio Server, OpenWebUI, Docker Models, Apple Intelligence (macOS 26+)
커뮤니티 & 리소스
- 공식 사이트: https://uncsoft.github.io/anubis-oss/
- 커뮤니티 리더보드: https://devpadapp.com/leaderboard.html
- 벤치마크 리포트: https://uncsoft.github.io/anubis-oss/analysis.html (375+ 커뮤니티 실행 분석)
- Ko-fi 팁Jar: https://ko-fi.com/jtatuncsoft/tip
관련 노트
- 2026-03-23-macbook-thunderbolt-122b-ai-cluster — M4/M5 Mac 여러 대로 122B 모델 로컬 구동
- 2026-04-26-local-llm-formats-comparison — 로컬 LLM 포맷 비교 (MLX, GGUF, nvfp)
- 2026-04-26-swiftlm-apple-silicon-inference — 100% Native Apple Silicon MLX 추론 서버