macOS CUA (Computer Use Agent) Repos Comparison
OpenAI Codex Computer Use, Anthropic Claude Computer Use의 macOS 오픈소스 대안들 비교
개요
CUA(Computer Use Agent)는 AI가 인간처럼 컴퓨터를 제어하는 기술. 전통적인 방식은 화면 전체를 점거하지만, 최신 접근법은 백그라운드-first로 사용자 작업 방해 없이 병행 수행.
주요 Repo 비교
| Repo | Stars | 언어 | 핵심 특징 | License |
|---|---|---|---|---|
| Coasty-AI/open-computer-use | 533 | TypeScript/Python | OSWorld 82% verified, 멀티에이전트 (Browser/Terminal/Desktop/Planner), Docker VM 격리 | Apache 2.0 |
| iFurySt/open-codex-computer-use | 60 | Swift | OpenAI Codex Computer Use의 macOS 대안, MCP 프로토콜로 어떤 AI 클라이언트든 연결, Claude Code / Codex 연동 가능 | MIT |
| actuallyepic/background-computer-use | 216 | Swift | Background-first macOS computer-use 런타임, loopback HTTP API + 직접 Swift API, 앱 서명/권한 기반 실행 | MIT |
| hyprcat/mac-cua | 6 | Python | Background-first, CGEventPostToPid로 백그라운드 입력, 화면 점거 없음, ScreenCaptureKit截图 | Apache 2.0 |
Coasty-AI/open-computer-use (533★)
- 특징: OSWorld 벤치마크 82% 달성. 완전한 SaaS 플랫폼
- 에이전트: Browser / Terminal / Desktop / Planner (4종)
- 아키텍처: Next.js 15 Frontend + FastAPI Backend + Docker VM (XFCE)
- 사용 사례: Marketing, Go-to-Market, QA Testing, Job Application, Form Filling
- 단점: self-hosted에는 Supabase + Docker + API keys 필요, 무겁다
iFurySt/open-codex-computer-use (60★)
- 특징: OpenAI Codex Computer Use 영감을 받은 macOS 전용 MCP 서버
- 핵심 차별점: Swift로 작성,
open-computer-useCLI로 전역 설치, Claude Code / Codex에 MCP로 바로 연결 - 설치:
npm i -g open-computer-use open-computer-use install-claude-mcp # Claude Code에 자동 설정 open-computer-use install-codex-mcp # Codex에 자동 설정 - 권한: macOS Accessibility + Screen Recording 필요
- 장점: 가볍고 CLI-centric, 맥 환경에 최적화
actuallyepic/background-computer-use (216★)
- 특징: macOS 전용 로컬 computer-use 런타임. 사용자 포인터를 빼앗지 않는 방향을 명시적으로 강조한다.
- 핵심: loopback HTTP API + 직접 Swift API를 모두 제공하고, 윈도우 상태/AX tree/스크린샷을 함께 사용해 액션을 수행한다.
- 운영:
./script/start.sh가 빌드·서명·설치·런타임 부트스트랩까지 처리하며, 실제 접속 주소는$TMPDIR/background-computer-use/runtime-manifest.json에서 읽는다. - 의의: MCP 연동형(iFurySt)과 달리, 앱 번들/HTTP 런타임/직접 API를 함께 둔 “로컬 제어면”에 가깝다.
hyprcat/mac-cua (6★)
- 특징: “화면을 빼앗지 않는 CUA” — 가장 혁신적인 UX 접근법
- 핵심:
CGEventPostToPid로 특정 PID에 직접 이벤트 전달, 커서/포커스 안 움직임 - 비교:
- 전통 CUA: 화면 잠금, 커서 하이장, 사용자 관전
- mac-cua: 백그라운드 클릭/타이핑, 사용자 동시에 작업 가능
- API: ScreenCaptureKit (GPU 가속截图), AX tree reads (비침습적)
- 제한: 앱 런칭 시 잠깐 포커스 플래시 발생 가능
맥 사용자 관점 정리
| 사용 목적 | 추천 Repo |
|---|---|
| 맥에서 경량 CLI + Claude Code 연동 | iFurySt/open-codex-computer-use |
| 맥에서 백그라운드-first HTTP/Swift 런타임 | actuallyepic/background-computer-use |
| 맥에서 백그라운드 오토메이션 (화면 안 빼앗김) | hyprcat/mac-cua |
| 서버/VM 기반 완전한 Computer Use 플랫폼 | Coasty-AI/open-computer-use |
| 맥 자동화 + Claude Code 통합 + 빠른 시작 | iFurySt + hyprcat 조합 |
Related Notes
- 2026-03-25-claude-code-computer-use — Claude Code computer use 기능
- 2026-05-05-background-computer-use — Swift 기반 macOS background-first computer-use API
- 2026-05-06-background-computer-use — BackgroundComputerUse
- 2026-05-06-trope-cua — Windows/macOS 백그라운드 computer-use 드라이버
- moc-ai-agents — AI 에이전트 종합
- computer-use-agent-landscape — CUA 전체 생태계