LLM Wiki

2026-04-28 trycua/cua — AI 에이전트용 OS 레벨 샌드박스

5 min read

2026-04-28 trycua/cua — AI 에이전트용 OS 레벨 샌드박스

AI에게 맥북 통째로 맡기기. 브라우저 자동화의 종말.

trycua/cua 공식 저장소: https://github.com/trycua/cua | 14,692⭐ | MIT 홈페이지: https://cua.ai

핵심 개념

“AI에게 내 컴퓨터를 넘겨주긴 해야 하는데, 내 컴퓨터를 망치게 둘 수는 없다.”

이 딜레마를 해결하는 프레임워크: 에이전트에게 데스크톱을 주되, 그 데스크톱은 언제든 버릴 수 있는 일회용 경량 VM이어야 한다.

3단 아키텍처

1. Lume — 초고속 가상화 레이어

Apple의 Virtualization.Framework를 극한으로 개조한 독자 CLI/엔진.

  • Apple Silicon에서 macOS/Linux 스핀업 시 네이티브 CPU 속도의 97%
  • VMWare/Docker의 오버헤드 없음
  • AI가 화면 보고 마우스 움직이는데 레이턴시가 체감되지 않음

2. CUI (Computer-Use Interface) — AI의 눈과 손

  • 단순 화면 캡처가 아니라 Visual Accessibility Tree 추출
  • OS의 시각적 접근성 트리를 LLM이 이해하기 쉬운 형태로 파싱
  • 마우스 클릭/드래그/키보드 타이핑 → 시스템 레벨 API 호출 변환

3. CUA (Computer-Use Agent) — 지능의 결합

  • OpenAI, Anthropic, Ollama 등 다중 LLM 연동
  • MCP (Model Context Protocol) 완벽 지원 → Claude Desktop, Cursor에서 VM을 “도구”처럼 호출

주요 패키지

패키지설명
cuabot멀티 에이전트 computer-use 샌드박스 CLI. H.265, 공유 클립보드, 오디오
cua-agentcomputer-use 태스크용 AI 에이전트 프레임워크
cua-sandbox샌드박스 생성/제어를 위한 SDK
cua-computer-server샌드박스 내 UI 인터랙션 + 코드 실행 드라이버
cua-benchcomputer-use 벤치마크 & RL 환경
lumeApple Silicon에서 macOS/Linux VM 관리
lumierDocker 호환 인터페이스 for Lume VM

비교표

Playwright 등Host 직접 제어trycua/cua (Lume+CUI)
제어 범위DOM 내부 한정로컬 전체 (💥위험)전체 OS (격리 VM)
구동 속도빠름 (제한적)네이티브네이티브 97% (초고속 스핀업)
보안성브라우저 샌드박스 의존보안 붕괴 위험망분리 수준의 완전 격리
타겟 앱웹 앱 전용모든 데스크톱모든 데스크톱 (Tableau, SAP 등)

코드 패턴

from cua_agent import CuaSandbox, Agent
import os
 
sandbox = CuaSandbox(
    os_type="macos",
    cpu_cores=4,
    memory="8gb",
    isolate_network=True  # 외부 망분리
)
sandbox.start()
 
agent = Agent(
    model="claude-3-5-sonnet-latest",
    api_key=os.getenv("ANTHROPIC_API_KEY"),
    sandbox=sandbox,
    tools=["computer_use"]  # 이 한 줄로 격리 데스크톱 제어 권한 위임
)
 
agent.run("바탕화면 '사내_재무_데이터.xlsx' 열어 Tableau로 시각화해줘")
sandbox.destroy()  # 작업 후 안전 파기

실무 적용 시나리오

  1. 레거시 ERP/SAP/Tableau 자동화 — API 없는 데스크톱 앱도 “사람처럼 클릭”으로 제어. isolate_network=True로 보안팀 망분리 규정 충족
  2. E2E 테스트 팜 — PR마다 독립 macOS 환경 10초 스핀업 → AI가 QA 진행 → 파기. 상태가 남지 않는 완전한 순수성
  3. MCP 연동 — Cursor 안에서 “Lume 샌드박스 안에 코드 빌드해서 에러 로그 가져와”라고 지시 가능

ChatOps 맥락

의 Telegram ChatOps 감독형 자동매매 아키텍처(2026-04-22-open-source-automated-trading-stack-map)와 연결:

  • ** 격리 실행 환경**: 트레이딩 봇을 Lume VM에서 실행 → 망분리 + 사고時 자동 파기
  • MCP 연동: Hermes Agent가 cua-sandbox를 MCP 도구로 호출 → Telegram에서 봇 제어
  • 2026-04-27-macos-cua-repos-comparison: iFurySt/hyprcat/Coasty-AI와 함께 이미 추적 중

관련 노트

출처

그래프 뷰

백링크