LLM Wiki

Computer Use Agent Landscape

5 min read

Computer Use Agent Landscape

이 페이지는 데스크톱/OS 레벨 computer use 에이전트 지형도를 모아두는 참조 노트다. 화면을 점거하는 전통적 접근, 백그라운드-safe 실행, OS 네이티브 자동화, 격리 샌드박스, 제품화된 데스크톱 에이전트가 서로 다른 축으로 발전하고 있다.

읽는 법

이 지형도는 단순히 “누가 더 강한가”를 비교하는 표가 아니다. 핵심은 어떤 실행 경계(boundary)를 제공하는가, 사용자의 foreground 작업을 얼마나 보존하는가, 에이전트와 OS 사이에 어떤 운영면을 노출하는가다.

즉,

대표 프로젝트 비교

프로젝트플랫폼경계 모델제어 방식강점주의점
2026-04-28-trycua-cua-ai-agent-os-sandboxmacOS 중심격리 VMLume VM + CUI + CUA거의 네이티브 속도에 가까운 격리, 전체 OS 제어VM/샌드박스 운영 복잡도
2026-05-06-trope-cuaWindows / macOSbackground-safe driverMCP / daemon / CLIreceipts, trajectory, cursor/foreground 보존 명시모든 앱이 안전 경로를 제공하진 않음
2026-03-25-claude-code-computer-useClaude Code 생태계vendor-native내장 Computer Use사용자 입장에서 바로 쓰기 쉬움, 안전장치 내장벤더 정책/제품 경로에 의존
2026-04-10-factory-droid-desktop-appmacOS / Windows제품화된 데스크톱 앱CLI + 데스크톱 앱 + 멀티 세션협업/세션 지속성/시각화/UI 통합완전한 오픈 저널보다 제품 성격이 강함
2026-04-27-macos-cua-repos-comparisonmacOS오픈소스 CUA 실험장Swift / Python / MCPmacOS에서의 다양한 자동화 접근을 한 번에 비교개별 repo 성숙도 차이가 큼

주요 축

1) 백그라운드-safe CUA 드라이버

2) OS 레벨 샌드박스 / 격리 실행

  • 2026-04-28-trycua-cua-ai-agent-os-sandbox — 네이티브 속도에 가까운 격리 실행 계층

3) vendor-native computer use

4) 제품화된 desktop agent

비교 축별 해석

1. 격리 vs 직접 제어

  • trycua/cua는 “에이전트에게 별도 컴퓨터를 준다”는 쪽에 가깝다.
  • Trope CUA는 “실제 컴퓨터를 건드리되, foreground를 보존한다”는 쪽에 가깝다.
  • Claude Code Computer Use는 벤더가 기본 제공하는 직접 제어 경로다.

2. 운영면의 가시성

  • Trope CUA의 receipts와 trajectory는 에이전트의 행동 결과를 추적하기 쉽게 만든다.
  • Factory Droid는 세션·히스토리·렌더링을 제품 레벨로 묶는다.
  • trycua/cua는 VM 레이어를 통해 실패를 쉽게 버리고 새로 시작하는 운영 모델을 제공한다.

3. 사용자 작업 보존

  • foreground 작업을 보호하는 쪽은 Trope CUA
  • 사용자에게 독립 환경을 주는 쪽은 trycua/cua
  • 앱 전체를 제품 안에 끌어오는 쪽은 Factory Droid

해석

  • 프롬프트/모델의 문제만이 아니다: 실제로는 권한, 포커스, 창 관리, 프로필 격리, 앱별 안전 경로가 성능을 좌우한다.
  • background-safe가 중요해진다: 사용자의 foreground 작업을 보호할 수 있는지 여부가 경쟁력의 핵심이 된다.
  • MCP/CLI/daemon 조합이 일반화: 에이전트와 데스크톱 제어 계층을 분리해 재사용 가능한 운영면을 만든다.

그래프 뷰

백링크