Context Vault

Memento-Skills — Let Agents Design Agents

6 min read

한 줄 요약

동결된 LLM의 파라미터를 수정하지 않고, 외부 “스킬 라이브러리”를 진화시키며 에이전트가 스스로 학습하는 프레임워크.

핵심 아이디어

LLM은 배포 후 파라미터가 고정(frozen)되면 경험에서 학습하지 못한다. Memento-Skills는 스킬이라는 단위로 외부 메모리를 구성하고, 실행 결과를 기반으로 스킬을 자동 생성/수정/폐기하는 Read-Write 반영 학습 메커니즘을 제안한다.

“에이전트를 설계하는 에이전트” — 사람이 매 작업마다 프롬프트를 설계할 필요 없이, 에이전트가 경험을 통해 스스로 작업별 스킬을 축적한다.

아키텍처

1. Read Phase (정책 개선)

  • 새 작업 → 행동 정렬된 스킬 라우터가 가장 적합한 스킬 선택
  • LLM이 선택된 스킬의 워크플로우 실행

2. Write Phase (정책 평가 + 개선)

실행 결과를 보고:

  • 실패 귀인(Failure Attribution) — 어느 스킬이 에러를 유발했는지 분석
  • 스킬 수정(Skill Rewriting) — 해당 스킬의 프롬프트/코드를 타겟 업데이트
  • 스킬 발견(Skill Discovery) — 수정으로 안 되면 완전히 새로운 스킬 생성
  • 유닛테스트 게이트 — 모든 변경은 자동 테스트로 검증 (회귀 방지)

3. Behavior-Aligned Skill Router

  • 의미적 유사도(BM25, 임베딩)가 아닌 행동적 유용성 기반 라우팅
  • 단일 스텝 오프라인 RL + InfoNCE 손실로 학습
  • Recall@1: BM25 0.32 vs Memento-Qwen 0.60

실험 결과

벤치마크Memento-Skills베이스라인 (Read-Write ablation)향상폭
GAIA66.0%52.3%+13.7%p
HLE38.7%17.9%+20.8%p
  • GAIA 학습 정확도: 65.1% → 91.6% (3라운드)
  • HLE 학습 정확도: 30.8% → 54.5% (4라운드)
  • 스킬 라이브러리 자동 확장: 5개 → 41개 (GAIA), 235개 (HLE)

HLE에서의 도메인 전이

과목R0 (시작)R3 (학습 후)
인문학-66.7%
생물학-60.7%

HLE의 구조화된 과목 분류 덕분에 같은 도메인 내 스킬 전이가 활발하게 일어남.

핵심 기여

  1. 동결 LLM의 지속 학습 — 파라미터 수정 없이 배포 후에도 학습 가능
  2. 스킬 단위 메모리 — 에피소드 로그가 아닌 재사용 가능한 실행 가능한 스킬로 지식 외부화
  3. 행동 정렬 라우팅 — “이 스킬이 비슷해 보인다”가 아니라 “이 스킬을 실행하면 성공한다”를 최적화
  4. 자가 진화 스킬 라이브러리 — 사람이 설계하지 않아도 에이전트가 자체적으로 스킬 체계를 구축

연결된 생각

메모

  • 베이스 LLM: Gemini-3.1-Flash 사용
  • 스킬은 마크다운 파일로 저장 (코드 + 프롬프트 캡슐화)
  • OpenClaw의 스킬 시스템에 “행동 정렬 라우터” 개념을 적용하면 스킬 매칭 품질이 크게 향상될 수 있음

그래프 뷰