Context Vault

A Survey of Context Engineering for Large Language Models

6 min read

A Survey of Context Engineering for Large Language Models

LLM 성능을 결정하는 정보 페이로드 관리를 프롬프트 엔지니어링을 넘어선 정식 학문인 “맥락 엔지니어링”으로 체계화한 포괄적 서베이. RAG, 메모리 시스템, 도구 통합, 다중 에이전트 조정을 통합 프레임워크로 조직.

핵심 정의

맥락을 정적인 문자열이 아닌 동적으로 구조화된 정보 구성 요소 집합으로 재개념화:

맥락 최적화를 공식적인 최적화 문제로 변환:

여기서 는 맥락 생성 함수, 는 조립 함수, 는 출력 품질 측정. 컨텍스트 길이 제한 및 컴퓨팅 리소스 제약 조건을 따름.

기초 구성 요소 (3가지)

1. 맥락 검색 및 생성

  • 프롬프트 엔지니어링: CoT → ToT → GoT → 인지 프롬프팅 (추론 구조화 진화)
  • 외부 지식 검색: RAG, 지식 그래프 통합, 동적 컨텍스트 구성
  • 동적 컨텍스트 구성: 쿼리/사용자/리소스에 따라 반응형 정보 오케스트레이션

2. 컨텍스트 처리

  • 긴 시퀀스 처리: SSM (선형 복잡성), 위치 보간, FlashAttention
  • 자체 개선: Self-Refine (자가 비판/수정), Reflexion (경험 기반 학습)
  • 구조화된 정보 통합: 멀티모달, 구조화된 데이터, 지식 그래프

3. 컨텍스트 관리

  • 근본적 제약: 어텐션 2차 확장, 유한 컨텍스트 창
  • 메모리 계층: 단기 작업 기억 + 장기 기억, KV 캐시 관리
  • 압축 기술: 오토인코더 기반 압축, 계층적 캐싱

시스템 구현 (4가지)

1. RAG (가장 성숙한 응용)

  • 모듈형 RAG: 독립적 구성 요소 분해, 유연한 도메인 적응
  • 에이전트형 RAG: 자율적 검색 전략 결정
  • 그래프 강화 RAG: 구조화된 지식으로 다중 홉 추론

2. 메모리 시스템

  • 아키텍처: 에피소드/의미/작업 기억 구분, 명시적 저장 메커니즘
  • 메모리 강화 에이전트: MemoryBank, MemGPT — 경험 학습, 장기적 관계 구축
  • 평가: 장기 일관성, 메모리 충실도, 비정상 행동 측정

3. 도구 통합 추론

  • 함수 호출: Toolformer, ReAct, Gorilla — API 호출 학습
  • 도구 통합 추론: 복잡한 추론 체인에서 다중 도구 결합
  • 환경 상호작용: 웹 탐색, 소프트웨어 조작, 물리적 시스템 제어

4. 다중 에이전트 시스템 (가장 정교한 구현)

  • 통신 프로토콜: MCP, A2A, ACP
  • 오케스트레이션: 작업 분해, 에이전트 할당, 자원 배분, 결과 통합
  • 조정 전략: 합의, 갈등 해결, 동적 팀 구성

핵심 연구 격차: 이해-생성 비대칭성

LLM은 복잡한 컨텍스트를 효과적으로 이해하지만, 동등한 복잡성의 장문 출력 생성에는 한계. “이해-생성 격차”는 입력 컨텍스트의 정교함에 필적하는 상세한 분석, 포괄적인 보고서, 확장된 추론 사슬을 요구하는 응용에 영향을 미침.

미래 방향

  1. 원칙적인 컨텍스트 최적화의 이론적 기반
  2. 아키텍처적 한계 해결을 위한 기술 혁신
  3. 도메인별 솔루션을 위한 응용 중심 연구
  4. 안전, 보안 및 사회적 영향을 포함한 배포 고려 사항

관련 노트

Sources

그래프 뷰