Context Vault

Karpathy - LLM Wiki

7 min read

Karpathy - LLM Wiki

Andrej Karpathy가 제안하는 LLM을 활용한 개인 지식 베이스 구축 패턴. 최근 토큰 사용량의 대부분이 코드 조작보다 지식 조작에 쓰이고 있다. Gist로 원본 “idea file” 공개 — 코드가 아닌 아이디어를 공유하고 각자의 에이전트가 커스터마이즈/빌드하도록 설계됨. “LLM 에이전트 시대에는 특정 코드/앱을 공유할 필요가 줄어든다 — 아이디어만 공유하면 상대방의 에이전트가 맞춤 구축한다.”

The Core Idea

RAG 방식은 매 질문마다 지식을 재발견한다. 축적이 없다. 이 패턴은 다르다: LLM이 지속적이고 복리되는 위키를 점진적으로 구축/유지한다. 소스를 추가하면 LLM이 읽고, 핵심 정보를 추출해 기존 위키에 통합한다 — 엔티티 페이지 업데이트, 주제 요약 수정, 모순 표시, 종합 강화.

핵심 차이: 위키는 지속적 복리 자산이다. 교차 참조가 이미 있고, 모순이 이미 표시되어 있으며, 종합이 읽은 모든 것을 반영한다.

“Obsidian은 IDE, LLM은 프로그래머, 위키는 코드베이스”

활용 예시: 개인 목표/건강 추적, 연구 리서치, 책 읽기(캐릭터/테마 위키), 비즈니스/팀 내부 위키, 경쟁 분석, 여행 계획, 강의 노트 등.

Architecture (3 Layers)

Raw sources — 소스 문서 컬렉션. 불변(immutable), LLM이 읽기만 함. 출처의 진실.

The wiki — LLM이 생성한 마크다운 파일 디렉토리. 요약, 엔티티 페이지, 컨셉 페이지, 비교, 개요, 종합. LLM이 전적으로 소유. 읽기는 사용자, 쓰기는 LLM.

The schema — 위키 구조, 규칙, 워크플로우를 정의한 설정 파일 (CLAUDE.md, AGENTS.md 등). LLM이 “일반 챗봇”이 아닌 “규율 있는 위키 관리자”가 되게 하는 핵심. 사용자와 LLM이 협업으로 발전시킴.

Operations

Ingest. 소스를 raw에 넣고 LLM이 처리. 읽기 → 핵심 토론 → 요약 작성 → 인덱스 업데이트 → 관련 페이지 업데이트 → 로그 기록. 단일 소스가 10-15개 위키 페이지에 영향. 1개씩 수동 검토하거나 배치 자동 처리 가능.

Query. 위키에 대해 질문. LLM이 관련 페이지 검색 → 읽기 → 인용과 함께 답변 종합. 좋은 답변은 위키에 새 페이지로 다시 파일링하여 지식 베이스에 복리되게 함. 출력 형식: 마크다운, 비교표, 슬라이드(Marp), 차트(matplotlib), 캔버스.

Lint. 주기적 건강 검사. 페이지 간 모순, 구식 주장, 고아 페이지, 누락된 교차 참조, 데이터 공백 발견. LLM이 새 질문/소스 후보 제안.

Indexing and Logging

index.md — 콘텐츠 카탈로그. 각 페이지에 링크, 한 줄 요약, 메타데이터. 카테고리별 정리. 중간 규모(~100 소스, 수백 페이지)에서 훌륭히 동작하며 RAG 인프라 불필요.

log.md — 시간순 기록 (append-only). ## [2026-04-02] ingest | Article Title 형식으로 unix 도구로 파싱 가능: grep "^## \[" log.md | tail -5

Optional: CLI Tools

위키 검색 엔진: qmd — 로컬 BM25/벡터 하이브리드 검색 + LLM 리랭킹, CLI 및 MCP 서버 제공. 규모가 커지면 유용.

Tips and Tricks

  • Obsidian Web Clipper — 웹 아티클 → 마크다운 변환
  • 이미지 로컬 다운로드 — 첨부 폴더를 raw/assets/로 고정, Ctrl+Shift+D 단축키로 전체 이미지 다운로드. LLM이 URL 의존 없이 이미지 직접 참조 가능
  • Obsidian Graph View — 위키 전체 구조 시각화
  • Marp — 마크다운 기반 슬라이드 플러그인
  • Dataview — frontmatter 기반 동적 쿼리 플러그인
  • Git — 위키는 마크다운 git repo. 버전 히스토리, 브랜칭, 협업 무료

Why This Works

지식 베이스 유지의 지루한 부분은 읽기나 생각이 아니라 **부기(bookkeeping)**다. 인간은 유지 부단이 가치보다 빨리 커져 위키를 포기한다. LLM은 지루해하지 않고, 교차 참조 업데이트를 잊지 않으며, 한 번에 15개 파일을 수정할 수 있다. 유지 비용이 거의 0이므로 위키가 유지된다.

Vannevar Bush의 Memex (1945)와 정신적으로 연결 — 개인적 큐레이션 지식 저장소, 연관 트레일. Bush가 해결하지 못한 “누가 유지보수를 하는가”를 LLM이 해결한다.

Note

이 문서는 의도적으로 추상적이다. 아이디어를 기술할 뿐 특정 구현이 아니다. 디렉토리 구조, 스키마 규칙, 페이지 형식, 도구링은 도메인/선호/LLM에 따라 다르다. 모든 것이 선택적이고 모듈식이다. LLM 에이전트와 함께 자신에게 맞는 버전을 만들도록 설계됨.

Sources

그래프 뷰