LLM Wiki — Karpathy idea file

A pattern for building personal knowledge bases using LLMs.

핵심 아이디어

Karpathy의 제안은 단순 RAG가 아니다. LLM이 원본 문서를 매번 재검색하는 대신, 지속적으로 성장하는 위키를 먼저 만들고 유지한다. 새 소스를 넣으면 LLM은 단순 요약이 아니라 기존 위키에 통합하면서 엔티티 페이지를 업데이트하고, 교차 참조를 추가하고, 오래된 주장과 충돌을 표시한다.

즉, 지식은 매 질문마다 다시 발견되는 것이 아니라 컴파일된 뒤 계속 최신 상태로 유지된다.

3계층 구조

  • Raw sources: 불변의 원본 문서
  • The wiki: LLM이 생성·유지하는 마크다운 지식베이스
  • The schema: 위키 규칙과 워크플로우를 정의하는 문서

주요 작업

  • Ingest: 새 소스를 읽고, 요약하고, 위키에 통합
  • Query: 관련 페이지를 찾아 인용과 함께 답변
  • Lint: 고아 페이지, 충돌, 구식 주장, 누락 링크 점검

왜 중요한가

이 idea file은 RAG와 다른 방향을 제시한다. 검색 인프라가 중심이 아니라, 지식의 축적과 유지보수가 중심이다. 위키는 단발성 답변용 저장소가 아니라, 시간이 지날수록 더 유용해지는 작업 산출물이다.

관련 페이지

출처