pi-autoresearch
AI 코딩 에이전트 pi를 위한 자율 최적화 루프 확장 — 아이디어를 시도하고, 측정하고, 성과를 유지하고, 실패를 폐기하고, 반복.
요약
davebcn87/pi-autoresearch는 터미널에서 실행되는 AI 코딩 에이전트 pi를 위한 확장입니다. karpathy/autoresearch에서 영감을 받아 자율 최적화 루프를 구현합니다.
핵심 기능
자동화된 실험 루프
아이디어 → 실행 → 벤치마크 → 개선 유지 → 회귀 되돌리기 → 반복
도구
- init_experiment: 세션 구성 (이름, 지표, 단위, 방향)
- run_experiment: 명령어 실행 및 측정
- log_experiment: 결과 기록 및 위젯 업데이트
서브커맨드
/autoresearch <text>: 자동 연구 모드 진입/재개/autoresearch off: 자동 연구 모드 종료/autoresearch clear: 모든 상태 초기화
활용 예시
| 도메인 | 지표 | 명령어 |
|---|---|---|
| 테스트 속도 | seconds ↓ | pnpm test |
| 번들 크기 | KB ↓ | pnpm build && du -sb dist |
| LLM 훈련 | val_bpb ↓ | uv run train.py |
| 빌드 속도 | seconds ↓ | pnpm build |
| Lighthouse | perf score ↑ | lighthouse http://localhost:3000 —output=json |
구조
확장 vs 스킬 분리
- Extension (global): 도구, 위젯, 대시보드 — 도메인 독립적
- Skill (per-domain): 도메인 지식 — 명령어, 지표, 범위
세션 파일
autoresearch.md: 세션 문서 — 목표, 지표, 시도 내역autoresearch.sh: 벤치마크 스크립트autoresearch.checks.sh: (선택) 정확성 검사 — 테스트, 타입, 린트
UI
- 위젯: 항상 에디터 상단에 표시
- Ctrl+X: 대시보드 확장/축소
- Ctrl+Shift+X: 전체 화면 대시보드 오버레이
신뢰도 점수 (Confidence Score)
3회 이상 실험 후 계산됩니다:
- 🟢 ≥ 2.0×: 개선이 실제일 가능성 높음
- 🟡 1.0–2.0×: 노이즈 이상이지만 미미
- 🔴 < 1.0×: 노이즈 내 — 재실행 권장
MAD (Median Absolute Deviation) 기반 노이즈 추정.
설치
pi install https://github.com/davebcn87/pi-autoresearch설정
autoresearch.config.json로 동작 커스터마이징:
{
"workingDir": "/path/to/project",
"maxIterations": 50
}영감
- karpathy/autoresearch — Andrej Karpathy
관련
- pi
- autoresearch