클로드 코드 추적하기
레거시 보관본입니다. 정식 지식 노트와 링크 정리는
wiki/pages/를 기준으로 유지합니다.
Claude Code 스킬과 에이전트, 어떻게 모니터링하고 개선하고 계신가요?
Claude Code에서 스킬과 에이전트를 만드는 건 어렵지 않습니다. 하지만 ‘잘 만드는 것’과 ‘잘 동작하는 것’은 완전히 다른 문제입니다.
잘 동작하는지 확인하려면 명확한 평가 기준이 필요하고, 체계적인 평가가 이루어져야 하는데, 이런 평가 시스템을 구축하는 것 자체가 만만치 않습니다. 저도 이 문제로 꽤 오랫동안 고민했습니다.
처음에는 로컬에 생성되는 대화 로그(jsonl) 파일을 직접 열어보며 어느 지점에서 병목이 발생하는지 파악했습니다. 원시적이지만, 당시엔 이 방법밖에 없었거든요.
그러다가 Claude Code가 OpenTelemetry를 지원하면서 LangSmith에 연동하여 트레이스를 수집하기 시작했습니다. 하지만 수없이 쌓이는 로그 속에서 의미 있는 인사이트를 찾아내기란 여전히 쉽지 않았습니다. 로그는 쌓이는데, 정작 “어디서 문제가 생겼는지”를 파악하려면 또다시 수작업이 필요했죠.
그런데 최근 LangSmith 팀에서 Claude Code 트레이싱을 Hooks 방식으로 공식 지원하고, AI 기반 분석 도구 Polly를 출시하면서 상황이 완전히 달라졌습니다.
Polly는 쌓인 트레이스를 AI가 직접 분석해주기 때문에, 병목 지점이나 실패 패턴을 훨씬 빠르게 파악할 수 있습니다. 솔직히 “이걸 진작에 만들어줬으면…”이라는 생각이 들 정도였습니다.
여러분은 Claude Code의 에이전트와 스킬을 어떻게 개선하고 계신가요?
관련 링크
- Hooks로 Trace Claude Code: https://docs.langchain.com/langsmith/trace-claude-code
- Polly 데모 영상: https://youtu.be/4Ox2gdZnM6c
- OpenTelemetry 방식으로 모니터링: https://docs.claude.com/ko/docs/claude-code/monitoring-usage