대부분의 AI 스타트업은 도구에 연간 60K를 조용히 태우고 있습니다.
필요해서 그런 게 아닙니다. 대안을 몰라서입니다.
실제로 AI를 구축하는 사람들—연구원, 엔지니어, 인디 해커들—은 구독 모델을 쌓지 않습니다. 그들은 오픈소스로 돌아갑니다.
그래서 저는 300개 이상의 저장소를 살펴보고 진짜 유용한 것들만 추렸습니다.
이것은 완전한 AI 툴박스(50개 도구) — GitHub 링크 포함입니다 ↓
⚙️ 01. LLM 추론 — 모델을 로컬에서 실행하기
- Ollama https://github.com/ollama/ollama
- llama.cpp https://github.com/ggml-org/llama.cpp
- vLLM https://github.com/vllm-project/vllm
- LM Studio https://github.com/lmstudio-ai/lmstudio.js
- Jan https://github.com/janhq/jan
- text-generation-webui https://github.com/oobabooga/text-generation-webui
- LocalAI https://github.com/mudler/LocalAI
🧠 02. RAG & 지식 관리
- LangChain https://github.com/langchain-ai/langchain
- LlamaIndex https://github.com/run-llama/llama_index
- RAG-Anything https://github.com/HKUDS/RAG-Anything
- Chroma https://github.com/chroma-core/chroma
- Weaviate https://github.com/weaviate/weaviate
- Haystack https://github.com/deepset-ai/haystack
- Docling https://github.com/DS4SD/docling
🤖 03. AI 에이전트
- AutoGen https://github.com/microsoft/autogen
- CrewAI https://github.com/crewAIInc/crewAI
- LangGraph https://github.com/langchain-ai/langgraph
- Agno https://github.com/agno-agi/agno
- smolagents https://github.com/huggingface/smolagents
- OpenHands https://github.com/All-Hands-AI/OpenHands
- SuperAGI https://github.com/TransformerOptimus/SuperAGI
🧪 04. 프롬프트 & 평가
- DSPy https://github.com/stanfordnlp/dspy
- Guidance https://github.com/guidance-ai/guidance
- Outlines https://github.com/dottxt-ai/outlines
- Promptfoo https://github.com/promptfoo/promptfoo
- Braintrust https://github.com/braintrustdata/braintrust-sdk
- Instructor https://github.com/instructor-ai/instructor
🧬 05. 파인튜닝
- Unsloth https://github.com/unslothai/unsloth
- Axolotl https://github.com/axolotl-ai-cloud/axolotl
- LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory
- TRL https://github.com/huggingface/trl
- torchtune https://github.com/pytorch/torchtune
- MergeKit https://github.com/arcee-ai/mergekit
🔌 06. 도구 & 컨텍스트
- MarkItDown https://github.com/microsoft/markitdown
- files-to-prompt https://github.com/simonw/files-to-prompt
- Crawl4AI https://github.com/unclecode/crawl4ai
- Firecrawl https://github.com/mendableai/firecrawl
- Playwright MCP https://github.com/microsoft/playwright-mcp
- Model Context Protocol https://github.com/anthropics/model-context-protocol
- awesome-mcp-servers https://github.com/punkpeye/awesome-mcp-servers
- n8n https://github.com/n8n-io/n8n
🚀 07. 배포
- LiteLLM https://github.com/BerriAI/litellm
- BentoML https://github.com/bentoml/BentoML
⚡ 08. Claude 전용 (Claude 사용자 필수)
- Superpowers for Claude https://github.com/obra-ai/superpowers — Claude Code에 강력한 기능 추가: 깊은 저장소 이해, 자동 리팩토링, 대규모 편집. Claude의 “진짜 개발 모드”를 여는 셈입니다.
- Claude Code Skills https://github.com/anthropics/claude-code-skills — skill.md를 통해 Claude에 구조화된 행동을 가르치는 공식 시스템. 복잡한 워크플로우에서 Claude를 신뢰할 수 있게 만듭니다.
- Free Claude Code https://github.com/Alishahryar1/free-claude-code — GitHub Models를 통해 Claude Code 실행. 구독 불필요. 설정 스크립트와 가이드 포함.
- Claude Mem https://github.com/thedotmack/claude-mem — Claude에 장기 기억 추가. 세션 간 컨텍스트 추적. 진행 중인 프로젝트에 필수.
🧹 09. 데이터 준비 (가장 과소평가된 레이어)
대부분의 AI 앱은 여기서 실패합니다.
모델이 나빠서가 아닙니다. 데이터 입력이 나빠서입니다.
이걸 고치면 모든 것이 개선됩니다.
- Unstructured https://github.com/Unstructured-IO/unstructured — PDF, 이메일, HTML, 이미지를 RAG를 위한 깨끗한 청크로 파싱. 대부분의 파이프라인에서 빠져있는 레이어입니다.
- DataTrove https://github.com/huggingface/datatrove — 대규모 데이터셋 처리: 중복 제거, 필터링, 분류. 진지한 랩들이 학습 전에 사용하는 도구입니다.
- Trafilatura https://github.com/adbar/trafilatura — 웹 페이지에서 광고나 노이즈 없이 깨끗한 콘텐츠 추출. 모델에 고품질 텍스트를 공급하기에 완벽합니다.
🔥 전체 그림
이제 당신은 갖추게 되었습니다:
- 🧠 로컬 + 프로덕션 LLM
- 🔗 RAG + 지식 시스템
- 🤖 작업을 실행하는 에이전트
- 🧪 평가 + 프롬프트 제어
- 🧬 파인튜닝 스택
- 🔌 도구 + 통합
- 🚀 배포 인프라
- ⚡ Claude 최적화 레이어
- 🧹 데이터 전처리 파이프라인
최종 현실 전환
대부분의 사람들은 여전히:
→ 도구에 돈 내기 → API 체이닝 → 취약한 AI 앱 구축
반면, 소수의 사람들은:
→ 스택 소유하기 → 비용 제어 → 더 빠르고 똑똑한 시스템 구축
이건 이제 단순한 목록이 아닙니다.
이것은 종속성 없이 AI 제품을 구축하기 위한 청사진입니다.