출처: GitHub
insane-search
The scraper that’s too stubborn to quit.
403. WAF. CAPTCHA. Empty SPA. Login wall. 일반 도구가 모두 포기할 때, insane-search는 이제 시작이다. 5단계 프로브. TLS 임퍼소네이션 자동 설치. 실제 브라우저로 숨겨진 API 발견. 모든 방법을 시도하며, ‘차단됐다’고 알려진 사이트에서도 항상 뭔가 작동한다.
API 키 없음. 가입 없음. 설정 없음. 설치하고 Claude Code가 포기하는 것을 멈추는 것을 지켜보자.
Quick Start
1. 마켓플레이스 추가
/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git
2. 플러그인 설치
/plugin install insane-search
3. Claude Code 재시작
설정 없음, API 키 없음, 환경변수 없음.
동작 원리 (5단계 적응형 스케줄러)
Phase 0: 특수 엔드포인트 인덱스
↓ 인덱스 없거나 실패
Phase 1: 경량 프로브 (병렬)
• WebFetch + Jina Reader
• Chrome/모바일/Googlebot UA로 curl
• URL 변형: m.{domain}, .json, /rss, /feed
↓ 403/429/WAF 감지
Phase 2: TLS 임퍼소네이션 + 신원 스푸핑
• curl_cffi (safari → chrome → firefox)
• 홈페이지 쿠키 워밍 → 리퍼러 체인 → 로케일 헤더
↓ TLS 우회 실패 또는 JS 챌린지 감지
Phase 3: 실제 브라우저
• Playwright MCP
• 네트워크 요청으로 숨겨진 API 발견
↓ 로그인/페이월 감지
Exit: 인증 필요 — 어떤 단계로도 해결 불가
주요 특징
- ‘차단됨’이라는 단어를 모른다 — 사전 판단 없이 모든 사이트에 전체 체인 적용
- 신원 스푸핑 내장 — TLS 핑거프린트 교체 + 완전한 브라우저 신원 구축
- 의도 라우팅 — URL 가져오기와 키워드 검색을 다른 파이프라인으로 처리
- 무기를 자동 설치 — curl_cffi, feedparser, yt-dlp 필요 시 자동 설치
- 숨겨진 API 발견 — Phase 3에서 사이트 내부 JSON API 캐치 및 재사용
- 제로 설정 마찰 — API 키, OAuth, 개발자 포털 불필요
의존성
필수: Claude Code만 있으면 됨
필요 시 자동 설치:
pip install curl_cffi # WAF 차단 사이트용 TLS 임퍼소네이션
pip install feedparser # RSS/Atom 파싱
pip install yt-dlp # 1,858개 미디어 사이트
선택 (커버리지 향상):
brew install gh
claude mcp add playwright -- npx @playwright/mcp@latest