Multi-Model Ensemble Voting
Gemini, GPT, Claude 3가지 모델의 답변을 soft/hard voting으로 결합하여 단일 모델보다 퀄리티 상승
요약
여러 LLM 모델(Gemini, GPT, Claude)의 답변을 앙상블 기법(soft voting, hard voting 등)으로 결합하면 단일 모델보다 응답 퀄리티가 유의미하게 상승합니다. 논문으로도 검증된 방법입니다.
기본 개념
Ensemble Learning
- 여러 모델의 예측을 결합하여 성능을 향상시키는 기법
- 머신러닝에서 널리 사용되는 방법을 LLM에 적용
Voting 방식
| 방식 | 설명 |
|---|---|
| Hard Voting | 다수결로 최종 답변 선택 (A:2, B:1 → A 선택) |
| Soft Voting | 확률 점수 가중 평균으로 최종 답변 선택 |
| Weighted Voting | 각 모델에 가중치 부여 (신뢰도 높은 모델에 더 높은 가중치) |
| Rank Fusion | 각 모델의 순위를 결합 |
장점
- 퀄리티 상승: 단일 모델보다 응답 품질 유의미 향상
- 견고성: 특정 모델의 약점을 다른 모델이 보완
- 오차 감소: 앙상블 효과로 개별 모델의 오차 상쇄
실제 경험
- 실험 방식: 수동으로 복붙하여 3가지 모델 응답 수집 → voting → 최종 답변 선택
- 결과: 단일 모델보다 퀄리티 훨씬 상승
- 참고: 논문 존재
자동화 필요성
현재 수동 복붙 방식으로 실험 중 → 자동화된 시스템 필요
요구사항
- 자동으로 여러 모델에 동일한 프롬프트 전송
- 응답 수집 및 정렬
- voting 알고리즘 적용
- 최종 답변 출력
관련
- Ensemble Learning
- LLM Evaluation
- Model Selection
Source: 정석님 공유 (2026-03-29)