Qwen

Alibaba의 오픈소스 LLM 패밀리. 작은 사이즈에서도 강력한 성능을 보여주며, 로컬 추론에 특히 적합하다.

주요 버전

  • Qwen 3.5 9B: 8GB VRAM에서도 구동 가능한 실용적인 사이즈, quant 버전으로 로컬 에이전트에 활용
  • Qwen 3.6 27B: 오픈소스 에이전틱 코딩에 강점
  • Qwen 3.6 35B-A3B: MoE 구조

실제 사용 사례

@vmiss33은 RTX 4070 8GB 노트북에서 Qwen 3.5 9B quant(64k context)를 llama.cpp로 서빙하여 Lifestyle/Research Agent를 구동. M1 MacBook 16GB RAM에서도 동일 모델 구동 가능.

크로스 레퍼런스