로컬 LLM 6종 종합 벤치마크 — 60문항 한국어 실무 점수표

로컬 LLM을 도입할 때 가장 어려운 건 "어떤 모델을 쓸 것인가"입니다. 개별 모델의 한국어 테스트, 실무 테스트, 환각 테스트를 따로따로 진행해왔지만, 6개 모델을 동일 조건에서 한 번에 비교하는 종합 점수표가 없었습니다. 60문항 × 7개 시나리오 × 6개 모델 = 총 360회 평가의 결과를 정리합니다.

테스트 설계

6개 모델을 동일 GPU, 동일 서빙 엔진, 동일 Temperature(0.3)로 고정하고 60문항을 순차 실행했습니다. 채점은 5점 만점, 5개 기준을 가중 평균합니다.

7개 시나리오는 실제 기업 AI 챗봇에서 자주 등장하는 도메인입니다: 제조(공정 문의), SaaS(기능 안내), 의료(증상 상담), 쇼핑(상품 추천), 법률(계약/규정), 자동화(스크립트 생성), 한국어(존댓말/사자성어). 각 시나리오 10문항씩, 한국어와 자동화는 5문항씩 배정했습니다.

종합 순위

Qwen3-14B가 3.86점으로 단독 1위입니다. 7개 시나리오 중 5개에서 최고점을 기록했고, 특히 자동화(4.2)와 제조(4.1)에서 두각을 나타냅니다. Qwen3-14B 심층 리뷰에서 분석한 것처럼, 코드 생성과 구조화된 응답에 강점이 있습니다.

Gemma-3-12B와 KORMo-10B가 3.70점으로 공동 2위입니다. Gemma는 의료(3.9)에서 강하고, KORMo는 한국어(4.2)와 쇼핑(3.8)에서 강합니다. KORMo가 10B 크기임에도 12B Gemma와 동점인 것은 한국어 특화 학습의 효과입니다.

환각 방어력

60문항 중 6문항은 환각 트랩입니다. 존재하지 않는 제품, 가짜 판례, 허위 의료 정보 등을 물어보고 "모르겠다"거나 "해당 정보가 없다"고 올바르게 거절하는지 평가합니다.

환각 방어력 상위 2개 모델은 Qwen3-14B와 KORMo-10B로, 둘 다 4/6을 통과했습니다. 하지만 6/6을 통과한 모델은 없습니다. 모든 로컬 LLM은 특정 트랩에서 환각을 생성합니다. 프로덕션에서는 RAG나 하이브리드 검색으로 팩트 검증을 반드시 보강해야 합니다.

치명적 결함 분석

점수와 별개로, 실서비스에 배포하면 사고가 나는 "치명적 결함"이 있습니다. 모든 모델에서 공통적으로 발견되거나, 특정 모델에서만 나타나는 결함을 정리합니다.

속도 vs 품질 트레이드오프

품질이 높은 모델이 느리다면, 실서비스에서 어떤 선택을 해야 할까요? 모델 크기별 생성 속도와 종합 점수를 함께 비교합니다. GPU는 RTX PRO 6000, SGLang 서빙 기준입니다.

동시 접속 관점에서 보면, 8B vs 14B vs 32B 비교에서 확인한 것처럼 8B 모델이 20명 동시 접속에서 1,582tok/s로 2배 가까이 빠릅니다. 하지만 품질이 3.38점 이하인 모델을 빠르게 서빙하는 건 의미가 없습니다. Qwen3-14B의 850tok/s면 20명 동시 접속에서도 사용자당 42tok/s 이상을 유지하므로, 대부분의 B2B 시나리오에서 충분합니다.

결론 — 시나리오별 추천 모델

한 줄 요약: 한국어 실무 서비스라면 Qwen3-14B-AWQ가 기본 선택입니다. 14B 크기에 AWQ 양자화(9.4GB VRAM)로 가성비가 가장 좋고, 7개 시나리오 중 5개에서 최고점을 기록합니다. 한국어 자연스러움이 최우선이면 KORMo-10B, 의료 도메인이면 Gemma-3-12B를 고려합니다.

단, 어떤 모델을 선택하든 법조문 날조는 피할 수 없습니다. 법률·의료·금융처럼 팩트 정확성이 생명인 도메인에서는 반드시 DB+RAG 하이브리드 검색이나 Text2SQL을 연동해야 합니다. 그리고 Temperature는 0.3 이하로 설정하세요.