MoE vs Dense 실전 비교 — Qwen3-30B-A3B가 14B보다 느린 이유

MoE(Mixture of Experts)는 30B 파라미터 중 3B만 활성화하므로 효율적이다 — 이론적으로는 맞습니다. 그런데 실측하면 이야기가 달라집니다. Qwen3-30B-A3B(MoE)와 Qwen3-14B(Dense)를 같은 GPU에서 직접 비교하면, 14B가 1.9배 빠르고 VRAM도 절반입니다. 게다가 CPU+GPU 하이브리드 추론(KTransformers)은 완전히 실패했습니다. 왜 실패했는지 18,432개 가중치를 전수 조사해서 원인을 찾았습니다.

MoE란

MoE(Mixture of Experts)는 하나의 레이어에 여러 개의 "전문가(Expert)" 네트워크를 두고, 입력 토큰마다 라우터가 소수의 전문가만 활성화하는 구조입니다. Qwen3-30B-A3B의 경우 총 30B 파라미터이지만, 각 토큰을 처리할 때 3B만 활성화됩니다.

MoE의 이론적 매력은 분명합니다. 30B의 지식 용량에 3B의 연산 비용이라면 꿈의 조합입니다. 하지만 현실에서는 30B 전체 가중치를 메모리에 올려야 합니다. 활성화가 3B여도 나머지 27B가 VRAM에 상주해야 라우팅이 가능하기 때문입니다. 이것이 실측에서 MoE가 불리한 근본 이유입니다.

실측 비교 — VRAM, 속도, KV 캐시

동일 GPU(RTX PRO 6000, 96GB)에서 두 모델을 BF16 전정밀도로 로드하고, 동일 프롬프트로 생성 속도를 측정했습니다.

모든 지표에서 14B Dense가 압도적으로 우세합니다. MoE는 활성 파라미터가 3B뿐이라 연산은 가볍지만, 30B 전체를 VRAM에 올리므로 메모리 대역폭 병목이 생깁니다. GPU의 HBM 대역폭으로 30B를 읽고 3B만 연산하니, 14B 전체를 읽고 14B를 연산하는 Dense보다 오히려 비효율적입니다.

하이브리드 추론 시도

MoE의 VRAM 문제를 해결하기 위해 KTransformers를 시도했습니다. KTransformers는 Expert 가중치를 CPU 메모리에 두고, 활성화된 Expert만 GPU로 전송하는 하이브리드(CPU+GPU) 추론 프레임워크입니다. 이론적으로 30B MoE를 16GB GPU에서도 돌릴 수 있습니다.

llama-cpp-python은 동일 GGUF를 정상적으로 추론합니다. 차이점은 연산 방식입니다. llama-cpp-python은 인라인 dequantize + f32 누적 matmul로 높은 수치 정밀도를 유지하지만, KTransformers는 bf16으로 dequantize 후 GPU에서 bf16 matmul을 수행합니다. 이 정밀도 차이가 문제의 핵심입니다. 왜 bf16이 문제가 되는지, 가중치를 하나하나 조사해봤습니다.

실패 디버깅 — 18,432개 가중치 전수 조사

MoE 모델의 Expert 가중치는 48레이어 × 128 Expert × 3 projection(gate/up/down) = 18,432개입니다. 각 가중치에 대해 GGUF 양자화 값을 bf16으로 dequantize한 후, 원본 bf16 값과의 cosine similarity를 측정했습니다.

18,432개 중 대부분은 cosine similarity 0.98 이상으로 양호했습니다. 하지만 Layer 2의 Expert 92, down_proj에서 cosine similarity가 0.78까지 하락했습니다. 이 하나의 가중치가 전체 모델을 망가뜨린 원인입니다.

Layer 2에서 발생한 hidden state 왜곡이 나머지 46개 레이어를 통과하면서 기하급수적으로 누적됩니다. 초기 레이어의 작은 오류가 순전파(forward pass)를 거치며 증폭되어, 최종 출력에서는 완전히 의미 없는 토큰이 생성됩니다. Dense 모델에서는 이런 문제가 발생하지 않는데, Expert가 128개씩 분리되지 않으므로 개별 가중치의 양자화 오류가 전체에 분산되기 때문입니다.

근본 원인 — GGUF 양자화 정밀도 손실

문제의 체인은 이렇습니다:

정리하면, GGUF 양자화 자체가 문제가 아니라 "GGUF + bf16 dequantize + MoE의 Expert 격리"라는 세 가지 조건이 동시에 만족될 때 발생하는 문제입니다. Dense 모델에서는 Expert 격리가 없으므로 같은 GGUF + bf16 조합이어도 정상 동작합니다. MoE 특유의 구조적 취약점입니다.

결론

MoE vs Dense의 결론은 현 시점에서 명확합니다.

현재 로컬 LLM 환경에서 MoE를 선택할 이유가 없습니다. VRAM이 충분하면 Dense + AWQ가 모든 면에서 우수하고, VRAM이 부족하면 작은 Dense 모델이 MoE의 하이브리드 추론보다 안정적입니다. MoE는 클라우드 환경에서 수백 GPU로 분산 추론할 때 진가를 발휘하는 구조이지, 단일 GPU 로컬 환경에서는 구조적 오버헤드만 남습니다.

다만 이 결론은 현재 시점의 양자화 기술과 추론 프레임워크 한계에 기반합니다. KTransformers가 f32 dequantize를 지원하거나, MoE 전용 양자화 포맷이 등장하면 상황이 바뀔 수 있습니다. 그때까지는 Qwen3-14B-AWQ가 로컬 LLM의 최적 선택입니다.