SGLang 23모델 서빙 실전 가이드 — 모델별 최적 설정 총정리

왜 모델마다 설정이 다른가

SGLang은 python -m sglang.launch_server로 모델을 서빙합니다. 하지만 동일한 명령어로 모든 모델을 올릴 수는 없습니다. 4가지 변수가 모델마다 다르기 때문입니다.

python -m sglang.launch_server \
  --model-path <모델경로> \
  --port <포트> \
  --attention-backend <flashinfer|triton> \
  --context-length <컨텍스트길이> \
  --mem-fraction-static 0.85

23모델 서빙 설정 총정리

실제로 서빙에 성공한 23개 모델의 설정을 정리했습니다. 포트 번호는 모델 크기 기반 규칙으로 관리합니다: 30000 + (파라미터 × 10) + 양자화 오프셋(BF16=0, AWQ=1, FP8=2).

양자화 선택 가이드 — AWQ vs BF16 vs FP8

MoE 모델 특수 설정

MoE(Mixture of Experts) 모델은 일반 Dense 모델과 다른 설정이 필요합니다. 가장 중요한 차이는 어텐션 백엔드입니다. triton 백엔드로 MoE 모델을 실행하면 에러 없이 조용히 잘못된 결과를 출력하거나, 아예 크래시가 발생합니다.

# ✅ 올바른 설정
python -m sglang.launch_server \
  --model-path Qwen/Qwen3-30B-A3B \
  --attention-backend flashinfer \
  --port 30300

# ❌ 크래시 또는 잘못된 출력
python -m sglang.launch_server \
  --model-path Qwen/Qwen3-30B-A3B \
  --attention-backend triton \
  --port 30300

VRAM 관리와 모델 크기별 점유

GPU별로 올릴 수 있는 모델이 다릅니다. 아래 표에서 VRAM에 맞는 모델을 빠르게 판단할 수 있습니다.

실전 트러블슈팅

23개 모델을 서빙하면서 겪은 실제 문제와 해결법을 정리합니다.

결론: 서빙 자동화 스크립트

23개 모델을 수동으로 관리하는 것은 비현실적입니다. 모델 이름만 넘기면 양자화, 백엔드, 포트, 컨텍스트 길이가 자동으로 결정되는 서빙 자동화 스크립트를 사용합니다.

#!/bin/bash
# serve.sh — 모델명으로 최적 설정 자동 적용

MODEL=$1
PORT=$2

# 기본 설정
BACKEND="flashinfer"
MEM_FRAC="0.85"
CTX="32768"
EXTRA_ARGS=""

# 모델별 특수 설정
case $MODEL in
  *"FP8"*) EXTRA_ARGS="--quantization fp8" ;;
  *"1M"*)  CTX="131072" ;;  # 128K로 제한
  *"Phi"*) CTX="16384" ;;   # Phi-4 컨텍스트
  *"Llama"*) CTX="8192" ;;  # Llama 컨텍스트
esac

# 기존 프로세스 정리
lsof -ti :$PORT | xargs -r kill -9 2>/dev/null
sleep 2

# 서빙 시작
python -m sglang.launch_server \
  --model-path $MODEL \
  --port $PORT \
  --attention-backend $BACKEND \
  --context-length $CTX \
  --mem-fraction-static $MEM_FRAC \
  $EXTRA_ARGS