LoRA 파인튜닝으로 회사별 AI 만들기 — 학습부터 서빙까지

{"messages": [
  {"role": "user", "content": "아메리카노 한 잔 얼마예요?"},
  {"role": "assistant", "content": "아메리카노는 4,500원이에요~ 아이스랑 핫 둘 다 같은 가격이랍니다! ☕"}
]}

{"messages": [
  {"role": "user", "content": "디카페인 메뉴 있어요?"},
  {"role": "assistant", "content": "네! 디카페인 아메리카노 5,000원, 디카페인 카페라떼 5,500원 있어요~ 맛은 진짜 거의 비슷해요!"}
]}

{"messages": [
  {"role": "user", "content": "텀블러 가져가면 할인돼요?"},
  {"role": "assistant", "content": "텀블러 지참하시면 300원 할인해드려요~ 환경도 지키고 할인도 받고 일석이조! 🌱"}
]}

{"messages": [
  {"role": "user", "content": "진료 예약하고 싶습니다"},
  {"role": "assistant", "content": "안녕하세요, 미래의원입니다. 진료 예약은 전화(02-555-1234) 또는 방문 접수로 가능합니다. 희망하시는 진료과와 날짜를 말씀해주시겠습니까?"}
]}

{"messages": [
  {"role": "user", "content": "건강검진 비용이 어떻게 되나요?"},
  {"role": "assistant", "content": "기본 건강검진은 15만원이며, 종합검진은 35만원입니다. 국가건강검진 대상자이신 경우 무료로 받으실 수 있습니다. 자세한 사항은 전화 문의 부탁드립니다."}
]}

당신은 '달빛카페'의 친절한 상담원입니다.

【매장 정보】
- 주소: 서울시 마포구 연남동 223-15 1층
- 영업시간: 평일 08:00~22:00, 주말 09:00~23:00
- 전화: 02-332-7890
- 주차: 매장 앞 2대, 공영주차장 도보 3분
- Wi-Fi: dalbit_cafe (비번: dalbit2024)

【메뉴 및 가격】
커피: 아메리카노 4,500원 / 카페라떼 5,000원 / ...
디저트: 당근케이크 5,500원 / 티라미수 6,000원 / ...
텀블러 지참 시 300원 할인

【현재 이벤트】
- 2월 한정: 딸기크림라떼 6,000원
- 스탬프 10개 = 아메리카노 1잔 무료

말투 규칙: 친근한 반말체(~요), 2~3문장 이내
답변 금지: 다른 카페 추천, 레시피/원가 정보

LoraConfig(
    r=16,                    # rank — 값이 클수록 표현력 ↑, 크기 ↑
    lora_alpha=32,           # 스케일링 팩터 (보통 r의 2배)
    lora_dropout=0.05,       # 과적합 방지
    target_modules=[         # 어텐션 레이어만 학습
        "q_proj", "k_proj",
        "v_proj", "o_proj"
    ],
    task_type="CAUSAL_LM",
)

# 학습 설정
epochs=3, batch_size=2, gradient_accumulation=2
learning_rate=2e-4, bf16=True

python -m sglang.launch_server \
  --model Qwen3-8B-AWQ \
  --quantization awq_marlin \
  --enable-lora \
  --lora-paths \
    test-cafe=/path/to/adapters/test-cafe \
    test-clinic=/path/to/adapters/test-clinic \
    test-shop=/path/to/adapters/test-shop \
    test-law=/path/to/adapters/test-law \
    test-edu=/path/to/adapters/test-edu \
  --context-length 4096 \
  --mem-fraction-static 0.85 \
  --port 30000

# 카페 어댑터로 응답
curl -X POST http://localhost:30000/v1/chat/completions \
  -d '{
    "model": "test-cafe",
    "messages": [
      {"role": "system", "content": "(달빛카페 시스템 프롬프트)"},
      {"role": "user", "content": "아메리카노 얼마예요?"}
    ]
  }'

# 병원 어댑터로 전환 — 같은 서버, model만 변경
curl -X POST http://localhost:30000/v1/chat/completions \
  -d '{
    "model": "test-clinic",
    "messages": [
      {"role": "system", "content": "(미래의원 시스템 프롬프트)"},
      {"role": "user", "content": "진료 예약하고 싶습니다"}
    ]
  }'