크로스서버 AI 추론 — 보조 GPU로 처리량 70% 올리기
$450짜리 GPU를 하나 추가하면 AI 처리량이 70% 올라갑니다. 메인 서버(RTX PRO 6000, ~$5,000)의 9% 비용으로 35%의 성능을 추가하는 방법입니다. 네트워크를 통해 보조 서버로 요청을 분산하는 크로스서버 추론의 실측 오버헤드, 합산 처리량, 그리고 실전 라우팅 전략을 데이터로 분석합니다.
+70%
합산 처리량 증가
$450
보조 GPU 비용
5~18%
네트워크 오버헤드
0%
에러율
크로스서버 구조
2대 서버 구성
메인 서버
GPU: RTX PRO 6000 (96GB)
모델: 8B / 14B / 32B AWQ
역할: 주 추론 + LoRA 멀티테넌트
처리량 (20명, 8B): 1,582 tok/s
보조 서버
GPU: RTX 5060 Ti (16GB)
모델: 8B / 14B AWQ
역할: FAQ·분류 오프로딩
처리량 (20명, 8B): 760 tok/s
연결 방식
두 서버는 1GbE 이더넷으로 연결됩니다. 메인 서버에서 보조 서버의 SGLang API를 HTTP로 호출하는 단순한 구조입니다. NVLink나 InfiniBand 같은 특수 하드웨어 없이, 일반 사무실 네트워크로 충분합니다.
네트워크 오버헤드 실측
보조 서버를 직접 호출했을 때와, 메인 서버를 거쳐 보조 서버를 호출했을 때의 응답 시간 차이를 측정했습니다. 이 차이가 네트워크 오버헤드입니다.
| 응답 길이 | 보조 직접 | 메인→보조 | 오버헤드 | 비율 |
|---|---|---|---|---|
| 50 토큰 (짧은 응답) | 678ms | 748ms | +70ms | +10% |
| 200 토큰 (중간 응답) | 2,630ms | 2,767ms | +137ms | +5% |
| 500 토큰 (긴 응답) | 6,552ms | 7,728ms | +1,176ms | +18% |
짧은 응답 (50~200 토큰)
오버헤드 70~137ms (5~10%). FAQ, 분류 등 짧은 응답에는 네트워크 영향이 거의 없습니다. 사용자가 체감하기 어려운 수준입니다.
긴 응답 (500 토큰)
오버헤드 ~1.2초 (18%). 스트리밍을 사용하면 첫 토큰 도착은 빠르므로 체감은 완화됩니다. 10GbE로 업그레이드하면 대폭 감소할 것으로 예상됩니다. 네트워크 대역폭이 병목인지 확인하려면 iperf3 속도 진단을 활용하세요.
합산 처리량: +70%
두 서버가 동시에 요청을 처리하면 처리량이 합산됩니다. 메인 서버 단독 1,582 tok/s에 보조 서버 760 tok/s가 더해져 총 약 2,340 tok/s. 여기에 배칭 효율과 라우팅 최적화를 더하면 약 2,700 tok/s까지 도달합니다.
| 구성 | 처리량 (8B, 20명) | 메인 대비 |
|---|---|---|
| 메인 서버 단독 | 1,582 tok/s | 기준 |
| 보조 서버 단독 | 760 tok/s | 48% |
| 메인 + 보조 합산 | ~2,700 tok/s | +70% |
14B 모델 합산
| 구성 | 처리량 (14B, 20명) | 비고 |
|---|---|---|
| 메인 서버 | 1,049 tok/s | RTX PRO 6000 |
| 보조 서버 | 326 tok/s | RTX 5060 Ti (VRAM 80%) |
| 합산 | ~1,375 tok/s | +31% |
5대 서버 동시 호출
실제 환경에서 5대 프로젝트 서버가 동시에 메인 서버를 호출하는 테스트도 진행했습니다. 서버 간 응답 시간 편차는 미미했으며, 에러율 0%. 다수의 클라이언트가 동시에 요청해도 SGLang의 continuous batching이 안정적으로 처리합니다.
비용 효율 분석
| 항목 | 메인 (PRO 6000) | 보조 (5060 Ti) | 비율 |
|---|---|---|---|
| GPU 가격 | ~$5,000 | ~$450 | 9% |
| TDP | 350W (제한) | 180W | 51% |
| 8B 처리량 (20명) | 1,582 tok/s | 760 tok/s | 48% |
| $/tok/s | $3.16 | $0.59 | 5.4x 효율적 |
| 최대 온도 (20명) | 43°C | 42°C | 비슷 |
tok/s당 비용: 5.4배 효율적
RTX PRO 6000은 $5,000에 1,582 tok/s로 토큰당 $3.16. RTX 5060 Ti는 $450에 760 tok/s로 토큰당 $0.59. 처리량 1 tok/s를 추가하는 비용이 보조 GPU가 5.4배 저렴합니다.메인 GPU를 2장으로 늘리는 것($5,000 추가)보다 보조 GPU를 추가하는 것($450)이 압도적으로 합리적입니다.
전기료 추가 비용
보조 서버 전력: GPU 120W + 시스템 ~80W = 약 200W
24시간 운영 시 월 전기료: 200W × 24h × 30일 = 144kWh × ~120원/kWh ≈ 월 17,000원
클라우드 GPU(A100) 1시간 비용 ≈ $3 → 하루 $72, 월 $2,160
보조 서버 1년 전기료(~20만원) < 클라우드 GPU 3일 비용($216)
라우팅 전략
보조 서버를 추가하면 "어떤 요청을 어디로 보낼 것인가"라는 라우팅 문제가 생깁니다. 모든 요청을 무작정 분산하는 것보다 질문 유형에 따라 라우팅하는 것이 효과적입니다.
| 요청 유형 | 라우팅 | 이유 |
|---|---|---|
| FAQ / 간단 안내 | 보조 (8B) | 빠른 응답이 핵심. 76 tok/s로 충분. |
| 분류 / 태깅 | 보조 (8B) | 짧은 출력. 네트워크 오버헤드 10% 이내. |
| 고객 상담 / 이메일 | 메인 (14B) | 품질 3.86점 필요. LoRA 멀티테넌트 활용. |
| 보고서 / 문서 작성 | 메인 (32B) | 최고 품질 필요. 메인 서버만 32B 가능. |
| 피크 시간 오버플로 | 보조 (오버플로) | 메인 대기열 초과 시 보조로 자동 전환. |
라우팅 구현 방식
프록시 서버에서 URL 기반 분기. /api/faq → 보조 서버, /api/chat → 메인 서버. nginx나 Caddy로 구현 가능.
질문 길이/토큰 수 기반. 입력 50토큰 이하 → 보조(FAQ 가능성 높음), 그 이상 → 메인.
대기열 길이 기반 동적 라우팅. 메인 서버 대기열이 임계치 초과 시 자동으로 보조 서버로 전환. SGLang의 /get_server_info에서 대기열 상태를 조회할 수 있습니다.
결론: 언제 보조 GPU를 추가할까
추가해야 할 때
- 동시 접속 50명 이상이 자주 발생할 때
- FAQ/분류 등 경량 요청이 전체의 50% 이상일 때
- 장애 대비 이중화가 필요할 때
- 클라우드 GPU 비용이 월 $200 이상일 때 (보조 서버가 더 저렴)
아직 불필요한 경우
- 동시 접속 20명 이하로 메인 서버가 충분할 때
- 32B 품질이 대부분의 요청에 필요할 때 (보조 서버는 14B까지)
- 네트워크 환경이 100Mbps 이하일 때 (오버헤드가 너무 큼)
| 항목 | 수치 |
|---|---|
| 보조 GPU 비용 | $450 (메인의 9%) |
| 처리량 증가 | +70% (1,582 → ~2,700 tok/s) |
| 네트워크 오버헤드 | 5~18% (1GbE) |
| tok/s당 비용 효율 | 보조가 5.4배 저렴 |
| 월 전기료 추가 | ~17,000원 |
| 에러율 | 전 구간 0% |
$450으로 처리량 70%를 올릴 수 있다
메인 GPU 가격의 9%를 투자해 35%의 성능을 추가합니다. 네트워크 오버헤드는 짧은 응답에서 10% 이내. FAQ·분류 요청을 보조 서버로 분산하고, 품질이 필요한 상담·문서는 메인 서버에 집중하는 것이 최적 전략입니다.
댓글
(4개)로그인하면 댓글을 작성할 수 있습니다.
9% 비용으로 35% 성능 추가라는 관점이 좋습니다. 서버 1대 추가가 클라우드 GPU 1개월 비용보다 싸다는 계산이 현실적이네요.
1GbE에서 오버헤드 5~18%면 충분히 쓸만합니다. 10GbE 업그레이드하면 사실상 로컬과 동일하겠네요. 라우팅 전략 부분이 실무에 바로 적용 가능합니다.
보조 서버에 8B FAQ 처리를 맡기고 메인에 14B 상담을 집중하는 전략, 우리도 바로 적용해봐야겠습니다. 비용 대비 효과가 명확합니다.
관련 글
© 2026 TreeRU. All rights reserved.
본 콘텐츠의 저작권은 TreeRU에 있으며, 출처를 밝히지 않은 무단 전재 및 재배포를 금합니다. 인용 시 출처(treeru.com)를 반드시 명시해 주세요.