카테고리

GPU 24/7 장기 운영 모니터링 — 13일간 실측 데이터 분석

2026-02-22

Treeru

AI 서버를 24시간 돌리면 어떻게 될까? RTX PRO 6000(96GB VRAM)을 13일간 5분 간격으로 모니터링했습니다. 총 3,667개 데이터 포인트로 온도 추이, 전력 소비 패턴, VRAM 점유율, 그리고 600W→350W 전력 제한 전후의 차이를 분석합니다.

13일

연속 모니터링

3,667

데이터 포인트

73°C

최대 온도 (600W)

60°C

최대 온도 (350W)

모니터링 환경

하드웨어

• GPU: NVIDIA RTX PRO 6000
• VRAM: 96GB GDDR7 (97,887 MiB)
• CPU: 16코어 데스크톱 CPU
• RAM: 96GB DDR5
• 환경: 사무실 (공조 없음, 자연 환기)

모니터링 설정

• 수집 주기: 5분 (cron)
• 수집 항목: 온도, 팬 속도, 전력, 전력 제한, VRAM, GPU 사용률
• 기간: 2026-02-10 ~ 2026-02-22 (13일)
• 수집 도구: nvidia-smi → CSV
• 총 데이터: 3,667행

timestamp, temp_c, fan_pct, power_w, power_limit_w, vram_used_mib, vram_total_mib, gpu_util_pct

온도 분석

13일간 GPU 온도의 98.7%가 20°C 이하였습니다. AI 서빙 엔진이 상주하지만 요청이 없을 때는 유휴 상태에 가까우며, 추론 시에만 온도가 상승합니다.

온도 분포 (3,667개 측정)

0~20°C

98.7%

3,618회 (98.7%)

21~30°C

30회 (0.8%)

31~40°C

7회 (0.2%)

41~50°C

1회 (0.03%)

51~60°C

10회 (0.3%)

71°C+

1회 (0.03%)

600W 제한 구간

2/10 ~ 2/15 (약 6일)

평균 온도15.0°C

최대 온도73°C

최대 전력 실측518.9W

350W 제한 구간

2/16 ~ 2/22 (약 7일)

평균 온도21.0°C

최대 온도60°C

최대 전력 실측350.0W

핵심 발견

전력 제한을 600W→350W로 낮추자 부하 시 최대 온도가 73°C→60°C로 13도 하락했습니다. GPU 전력 제한 테스트에서 확인했듯이 350W에서도 추론 성능 손실은 5% 미만이므로, 장기 운영에서는 350W가 최적 설정입니다.

전력 소비 패턴

GPU 전력 소비는 극단적인 이분법 패턴을 보입니다. 유휴 시 13~15W, 추론 시 350~519W로 중간 지대가 거의 없습니다. 이는 AI 서빙 엔진의 특성 — 요청이 없으면 완전 유휴, 요청이 들어오면 즉시 전력 소비 — 을 반영합니다.

전력 소비 요약

상태	전력	비율	설명
유휴 (GPU 0%)	8~18W	99.0%	모델 상주 중이나 요청 없음
경량 부하	75~124W	< 0.1%	모델 로딩, 단일 요청
중간 부하	225~300W	< 0.1%	소규모 동시 요청
고부하 (GPU 100%)	350~519W	~1.0%	다중 동시 요청, 벤치마크

15W

평균 전력 소비

모델 상주 상태에서도
형광등 1개 수준

519W

최대 전력 (600W 제한)

전력 제한의 86.5%까지
도달 (피크)

350W

최대 전력 (350W 제한)

제한값에 정확히 도달
안정적으로 클램핑

VRAM 사용 패턴

VRAM 사용은 두 가지 상태로 나뉩니다: AI 서빙 엔진 OFF(~200 MiB)와 ON(~85,775 MiB). 서빙 엔진이 모델을 로드하면 VRAM의 87.6%를 상시 점유하며, 추론 요청 유무와 관계없이 유지됩니다.

VRAM 상태 분포

상태	VRAM	점유율	측정 횟수	설명
엔진 OFF	~200 MiB	0.2%	1,531	서빙 엔진 미실행 (초기 설정 기간)
엔진 ON (유휴)	~85,775 MiB	87.6%	2,135	32B 모델 + LoRA 어댑터 상주
엔진 ON (피크)	~95,385 MiB	97.4%	1	대규모 동시 요청 시 KV 캐시 확장

VRAM 96GB 활용 구조

모델 + LoRA (85.7 GB / 87.6%)

여유 12GB

피크 시 KV 캐시가 추가 ~10GB를 사용하여 97.4%까지 도달합니다. 96GB VRAM은 32B 모델 + 7개 LoRA 어댑터 동시 서빙에 충분하며, 여유 공간은 동시 요청의 KV 캐시에 활용됩니다.

일별 부하 패턴

13일간 일별 최대 온도, 최대 전력, GPU 활성 횟수를 정리했습니다. GPU 활성(util>0)은 전체 3,667 측정 중 37회(1.0%)에 불과합니다.

날짜	최대 온도	최대 전력	전력 제한	최대 VRAM	GPU 활성
2/10 (월)	18°C	75.3W	600W	83.9 GB	0/251
2/11 (화)	32°C	413.6W	600W	85.1 GB	2/288
2/12 (수)	28°C	123.9W	600W	85.4 GB	0/288
2/13 (목)	16°C	16.3W	600W	0.2 GB	0/288
2/14 (금)	16°C	15.8W	600W	0.2 GB	0/288
2/15 (토)	34°C	225.6W	600→350W	84.3 GB	1/288
2/16 (일)	30°C	350W	350W	84.7 GB	3/288
2/17 (월)	15°C	16.2W	350W	83.7 GB	0/288
2/18 (화)	24°C	78W	350W	83.8 GB	6/264
2/19 (수)	38°C	423.8W	350→600W	84.4 GB	10/278
2/20 (목)	17°C	17.6W	350W	83.8 GB	0/288
2/21 (금)	22°C	18.5W	350W	83.9 GB	2/284
2/22 (토)	73°C	518.9W	600→350W	93.1 GB	13/286

2월 10일부터 22일까지 13일간 일별 최대 GPU 온도를 나타낸 꺾은선 그래프. 18, 32, 28, 16, 16, 34, 30, 15, 24, 38, 17, 22°C 사이를 오르내리다 마지막 날인 2월 22일에만 73°C로 크게 솟는다. — 일별 최대 GPU 온도. 2/22를 뺀 12일은 모두 38°C 이하이고, 2/22만 73°C를 기록했습니다

같은 13일간 일별 최대 GPU 전력을 나타낸 꺾은선 그래프. 75.3, 413.6, 123.9, 16.3, 15.8, 225.6, 350.0, 16.2, 78.0, 423.8, 17.6, 18.5W로 크게 진동하며 2월 22일 518.9W가 최고점이다. — 일별 최대 전력. 15.8W인 날과 400W를 넘는 날이 번갈아 나타나고, 2/22의 518.9W가 최대입니다

부하 패턴 인사이트

대부분 유휴

GPU 활성 37/3,667 = 1.0%. AI 서빙은 "대기"가 대부분이고 요청 시에만 작동합니다.

부하 집중일

2/19(수)와 2/22(토)에 부하 집중. 벤치마크·부하 테스트 실행일과 일치합니다.

무부하 일도 존재

2/13~14, 2/17, 2/20: GPU 활성 0회. 서빙 엔진은 켜져 있지만 요청이 없던 날.

결론: 장기 운영 안정성

13일간 3,667개 데이터 포인트가 보여주는 결론은 명확합니다.

사무실 환경에서도 안정

전용 공조 없이도 98.7%의 시간 동안 GPU 온도 20°C 이하. 사무실 자연 환기만으로 충분합니다.

350W 제한이 정답

600W 대비 최대 온도 13°C 하락(73→60°C), 추론 성능 손실 5% 미만. 장기 운영의 최적 밸런스.

유휴 전력 무시 가능

모델 상주 상태에서도 평균 15W. 월 전기료 약 1,000원 수준으로 24/7 상시 서빙 가능.

VRAM 87.6% 상시 활용

96GB VRAM 중 85.7GB를 모델+LoRA에 할당. 나머지 10GB는 동시 요청의 KV 캐시로 활용.

GPU 장기 운영 모니터링 체크리스트

모니터링 항목	정상 범위	경고 기준
유휴 온도	10~20°C	30°C 이상 지속 시 환기 점검
부하 시 온도	40~65°C	80°C 이상 시 전력 제한 필요
유휴 전력	8~18W	50W 이상 시 프로세스 확인
VRAM 점유	모델 크기 + 10~15%	95% 이상 지속 시 동시 요청 제한
팬 속도	30% (기본)	70% 이상 지속 시 온도 점검

AI 서버의 24/7 운영은 생각보다 단순합니다. 적절한 전력 제한, 안정적인 인프라, 그리고 5분 간격 모니터링 — 이 세 가지만 갖추면 사무실에서도 안정적으로 AI 서비스를 운영할 수 있습니다. Grafana + Prometheus를 도입하면 이런 데이터를 실시간 대시보드로 확인할 수 있습니다.