GPU 모니터링 자동화 — 셸 스크립트 하나로 24/7 감시

# 기본 명령어

# GPU 상태 전체 조회
nvidia-smi

# 특정 항목만 CSV로 출력 (핵심)
nvidia-smi --query-gpu=timestamp,name,temperature.gpu,\
utilization.gpu,utilization.memory,memory.used,\
memory.total,power.draw --format=csv,noheader,nounits

# 출력 예시:
# 2026/02/24 14:30:05, NVIDIA RTX PRO 6000, 62, 87, 45, 38400, 98304, 285.32

# gpu-monitor.sh

#!/bin/bash

LOG_DIR="/var/log/gpu-monitor"
DATE=$(date +%Y-%m-%d)
LOG_FILE="$LOG_DIR/gpu_$DATE.csv"

# 로그 디렉토리 생성
mkdir -p "$LOG_DIR"

# 헤더가 없으면 추가
if [ ! -f "$LOG_FILE" ]; then
  echo "timestamp,gpu_name,temp_c,gpu_util,mem_util,\
mem_used_mib,mem_total_mib,power_w" > "$LOG_FILE"
fi

# GPU 데이터 수집 및 저장
nvidia-smi --query-gpu=timestamp,name,\
temperature.gpu,utilization.gpu,\
utilization.memory,memory.used,\
memory.total,power.draw \
--format=csv,noheader,nounits >> "$LOG_FILE"

echo "[$(date)] GPU 로그 기록 완료"

# 실행 및 권한 설정

# 실행 권한 부여
chmod +x gpu-monitor.sh

# 테스트 실행
./gpu-monitor.sh

# 로그 확인
cat /var/log/gpu-monitor/gpu_2026-02-24.csv

# 실제 CSV 출력 예시

timestamp,gpu_name,temp_c,gpu_util,mem_util,mem_used_mib,mem_total_mib,power_w
2026/02/24 14:30:05, NVIDIA RTX PRO 6000, 62, 87, 45, 38400, 98304, 285.32
2026/02/24 14:35:05, NVIDIA RTX PRO 6000, 64, 92, 48, 38400, 98304, 298.15
2026/02/24 14:40:05, NVIDIA RTX PRO 6000, 63, 85, 44, 38400, 98304, 280.47

# cron 등록

# crontab 편집
crontab -e

# 5분마다 GPU 모니터링 실행
*/5 * * * * /opt/scripts/gpu-monitor.sh >> /var/log/gpu-monitor/cron.log 2>&1

# 1분마다 (더 정밀한 모니터링)
*/1 * * * * /opt/scripts/gpu-monitor.sh >> /var/log/gpu-monitor/cron.log 2>&1

# 등록 확인
crontab -l

# gpu-alert.sh - 임계값 알림 스크립트

#!/bin/bash

TEMP_THRESHOLD=85
UTIL_THRESHOLD=95
MEM_THRESHOLD=90
ALERT_LOG="/var/log/gpu-monitor/alerts.log"

# GPU 데이터 수집
DATA=$(nvidia-smi --query-gpu=temperature.gpu,\
utilization.gpu,utilization.memory \
--format=csv,noheader,nounits)

TEMP=$(echo "$DATA" | awk -F', ' '{print $1}')
GPU_UTIL=$(echo "$DATA" | awk -F', ' '{print $2}')
MEM_UTIL=$(echo "$DATA" | awk -F', ' '{print $3}')

ALERT=""

if [ "$TEMP" -ge "$TEMP_THRESHOLD" ]; then
  ALERT+="[경고] GPU 온도 $TEMP°C (임계값: $TEMP_THRESHOLD°C)\n"
fi

if [ "$GPU_UTIL" -ge "$UTIL_THRESHOLD" ]; then
  ALERT+="[경고] GPU 사용률 $GPU_UTIL% (임계값: $UTIL_THRESHOLD%)\n"
fi

if [ "$MEM_UTIL" -ge "$MEM_THRESHOLD" ]; then
  ALERT+="[경고] VRAM 사용률 $MEM_UTIL% (임계값: $MEM_THRESHOLD%)\n"
fi

if [ -n "$ALERT" ]; then
  echo -e "[$(date)] $ALERT" >> "$ALERT_LOG"
  # 여기에 Slack/이메일 알림 추가 가능
fi

# /etc/logrotate.d/gpu-monitor

/var/log/gpu-monitor/gpu_*.csv {
    daily
    rotate 30
    compress
    delaycompress
    missingok
    notifempty
    create 644 root root
}

# 설명:
# daily        - 매일 로테이션
# rotate 30    - 최근 30일 보관
# compress     - gzip 압축
# delaycompress - 하루 뒤 압축 (당일 로그는 압축 안 함)
# missingok    - 파일 없어도 에러 안 냄

# 또는 셸 스크립트로 직접 관리

#!/bin/bash
# cleanup-gpu-logs.sh - 30일 이상 된 로그 삭제

LOG_DIR="/var/log/gpu-monitor"
RETENTION_DAYS=30

find "$LOG_DIR" -name "gpu_*.csv" \
  -mtime +$RETENTION_DAYS -delete

echo "[$(date)] $RETENTION_DAYS일 이상 된 로그 삭제 완료"