사무실에서 시작하는 AI 서버 인프라 — 16대 서버 실전 구성기

AI 두뇌 서버 (1대)

모든 AI 추론의 핵심. GPU, 대용량 메모리, 3-Tier 스토리지를 갖춘 메인 서버.

• • CPU: AMD Ryzen 9950X3D
• • RAM: 96GB DDR5
• • GPU: NVIDIA RTX PRO 6000 (96GB VRAM)
• • 스토리지: Optane 905P + 980 PRO + NVMe 3-Tier

AI 보조 서버 (1대)

FAQ, 단순 질문을 처리하는 경량 AI 서버. 크로스서버 추론으로 메인 서버의 처리량을 70% 증가.

• • CPU: AMD Ryzen 7500F
• • RAM: 16GB DDR5
• • GPU: RTX 5060 Ti (16GB VRAM)
• • 스토리지: NVMe 1TB

리버스 프록시 (1대)

모든 외부 트래픽의 진입점. SSL 종료, 도메인 라우팅, 로드밸런싱을 담당.

• • CPU: Intel N100
• • RAM: 12GB
• • 역할: Caddy/Nginx 리버스 프록시
• • 스토리지: NVMe 512GB

프로젝트 서버 (7대)

웹 서비스, API, 데이터베이스 등 개별 프로젝트를 운영하는 서버 그룹.

• • CPU: Ryzen 5700G / 5800U / 5825U / 7840HS
• • RAM: 32~64GB
• • 총 7대, 프로젝트별 1:1 할당
• • 서버 간 독립 운영

경량 서버 (5대)

모니터링, 로그 수집, 경량 API 등 보조 역할을 담당하는 미니 서버.

• • CPU: Intel H255
• • RAM: 16GB
• • 총 5대 (일부 SSD 512GB~1TB)
• • 저전력·저소음 운영

콜드백업 (1대)

NFS 기반 네트워크 스토리지. 전 서버의 중요 데이터를 정기 백업. 구축 과정은 NFS 콜드백업 서버 글을 참고하세요.

• • CPU: AMD 5825U
• • RAM: 32GB
• • 스토리지: IronWolf 12TB × 2 (SATA)
• • NIC 2개 (이중화)

AMD (amd-pstate-epp)

# systemd 서비스로 부팅 시 자동 적용
[Service]
ExecStart=/bin/bash -c \
  'echo 0 > /sys/.../boost'
ExecStop=/bin/bash -c \
  'echo 1 > /sys/.../boost'
RemainAfterExit=yes

boost 파일에 0을 쓰면 터보 부스트 비활성화. 서비스 중지 시 자동 복구.

Intel (intel_pstate)

# Intel은 값이 반대 (1=끔, 0=켬)
[Service]
ExecStart=/bin/bash -c \
  'echo 1 > /sys/.../no_turbo'
ExecStop=/bin/bash -c \
  'echo 0 > /sys/.../no_turbo'
RemainAfterExit=yes

intel_pstate의 no_turbo 파일에 1을 쓰면 비활성화. AMD와 경로·값이 반대.

AI, 프록시, 프로젝트, 백업을 물리적으로 분리합니다. 한 서버의 장애가 다른 역할에 전파되지 않습니다.

17개 SSH 키를 교차 등록하고 비밀번호 인증을 비활성화합니다. 무차별 공격을 원천 차단합니다.

네트워크(VPN) + SSH(DenyUsers)로 이중 차단합니다. 외부 서버 탈취 시에도 내부 접근 불가.

AI 서버 외에는 터보 부스트를 OFF합니다. 24/7 운영 시 온도·전력 안정성이 곧 신뢰성입니다.

iperf3로 실측한 뒤 대역폭이 높은 연결에 핵심 서비스를 배치합니다. 추측이 아닌 데이터 기반.