트리루 기술 블로그

프론트엔드, 백엔드, DB, IT 인프라, AI 솔루션에 대한 인사이트와 실무 가이드를 공유합니다.

ALL

ComfyUI + Wan 2.2 로컬 AI 영상 생성 — RTX PRO 6000 96GB 구축기

API 비용 0원, 상업적 무제한. Wan 2.2·LTX 2.3·MOVA 3종으로 구축한 로컬 영상 생성 파이프라인 — 모델 선정부터 스토리지 설계, API 자동화까지.

LG AI Research의 EXAONE 4.5-33B를 출시 당일 RTX PRO 6000에서 테스트했습니다. FP8 실패, 커스텀 fork 필요, BF16 22 TPS, 안전성 100%. 12개 시나리오 85문항 실전 결과.

Gemma 4 출시 직후 RTX PRO 6000 Blackwell에서 8번의 시도 끝에 벤치마크 완료. 3개 모델(Qwen3-32B, Gemma4-31B, Gemma4-26B MoE) 속도·정확도 전면 비교.

NVIDIA 드라이버 590→595 업그레이드 후 RTX PRO 6000 Blackwell에서 SGLang 추론 속도, CUDA 연산, P-State 변화를 실측하고 운영 주의사항을 정리합니다.

Temperature를 얼마로 설정해야 할까요? 60문항 × 5단계 = 300회 실험으로 시나리오별 최적값과 환각 행동 차이를 실측합니다.

임베딩 모델 선정부터 벡터DB 검색, LLM 연동까지. RAG 파이프라인의 각 단계를 실측 데이터로 검증한 구축기입니다.

RTX 5060 Ti와 RTX PRO 6000의 실측 추론 속도, 동시접속 처리량, 안정성 비교와 멀티 GPU 가성비 전략을 공개합니다.

RTX 5060 Ti(16GB)에서 8B·14B 모델의 단일 속도부터 동시 30명 부하, 크로스서버 추론까지 종합 벤치마크 결과를 공개합니다.

Qwen3-14B-AWQ를 두 GPU에서 동일 60문항으로 테스트. 종합 1위의 실력과 법조문 날조, 환각 등 한계까지 솔직하게 분석합니다.

$450 보조 GPU 하나를 추가해 AI 처리량을 70% 올린 크로스서버 추론 실측 결과를 공개합니다.

더보기12개 남음