treeru.com

트리루 기술 블로그

프론트엔드, 백엔드, DB, IT 인프라, AI 솔루션에 대한 인사이트와 실무 가이드를 공유합니다.

필터:SGLang
posts.tsx — 15개
더보기5개 남음
  1. GPU 1장으로 7개 회사 동시 서빙 — 멀티테넌트 격리 실전 테스트
  2. LoRA 파인튜닝으로 회사별 AI 만들기 — 학습부터 서빙까지
  3. SGLang vs vLLM 실전 비교 — 처리량 3배 차이의 비밀
  4. 로컬 LLM 동시 접속 부하 테스트 - RTX PRO 6000으로 몇 명까지 처리할까?
  5. RTX PRO 6000 토큰 속도 실측 - 350W에서 모델별 몇 tok/s?