EKS LLM 서빙 고속 로딩 구조

R1 스트리밍 직결, R2/R3 컴파일 캐시, R4 sleep/wake - 2026-08-30 g7e 실측

EKS LLM 서빙 고속 로딩 구조 R1 스트리밍 직결, R2/R3 컴파일 캐시, R4 sleep/wake - 2026-08-30 g7e 실측 AWS 리전 (ap-northeast-2) EKS GPU 노드 - g7e.2xlarge Spot Hugging Face · 모델 저장소 · Architecture component Hugging Face 모델 저장소 S3 모델 버킷 · 가중치 31.2GiB · AWS 리전 (ap-northeast-2) S3 모델 버킷 가중치 31.2GiB S3 gateway endpoint · NAT 미경유 · AWS 리전 (ap-northeast-2) S3 gateway endpoint NAT 미경유 Karpenter NodePool · g7e Spot, 프리풀 NodeClass · AWS 리전 (ap-northeast-2) Karpenter NodePool g7e Spot, 프리풀 NodeClass EKS Pod Identity · S3 read 자격 · AWS 리전 (ap-northeast-2) EKS Pod Identity S3 read 자격 S3 vllm-cache/ · compile 캐시 218MB · AWS 리전 (ap-northeast-2) S3 vllm-cache/ compile 캐시 218MB vLLM pod · runai_streamer, sleep mode · AWS 리전 (ap-northeast-2) › EKS GPU 노드 - g7e.2xlarge Spot vLLM pod runai_streamer, sleep mode hostPath /var/cache · R2 노드 로컬 캐시 · AWS 리전 (ap-northeast-2) › EKS GPU 노드 - g7e.2xlarge Spot hostPath /var/cache R2 노드 로컬 캐시 initContainer · R3 캐시 프리로드 · AWS 리전 (ap-northeast-2) › EKS GPU 노드 - g7e.2xlarge Spot initContainer R3 캐시 프리로드 내부 클라이언트 · OpenAI 호환 API :8000 · AWS 리전 (ap-northeast-2) 내부 클라이언트 OpenAI 호환 API :8000 1회 스테이징 리전 내 경로 R1 병렬 read 19.8초 노드 30초, C1 프리풀 S3 read R3 프리로드 수 초 sync R2 히트 compile 6.6초 요청, sleep/wake Legend Frontend Backend Database Cloud Security External

실측 2026-08-30 (g7e.2xlarge Spot)

  • • 콜드 428초 → 226초 (-47%)
  • • 웜 재기동 314초 → 133초 (-58%)
  • • 유휴 복귀 314초 → 0.97초 (R4 wake)

캐시 게시 1회

  • • hostPath → s3://<model-bucket>/vllm-cache/v0.26.0-nvfp4/
  • • prefix 한정 s3:PutObject로 쓰기 분리
  • • initContainer는 소스 객체 수를 로그로 남김

성립 조건

  • • sleep 병용 시 gpu-memory-utilization 0.85
  • • 캐시 키 = 모델 경로 + 컴파일 구성 + vLLM 버전
  • • 크로스 GPU 아키텍처 이식성 미검증

Architecture diagram • Built with Archify • Create yours ↗ • Hover to trace • R route • Click to focus • +/− zoom • M radar • T theme • E export