EKS LLM 서빙 콜드스타트 428초에서 226초로 - 단계별 실측이 고른 레버 4개EKS LLM Serving Cold Start from 428s to 226s - Four Levers Chosen by Stage-by-Stage Measurement
31B급 LLM을 vLLM으로 서빙할 때 콜드스타트를 노드, 이미지, 가중치, 컴파일 4구간으로 분해하고 레버를 하나씩 쌓아 같은 g7e 환경에서 재실측했습니다. runai_streamer S3 직결, torch.compile 캐시의 hostPath 영속화와 S3 프리로드, sleep/wake로 콜드 428초에서 226초, 웜 재기동 314초에서 133초, 유휴 복귀 0.97초에 이른 근거와 성립 조건을 정리합니다.Serving a 31B LLM with vLLM on EKS, we split the cold start into node, image, weights, and compile segments and re-measured each lever in the same g7e environment. Direct-to-S3 loading with runai_streamer, torch.compile cache persistence on hostPath plus S3 preload, and sleep/wake take the cold start from 428s to 226s, warm restarts from 314s to 133s, and idle recovery to 0.97s - with the evidence and the conditions under which each lever holds.
Amazon ECS 실행 구조와 선택 기준 - 컴퓨트, 배포, 네트워크Amazon ECS Execution Structure and Selection Criteria - Compute, Deployment, and Networking
가장 중요한 변화부터: launch type은 이제 호환성 선언용이고 실제 실행은 capacity provider가 권고 경로입니다. ECS Managed Instances가 채우는 Fargate와 EC2 사이, Express Mode, 3종에서 6종이 된 배포 전략, 네트워크 모드와 IPv6-only 제약까지 2026-08 기준으로 전부 정리합니다.The biggest shift first: launch types are now compatibility declarations, and capacity providers are the recommended execution path. ECS Managed Instances filling the gap between Fargate and EC2, Express Mode, deployment strategies grown from 3 to 6, network modes, and IPv6-only constraints - all as of 2026-08.
EKS 컨트롤 플레인 파라미터가 열렸다 - Advanced Control Plane Configuration 분석EKS Control Plane Parameters Are Now Open - An Analysis of Advanced Control Plane Configuration
EKS가 2026-08-12부터 관리형 컨트롤 플레인의 파라미터 4종(스케줄러 scoringStrategy, HPA syncPeriod, eventTtl, serviceNodePortRange)을 개방했습니다. 파라미터별 조정 가치와 함정, 운영 규칙을 공식 문서 기준으로 분석합니다.Starting 2026-08-12, EKS opens four managed control plane parameters - scheduler scoringStrategy, HPA syncPeriod, eventTtl, and serviceNodePortRange. When each is worth tuning, the traps, and the operational rules, analyzed from the official docs.
ecs9s - AWS ECS 운영을 위한 키보드 중심 터미널 UIecs9s - A Keyboard-Driven Terminal UI for AWS ECS Operations
k9s에서 영감을 받은 ECS 터미널 UI - 21개 리소스 뷰, 드릴다운 내비게이션, ECS Exec 사전 검증, 실제 배선된 운영 액션을 코드 기준으로 분석합니다.An ECS terminal UI inspired by k9s - a code-level analysis of its 21 resource views, drill-down navigation, ECS Exec preflight validation, and the operational actions that are actually wired.