cloud
현대 쿠버네티스 AI 추론 서비스 하나를 배포하기 위해 DRA GPU 할당, LeaderWorkerSet, GAIE 라우팅, Tetragon 보안 등 6개 이상의 CRD를 수백 줄로 엮어야 하는 매니페스트 파편화 문제를 해부한다. CEL 기반 유향 비순환 그래프(DAG)로 인클러스...
k8s
사이드카 프록시 없이 노드당 1% CPU와 약 600MB RAM으로 동작하는 Cilium 1.20·Hubble·Tetragon·Grafana Beyla eBPF 관측·보안 스택을 설계하고, Gateway API의 L7 내장 Envoy 소스 IP 변환 함정(Trapdoor) 해결책을...
cloud
기업 클라우드 지출의 18%를 차지한 GPU 워크로드가 평균 95%의 유휴율을 보이는 2026년, AWS(Bedrock AgentCore vs SageMaker HyperPod EKS)와 Azure(Microsoft Foundry 호스팅 에이전트 vs Container Apps S...
llm
대배치(Batch ≥ 16) LLM 서빙에서 INT4 AWQ(W4A16)의 실시간 역양자화 커널 오버헤드가 BF16 대비 처리량을 0.88x로 역전시키는 물리적 원인을 루프라인(Roofline) 모델로 규명한다. 나아가 NVIDIA Model Optimizer(FP8·NVFP4)와...
k8s
쿠버네티스 v1.8부터 사용된 Device Plugin의 정수 카운트 제약과 VRAM 단편화 문제를 해결하는 동적 리소스 할당(DRA)의 컨트롤 플레인 아키텍처를 분석한다. K8s v1.34~v1.37의 CEL 속성 필터링, Consumable Capacity, Extended R...
agent
2026-07-28 MCP Stateless 코어 스펙(SEP-2567·SEP-2575)이 초기화 핸드셰이크와 Mcp-Session-Id 세션을 폐기하고 헤더 기반 자기완결적 HTTP 구조로 전환한 기술적 배경을 분석한다. 아울러 헤더 라우팅·캐싱·보안 하드닝 SEP와 쿠버네티스 ...
llm
단일 파드(Colocated) 서빙에서 발생하는 프리필·디코드 자원 간섭과 20~40%의 GPU 유휴 낭비를 어떻게 해결할 것인가? 수리적 손익분기점 모델링, Kubernetes Gateway API Inference Extension(GAIE) 기반 캐시 인식 라우팅, NVIDI...
llm
데이터 유출과 외부 통신이 원천 차단된 사설망 환경에서 수백억~수천억 파라미터 LLM을 어떻게 안정적으로 서빙할 것인가? 제로 트러스트 프라이빗 인프라 경계, 텐서/파이프라인 병렬화의 All-Reduce 통신 병목 수식, 그리고 Prefill과 Decode를 분리하여 p99 지연 ...