llm
대배치(Batch ≥ 16) LLM 서빙에서 INT4 AWQ(W4A16)의 실시간 역양자화 커널 오버헤드가 BF16 대비 처리량을 0.88x로 역전시키는 물리적 원인을 루프라인(Roofline) 모델로 규명한다. 나아가 NVIDIA Model Optimizer(FP8·NVFP4)와...
k8s
쿠버네티스 v1.8부터 사용된 Device Plugin의 정수 카운트 제약과 VRAM 단편화 문제를 해결하는 동적 리소스 할당(DRA)의 컨트롤 플레인 아키텍처를 분석한다. K8s v1.34~v1.37의 CEL 속성 필터링, Consumable Capacity, Extended R...
agent
2026-07-28 MCP Stateless 코어 스펙(SEP-2567·SEP-2575)이 초기화 핸드셰이크와 Mcp-Session-Id 세션을 폐기하고 헤더 기반 자기완결적 HTTP 구조로 전환한 기술적 배경을 분석한다. 아울러 헤더 라우팅·캐싱·보안 하드닝 SEP와 쿠버네티스 ...
llm
단일 파드(Colocated) 서빙에서 발생하는 프리필·디코드 자원 간섭과 20~40%의 GPU 유휴 낭비를 어떻게 해결할 것인가? 수리적 손익분기점 모델링, Kubernetes Gateway API Inference Extension(GAIE) 기반 캐시 인식 라우팅, NVIDI...
llm
데이터 유출과 외부 통신이 원천 차단된 사설망 환경에서 수백억~수천억 파라미터 LLM을 어떻게 안정적으로 서빙할 것인가? 제로 트러스트 프라이빗 인프라 경계, 텐서/파이프라인 병렬화의 All-Reduce 통신 병목 수식, 그리고 Prefill과 Decode를 분리하여 p99 지연 ...
agent
GPU 노드 장애, HBM OOM 스파이크, 롱테일 지연 시간 앞에서 AI 플랫폼의 무중단 가용성을 어떻게 보장할 것인가? 슬라이딩 윈도우 적응형 서킷 브레이커, 그레이스풀 드레인, 제로 다운타임 롤아웃, 그리고 p99 지연 시간을 방어하는 투기적 헤지드 요청(Hedged Requ...
llm
커밋 코드의 42%를 AI가 짜는 시대, 대중적 튜토리얼이 다루지 않는 엔터프라이즈 Day-2 운영 현실을 짚는다. 10만 토큰을 잠식하는 MCP 컨텍스트 비대화 방어, 4대 코딩 도구(Cursor·Windsurf·Claude Code·Cline) 아키텍처 비교, 점진적 발견 프록...
agent
약 2,000개 TypeScript 파일의 Claude Code 소스맵 유출로 드러난 프로덕션 에이전트의 내부 설계도. 785KB 단일 queryLoop() 엔진, 4단계 반응형 컨텍스트 압축, 벡터 DB를 폐기한 MEMORY.md 회의적 메모리와 8계층 양파형 보안 모델을 심층 ...