엔터프라이즈 AI 플랫폼 설계 (1): 프라이빗 인프라 격리와 초거대 분산 서빙 토폴로지
llm
데이터 유출과 외부 통신이 원천 차단된 사설망 환경에서 수백억~수천억 파라미터 LLM을 어떻게 안정적으로 서빙할 것인가? 제로 트러스트 프라이빗 인프라 경계, 텐서/파이프라인 병렬화의 All-Reduce 통신 병목 수식, 그리고 Prefill과 Decode를 분리하여 p99 지연 ...
최근 포스트
엔터프라이즈 AI 플랫폼 설계 (2): 무중단 장애 격리와 프로덕션 운영화(LLMOps)
agent
GPU 노드 장애, HBM OOM 스파이크, 롱테일 지연 시간 앞에서 AI 플랫폼의 무중단 가용성을 어떻게 보장할 것인가? 슬라이딩 윈도우 적응형 서킷 브레이커, 그레이스풀 드레인, 제로 다운타임 롤아웃, 그리고 p99 지연 시간을 방어하는 투기적 헤지드 요청(Hedged Requ...
엔터프라이즈 바이브 코딩의 이면: MCP 컨텍스트 폭발 제어와 멀티 에이전트 거버넌스
llm
커밋 코드의 42%를 AI가 짜는 시대, 대중적 튜토리얼이 다루지 않는 엔터프라이즈 Day-2 운영 현실을 짚는다. 10만 토큰을 잠식하는 MCP 컨텍스트 비대화 방어, 4대 코딩 도구(Cursor·Windsurf·Claude Code·Cline) 아키텍처 비교, 점진적 발견 프록...
Claude Code 소스맵 유출 완전 해부: 왜 프로덕션 에이전트는 상태 그래프 대신 결정론적 하네스(query.ts)를 택했는가
agent
약 2,000개 TypeScript 파일의 Claude Code 소스맵 유출로 드러난 프로덕션 에이전트의 내부 설계도. 785KB 단일 queryLoop() 엔진, 4단계 반응형 컨텍스트 압축, 벡터 DB를 폐기한 MEMORY.md 회의적 메모리와 8계층 양파형 보안 모델을 심층 ...
바이너리에서 런타임까지: REA(Reverse Engineer Anything)와 TypeSafe Jev를 활용한 결정론적 역공학 파이프라인
agent
바이너리와 애플리케이션 역공학을 수행하는 자율 에이전트는 왜 수천 개의 디컴파일 함수 앞에서 무력해지는가? morluto/rea의 정규화된 EvidenceLedger 구조와 TypeSafe AI의 System One(Jev) 루브릭을 결합하여 지연 시간과 비용을 90% 이상 절감하...
Humanity’s Last Exam(HLE) 시대, 추론 토큰 파산을 막는 동적 예산 라우팅: System One(Jev)과 하이브리드 추론의 결합
agent
SWE-bench Verified가 97%로 포화되며 정적 문제은행의 시대가 끝났다. Humanity’s Last Exam(HLE)에서 문항당 최대 8.8만 개의 추론 토큰이 폭발하는 2026년, 비생성형 System One(Jev)으로 불확실성을 사전 계측하고 하이브리드 사고 예...
DeepSeek-V3/V4의 MLA(Multi-Head Latent Attention) 수리적 해부와 SGLang RadixAttention 서빙 최적화
llm
대규모 컨텍스트와 에이전트 루프에서 서빙 인프라의 최대 병목인 KV 캐시를 32분의 1로 압축하는 Multi-Head Latent Attention(MLA)의 수리적 메커니즘(저랭크 압축, 가중치 흡수, 분리형 RoPE)을 증명하고, Kubernetes 환경에서 SGLang Rad...
안드레이 카파시의 앤트로픽 합류와 ‘카파시 루프(Autoresearch)’: GRPO에서 자율 사전학습 최적화까지
agent
비평 모델(Critic Model)을 제거한 DeepSeek-R1의 GRPO 강화학습부터, 안드레이 카파시가 증명한 700회 무감독 자율 연구 루프(Autoresearch)까지. 에이전트가 스스로 훈련 코드를 수정해 모델 학습 시간을 11% 단축한 메커니즘과 프로덕션 5단계 자가 ...