엔터프라이즈 AI 플랫폼 설계 (2): 무중단 장애 격리와 프로덕션 운영화(LLMOps)
agent
GPU 노드 장애, HBM OOM 스파이크, 롱테일 지연 시간 앞에서 AI 플랫폼의 무중단 가용성을 어떻게 보장할 것인가? 슬라이딩 윈도우 적응형 서킷 브레이커, 그레이스풀 드레인, 제로 다운타임 롤아웃, 그리고 p99 지연 시간을 방어하는 투기적 헤지드 요청(Hedged Requ...
agent
GPU 노드 장애, HBM OOM 스파이크, 롱테일 지연 시간 앞에서 AI 플랫폼의 무중단 가용성을 어떻게 보장할 것인가? 슬라이딩 윈도우 적응형 서킷 브레이커, 그레이스풀 드레인, 제로 다운타임 롤아웃, 그리고 p99 지연 시간을 방어하는 투기적 헤지드 요청(Hedged Requ...
agent
약 2,000개 TypeScript 파일의 Claude Code 소스맵 유출로 드러난 프로덕션 에이전트의 내부 설계도. 785KB 단일 queryLoop() 엔진, 4단계 반응형 컨텍스트 압축, 벡터 DB를 폐기한 MEMORY.md 회의적 메모리와 8계층 양파형 보안 모델을 심층 ...
agent
바이너리와 애플리케이션 역공학을 수행하는 자율 에이전트는 왜 수천 개의 디컴파일 함수 앞에서 무력해지는가? morluto/rea의 정규화된 EvidenceLedger 구조와 TypeSafe AI의 System One(Jev) 루브릭을 결합하여 지연 시간과 비용을 90% 이상 절감하...
agent
SWE-bench Verified가 97%로 포화되며 정적 문제은행의 시대가 끝났다. Humanity’s Last Exam(HLE)에서 문항당 최대 8.8만 개의 추론 토큰이 폭발하는 2026년, 비생성형 System One(Jev)으로 불확실성을 사전 계측하고 하이브리드 사고 예...
agent
비평 모델(Critic Model)을 제거한 DeepSeek-R1의 GRPO 강화학습부터, 안드레이 카파시가 증명한 700회 무감독 자율 연구 루프(Autoresearch)까지. 에이전트가 스스로 훈련 코드를 수정해 모델 학습 시간을 11% 단축한 메커니즘과 프로덕션 5단계 자가 ...
agent
단순한 참/거짓 판정이나 라벨 분류를 위해 생성형 LLM의 토큰 생성을 기다릴 필요가 있을까? TypeSafe AI가 공개한 비생성형 System One 모델 Jev의 작동 원리, 핵심 프리미티브(Boolean·Choice·Score), REFLEX 프레임워크의 선택적 제어 실측치...
agent
TypeSafe AI의 System One 모델 Jev는 어떻게 자연어 상태에서 타입화된 결정을 도출하는가? POST /v1/systemone 엔드포인트의 3대 프리미티브(Choice·Score·Noul) 응답 스펙, 공식 신뢰도(Confidence) 수식, CJK 및 버전 고정 ...