EKS 노드·GPU·네트워킹 장애 디버깅 실전 가이드: NodeNotReady부터 NCCL 타임아웃까지
k8s
EKS에서 노드 조인 실패와 NodeNotReady, VPC CNI·DNS·Service 문제, GPU 워크로드의 CUDA/NCCL 오류, 그리고 K8s Probe와 로드밸런서 헬스체크 불일치까지 한 흐름으로 재구성한다. 계층별 신호를 어떤 순서로 좁혀야 하는지에 초점을 맞춘 디버...
ingu627.github.io
최근 포스트
AI 챗백엔드의 데이터 계층: PostgreSQL 커넥션 풀과 Redis 세션 설계
azure
RAG 파이프라인을 마이크로서비스로 분리한 다음 단계는 데이터를 어디에 두느냐다. 영속 상태는 PostgreSQL, 세션·웹소켓·캐시는 Redis로 나누고, 레플리카 1~20개 환경에서 커넥션 풀과 TTL을 어떻게 설계했는지 정리한다.
MCP 기반 에이전트 아키텍처 패턴: LLMOps 진화·안전한 페일오버·자가 개선 사례에서 뽑은 설계 원칙
llm
MCP를 붙였더니 왜 오히려 위험해지는가. 고정 파이프라인의 점진적 도구화, 선언적 의도와 컨트롤러 검증, 런타임 증거 기반 자가 개선, 그리고 MCP 서버를 만들기 전에 던져야 할 질문들을 실무 사례에서 설계 원칙으로 정리한다.
Skills와 MCP는 경쟁이 아니다: SKILL.md 기반 절차 지식과 MCP 연결 계층의 역할 분담
llm
MCP가 연결을 표준화한 뒤 병목은 컨텍스트와 절차 지식으로 옮겨 갔고, 그 자리에 SKILL.md 폴더 기반의 스킬이 들어왔다. 두 표준이 하는 일이 어떻게 다르고, 언제 무엇을 선택하며, 함께 쓸 때 토큰 예산을 어떻게 관리할지 정리한다.
사설망 RAG 파이프라인 설계: Docling·Qdrant·리랭커 분리 운영기
azure
1부에서 세운 사설 Container Apps 환경 위에 RAG 파이프라인을 올린다. 문서 파싱·벡터 검색·웹 검색·리랭킹을 각각 독립 컨테이너로 분리하고, 검색 품질과 부분 장애 대응까지 운영 관점에서 정리한다.
MCP 앱스(MCP Apps)와 제너레이티브 UI: 에이전트 응답을 인터랙티브 화면으로
llm
에이전트의 텍스트 응답만으로는 전달되지 않는 구조·조작·확인의 손실을 짚고, MCP 앱스 확장이 서버의 UI 리소스를 호스트의 샌드박스 iframe에서 렌더링하는 구조, 선언적 UI와 개방형 UI의 트레이드오프, 유스케이스별 설계 가이드와 보안 경계, 사내 도구 전환 판단 기준을 ...
사설망 LLMOps 옵저버빌리티: Langfuse 트레이싱과 Azure Monitor 로그 파이프라인
azure
폐쇄망에서 돌아가는 LLM 채팅 서비스의 프롬프트·토큰·비용·지연·품질을 관측하는 방법을 정리한다. Langfuse 트레이스 계층 구조, 감사 로그 이중 기록, Container Apps 로그를 Log Analytics로 모으는 KQL 파이프라인, 그리고 비용·SLO 알림과 데이터...
MCP 서버 테스트 전략: Inspector·Conformance·Property-Based Testing으로 신뢰성 확보하기
llm
MCP 서버는 30줄이면 만들 수 있지만, 그 30줄이 프로덕션에서 신뢰할 만한지 증명하는 일은 훨씬 어렵다. 프로토콜·도구 계약·모델 비결정성이 겹치는 MCP 서버를 Inspector 대화형 검증, 스펙 conformance 스위트, 속성 기반 테스트(PBT), 보안 회귀 테스트...