부하 테스트로 검증하는 오토스케일링: Azure Load Testing과 p95 SLO
azure
2편에서 정한 concurrentRequests 10이라는 값이 실제로 맞는지, Azure Load Testing으로 사설망 내부에 부하를 넣어 검증한다. 스케일 임계값 도달과 maxReplicas 도달이라는 두 변곡점을 p95 지연 곡선으로 읽고, 수용량과 병목을 도출하는 과정을...
Azure
컨테이너 배포 자동화: ACR 파이프라인과 Container Apps 무중단 리비전
azure
컨테이너 이미지 빌드부터 Container Apps 트래픽 전환까지를 하나의 파이프라인으로 묶는 방법을 정리한다. 커밋 SHA 태깅, ACR 빌드, blue-green 리비전 전략, 스모크 테스트 게이트와 롤백 절차를 실측 명령과 함께 다룬다.
시크릿 거버넌스: Key Vault와 Managed Identity로 자격증명 노출면 없애기
azure
앞선 편에서 튜닝한 PostgreSQL·Redis 커넥션 정보는 결국 어딘가에서 애플리케이션으로 주입된다. 자격증명이 이미지·환경 변수·파이프라인 로그로 새는 경로를 막고, Key Vault와 Managed Identity로 값을 애플리케이션 코드에서 지우는 구조를 정리한다. 주입...
AI 챗백엔드의 데이터 계층: PostgreSQL 커넥션 풀과 Redis 세션 설계
azure
RAG 파이프라인을 마이크로서비스로 분리한 다음 단계는 데이터를 어디에 두느냐다. 영속 상태는 PostgreSQL, 세션·웹소켓·캐시는 Redis로 나누고, 레플리카 1~20개 환경에서 커넥션 풀과 TTL을 어떻게 설계했는지 정리한다.
사설망 RAG 파이프라인 설계: Docling·Qdrant·리랭커 분리 운영기
azure
1부에서 세운 사설 Container Apps 환경 위에 RAG 파이프라인을 올린다. 문서 파싱·벡터 검색·웹 검색·리랭킹을 각각 독립 컨테이너로 분리하고, 검색 품질과 부분 장애 대응까지 운영 관점에서 정리한다.
사설망 LLMOps 옵저버빌리티: Langfuse 트레이싱과 Azure Monitor 로그 파이프라인
azure
폐쇄망에서 돌아가는 LLM 채팅 서비스의 프롬프트·토큰·비용·지연·품질을 관측하는 방법을 정리한다. Langfuse 트레이스 계층 구조, 감사 로그 이중 기록, Container Apps 로그를 Log Analytics로 모으는 KQL 파이프라인, 그리고 비용·SLO 알림과 데이터...
Microsoft Entra ID 기반 AI 서비스 인증·인가: OIDC SSO와 역할 매핑
azure
사내 계정 SSO를 위해 Microsoft Entra ID 앱 등록과 Authorization Code Flow를 구성하고, App Roles와 보안 그룹으로 서비스 역할을 매핑해 비밀번호 인증을 전면 차단한 뒤 세션·쿠키 보안 정책까지 정리한다.
Azure API Management 기반 LLM 게이트웨이: 토큰 거버넌스·백엔드 풀·스트리밍 중계
azure
Azure OpenAI 앞에 API Management를 세워 키 은닉·토큰 쿼터·단일 관측 지점·무중단 모델 교체를 확보한다. 백엔드 풀과 Managed Identity 인증, azure-openai-token-limit 기반 토큰 거버넌스, SSE 스트리밍 중계의 함정까지 정책...
Azure Container Apps 프로덕션 운영: 내부 전용 환경·오토스케일링·영구 스토리지
azure
폐쇄망 VNet 위에 Azure Container Apps(ACA)를 올려 프로덕션으로 운영하기까지의 실전 기록이다. Internal 전용 환경 설계, 컨테이너 앱 매니페스트, http-scaler 기반 오토스케일링, Azure Files·Blob 이중 영구 스토리지 전략을 정리한다.
Azure OpenAI 폐쇄망 네트워크 설계: VNet·Private Endpoint·Private DNS
azure
사내 AI 채팅 플랫폼을 공용 인터넷에서 완전히 격리하기 위해 VNet·서브넷을 분리하고, Private Endpoint와 Private DNS Zone으로 Azure OpenAI를 비롯한 PaaS 리소스를 사설 IP로만 연결하는 설계 과정을 정리한다.