PHpullh
학습 라이브러리/AI Knowledge/AI 시스템 장애 대응 플레이북

AI KNOWLEDGE · AI Ops & 운영

AI 시스템 장애 대응 플레이북

LLM 서비스 장애 시나리오별 대응. API 장애 → 폴백 모델(GPT-4 → GPT-4o-mini) 자동 전환. 응답 품질 저하 → 프롬프트 이전 버전으로 롤백. 비용 급증 → 자동 차단 + 알림. 레이턴시 급증 → 캐시 우선 응답.

AI Ops & 운영

핵심 설명

LLM 서비스 장애 시나리오별 대응. API 장애 → 폴백 모델(GPT-4 → GPT-4o-mini) 자동 전환. 응답 품질 저하 → 프롬프트 이전 버전으로 롤백. 비용 급증 → 자동 차단 + 알림. 레이턴시 급증 → 캐시 우선 응답.