AI KNOWLEDGE · AI Ops & 운영

AI 캐싱 계층 설계

①정확 캐싱: 동일 프롬프트 해시 매칭 ②시맨틱 캐싱: 의미적으로 유사한 질문 감지(GPTCache) ③응답 캐싱: CDN/Redis에 LLM 응답 저장 ④프롬프트 접두어 캐싱(Anthropic prompt caching): 반복되는 긴 시스템 프롬프트 비용 절감.