AI KNOWLEDGE · AI Ops & 운영

LLM 비용 최적화 전략

①모델 선택: 작은 작업은 GPT-4o-mini, Claude Haiku ②프롬프트 압축: LLMLingua로 30~50% 토큰 절감 ③캐싱: 동일 프롬프트 재사용 ④배치 처리: OpenAI Batch API로 50% 할인 ⑤결과 재사용: 이전 응답 캐시.