AI KNOWLEDGE · 아키텍처 & 패턴

AI 게이트웨이 패턴

여러 LLM 프로바이더를 통합 관리하는 레이어. 기능: ①프로바이더 장애 시 자동 전환(fallback) ②로드 밸런싱 ③비용 제어 ④캐싱 ⑤레이트 리미팅. OpenRouter, LiteLLM, Portkey 활용. 단일 코드베이스로 다양한 모델 전환이 가능합니다.