AI KNOWLEDGE · AI Ops & 운영
Rate Limiting & Retry 전략
OpenAI/Anthropic API는 RPM(분당 요청)과 TPM(분당 토큰) 제한. 전략: ①지수 백오프 재시도(1s→2s→4s→8s) ②토큰 버킷 알고리즘으로 요청 조절 ③여러 API 키 로드 밸런싱 ④비동기 큐로 배치 처리. tenacity 라이브러리 활용.
AI Ops & 운영
핵심 설명
OpenAI/Anthropic API는 RPM(분당 요청)과 TPM(분당 토큰) 제한. 전략: ①지수 백오프 재시도(1s→2s→4s→8s) ②토큰 버킷 알고리즘으로 요청 조절 ③여러 API 키 로드 밸런싱 ④비동기 큐로 배치 처리. tenacity 라이브러리 활용.
Continue Learning
AI Knowledge 학습을 이어가세요
총 100개의 독립 HTML 학습 문서 중 하나입니다. 각 문서는 고유 URL과 canonical 메타데이터를 가집니다.