AI 지식 AI Ops & 운영 완전 정리

운영에 들어가면 문제의 성격이 바뀝니다. 개발 중에는 응답 품질이 관심사지만, 트래픽이 붙으면 429와 타임아웃, 예상보다 세 배 나온 청구서가 먼저 눈에 들어옵니다. 게다가 LLM은 제공자 쪽 사정으로 응답 지연이 널뛰고 모델이 조용히 갱신되기도 해서, 우리 코드가 그대로여도 어제와 오늘 결과가 달라질 수 있습니다. 다른 외부 의존성보다 변동 폭이 큰 컴포넌트를 하나 안고 간다고 보는 편이 정확합니다.

Rate Limiting & Retry 전략은 분당 요청 수와 분당 토큰이 별개 한도로 걸린다는 사실에서 시작합니다. 요청 수가 여유로워도 토큰 한도에서 막히는 상황이 흔합니다. LLM 비용 최적화 전략과 AI 캐싱 계층 설계는 방향이 다릅니다. 앞쪽은 호출 단가를 낮추고 뒤쪽은 호출 자체를 없앱니다. 무엇이 먼저 새는지 보려면 AI 로깅과 디버깅 전략으로 호출별 토큰과 지연을 남겨야 하고, 시간이 지나며 품질이 흘러내리는지는 모델 드리프트 감지와 대응이 맡습니다.

재시도 로직을 짤 때 자주 빠뜨리는 것은 스트리밍 중간 실패입니다. 절반쯤 토큰을 받은 뒤 끊긴 요청을 그대로 재시도하면 이미 소비한 입력 토큰이 한 번 더 청구되고, 사용자는 같은 문장이 두 번 시작되는 화면을 봅니다. 부분 응답을 버릴지 이어 붙일지 정책을 정해 두어야 합니다. 429 응답에 재시도 대기 시간 힌트가 실려 오는 경우에는 자체 백오프 값보다 그 값을 우선하는 편이 회복이 빠릅니다. 그리고 지수 백오프에 무작위 지터를 넣지 않으면 여러 워커가 같은 주기로 몰려 한도를 다시 때리는 패턴이 반복됩니다.