Ограничения скорости
Ограничения частоты защищают стабильность платформы и не позволяют одному аккаунту занять слишком много ресурсов за короткое время. Лимиты могут различаться по аккаунтам, токенам, моделям и уровням привилегий.
Основные понятия
- RPM: количество запросов в минуту.
- RPD: количество запросов в день.
- Параллелизм: количество запросов, обрабатываемых одновременно.
- Общий лимит: суммарное ограничение для нескольких токенов аккаунта.
- Лимит токена: дополнительное ограничение одного API-ключа.
Проектирование клиента
В рабочем приложении следует:
- Контролировать параллелизм, не отправляя все запросы одновременно.
- Использовать экспоненциальную задержку для ответов
429, временных ошибок вышестоящего сервиса и сетевых ошибок. - Записывать модель, код состояния и идентификатор неудачного запроса.
Пример экспоненциальной задержки
text
1-я попытка: подождать 1 секунду
2-я попытка: подождать 2 секунды
3-я попытка: подождать 4 секунды
4-я попытка: подождать 8 секундЕсли повторные попытки продолжают завершаться ошибкой, прекратите их и передайте проблему на ручную обработку.
Увеличение доступных ресурсов
Если требуется более высокая частота или больший параллелизм:
- Проверьте уровни привилегий и правила ресурсов текущего уровня.
- Установите меньшие лимиты тестовым токенам, чтобы скрипты не влияли на рабочие сервисы.
- Свяжитесь с командой DDTokens для обсуждения выделенных квот или корпоративного тарифа.
Точные значения RPM, RPD и параллелизма определяются панелью управления и правилами аккаунта.