Александр Вахтин › avvahtin Сбер ID
AI-агенты, данные и веб-сервисы на Python: от идеи до продакшена
Рейтинг
217
№ 6 009 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Москва
Опыт работы
8 лет
На сайте с
2026 года
Юридический статус
ИП

LLM-шлюз на 10 моделей: точная цена ответа и резерв при сбое

Используемые навыки API Docker Compose Искусственный интеллект Мониторинг Prometheus Системное администрирование

Описание

Заказчик — платформа сквозной аналитики. Языковые модели в ней нужны сразу нескольким сервисам: AI-ассистенту, который строит отчёты для клиентов, и внутренним агентам. Ассистент продаётся клиентам как платная услуга, поэтому стоимость каждого его ответа нужно знать точной цифрой в момент ответа, а не оценкой по счёту в конце месяца.

Пока сервисы ходят к провайдеру моделей напрямую, у такой схемы четыре слабых места.

— Деньги. Счёт у провайдера один на всех. Сколько стоил конкретный ответ и какой сервис съел бюджет, из него не понять.
— Сбои. Провайдер время от времени отказывает: таймаут, перегрузка, временный запрет доступа. Для пользователя это упавший отчёт и кнопка «повторить».
— Повторы за деньги. Если повторять всё подряд, сервис платит за запросы, которые заведомо не пройдут: с неверным ключом или отклонённые по содержанию.
— Смена модели. Новые версии выходят раз в несколько месяцев, и каждая замена — это правки и релиз в каждом сервисе, который модель использует.

Задача: одна управляемая точка доступа ко всем моделям — с точной ценой каждого запроса, устойчивостью к сбоям провайдера и заменой модели без релизов. Переписывать существующие интеграции при этом нельзя.

Решение

Спроектировал, развернул и дорабатывал шлюз к языковым моделям на основе открытого прокси LiteLLM. Сам прокси — готовый продукт, моя работа в том, как шлюз собран и настроен: каталог моделей, цены, политика отказов, хранение трат и мониторинг. Каталог, политики и схема развёртывания в репозитории шлюза — мои.

ОДИН АДРЕС ВМЕСТО ОТДЕЛЬНЫХ ИНТЕГРАЦИЙ
Шлюз говорит по протоколу OpenAI, поэтому сервису достаточно поменять адрес и ключ — код интеграции остаётся прежним. За шлюзом через OpenRouter стоят 10 моделей под псевдонимами. Сервис просит модель по имени, а что именно ответит и у какого провайдера, решает конфигурация шлюза.

ЦЕНА КАЖДОГО ЗАПРОСА
Шлюз считает стоимость каждого ответа, возвращает её вместе с ответом и записывает траты по каждому ключу в базу. Здесь нашлась ловушка: для четырёх новых моделей встроенный справочник цен не знал тарифов, и расход по ним считался бы пустым. Прописал для них вручную цену входящих, исходящих и кэшированных токенов, а также пределы контекста и длины ответа. Разброс цен в каталоге большой: входящий токен gpt-5.5 стоит в 25 раз дороже, чем у gpt-5.4-nano. Поэтому точная цена здесь — это деньги, а не аккуратность.

ПОВТОРЫ ПО КЛАССАМ ОШИБОК
Повторять стоит только то, что может пройти со второй попытки. Таймаут, превышение частоты запросов и внутренний сбой провайдера — до двух повторов. Неверный ключ, некорректный запрос и отказ по контентной политике — ноль повторов: ответ будет тем же, а деньги уйдут. Каждая попытка ограничена 60 секундами, чтобы запрос не висел.

КАРАНТИН ДЛЯ СБОЙНОЙ МОДЕЛИ
После трёх отказов модель на 30 секунд выводится из ротации. Сервисы не бьются в недоступного провайдера и не множат ошибки.

РЕЗЕРВНЫЙ ПРОВАЙДЕР: ДОРАБОТКА ПО РЕАЛЬНОМУ СБОЮ
В продакшене случился инцидент: провайдер временно отказал в доступе к модели, и у пользователя упал запуск отчёта — помог только ручной перезапуск из интерфейса. Разобрал случай и включил для всех моделей переход на резервного провайдера той же модели внутри того же запроса, вместе с повторами и карантином. Теперь при таком отказе запрос сам уходит к резерву.

КЛЮЧИ, ТРАТЫ, МОНИТОРИНГ
Каждый потребитель получает свой ключ: по ключу видно, кто и сколько потратил, на ключ вешается бюджет. Ключи, журнал трат и модели, добавленные через панель управления, хранятся в PostgreSQL. Рядом поднят Prometheus: опрашивает шлюз каждые 15 секунд и хранит историю 15 дней.

РАЗВЁРТЫВАНИЕ
Три контейнера в Docker Compose. Шлюз стартует только после того, как база прошла проверку готовности, живость шлюза проверяется каждые 30 секунд. Секреты живут в окружении и в репозиторий не попадают.

Автоматический деплой на сервер позже настроил коллега — в этот кейс он не входит.

Результат

Цена каждого ответа модели известна точной цифрой в момент ответа. На этом построен учёт в AI-ассистенте платформы: стоимость приходит из шлюза, суммируется по запуску и пересчитывается в рубли для списания с клиента. Вопрос «куда ушли деньги» закрывается выборкой по ключу, а не расследованием.

Временный отказ провайдера больше не равен упавшему отчёту: запрос повторяется или уходит к резервному провайдеру, а сбойная модель на полминуты отходит в сторону вместо шквала повторных запросов.

Деньги не уходят на безнадёжные повторы: запрос с неверным ключом или отклонённый по содержанию не повторяется ни разу.

Новая модель — правка конфигурации шлюза, а не релиз сервисов: три свежие модели вместе с ценами и лимитами подключены за один день. Новый потребитель подключается выдачей ключа — так отдельный контур агентов получил свой бюджет и свой журнал трат, не задевая клиентский чат.

Шлюз работает в продакшене платформы.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT SaaS для селлеров: видео и 4 варианта фона из одного фото
SaaS для селлеров: видео и 4 варианта фона из одного фото
155
Веб-разработка и IT С n8n на свой код за 10 дней: Telegram-бот для редакции
С n8n на свой код за 10 дней: Telegram-бот для редакции
72
Веб-разработка и IT Отчёты за 10 минут вместо ~200 ч в год: Читай-город и ещё 5
Отчёты за 10 минут вместо ~200 ч в год: Читай-город и ещё 5
68
ИИ и Нейросети Сбой в рекламе — в Telegram в тот же день: движок алертов
Сбой в рекламе — в Telegram в тот же день: движок алертов
67