Тестирование ИИ-бота на каждое обновление: старое больше не ломается

Обновили модель, поправили инструкцию, добавили документы в базу — и через неделю клиент присылает скриншот с ошибкой в том, что давно было исправлено. Тестировать руками долго, и всё равно что-то пропускаете.

Что делаю:
— собираю набор проверок на реальных сценариях: частые вопросы, сложные случаи, то, что уже ломалось;
— описываю для каждого, какой ответ правильный, а какой — ошибка;
— настраиваю автоматический прогон на каждое изменение: в репозитории, CI или по кнопке;
— если качество просело, видно, в каких сценариях и насколько. Версию можно не выкатывать.

Для команд, которые сами делают ботов, и для компаний с ботом от подрядчика.

ПАКЕТЫ
Эконом — 15 000 ₽, 4 дня: 30 сценариев плюс запуск по инструкции вручную.
Стандарт — 40 000 ₽, 10 дней: 100 сценариев плюс автозапуск на каждое изменение.
Бизнес — 80 000 ₽, 20 дней: всё из «Стандарта» плюс отчёт на каждое изменение и месяц поддержки набора.

Что нужно от вас: доступ к боту или его коду; база знаний; список сценариев или выгрузка переписки; где живёт код и как выкатываются изменения.

Не входит: исправление найденных ошибок — можно заказать отдельно.

• Ключевые слова:
• rag
• llm
• регрессионное
• сломался
• качества
• чат
• после
• бота
• обновления
• бот
• тестирование
• контроль