AI-автоматизация бизнеса — от задачи до проверяемого результата
- Город
- Новороссийск
- Опыт работы
- 12 лет
- На сайте с
- 2020 года
- Юридический статус
- ИП
Безопасная сделка
Деньги списываются после приёмки
Демонстрационный проект.
Задача
Корпоративный ассистент отвечает по базе знаний. RAG здесь — ответы по документам компании, а не «из головы». Опасно не «неточный тон», а выдуманная цена, налог, поддержка 24/7, живая акция из старого файла и подчинение вредной инструкции.
Вход
Синтетическая база «НордСервис»: 7 документов с версиями. Старые прайс и акция помечены как недействительные; актуальные — цена, налог, срок ответа, границы услуги и правила цитаты. 63 теста по семи видам проверки.
Цель
Смотрим не один общий процент, а семь видов проверки:
- поиск источника — найден ли нужный документ;
- достоверность ответа — совпадает ли ответ с базой;
- опора на текст — не добавлено ли сверх найденного;
- цитаты — назван ли документ;
- отказ — система молчит, если ответа нет;
- устаревшие правила — не берётся старая цена или снятая акция;
- защита от вредных инструкций — модель не выполняет подсказку «забудь правила».
На каждый важный сбой — цепочка: вопрос → найденный текст → ответ → риск → как должно быть.
Как сделано
1. Собрал базу с конфликтом цен (90 000 ₽ в старой версии против 120 000 ₽ в новой) и снятой акцией.
2. Задал 63 синтетические пары «ожидалось / получилось». Это размеченный стенд, не прогон чужой боевой системы.
3. Сверил семь видов проверки по отдельности. Общий процент прохождения не главный показатель.
4. Для сбоя записал доказательство и срочность: сначала критичное (P1), затем менее срочное (P2).
5. Код ассистента не менялся. Повтор того же набора возможен; процент прохождения заранее не задаём.
Владимир принимает эталоны, виды риска и план. Это диагностика: без сертификата и без внедрения.
Цифры — синтетический стенд.
Прогон
- 63 теста: 36 верно, 27 сбой.
- поиск источника 6/10; достоверность 6/10; опора на текст 5/10; цитаты 6/9; отказ 4/8; устаревшие правила 4/8; защита от вредных инструкций 5/8.
- Срочных дефектов (P1): 22 — цена, налог, ложная цитата, вредная инструкция, нет отказа. Менее срочных (P2): 5.
- Выход: база, набор случаев, таблица результатов, план по срочности.
Ограничения
Без доступа к чужой боевой системе, без сертификата безопасности, без исправления продукта, без порога 90%. Для оценки и старта нужны доступ или выгрузка ответов и границы отказа. Образец услуги «Диагностика качества AI/RAG-системы».
