Диагностика качества AI/RAG-системы
Проведу диагностику AI или RAG-системы по тестовому набору. RAG здесь — ответы по базе документов компании, не «из головы». Это замер и план, не сертификат и не исправление продукта. Срок — до 5 календарных дней после доступа к тестовым материалам.
Что получает заказчик
Набор 20–50 случаев, замер по видам проверки, доказательства на критичный сбой и план по срочности.
Что входит
— согласование вопросов и эталонного поведения;
— прогон и сверка ответов;
— виды проверки: поиск источника, достоверность ответа, опора на текст, цитаты, корректный отказ, устаревшие правила, защита от вредных инструкций — столько, сколько есть во входе, минимум поиск / ответ / отказ;
— план: сначала критичное, затем менее срочное.
Что не входит
Исправление продукта, внедрение, юридический или security-сертификат, проверка на взлом, 1С и Bitrix без уже выданного тестового доступа, обещание порога качества.
Как проверяем
Каждый вывод привязан к номеру случая и фрагменту базы. Общий процент прохождения не главный показатель. Повтор возможен на том же наборе.
Нужны доступ к тестовой среде или выгрузке ответов, 3–5 примеров желаемого поведения и границы, где система должна отказываться. Соответствует demo «Оценка надёжности RAG: поиск, цитаты, отказ и защита».
