Для десктопного приложения службы безопасности требовалось автоматизировать проверку новых версий. Через приложение сотрудники подключают комплексы контроля персонала, управляют базой сотрудников, просматривают события, контролируют входы и выходы и формируют отчёты.
Нужно было создать инструмент, который объединяет готовые автотесты и поиск ошибок с помощью ИИ. Тестировщик должен иметь возможность выбрать нужную часть системы, описать задачу обычными словами и получить результаты с деталями, по которым разработчик сможет воспроизвести проблему.
Главная цель — автоматизировать повторяющиеся проверки и дополнить их поиском ошибок за пределами заранее написанных сценариев.
Я разработал ИИ-агента и интерфейс для управления тестированием. Моя работа включала:
1. Интерфейс для запуска проверок. Сделал приложение, в котором тестировщик выбирает сборку проверяемого ПО, папку с готовыми тестами и каталог для отчётов. Добавил проверку окружения перед запуском, чтобы можно было убедиться, что необходимые компоненты установлены и готовы к работе.
2. Подключение существующих автотестов. Организовал запуск готовых тестов из одного интерфейса. Можно выбрать быструю проверку основных функций, полную регрессионную проверку или отдельный раздел: сотрудников, подключения комплексов, синхронизацию, события, входы и выходы, отчёты.
3. Поиск ошибок по задаче на обычном языке. Подключил Codex CLI. Тестировщик описывает, что нужно проверить, а агент исследует приложение в рамках этой задачи. Например, ему можно поручить проверить подключение комплексов, синхронизацию событий и восстановление работы после обрыва связи. Запуск готовых тестов и ИИ-исследование можно включать отдельно или вместе.
4. Отдельное тестовое окружение. Реализовал подготовку отдельной базы PostgreSQL, виртуального экрана и локальных имитаторов комплексов. Проверки выполняются в настоящем окне приложения с тестовыми данными: система нажимает кнопки, заполняет поля и проверяет поведение программы. Например, создаёт сотрудника, перезапускает приложение и проверяет сохранение записи.
5. Отчёты с деталями и скриншотами. Реализовал формирование HTML-отчёта. В нём есть общая сводка, результаты по разделам приложения и подробности отдельных проверок: ожидаемый и фактический результат, длительность, последовательность действий и скриншоты. Эти материалы помогают разобраться в проблеме и воспроизвести её.
6. Контроль работы агента. Добавил ограничения по времени и количеству действий ИИ. Во время проверки тестировщик видит журнал выполнения и при необходимости может остановить процесс. Это позволяет задавать границы исследования и контролировать его ход.
Технологии: Codex CLI, C#, PostgreSQL, Linux
1. Ошибки, пропущенные людьми. Уже при первом запуске агент нашёл ошибки, которые ранее пропустили люди при проверке приложения.
2. Единый инструмент для тестирования. Выбор сборки, запуск готовых тестов, постановка задачи ИИ и просмотр результатов доступны в одном интерфейсе. Тестировщик может выбирать объём проверки под конкретную задачу.
3. Материалы для воспроизведения проблем. После проверки остаётся отчёт с результатами, последовательностью действий и скриншотами. Разработчик получает конкретные сведения о поведении приложения для разбора и исправления ошибок.
4. Понятный охват проверки. Отчёт показывает результаты по разделам и отдельно отмечает пропущенные и заблокированные проверки. Это помогает видеть, какие сценарии прошли проверку, а какие требуют дополнительного внимания.