Практический кейс из работы над SaaS-платформой в области retail analytics.
В рамках тестирования исправлений сервиса расчёта данных требовалось проверять корректность результатов, содержащих большое количество параметров.
Существующий процесс включал запуск расчётов, сбор результатов автоматизированными тестами, отображение данных в UI и последующую сверку с базой данных.
Несмотря на наличие автотестов, значительная часть проверки фактически выполнялась вручную: QA-инженеры визуально сравнивали большие массивы значений.
Такой подход был трудоёмким, плохо масштабировался и создавал риск пропустить расхождения из-за человеческого фактора.
Первоначальная задача заключалась в проверке конкретного исправления. Дополнительной целью стало устранение зависимости от ручного визуального сравнения результатов.
Вместо повторения существующего процесса решил исследовать возможность автоматического сравнения результатов.
Мои действия:
- Изучил существующие проверки и выяснил, какие данные формируются и где сохраняются результаты.
- Предложил сравнивать два источника: файл, сформированный непосредственно сервисом расчёта, и выгрузку соответствующих данных из базы.
- Использовал опыт другой задачи, в которой применялись простые Bash-скрипты для сравнения файлов.
- При поддержке и код-ревью разработчика написал Bash-скрипт, проверяющий совпадение двух файлов и возвращающий код результата: 0 — совпадают, 1 — обнаружено расхождение.
- Применил решение для проверки исправлений и анализа выявленных расхождений.
- Передал обнаруженные замечания разработчику.
Скрипт не пытался самостоятельно интерпретировать причины расхождений. Его задачей было надёжно обнаруживать несовпадения и сигнализировать о необходимости дальнейшего анализа.
После успешного применения решение было передано для интеграции с существующей автоматизацией тестирования.
Предложенный подход позволил выполнить проверку исправлений без необходимости вручную просматривать большие массивы результатов.
В ходе проверки были выявлены расхождения, а замечания переданы разработчику для дальнейшей работы.
Но главным результатом стало развитие самого подхода к тестированию:
- Созданный скрипт был передан для интеграции с автоматизацией.
- Впоследствии часть существующих автотестов была переработана, а часть удалена как избыточная.
- Повторяющиеся проверки данных начали переносить из ручного тестирования в автоматизированные сервисы-валидаторы.
- QA-инженеров освободили от значительного объёма однообразной визуальной сверки результатов.
Решение выросло из небольшой практической инициативы и стало частью более широкого изменения процесса обеспечения качества.
Этот кейс демонстрирует, что улучшение QA не всегда требует сложной автоматизации: иногда достаточно правильно определить проблему, использовать доступные инструменты и совместно с разработчиками реализовать простой, но полезный подход.
*Представленная схема является концептуальной иллюстрацией процесса и не содержит внутренних материалов компании.