Кейс автоматизации тестирования и успешной борьбы с сопутствующими автоматизации проблемами: скорость тестов, стабильность тестов и организационные проблемы. Данный доклад будет полезен как аудитории, которая только приступает к автоматизации процесса тестирования, так и достаточно опытным специалистам, а также тем, кто экспериментирует с новыми подходами.
Тестирование очень крупного проекта никогда не бывает простым. Этому способствуют несколько факторов:
- Специфика: тесты в цифровом банке для бизнеса сложные. Там работают не с задачами вроде корректности заполнения поля, а со сложными и зачастую длинными бизнес-кейсами, например, заполнение платежного поручения.
- Объем: тестов много, изменений, на которых нужно запускать тесты тоже много.
- Анализ: огромное количество отчетов и тестовых результатов усложняет анализ проблемных тестов.
- Структура: команд, пишущих тесты, также много и они разбросаны по разным подразделениям банка.
Это приводило к огромному количеству проблем:
- долгая и нестабильная работа тестов;
- позднее обнаружение дефектов (уже после попадания их в код релизной ветки);
- починка одних тестов ломала другие, прогонка всех тестов на ПР-чеках была, в принципе, невозможна.
Решение этих проблем заняло несколько лет и привело к созданию и внедрению ряда инструментов и технологий. Например, в Сбере появился фреймворк тестирования со своим механизмом поиска элементов и выполнения логики проверок на стороне браузера. Также возник портал с детальной статистикой по результатам тестов, харвестер — инструмент для анализа влияния изменений кода ПР на тесты и т.д. Внедрение этих инструментов существенно помогло, но обнажило еще ряд организационных и качественных проблем (скорость и стабильность). Но с ними Сбер тоже успешно справился. Как? Сергей расскажет в этом докладе.