Новое в журнале. Пирамида тестирования веб-приложений: что автоматизировать, а что — руками
Практика и проекты

Пирамида тестирования веб-приложений: что автоматизировать, а что — руками

«60/25/5» — удобный ориентир, но не универсальный закон: в статье — таблица пропорций по типу веб-проекта и ответ на вопрос, когда тестирование выгоднее отдать на аутсорс, а не растить в штате.

18 ноября 20269 мин чтенияПрактикам
Пирамида тестирования веб-приложений: что автоматизировать, а что — руками
60/25/5классическая пропорция — не догма
3 типапроектов со своей рабочей пропорцией

Классическую пропорцию «60% unit, 25% integration, 5% e2e» команды обычно либо копируют целиком — не важно, подходит ли она конкретному проекту, — либо вообще не формализуют тестовую стратегию и тестируют «на глаз» перед каждым релизом. Оба варианта работают плохо: MVP на старте физически не успевает накопить такой объём unit-тестов за разумное время, а продукт с несколькими внешними интеграциями без полноценного integration-слоя тестируется вслепую именно там, где чаще всего и ломается.

Если в команде сейчас не хватает ресурса, чтобы выстроить тестовую стратегию полноценно, необязательно ждать первого серьёзного инцидента в проде. Удалённая команда, которая умеет делать тестирование веб приложений, закроет тестовый контур быстрее, чем штатная команда соберёт его с нуля — особенно если задача не в том, чтобы бесконечно расширять штат, а в том, чтобы получить рабочую пирамиду тестов за предсказуемый срок.

Что такое пирамида тестирования и почему 60/25/5 — не догма

Пирамида тестирования — это модель распределения тестов по трём уровням: в основании — многочисленные быстрые unit-тесты, в середине — integration-тесты, которые проверяют связки модулей, на вершине — немногочисленные e2e-тесты, прогоняющие сценарий через реальный интерфейс. Форма пирамиды, а не прямоугольника или ромба, отражает идею: чем выше уровень, тем дороже и медленнее тест, поэтому таких тестов должно быть меньше.

Цифры «60/25/5» — не стандарт из спецификации, а обобщение по типовому продукту со зрелой кодовой базой и стабильной архитектурой. Для проекта с другими условиями — другим возрастом кода, другим профилем рисков, другой скоростью изменений — пропорция, подогнанная под чужой кейс, скорее создаёт ложное чувство правильной стратегии, чем реально защищает от регрессий. Рабочий вопрос не «соответствуем ли мы 60/25/5», а «какие тесты на каком уровне реально ловят баги в нашем коде».

Unit, integration, e2e — в чём разница на примере веб-приложения

На практике границы между уровнями путают чаще, чем кажется: тест, который формально называют unit-тестом, может поднимать часть инфраструктуры и по сути быть integration-тестом. Разница — не в названии файла, а в том, что именно тест изолирует.

Unit-тесты — что проверяют и почему они дешёвые

Unit-тест проверяет одну функцию или класс в изоляции от остального приложения: базы данных, сети, файловой системы. Любая внешняя зависимость подменяется тестовым двойником. Из-за этого unit-тесты выполняются миллисекундами, не требуют поднятой инфраструктуры и дают почти мгновенную обратную связь при разработке — именно поэтому их место в основании пирамиды, а не на вершине.

Integration-тесты — где чаще всего ловят реальные баги

Integration-тест проверяет, что несколько модулей корректно работают вместе: например, что API-хендлер действительно сохраняет запись в базе данных нужным образом, а не просто вызывает метод репозитория. Именно на этом уровне чаще всего ловят баги, которые unit-тесты пропускают по определению — ошибки в контракте между модулями, а не в логике одного модуля.

E2E-тесты — почему они медленные и хрупкие именно в вебе

E2E-тест прогоняет пользовательский сценарий через настоящий браузер: открывает страницу, кликает по элементам, ждёт ответа сервера. Для веб-приложений это особенно хрупкий уровень — тест зависит от скорости сети, асинхронной отрисовки интерфейса, поведения сторонних виджетов (платёжных форм, капчи, аналитики), которые разработчик не контролирует напрямую. Один и тот же тест может упасть просто потому, что внешний скрипт загрузился на полсекунды дольше обычного — это и называют flaky-тестом.

ХарактеристикаUnitIntegrationE2E
Скорость выполненияМиллисекундыДоли секунды — секундыСекунды — минуты
Что ловитЛогические ошибки в одной функцииОшибки контракта между модулямиРазрыв пользовательского сценария целиком
Стоимость поддержкиНизкаяСредняяВысокая, чувствительна к UI-изменениям
Где лучше запускать в CIНа каждый коммитНа каждый PRПеред релизом или по расписанию
Три вложенных уровня тестов — от плотного unit-слоя в центре до редких e2e-тестов снаружи

Какая пропорция нужна вашему проекту

Вместо того чтобы подгонять проект под чужую пропорцию, разумнее отталкиваться от стадии и профиля рисков самого продукта.

Тип проектаРабочая пропорцияПочему
MVP на стартеНемного unit + точечные e2e на ключевой сценарийКод ещё меняется слишком быстро, чтобы окупать плотный unit-слой; важнее не сломать 2-3 критичных сценария (регистрация, оплата)
Растущий продукт с интеграциямиUnit как основа + заметно усиленный integration-слойБаги чаще возникают на стыке модулей и внешних API (платежи, уведомления, очереди), а не внутри одной функции
Legacy с техдолгомТочечные e2e-тесты как защитная сетка + unit только для нового/изменяемого кодаПолное unit-покрытие legacy за разумный срок нереалистично; e2e на критичных сценариях быстрее страхует от регрессий во время рефакторинга

Общее правило: пропорция — не финальная конфигурация, а рабочая гипотеза, которую пересматривают по мере роста продукта. MVP, который дорос до растущего продукта с платёжными интеграциями, рано или поздно должен нарастить integration-слой — иначе баги на стыке сервисов будут находить пользователи, а не CI.

Testing Trophy — когда пирамида не подходит

Для фронтенд-тяжёлых веб-приложений — SPA на React или Vue, где основная сложность в UI-логике и взаимодействии компонентов — классическая пирамида не всегда отражает реальные риски. Альтернативную модель, Testing Trophy, предложил Кент Доддс: она смещает акцент с unit-тестов на integration, аргументируя это тем, что для такого стека именно связка компонентов даёт наибольшую уверенность на единицу затраченного времени. Модель не отменяет пирамиду — она уместна там, где сложность продукта сосредоточена в интерфейсе, а не в серверной бизнес-логике.

Частые ошибки при построении тестовой стратегии

  • Копировать чужую пропорцию без учёта стадии и профиля рисков своего проекта
  • Писать unit-тесты, которые проверяют факт выполнения кода, а не конкретный результат
  • Держать e2e-сьют нестабильным месяцами и приучать команду игнорировать красный CI
  • Не разделять, какие тесты обязаны проходить перед каждым коммитом, а какие — только перед релизом
  • Наращивать e2e-покрытие там, где дешевле и быстрее поймать баг integration-тестом

Когда тестирование выгоднее отдать на аутсорс

Есть три сигнала, по которым понятно, что штатной команде пора не наращивать тестирование самостоятельно, а подключить внешний ресурс: релизы регулярно задерживаются из-за ручной проверки, которую некому автоматизировать; e2e-сьют нестабилен, но чинить его некогда между фичами; в команде просто нет человека, который взял бы на себя тестовую стратегию, а не писал тесты от случая к случаю.

В таких случаях полноценное тестирование веб-приложения силами подрядчика часто обходится дешевле, чем нанимать и обучать QA-инженера в штат ради нескольких часов работы в неделю — особенно на стадии, когда продукт ещё не вырос до объёма, который оправдывает отдельную позицию.

Частые вопросы

Нужно ли строго придерживаться пропорции 60/25/5?

Нет, это ориентир, а не стандарт. Пропорция родилась как обобщение для типового продукта со зрелой кодовой базой. Для MVP, продукта с тяжёлыми интеграциями или legacy с техдолгом рабочая пропорция будет другой — смотрите таблицу по типу проекта в этой статье.

С чего начать, если тестов в проекте нет вообще?

Не с попытки сразу выстроить идеальную пирамиду, а с нескольких e2e-тестов на критичные пользовательские сценарии (оплата, регистрация, оформление заказа) — они быстро дают защитную сетку. Unit и integration-слой наращивайте параллельно с новым кодом, а не переписывая весь legacy сразу.

Чем integration-тест отличается от e2e на практике?

Integration-тест проверяет связку нескольких модулей внутри приложения — например, что API-хендлер правильно обращается к базе данных, — но обычно без реального браузера. E2E-тест прогоняет сценарий через настоящий интерфейс, включая рендеринг, сеть и сторонние виджеты, поэтому медленнее и чувствительнее к окружению.

Что такое flaky-тест и как с ним бороться?

Flaky-тест — тест, который непредсказуемо падает и проходит на одном и том же коде без изменений. Чаще всего причина — жёстко заданные паузы вместо ожидания конкретного состояния интерфейса, гонки с асинхронными запросами или зависимость от стороннего сервиса. Лечится заменой фиксированных задержек на ожидание условия и изоляцией внешних зависимостей моками.

Нужен ли отдельный QA-инженер в штате маленькой команде?

Необязательно с первого дня. Для небольшой команды часто эффективнее распределить unit и integration-тесты между разработчиками, а точечные e2e-прогоны и ручную регрессию отдать на аутсорс — это дешевле, чем держать штатную позицию ради нескольких часов тестирования в неделю.

Нужно ли стремиться к 100% покрытию тестами, чтобы пирамида работала?

Нет, пирамида — это про распределение тестов по уровням, а не про общий процент покрытия. Отдельный разбор того, какой процент тестового покрытия реально достаточен, есть в материале «Тестовое покрытие: сколько кода реально достаточно покрыть».

Код, который не стыдно передать

Начните с принципов, а дальше двигайтесь по рубрикам. Каждый разбор заканчивается чек-листом.

Случайный разбор