Тесты — это продукты сборки, и владеть ими должна система сборки
Большинство проектов относятся к тестам как к отдельной церемонии. Есть сборка, которая производит бинарники, а есть «прогон тестов» — другая команда, запускаемая в другое время и обычно другим механизмом: тестовым раннером, CI-скриптом, целью test в Makefile, которая ни от чего не зависит и ничего не пересобирает. Эти две вещи связаны соглашением и привычкой, а не чем-то, что понимают инструменты.
Я считаю, что это поставлено с ног на голову, и причина тут не эстетическая. Тест — это продукт сборки, как любой другой: у него есть входы, есть выход, и выход устаревает ровно тогда, когда меняются входы. Стоит сказать это так, и система сборки оказывается очевидным владельцем, а отдельный тестовый раннер — плохо сделанной повторной реализацией отслеживания зависимостей.
Что такое тест на самом деле
Сведите тест к тому, что он делает. Он берёт набор входов — тестируемый код, сам код теста, любые фикстуры и файлы данных — и производит выход: прошёл или упал, плюс лог. Это в точности форма шага компиляции. Компилятор берёт исходники и заголовки и производит объектный файл; тест берёт исходники и фикстуры и выносит вердикт.
Система сборки уже умеет обращаться с такой формой. Она знает, что от чего зависит. Она знает, что если вы тронули parser.c, то нужно пересобрать parser.o, а после него — всё, что линкует parser.o. Чего ей обычно не говорят, так это того, что test_parser.passed тоже нужно пересобрать и что больше ничто не зависит от parser.c сколько-нибудь интересным образом.
Скажите ей. Сделайте результат теста файлом:
: : Теперь система сборки делает остальное бесплатно. Тронули фикстуру — перезапускаются только тесты, которые её читают. Тронули заголовок, используемый повсюду, — перезапускаются все тесты, как и должно быть. Ничего не тронули — и make check завершается за время, нужное, чтобы сделать stat нескольких файлов.
Почему отдельный раннер — неправильный инструмент
Обычная альтернатива — тестовый раннер, который находит все тесты и запускает их все, каждый раз. У него два режима отказа, и они тянут в противоположные стороны.
Он запускает слишком много. На большом проекте полный набор идёт минуты или часы, поэтому люди перестают запускать его локально. Они пушат и ждут, пока CI-машина через двадцать минут сообщит им, что они сломали то, что можно было поймать за две секунды. Набор тестов, слишком медленный для запуска, — это набор, который не запускают, а тест, который не запускают, — это документация.
Потом он запускает слишком мало. Чтобы бороться с первой проблемой, люди начинают выбирать: запускать только тесты в этом каталоге, только тесты с тегом fast, только тесты, которые я считаю относящимися к делу. Теперь выбор делает человек, гадающий о зависимостях, — а это ровно та работа, ради механического выполнения которой и существует система сборки. Догадка ошибается достаточно часто, чтобы двадцатиминутный провал в CI вернулся.
Тестовый раннер не может это решить, потому что не знает графа зависимостей. Он знает, какие файлы являются тестами. Он не знает, каким тестам есть дело до файла, который вы только что изменили. Система сборки знает, потому что это знание и есть всё содержание системы сборки.
Возражения
У тестов есть побочные эффекты. У некоторых есть: они пишут в базу данных, занимают порт, им нужен запущенный сервис. Это интеграционные тесты, и моделировать их надо как то, чем они являются, — как продукт, зависящий от окружения. Закодируйте окружение как вход, если можете, а если не можете, то хотя бы пусть сборка громко падает, а не притворяется. У большинства тестов этой проблемы нет, и те, у которых она есть, — не довод в пользу того, чтобы плохо обращаться с остальными девяноста процентами.
Нестабильные тесты будут закешированы как прошедшие. Тест, который один раз проходит, а позже падает без изменения входов, — это не тест, а генератор случайных чисел, и кеширование его результата обнажает это, а не порождает. Лекарство — исправить нестабильность, и система сборки тут тоже помогает: когда закешированный успех превращается в провал, хотя выше по цепочке ничего не изменилось, вы нашли нестабильный тест с уверенностью, а не по подозрению.
Сборка становится медленнее. Только в первый раз. После этого она становится быстрее любого раннера, потому что делает минимум.
Более глубокий смысл
Причина, по которой это важно не только ради удобства, в том, что это меняет значение слова «собрано». Дерево, в котором сборка прошла успешно, но тесты не запускались, находится в неизвестном состоянии, и мы все научились всё равно считать его хорошим, потому что тесты были чьей-то чужой проблемой. Включите тесты в сборку — и успешная сборка будет означать, что тесты, которые могло затронуть ваше изменение, прошли. Ни больше ни меньше, и это истинно механически, а не в надежде.
Это самый здравый способ связать тесты с их зависимостями, потому что это единственный способ, который вообще их связывает. Всё остальное — это человек, который не забыл это сделать.