Тестирование как средство противодействия внешнему хаосу Никита Налютин

Как мы хотели бы тестировать?

Как оно бывает на самом деле? Менеджер проекта Аналитик Разработчик Дизайнер Тестировщик

Где все хорошо? Requirements and technical concepts for aviation RTCA DO-178B Процессы: –Планирование –Разработка –Верификация –Управление конфигурациями –Управление качеством –Взаимодействие с сертифицирующим органом

Уровни критичности

Зона порядка Тестировщик внутри процесса Переработка упорядоченного входа в упорядоченный выход Требования Релизы Тесты Дефекты Сроки Стандарты

Когда заканчиваем? Фаза кончилась Деньги кончились Покрыли 100% требований Покрыли 75% кода Автоматизировали 70% тестов Когда выпускаем? Дефекты кончились

Чем хорошо? Сроки – управляемые Процесс – есть Зрелость коллектива – несомненно Чем плохо? Окружающая среда не обязана быть зрелой и устойчивой Работать все равно надо!

Зона внутреннего хаоса Сроки Релизы Требования Стандарты??? Тесты Дефекты Код

Главный вопрос жизни, вселенной и всего такого Как работать в агрессивной среде в условиях внешнего хаоса?

42! Структурировать! –Время: GTD –Информацию о системе: конфигурации –Быстрые оценки состояния: диаграммы

Зона внешнего хаоса Зона внутреннего порядка Как бороться? INBOX Информация о системе Сроки Релизы Код Тесты/дефекты Рабочие процессы Оценки/отчеты

Время

Планирование времени

Упорядочение времени: почти GTD Надо срочно! –Наброски критических тест-кейсов –Сразу баг-репорты –Задача на спокойный период – написать нормальный тест- план и кейсы Надо сегодня –Нормальные тест-кейсы –Баг-репорты со ссылками на шаги –Задача на спокойный период: выделить тесты на регрессию На неделе сделаешь? –Подробные тест-кейсы –Можно подумать об автоматизации и о высоком

Распределяем верхушки айсберга срочно!сегодняна неделе Анализ и исследование Сценарии тестов Тест-требования Дефекты Рабочие заметки Привязка к структуре системы Автоматизация Мы не отказываемся от работы вообще… …но просто откладываем часть ее на потом …на более спокойное время, но иногда насовсем INBOX

Информация о системе

Управление конфигурациями Конфигурация документовАрхитектура Руководство пользователяПлан проекта Система

Управление конфигурациями Аудиты конфигурацийУправление изменениямиВычисление состоянийУправление версиямиИдентификация объектов конфигурации

Упорядоченные конфигурации Важно! –Один объект входит во множество конфигураций Источники информации: –Внешние (требования) – непредсказуемы, надо структурировать –Внутренние – тестовые артефакты, знаем что когда будет Какие нужны конфигурации? –Тесты (на регрессию, доделать, уточнить, автоматизировать) –Дефекты (конкретного релиза, критические и т.п.) –Подумать и улучшить (что угодно) –Хотелки и требования (структура системы) –и т.д. Что надо связывать? Все! –тесты, дефекты, результаты прогона, коммиты и т.д.

Упорядоченные конфигурации Внешние источники Дают статическую информацию Надо «подшивать», образуя структурированные описания системы Тестировщик – аналитик Wiki Внутренние источники Дают динамическую информацию, важно состояние Структура образуется сама Тестировщик работает согласно процессам Project Tracker

Workflow все-таки есть

Отчеты о состоянии

Вычисление состояния Объект конфигураци Объекты конфигурации Состояния объектов Состояние конфигурации Принятие решения Технологическое воздействие Изменение состояний Анализ состояния Вычисление статуса конфигурации

Оценка состояния Состояние должно определяться с первого взгляда Какие нужны диаграммы? –Календарь приоритетов: календарь –Сколько осталось: столбчатая –Где критические места: пузырьковая –Трудозатраты (на разработку тестов/на регрессию): роза ветров

Календарь приоритетов Задача 1 Задача 2 Зада ча 3 Задача 4 Задача 1 Задача 2 Зада ча 3 Задача !!! Задача ??? Пн Вт Ср Чт Пт ПриоритетПриоритет Лесенка сверху вниз

Где критические места? Пузыри должны всплывать, уменьшаясь в размерах по мере исправления дефектов

Сколько осталось РазработкаТестирование Задача 1 Задача 3 (исправление) Задача 5 Задача 2 Задача 3 Задача 4 (исправление) Задача 4 Задача 6 Считаем каждого или через одного

Трудозатраты Перекос на регрессию – надо автоматизировать

Куда дальше? Распространить порядок за пределы тестирования Заинтересовать начальство Подключить заказчиков к обсуждению проблем в трекере …

Вопросы? Никита Налютин