Доктор QAйболит, или Ассессмент процессов тестирования Михаил Павлов Центр качества Luxoft

2 Цели ассессмента Как живете? Как животик? Где болит? Сильно болит? Почему болит? Как лечить? Как сделать так, чтобы больше не болело?

3 Фазы ассессмента - 1 Сбор анамнеза – Знакомство с организацией, существующими процессами, технологиями и целями – Получение и анализ измерений тестирования – Изучение проектных артефактов Как живете? Как животик?

4 Фазы ассессмента – 2 Предварительный диагноз – Проведение интервью Знакомство с людьми Получение ответов на вопросы Уточнение ранее полученных выводов Где болит? Сильно болит?

5 Фазы ассессмента – 3 Окончательный диагноз и тактика лечения – Достижения, проблемы, рекомендации – Двухступенчатое (краткосрочное и долгосрочное) планирование совершенствования процесса – Презентация результатов Почему болит? Как лечить? Как сделать так, чтобы больше не болело?

6 Случай из практики – 1 Больной – Проект разработки биллинговой системы мобильного оператора «большой тройки» Анамнез – Высокая стоимость тестирования – Низкое качество поставляемого продукта – Несоблюдение принципа time-to-market при сопровождении системы Диагноз – Поставка релизов на системное тестирование с большими задержками – Ручное регрессионное тестирование – Отчуждение экспертизы тестирования от владельца системы Рекомендации по лечению – Обеспечение прорыва в автоматизации тестирования (в первую очередь - регрессионного) – Изменение системы мотивации поставщика услуг тестирования – Изменение организационной структуры группы тестирования – Заключение формального SLA с поставщиком кода – Обеспечение доступа поставщика услуг тестирования к тестовому стенду заказчика Профессор получил телеграмму…: его просили поскорее приехать. (А.П.Чехов)

7 Случай из практики - 2 Больной – Отдел тестирования ПО в российском филиале крупного западного ритейл- банка Анамнез – Хроническое недоверие руководства к работе отдела тестирования и результатам тестирования Диагноз – Отсутствие измерений процесса тестирования Рекомендации по лечению – Постановка элементарных измерений – Внедрение измерений параметров PDDD (метрика качества продукта) и DRE (метрика качества процесса) А вы не можете у нас остаться? Совестно вас беспокоить, но будьте так добры... (А.П.Чехов)

8 Случай из практики - 3 Больной – Группа тестирования проекта сопровождения кастомизации приложения САПР крупной западной аэрокосмической компании Анамнез – Низкое и постоянно ухудшающееся качество релизов Диагноз – Неполный процесс управления дефектами – Неоптимальное планирование и проведение тестирования – Слабое управление рисками Рекомендации по лечению – Внедрение единого процесса управления дефектами для всех участников (включая идентификацию версий и валидацию исправления дефектов) – Инвестирование в автоматизацию тестов – Трассировка тестовых сценариев – Выполнение регрессионного тестирования после завершения функционального – Внедрение практик управления рисками – Внедрение измерений тестирования Пожалуйте, господин доктор, Пожалуйте, заждались... чистое горе. Вот сюда пожалуйте.. (А.П.Чехов)

9 Параметры типичного проекта ассессмента Объем оценки – 1-3 проекта Трудозатраты – человеко-часов Размер команды – 1-4 человек Длительность – рабочих дней Базис оценки - процессные области уровней зрелости 2 и 3 модели CMMI-DEV, v.1.3 Основные инструменты: – Списки контрольных вопросов – Измерения – Интервью – Методы причинно-следственного анализа

10 Оцениваемые области Управление проектом Управление тестированием Конфигурационное управление Взаимодействие групп тестирования и разработки Планирование тестирования Проектирование тестов Автоматизированное тестирование Управление дефектами Анализ результатов тестирования

Спасибо за внимание! Вопросы?