Активный поиск багов Как мы тестировали один известный продукт Роман Бушманов Лидер QA команды, Intel Corp. Омск, 22 октября 2010

Активный поиск багов. Как мы тестировали один известный продукт2 Цель моего рассказа - поделиться наблюдениями и успешным опытом, услышать ваши советы

JDK для архитектуры Intel Itanium® Активный поиск багов. Как мы тестировали один известный продукт3 JDK для архитектур x86/x64 JDK для архитектуры Intel Itanium® merge инженеры Oracle инженеры Intel merge

Охота за багами начинается… Активный поиск багов. Как мы тестировали один известный продукт4 Так было при подготовке первой работоспособной версии JDK для архитектуры Intel Itanium® Вскоре картина изменилась…

Активный поиск багов. Как мы тестировали один известный продукт5 1. Мир открытого исходного кода – кладовая кода для тестирования Юнит и стресс тесты больших приложений Бенчмарки, сценарии Тесты проекта Harmony Apache Software Foundation 2. QA команда хорошо знала тестируемый продукт Внутренние механизмы стрессирования продукта White box тесты? Что мы сделали

Активный поиск багов. Как мы тестировали один известный продукт6 лаборатория 1 список задач описание модулей, конфигураций Angara сервер Angara агент лаборатория 2 QA инженеры (управляют исполнением через GUI) Angara агент Angara агент Angara агент Angara агент Angara агент 3.Стресс тестирование приносит результаты Насыщенный еженедельный QA цикл 80 тестовых сюит, бенчмарков, сценариев 160 конфигураций 6000 тестовых задач еженедельно Стрессирование тестовых прогонов спец инструментом ~90% найденных багов – непостоянные, редкиe Проблема – создание кода воспроизводящего такие баги

Активный поиск багов. Как мы тестировали один известный продукт7 SVN регулярные QA циклы разработчик и ночное тестирование прединтеграционное тестирование процедура review промоушн тестирование регрессионное тестирование команда RE локальн ая копия локальна я копия локальн ая копия RE исследует непрошедшие задачи, сообщает баги тестирование целостности команда QA QA интенсивно тестирует JDK на всех поддерживаемых платформах, во всех режимах 4. Эффективный процесс – качественный продукт

Активный поиск багов. Как мы тестировали один известный продукт8 Максимально простой, но необходимо строгий процесс Разумные затраты разработчиков на тестирование Общие ценности и соблюдение процесса всеми сторонами Промоушн – граница между QA и разработчиками Правильные критерии промоушна – бОльшая отдача от QA Усиление критериев по мере зрелости продукта Релиз критерии Важное о процессе