РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ 2

Цели и задачи: Что за ошибки? Почему это ошибки? Как их избежать? Oracle ISV Forum3

Классификация ошибок Идеология и методология Планирование Персонал Механика Технологии Oracle ISV Forum4

ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ Oracle ISV Forum5

Идеология и методология - 1 Oracle ISV Forum6 Группа тестирования ответственна за обеспечение качества Группа тестирования ответственна за контроль и измерение качества! Обеспечение качества – командная задача

Идеология и методология - 2 Oracle ISV Forum7 «Цель тестирования – нахождение дефектов»

Идеология и методология - 2 Oracle ISV Forum8 «Цель тестирования – нахождение важных дефектов» Важных - ?

Идеология и методология - 3 Oracle ISV Forum9 Удобство использования Вопросы масштабирования Вопросы локализации … Узость представление о тестировании – что считать дефектами?

Идеология и методология - 4 Oracle ISV Forum10 Пренебрежение оценками качества и качеством этих оценок Метрики Покрытие Тестирование Контекст оценок

Идеология и методология - 5 Oracle ISV Forum11 Слишком позднее начало тестирования Некогда проводить Некогда исправлять Пропускаем дефекты …

Oracle ISV Forum12 Идеология и методология - сумма «Цель команды тестирования – обеспечение качества» «Цель команды тестирования – находить дефекты» Узость взглядов на задачи тестирования Пренебрежение оценками качества и качества оценок Слишком позднее тестирование

ПЛАНИРОВАНИЕ Oracle ISV Forum13

Oracle ISV Forum14 Неправильное определение рисков Планирование - 1 Ставит под вопрос эффективность всего следующего процесса Упускаем важные дефекты

Планирование - 2 Oracle ISV Forum15 Излишний фокус на функциональном тестировании Пользователь реализует свои задачи, а не функционал Упускаем типовые шаблоны работы пользователей Можем пропустить важные ошибки

Планирование - 3 Oracle ISV Forum16 Планирование нагрузочных тестов на последний момент Тяжело Долго Дорого исправлять

Планирование - 4 Oracle ISV Forum17 Переоценка возможностей β-тестирования Предвзятость тестеров Несерьезное использование (не «боевое») Редко отсылают отчеты о дефектах Ценность отчетов сомнительна Не дают отчетов по удобству использования

Планирование - 5 Oracle ISV Forum18 В планы не вносится «исследовательское» тестирование Гипотетические дефекты пропускаются Не испытываются новые последовательности действий

Oracle ISV Forum19 Планирование- сумма Неправильное определение рисков Излишний фокус на функциональном тестировании Планирование нагрузочных тестов на последний момент Переоценка возможностей β - тестирования Отсутствие в планах «исследовательского тестирования»

ПЕРСОНАЛ Oracle ISV Forum20

Oracle ISV Forum21 «Тестирование – для начинающих программистов» Персонал - 1 Стремятся проявить себя как программисты Могут получится «специалисты по инструментам» Нетерпеливость Незаинтересованность

Oracle ISV Forum22 «Тестирование – для неудавшихся программистов» Персонал - 2 Невнимательный программист – невнимательный тестировщик Усталость Незаинтересованность

Oracle ISV Forum23 Отсутствие специалистов в предметной области Персонал - 3 Пропускаем важные дефекты Неэффективно тестируем Не знаем, как наши пользователи работают с продуктом

Oracle ISV Forum24 «Тестировщик должен уметь программировать» Персонал - 4 Можно научить и специалиста-предметника Лучше хорошо тестировать чем не очень хорошо программировать

Oracle ISV Forum25 Пробелы в знаниях команды тестирования Персонал - 5 Тяжело компенсировать Пропускаем важные дефекты, и некому на это указать

Oracle ISV Forum26 «Программисты не должны тестировать» Персонал - 6 Не все может быть протестировано тестировщиком Кто кроме программиста лучше знает его код?

Oracle ISV Forum27 Персонал - сумма «тестирование – для начинающих программистов» «тестирование – для неудавшихся программистов» Отсутствие специалистов в предметной области «Тестировщик должен программировать» Пробелы в знаниях команды тестирования «Программисты не должны тестировать»

МЕХАНИКА Oracle ISV Forum28

Oracle ISV Forum29 Невнимательность к тест-дизайну Механика - 1 Пропускаем сложные сценарии Пропускаем важные тесты Производим синтетические тесты

Oracle ISV Forum30 Чересчур подробные сценарии Механика - 2 Сложно поддерживать Долго писать «А что будет, если мы интерфейс поменяем?»

Oracle ISV Forum31 Чересчур обобщенные сценарии Механика - 3 Сложно поддерживать Понятны только автору «И как это проверять?»

Oracle ISV Forum32 Тестирование продукта только через UI Механика - 4 Пропускаем дефекты, связанные с внутренней архитектурой (утечки, сроки, …) Теряем контроль за происходящим в системе

Oracle ISV Forum33 «Плохие» отчеты об ошибках Механика - 5 Трудно повторить Трудно понять Не описывают, что именно неправильно Не описывают, как правильно надо Не могут помочь в отладке Служат причиной обиды

Oracle ISV Forum34 Механика - сумма Невнимательность к тест-дизайну Чересчур подробные сценарии Чересчур общие сценарии Тестирование продукта только через UI «Плохие» отчеты об ошибках

ТЕХНОЛОГИИ Oracle ISV Forum35

Oracle ISV Forum36 «Мы прогоним 100% наших ручных скриптов!» Технологии - 1 Долго, если вообще реально Зачем, если вероятность найти дефект для некоторых тестов мала, но ресурс мы израсходуем?

Oracle ISV Forum37 «Давайте мы автоматизируем все!» Технологии - 2 Тяжело Долго Малое соотношение «время разработки/количество найденных дефектов»

Oracle ISV Forum38 «С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много тестов» Технологии - 3 Требует много времени на редактирование Требует много времени на поддержку Как правило не понимает custom - элементы

Oracle ISV Forum39 «С помощью наших регрессионных тестов мы найдем много дефектов!» Технологии - 4 Статистика показывает, что новые тесты справляются лучше Найдем, но лучше спроектировать новые тесты Регрессионное тестирование надо проводить с умом

Oracle ISV Forum40 «Мы должны обеспечить 100% покрытие» Технологии - 5 Слабое утверждение с точки зрения нахождения важных дефектов Не самая показательная метрика Много времени может уйти только на покрытие, вместо поиска дефектов

Oracle ISV Forum41 «А зачем нам контролировать покрытие?» Технологии - 6 Не дает представления о текущей ситуации Не дает метрик для анализа следующих релизов и похожих проектов

Oracle ISV Forum42 Технологии - сумма 100% прогон ручных тестов 100% автоматизация Неразумное регрессионное тестирование Переоценка важности тестового покрытия Недооценка важности тестового покрытия

Oracle ISV Forum43 Вопросы?