Содержание Определение комплексного тестирования Схема проектирования комплексного теста Тестирование стрессов Тестирование объема Тестирование требований к памяти Тестирование защиты Тестирование средств восстановления Тестирование конфигурации Тестирование совместимости Тестирование настройки Тестирование удобства обслуживания Тестирование психологических факторов Тестирование публикаций Выполнение комплексного теста ГОСТ Р ИСО/ МЭК

Комплексное тестирование Тестирование функций – поиск различия между программой и ее спецификацией Тестирование системы – сопоставление результата и исходных целей

Комплексное тестирование системы процесс поисков несоответствия системы ее исходным целям. Элементы, участвующие в комплексном тестировании: сама система описание целей продукта вся документация, которая будет поставляться вместе с системой.

- Правила Внешние спецификации, которые были ключевым элементом тестирования внешних функций, играют лишь незначительную роль в комплексном тестировании системы. Ко внешним спецификациям обращаться следует только для того, чтобы разбираться в противоречиях между системой и публикациями о ней Если не сформулировали цели вашего продукта или если эти цели неизмеримы, то нельзя выполнить комплексное тестирование!!!.

Комплексное тестирование Процесс контроля (выполняется в имитируемой или тестовой среде Процесс испытаний (выполняется в реальной среде пользователя или в обстановке, которая специально создана так, чтобы напоминать среду пользователя)

Тестирование стрессов Тестирование объема Тестирование требований к памяти Тестирование защиты Тестирование средств восстановления Тестирование надежности/готовности Тестирование удобства обслуживания Тестирование удобства установки Тестирование удобства эксплуатации Тестирование психологических факторов Тестирование публикаций Схема проектирования комплексного теста Тестирование конфигурации Тестирование совместимости Тестирование производительности Тестирование настройки

Тестирование стрессов – это попытки подвергнуть систему крайнему «давлению». Цель – показать, что система или программа не может работать в стрессовых ситуациях Комплексное тестирование

Тестирование объема - попытка предъявить системе большие объемы данных в течение более длительного времени. Цель – показать, что система или программа не может обрабатывать данные в количествах, указанных в спецификациях Комплексное тестирование

проверка аппаратных устройств, которые обслуживает система, или программы, с которыми система взаимодействует Цель – показать, возможность сбоя оборудования Тестирование конфигурации - Комплексное тестирование

Тестирование совместимости – это проверка возможности взаимодействия пользователя с прежней версией, работая в новой системе. Цель – показать наличия несовместимости Комплексное тестирование

Тестирование защиты – это проверка обеспечения защиты системы от несанкционированного доступа Цель нарушить секретность в системе Комплексное тестирование

Тестирование требований к памяти – это проверка объема основной и вторичной памяти, которую системе разрешено использовать в различных условиях. Цель - попытаться показать, что система этих целей не достигает Комплексное тестирование

Тестирование производительности – это проверка характеристик производительности или эффективности: время отклика уровень пропускной способности при определенной нагрузке и конфигурации оборудования Цель показать несоответствие заявленным характеристикам. Комплексное тестирование

Тестирование процесса настройки системы – возможности настроить систему, согласно ее характеристикам. Цель показать трудности настройки Комплексное тестирование

Тестирование надежности - это определение исходных показателей надежности Цель показать несоответствие заявленным параметрам Комплексное тестирование

Тестирование средств восстановления – проверка способности к восстановлению системы после сбоя Цель показать невозможность восстановления Комплексное тестирование

Тестирование удобства обслуживания – проверка сервисных средств системы Цель показать невозможность сопровождения системы Комплексное тестирование

Тестирование публикаций – проверка точности всей документации. Цель выявить неточность и неясность документов Комплексное тестирование

Тестирование психологических факторов - проверка психологических факторов работы с программой Цель выявить не дружественность интерфейса Комплексное тестирование

Тестирование удобства установки – проверка процедуры настройки Цель показать невозможность установки системы Комплексное тестирование

Тестирование удобства эксплуатации – это попытка выявления психологических (пользовательских) проблем..

-Профессиональных специалистов -Пользователей (для которых система разрабатывалась) -Основных аналитиков -Проектировщиков системы -Несколько психологов Независимая группа тестирования включает: Комплексное тестирование

Компоненты теста * сценарий (точно указываются действия, которые должны быть совершены во время выполнения теста) * входные данные * ожидаемые выходные данные. Проектирование комплексного теста

Методы выполнения комплексного теста Опытная эксплуатация Использование системы в организации- изготовителе для внутренних нужд

Выполнение комплексного теста

1) Комплексное тестирование приходится на самый конец цикла разработки, так что на отладку и исправление найденных ошибок остается мало времени. 2) Поскольку сложные тесты часто обнаруживают более сложные для исправления ошибки, измените последовательность: начните с самых трудных тестов, а затем переходите к более простым Выполнение комплексного теста

Требования ГОСТ Р ИСО/МЭК Указания ГОСТ Р ИСО/МЭК определяют: Порядок тестирования продукта на соответствие его требованиям к качеству и охватывают как тестирование для характеристик к продуктам, так и тестирование для характеристик, указанных в описании. Описывает только функциональное тестирование (по принципу «черного ящика»)

О писание продукта, документация пользователя, программы и любые данные, поставляемые как части пакета программ, должны быть протестированы на выполнение ими формулировок и требований. П рограммы должны быть протестированы во всех вычислительных системах, указанных в описании продукта. П ри наличии нескольких вариантов программы должен быть протестирован каждый из них. Требования ГОСТ Р ИСО/МЭК

П рограммы и данные должны быть протестированы с использованием контрольных примеров, разработанных на основе описания продукта и документации пользователя. Д ругие материалы (например, исходные программы) не проверяют, за исключением случаев, когда это необходимо при тестировании формулировок из описания продукта или документации пользователя.

К онтрольные примеры должны быть методологически и систематически проработаны. Е сли в документации пользователя приведены примеры, то они должны быть использованы в качестве контрольных, но проводимое тестирование не должно быть ограничено только этими примерами. М огут быть использованы контрольные примеры, предоставляемые поставщиком программного пакета, но проводимое тестирование не должно быть ограничено только этими примерами.

Установка (инсталляция). Должна быть проверена возможность инсталляции программ и протестирована возможность успешной установки пакета согласно описанию, приведенному в руководстве по установке. Должно быть обеспечено, чтобы техническая и программная среда, в которой установлены программы, соответствовала формулировкам из описания продукта в части рассматриваемой вычислительной системы. Требования ГОСТ Р ИСО/МЭК

Выполнение программы Программы должны быть протестированы по всем граничным значениям (в соответствии с описанием продукта и документацией пользователя) в необходимой системе, для которой заданы эти значения. !!!При тестировании должны быть использованы исходные данные и последовательности команд, которые в документации пользователя явно не рекомендуются или объявляются запрещенными. Требования ГОСТ Р ИСО/МЭК

Протоколы тестирования должны содержать план тестирования или технические требования (спецификацию) к тестированию, содержащую контрольные примеры (для каждого контрольного примера указаны его цели); все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста; штат персонала, вовлеченного в тестирование. Требования ГОСТ Р ИСО/МЭК

Отчет о тестировании должен иметь следующую структуру: 1. Обозначение продукта. 2. Вычислительные системы, использованные при тестировании (технические средства, программные средства и их конфигурация). 3. Использованные документы (включая их обозначения). 4. Результаты тестирования описания продукта, документации пользователя, программ и данных. 5. Перечень несоответствий требованиям. 6. Перечень несоответствий рекомендациям либо перечень не учтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендациям. 7. Дата окончания тестирования. Требования ГОСТ Р ИСО/МЭК

Дополнительное тестирование Должны выполняются следующие требования: все измененные части документов, функций и данных должны быть протестированы как новый продукт; все неизмененные части, на которые могут влиять измененные части или изменения в необходимой системе (в соответствии с опытной оценкой тестировщика), должны быть протестированы как новый продукт; все другие части должны быть, по крайней мере, выборочно протестированы. Требования ГОСТ Р ИСО/МЭК

Литература 1. Гусятников В.Н., Безруков А.И. Стандартизация и разработка программных систем. - М: Финансы и статистика, Гагарина Л.Г., Кокорева Е.В., Виснадул Б.Д. Технология разработки программного обеспечения.- М: ИД «ФОРУМ»: ИНФРА-М, Липаев В.В. Тестирование программ.- М.: Радио и связь, с.