Дмитрий Филев d.filev@usabilitylab.ru www.usabilitylab.ru d.filev@usabilitylab.ru www.usabilitylab.ru Учиться и к месту применять изученное, разве это. - презентация

1 Дмитрий Филев Учиться и к месту применять изученное, разве это не приятно? Юзабилити. С чего начать?

2 А вы в таргете? Вы разрабатываете продукты? Вы думаете их интерфейсы удобны? Вы уверены, что пользователи не называют ваш продукт отстойным? Как вы решаете, что удобно, а что нет?

3 Что такое отстой? Это не работает так, как мне надо Я не понимаю, как мне добиться нужного результата Эта штука слишком сложная Она все время ломается Меня от неё тошнит, пойду поищу что-нибудь более симпатичное Она не соответствует моему мировосприятию Вместо работы, я думаю об инструменте

4 Как получается отстой? Никто не создаёт плохие системы нарочно. Даже самые блестящие специалисты допускают ошибки. По мере выполнения проекта накапливаются мелкие допущения, неверные, но принятые из лучших побуждений решения. В результате многие часы работы превращаются в негативный опыт пользователя.

5 Перестаньте гадать - соберите данные! Если вы никогда не наблюдали в юзабилити лаборатории за тем, как кто-то пользуется вашим продуктом, вы действуете вслепую. Вы не можете знать, приносят ли ваши усилия хоть какую- нибудь пользу или напротив, еще больше затрудняют работу с продуктом. Вещи, на которых вы фокусируете внимание, могут оказаться совершенно ненужными пользователям. Без регулярного юзабилити тестирования в лаборатории проект обязательно пойдет по неверному пути, и конечный результат будет неудобен для пользователей.

6 Как улучшить продукт и процессы? Умные проектные команды устраняют ошибки до того, как продукт попадет в руки пользователя, используя прототипы. В сочетании с юзабилити тестированием прототипы не дают команде сбиться с верного курса.

7 Зачем всё это нужно? Каждый потраченный на юзабилити доллар возвращает от 10 до 100 долларов прибыли или сэкономленных средств.

8 Позитивный вклад юзабилити Разработка: Снижение расходов и уменьшение времени; Продажи: Увеличение доходов; Пользователи: Повышение эффективности, продуктивности и удовлетворенности; Снижение затрат на внедрение (за счет сокращения обучения) и на поддержку пользователей.

9 Влияние на разработку Снижение затрат на разработку Сокращение времени на разработку Снижение расходов на поддержку продукта Сокращение затрат на переделку продукта

10 Заключение Большинство людей не умеют дарить подарки даже себе. Мы не всегда знаем, как сделать счастливыми себя, не то, что других. Все хорошее в этом мире создается щедрым умом. Если вы творите для других, вы дарите им то, за что они готовы платить.

11 Литература Скотт Беркун: –Искусство разработки прототипов пользовательских интерфейсов –Почему большинство программ такие отстойные –Сила юзабилити лаборатории –Почему замечательные технологии не создают столь же замечательные продукты Аарон Маркус: –The ROI of Usability _world/roi_of_usability.html _world/roi_of_usability.html

12 Спасибо за внимание! Дмитрий Сатин:

13 Стадии зрелости юзабилити

14 1.Враждебность к юзабилити 2.Юзабилити, поддерживаемая программистами 3.Изолированный отдел юзабилити 4.Выделенный бюджет под юзабилити 5.Управляемая юзабилити 6.Систематические юзабилити процессы 7.Интегрированный UCD 8.Компания, ориентированная на пользователей

15 1. Враждебность к юзабилити Хороший пользователь – мёртвый пользователь Разработчики не хотят слышать о пользователях Для них важно лишь разработать новые функции

16 2. Юзабилити, поддерживаемая программистами Разработчики начинают осознавать необходимость юзабилити Полагаются на свою интуицию Это подходит для разработки инструментов разработки, или серверных приложений, управляемых администраторами

17 3. Изолированный отдел юзабилити Осознается ограниченность интуиции и необходимость обратиться к пользователям Создается отдел, который эпизодически проводит исследование пользователей Многие решения всё равно принимаются без проверки

18 4. Выделенный бюджет под юзабилити Под юзабилити активности выделяют небольшой бюджет Теперь чаще проводятся юзабилити тестирования с привлечением пользователей Юзабилити рассматривается как волшебная палочка, которая может в последний момент спасти При этом бюджет не стабилен, и может быть в последний момент направлен на другие нужды

19 5. Управляемая юзабилити Юзабилити, наконец, существует в компании Небольшая, но расширяющаяся группа, управляемая юзабилити-менеджером Эта группа отвечает за юзабилити в компании в целом Ведутся архивы исследований, для накопления данных о пользователях

20 6. Систематические юзабилити процессы Итеративный процесс с оценкой пользовательских качеств на каждой стадии Используется прототипирование Выделяемые бюджеты позволяют успешно вести несколько проектов одновременно

21 7. Интегрированный UCD Раннее исследование пользователей становится регулярным Каждая стадия проекта обогащается данными, собранными с пользователями Юзабилити определяет не только качество того, что разрабатывается, но и определяет, что нужно разрабатывать

22 8. Компания, ориентированная на пользователей Юзабилити не просто влияет на отдельные проекты, но определяет, какие проекты следует инициировать Юзабилити выходит за пределы экранных форм, начиная определять дизайн и не компьютерных интерфейсов

23 Юзабилити Понятия и процессы

24 Определения «Юзабилити является степенью эффективности, продуктивности и удовлетворенности, с которой продукт может использоваться определенными пользователями для достижения определенных задач в определенном контексте» - ISO

25 Определения «Ориентированный на пользователя дизайн характеризуется активным вовлечением пользователя в процесс разработки для достижения прозрачного понимания пользовательских требований и надлежащего распределения функций между пользователями и технологиями, а так же итеративным характером подхода и его мультидисциплинарностью» - ISO 13407

26 Определения HCI (Human-computer interaction) или CHI – исследовательская дисциплина, изучающая взаимодействие между людьми и компьютерами – Wikipedia.

27 Определения Эргономика (ergonomics) – дисциплина, изучающая человека деятельность человека в условиях производства и быта, затраты энергии и производительность труда в определенных условиях. Кроме того, определяет требования к качеству готовых изделий.

28 Определения «Human factors» – синоним европейского термина Эргономика, распространенный преимущественно в США – ветвь развития эргономики, сосредоточенная в большей степени на когнитивных возможностях человека.

29 Критерии Юзабилити Эффективность (Effectiveness): Доля задач пользователя, реализуемых в продукте Отношение числа успешных действий к ошибкам Нагрузка на пользователя Количество используемых функций и команд

30 Критерии Юзабилити Продуктивность (Efficiency): Время, необходимое для выполнения задачи Время, необходимое на предварительное обучение пользованию Время, которое тратится из-за пользовательских ошибок Процент или количество ошибок Частота использования справки и документации Количество повторных и ошибочных действий (команд)

31 Критерии Юзабилити Удовлетворенность пользователя (User Satisfaction): Рейтинговая оценка по шкале полезности продукта или услуги Рейтинговая оценка по шкалы удовлетворения функциональностью продукта Количество случаев, когда пользователь испытывал фрустацию или гнев в обращении с продуктом Рейтинговая оценка по шкале технологичности управления задачей без участия пользователя Оценка того, насколько технологическое выполнение задачи соответствует потребностям пользователя

32 «Жизненный цикл» - ISO 13407

33 Определение контекста использования Идентификация людей, которые будет использовать продукт и того, для чего они его будут использовать и в каких условиях они будут его использовать (Кто? Зачем? Как?)

34 «Жизненный цикл» - ISO Определение требований Идентификация всех бизнес-требований и целей пользователя, которые должны быть достигнуты, чтобы продукт был успешен

35 «Жизненный цикл» - ISO Разработка дизайна Эта часть процесса может быть разбита на стадии – от самых общих набросков до детализированного дизайна

36 «Жизненный цикл» - ISO Оценка дизайна Наиболее важная часть процесса – в идеале производится в виде usability- тестирования с участием реальных пользователей

37 Ролевые кластеры модели проектной группы (модель MSF)

38 Ролевой кластер User Experience Цель Повышение эффективности пользователя, увеличение потребительской ценности продукта

39 Ролевой кластер User Experience Область компетенции Обеспечение технической поддержки Обучение Эргономика Графический дизайн Интернационализация Общедоступность (обеспечение возможности работы для пользователей с ограниченными физическими возможностями)

40 Ролевой кластер User Experience Функции Представляет интересы потребителя в команде Организует работу с требованиями пользователя Проектирует и разрабатывает системы поддержки Определяет компромиссы, относящиеся к удобству использования и потребительским качествам продукта Определяет требования к системе помощи и её содержание Разрабатывает учебные материалы и осуществляет обучение пользователей

41 Фазы модели процессов MSF

42 Задачи ролевого кластера User Experience Концептуализация Необходимые эксплуатационные характеристики решения и их влияние на его разработку. Планирование Сценарии/примеры использования, пользовательские требования, требования локализации и общедоступности (accessibility); пользовательская документация/план обучения/график тестирования удобства эксплуатации; обучение. Разработка Обучение; доработка плана обучения; тестирование удобства эксплуатации (usability testing); графический дизайн. Стабилизация Доработка эксплуатационных руководств; учебные материалы. Внедрение Обучение; управление календарным графиком обучения.

43 Scenario, Use Cases, Test Cases Сценарий (scenario) описание взаимодействия пользователя («персоны») с системой. Сценарии помогают сфокусировать усилия по разработке дизайна на собственно пользовательских требованиях, которые нельзя смешивать с техническими или бизнес- требованиями. Сценарий может быть связан с «use cases», которые описывают взаимодействие на техническом уровне. В отличие от use cases, сценарии должны быть понятны людям, нетехнических специальностей, поэтому они подходят для использования в процессе общения с пользователями.

44 Scenario, Use Cases, Test Cases Use Case описание того, как конечные пользователи будут использовать программный продукт. Он описывает задачу или последовательность задач, которые пользователь будет выполнять с помощью продукта, включая реакцию системы на действия пользователя.

45 Scenario, Use Cases, Test Cases Test Case спецификация действий, требуемых для достижения одной или нескольких целей тестирования. Набор условий и переменных, по которым тестер определяет, удовлетворено ли требование к системе полностью или частично.

46 Scenario, Use Cases, Test Cases

47 Когда нужны сценарии? Сценарии нужны всегда, когда вы хотите описать взаимодействие с системой из перспективы пользователя. Они особенно полезны, когда вам нужно снять фокус с технологии (реализации), чтобы найти дизайнерские возможности решения, или когда вам нужно убедиться, что технические или бюджетные ограничения не уменьшают степень юзабилити.

48 Как использовать сценарии? Используйте сценарии в течении стадии дизайна, чтобы быть уверенным, что все участники команды понимают и принимают особенности дизайна, и точно специфицировать какие взаимодействия должна поддерживать система. Используйте сценарии для составления задач для методов walk-through и usability- тестирования.

49 Будьте готовы! Будьте готовы пересматривать сценарии, основываясь на обратной связи от пользователей. В особенности будьте готовы отказаться от нереалистичных или нерепрезентативных сценариев.

50 Прототипирование Назначение Позволяет провести раннее тестирование с пользователями Позволяет начать планирование разработки и оценить трудоёмкость Создает чувство реальности конечного продукта

51 Прототипирование Техники Бумажный прототип или полнофункциональный Вертикальное и горизонтальное прототипирование «Плагиат» в дизайне – использование стандартов Принципы компоновки (экология восприятия)

52 Структура спецификации пользовательского интерфейса Информационная структура продукта и общая навигация Описание экранов (страниц) –Назначение –Скриншот страницы из прототипа –Место экрана в общей структуре (как её вызвать?) –Специальные условия –Элементы интерфейса Тип Надпись Содержание (контент) Значение (состояние) по умолчанию Поведение Комментарии

53 КОНЕЦ ВТОРОЙ ЧАСТИ

54 Современные технологии проведения юзабилити тестирования

55 Что такое юзабилити тестирование? Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию, и направленный на выяснение того, как пользователи используют продукт.

56 Цель юзабилити тестирования Определить степень эффективности, продуктивности и удовлетворения, с которой пользователь может использовать продукт.

57 Юзабилити лаборатории в Европе CURE, Vienna, Austria University Leuven, Belgium LUTIN, Paris, France ICT&S Center, University of Salzburg

58 Юзабилити Лаборатория в Индии Cordys R&D, India

59 UsabilityLab в Москве UsabilityLab, Russia

60 Как это было раньше? 1. Штатив для камеры 2. Сумка для аппаратуры 3. Видеомагнитофон 4. ДУ для видеомагнитофона … 7. Видеокамера 8. Наушники … 10. ДУ для камеры … 15. Соединительные шнуры … 17. Микрофон … 22. Инструкции

61 INSIGHT YOU CAN SHARE

62 Полностью цифровое решение - Уменьшает стоимость и сложность аппаратуры Действительно портативно - Берите куда угодно, установив на ноутбук Улучшение качества - Эксклюзивная технология Rich Recording Просто установить и использовать - На разворачивание нужно минут

63 INSIGHT YOU CAN SHARE 3 компонента –Recorder –Remote Viewer –Manager Тестирование После тестирования

64 INSIGHT YOU CAN SHARE 1.Видео/Аудио 2.Изображение экрана пользователя 3.Переходы между экранами 4.Использование мышки 5.Использование клавиатуры 6.Манипуляции окнами 7.Маркеры

65 INSIGHT YOU CAN SHARE Morae Remote Viewer –Позволяет нескольким наблюдателям смотреть и процесс тестирования, делать заметки

66 INSIGHT YOU CAN SHARE Morae Manager –Синхронизирует записи тестирования –Быстро подсчитывает частотные и временные характеристики –Легко создает видеоотчеты ANALYZERPRESENTER

67 The Observer XT Electronics Hewlett-Packard Intel Philips Samsung Siemens Software Ariba Symantec Oracle Microsoft PeopleSoft Symantec SAP Infosys Telecom AT&T Nokia Ericsson Automotive BMW DaimlerChrysler Nissan Rover Toyota Volvo Aerospace BAE Systems Boeing Eurocontrol Lockheed Martin Matra BAe Dynamics NASA Thales Transportation Alstom KLM SNCF Consulting American Management Systems Accenture TNO Human Factors Usercentric Design Information / Finance America Online Barclays Dow Jones NatWest Rabobank Statistics Netherlands U.S. Bureau of Labor Statistics U.S. Bureau of the Census Yahoo! Consumer Products Unilever Herman Miller MacDonalds

68 The Observer XT

69

70 Video Control Event Log window Codes window Monitor Window UI test Monitor Window user

71 The Observer XT School of Computing, UNISA, South Africa Портативная лаборатория

72 The Observer XT Mobile Device Camera Беспроводная камера для usability-тестирования мобильных устройств и приложений

73 The Observer XT Eye tracking & alternatives Инфракрасная камера записывает движение глаз Крепится на голове, к монитору, или размещается на столе Анализ: движения глаз, «тепловые карты», зоны интереса Дорого, но очень точно Tobii Technology

74 The Observer XT Анализ взгляда Измерения: –Куда пользователь смотрит –Как долго и как часто он смотрит на определенный объект –Путь глаз между определенными зонами интересов –Диаметр зрачка, как индикатор когнитивной нагрузки

75 The Observer XT Альтернативы В машине Камера, встроенная в очки Фиксируются только движения головой!

76 The Observer XT Лаборатория на колесах Usability-тестирование: –Приборной панели –Навигационной системы –Аудио-техники Интегрированная видеозапись с: –Скорость, повороты, КПП –Местоположение (GPS) SensoMotoric Instruments AIST, Tsukuba, Japan

77 The Observer XT AIST, Tsukuba, Japan

78 КОНЕЦ ТРЕТЬЕЙ ЧАСТИ

79 Методы юзабилити тестирования

80 Методы тестирования Heuristic Evaluation Remote Testing Co-discovery Learning Coaching Method Performance Measurement Question-asking Protocol Retrospective Testing Shadowing Method Teaching Method Thinking Aloud Protocol

81 Вопросы определителя 1.Есть пользователи для проведения тестирования? 2.Доступны ли пользователи непосредственно? 3.Оцениваем производительность, а не впечатления людей? 4.Могут ли пользователи говорить (комментировать свою работу)? 5.Может ли другой пользователь комментировать работу пользователя, выполняющего тестовые задания? 6.Является ли тестер экспертом в предметной области?

82 Определитель (1/3) Есть пользователи для проведения тестирования? ДАНЕТ Heuristic Evaluation Доступны ли пользователи непосредственно? ДАНЕТ Remote Testing Оцениваем производительность, а не впечатления? ДА НЕТ Performance Measurement Могут ли пользователи говорить (комментировать свою работу)?

83 Определитель (2/3) Могут ли пользователи говорить (комментировать свою работу)? ДА НЕТ Thinking Aloud Protocol Question-asking Protocol Может ли другой пользователь комментировать работу пользователя,выполняющего тестовые задания? ДАНЕТ Shadowing Method Retrospective Testing Является ли тестер экспертом в предметной области?

84 Определитель (3/3) Является ли тестер экспертом в предметной области? ДАНЕТ Teaching Method Co-discovery Learning Coaching Method

85 Heuristic Evaluation (техника) Независимые эксперты ищут потенциальные проблемы в UI Оценка идет не по сценариям, а по критериям После окончания работы всех экспертов проводится анализ результатов

86 Heuristic Evaluation (критерии) Наглядное представление состояния системы Связь системы с реальным миром Управляемость и свобода действий Консистетность и стандарты Предотвращение ошибок Узнавание против запоминания Гибкость и эффективность использования Эстетика и минимализм дизайна Предвидение, диагностика и восстановление после ошибок Справочная система и документация

87 Remote Testing Тестирующий и пользователь работают раздельно (в разных местах и/или в разное время) Необходимы технологии: –Журналирование действий пользователя –Видеокамеры и голосовая связь или запись –Средства удаленного воспроизведения экрана пользователя

88 Performance Measurement Определить цели тестирования в терминах критериев Usability Выбрать наиболее важные показатели Определить как эти показатели будут оцениваться количественно, например:

89 Performance Measurement –Время, затраченное на выполнение задачи –Количество задач разного типа, которые можно выполнить в ограниченное время –Отношение успешных и ошибочных действий –Время, потраченное на восстановление после ошибки –Количество пользовательских ошибок –и т.д.

90 Thinking Aloud Protocol Critical response – пользователь должен озвучивать выполнение только заранее определенных задач Periodic report – в случае, если задача трудна сама по себе, пользователь рассказывает о её выполнении после окончания.

91 Question-asking Protocol Помимо того, что пользователи озвучивают свою работу, им задаются заранее подготовленные вопросы о продукте Например, «Как Вы могли бы послать из этой программы?»

92 Shadowing Method Один пользователь выполняет задания Второй (эксперт в предметной области) комментирует usability-тестеру его работу.

93 Retrospective Testing Пользователи обсуждают с usability- тестером видеозапись тестирования Отвечают на вопросы, возникшие у тестера во время тестирования Пользователь объясняет, что он делал, чего пытался добиться по видеозаписи

94 Co-discovery Learning Задания выполняют сразу два пользователя, помогающие друг другу Пользователи должны быть знакомы и иметь предварительный опыт совместной работы

95 Teaching Method Одни пользователь осваивает продукт А потом объясняет новичку, как им пользоваться

96 Coaching Methods Один тестер выступает в роли тренера, обучающего пользователя Второй тестер наблюдает за общением первого и пользователя Цель – выявить трудности обучения продукту и проблемы документации

97 Литература J. Nielsen "Usability Engineering" pp , Academic Press, J. Nielsen, "Heuristic Evaluation". In Jakob Nielsen and Robert L. Mack, editors, "Usability Inspection Methods". John Wiley and Sons, Inc H. Rex Hartson et. al., Remote Evaluation: The Network as an Extension of the Usability Laboratory, in CHI96 Conference Proceedings Dumas and Redish, A Practical Guide to Usability Testing, Ablex Publishing. p. 31, "Co-discovery". Rubin, J. Handbook of Usability Testing. John Wiley & Sons. p. 240, "Testing two participants at a time." N. Soken, B. Reinhart, P. Vora, & S. Metz "Methods for Evaluating Usability" (Section 5B), Honeywell, Dec P. Vora & M. Helander "A Teaching method as an alternative to the concurrent think-aloud method for usablity testing", in Y. Anzai, K. Ogawa & H. Mori "Symbiosis of Human and Artifact", pp , 1995.

98 КОНЕЦ ТРЕТЬЕЙ ЧАСТИ

99 Технологии найма участников юзабилити тестирования

100 Проект тестирования Подготовка к тестированию формализация требований найм испытуемых подготовка тестовой площадки Проведение тестирования Анализ результатов

101 Виды найма Самостоятельный поиск и набор Знакомые и коллеги Специализированные рекрутинговые агентства

102 Объявление

103 Анкета Сбор информации о пользователе Передача информации менеджеру Благодарность пользователю

104 Административный модуль Список проектов Просмотр Редактирование Добавление и удаление проектов

105 Административный модуль Собранные данные

106 Административный модуль Конструктор анкеты

107 Административный модуль Настройки проекта Редактирование данных проекта Изменение кодировки Включение и выключение показа объявления

108 КОНЕЦ ЧЕТВЕРТОЙ ЧАСТИ

109 СЦЕНАРИЙ ТЕСТИРОВАНИЯ

110 Структура сценария Установление личного контакта Тренировочное задание (опционально) Задание тестирования Завершение тестирования

111 Установление личного контакта - знакомство Добрый день, меня зовут …, я сотрудник …. В нашей лаборатории мы проводим тестирование новых программных продуктов с участием пользователей. Наши заказчики хотят, чтобы их продукты максимально точно соответствовали потребностям целевой аудитории. Это комната, где Вы будете находиться во время тестирования. Это Ваш компьютер. Пожалуйста, сядьте за стол, я бы хотел убедиться, что Вам комфортно. Вы можете видеть несколько камер в этой комнате. Они нужны для того, чтобы я мог видеть выражение Вашего лица. Я буду сидеть в другой комнате. Это нужно для того, чтобы тестирование было объективным. Если я буду сидеть рядом с Вами – могу стеснять Вас и отвлекать.

112 Установление личного контакта - соглашение Для того, чтобы Вы были уверены в том, что записи тестирования с Вашим участием будут использованы только для внутренних целей, предлагаю Вам подписать соглашение о неразглашении. Мы гарантируем, что записи, Ваше имя и данные не будут опубликованы в Интернете и печатных изданиях, а Вы обязуетесь в течение 3 месяцев не раскрывать детали работы тестируемого продукта.

113 Тренировочное задание Работа с тестируемым продуктом довольно необычна. Для того, чтобы Вам было легче, мы подготовили тренировочное задание. Оно поможет Вам сориентироваться в принципах работы продукта. Выполнение задания займет не больше 2-3 минут.

114 Задание тестирования Инструкция Вопрос об ожиданиях пользователя Вопрос о том, что хочет сделать пользователь Выбор из желаний пользователя того, что соответствует заданию Вопрос о совпадении ожиданий пользователя с тем, что происходило во время выполнения задания

115 Завершение тестирования Спасибо, что поучаствовали в нашем исследовании! Сейчас я попрошу вас заполнить анкету. В ней содержится ряд утверждений о работе с данным продуктом. Справа от каждого утверждения находится пятибалльная шкала оценок от «Абсолютно не согласен» (это единица) до «Абсолютно согласен» (это пять). Пожалуйста, поставьте галочку в клетке, которая соответствует вашему мнению. Нас интересует ваша первая реакция, поэтому я попрошу вас не думать над каждым вопросом слишком много. Если вы не знаете, как ответить на вопрос или ваше мнение нейтрально, поставьте галочку в средней клетке (под номером 3). Пожалуйста, отвечайте честно. Напоминаю Вам, что я не являюсь разработчиком продукта, и вы не обидите меня своими оценками.

116 КОНЕЦ ПЯТОЙ ЧАСТИ

117 ОТЧЕТ О ТЕСТИРОВАНИИ

118 Структура отчета Введение Описание проекта План эксперимента: –Проверяемые гипотезы –Наем участников тестирования –Процедура тестирования –Сценарий тестирования –Опросник SUS Результаты тестирования: –Описание испытуемых –Проверка гипотез –Результаты опросника SUS Рекомендации и обсуждение

119 Введение Описание сроков проведения тестирования, заказчиков и исполнителей тестирования, основных целей работы. Описание проекта Описание тестируемого продукта Цели тестирования Задачи тестирования Целевая аудитория

120 План эксперимента. Проверяемые гипотезы Описание гипотезы Условие проверки Задача Критерий проверки Описание условий, при которых гипотеза подтверждается Описание условий, при которых гипотеза отвергается

121 Наем участников тестирования Способ найма участников Анкета участника Процедура тестирования Количество и длительность сессий тестирования Описание лаборатории (места тестирования)

122 Сценарий тестирования Текст сценария Опросник SUS Текст опросника

123 Результаты тестирования. Описание испытуемых Количество анкет, полученных в результате найма Количество пользователей, входящих в целевую аудиторию. Описание испытуемых: имя, возраст, телефон, , фотография, ответы на анкету испытуемых.

124 Проверка гипотез Вывод (гипотеза подтверждается/отвергается) Краткое описание результатов проверки гипотезы Количество пользователей, на примере работы которых гипотеза подтверждается и отвергается Описание работы пользователей, на примере которых гипотеза подтверждается Описание работы пользователей, на примере которых гипотеза отвергается

125 Результаты опросника SUS Средний балл Стандартное отклонение Выводы Рекомендации и обсуждения Рекомендации по результатам проверки гипотеза Обсуждение экспертной оценки тестируемого продукта