Тестирование юзабилити

Что такое тестирование? Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию, и направленный на выяснение того, как пользователи используют продукт. 2

Как тестировать? Необходимо найти людей, соответствующих критериям целевой аудитории. Посадить их за компьютер, дать им задания, которые мы выбрали в качестве сценариев. И внимательно наблюдать за тем, как они справляются с этими заданиями, фиксируя проблемы с которыми они сталкиваются. 3

Цели тестирования Определить степень эффективности, продуктивности и удовлетворения, с которой пользователь может использовать продукт. 4

Юзабилити лаборатории. Австрия 5

Бельгия 6

Австрия 7

В Москве 8

Тестирование юзабилити программными следствами. Дорого и качественно!

Софт для тестирования 10

Почему софт? Полностью цифровое решение - Уменьшает стоимость и сложность аппаратуры Действительно портативно - Берите куда угодно, установив на ноутбук Улучшение качества - Эксклюзивная технология Rich Recording Просто установить и использовать - На разворачивание нужно минут 11

Как работает? 12

Как работает? Видео/Аудио Изображение экрана пользователя Переходы между экранами Использование мышки Использование клавиатуры Манипуляции окнами Маркеры 13

Remote Viewer 14 Morae Remote Viewer Позволяет нескольким наблюдателям смотреть и процесс тестирования, делать заметки

Morae Manager 15 Morae Manager 1.Синхронизирует записи тестирования 2.Быстро подсчитывает частотные и временные характеристики 3.Легко создает видеоотчеты

Цена вопроса Порядка 3000 у.е за 1 лицензию (в РФ) Для малого бизнеса слишком дорого! 16

Еще более продвинутое оборудование!

Лаборатория для тестирования 18

Взаимодействие с системами 19

20 Mobile Device Camera Беспроводная камера для usability- тестирования мобильных устройств и приложений

Айтрекинг! 21 Eye tracking & alternatives 1.Инфракрасная камера записывает движение глаз 2.Крепится на голове, к монитору, или размещается на столе 3.Анализ: движения глаз, «тепловые карты», зоны интереса 4.Дорого, но очень точно

Айтрекинг 22 Анализ взгляда Измерения: 1.Куда пользователь смотрит 2.Как долго и как часто он смотрит на определенный объект 3.Путь глаз между определенными зонами интересов 4.Диаметр зрачка, как индикатор когнитивной нагрузки

Цена вопроса 4000 у.е (в РФ) Подходит для среднего и крупного бизнеса либо для юзабилити лабораторий Для малого бизнеса Дорого! 23

Более простые методы тестирования или «каменный век» юзабилити

Какие есть методы? 1.Тестирование «на бабушке» 2.Тестирование силами 1 эксперта 3.Тестирование из 5 пользователей 25

Их преимущества 1.Дешевле. Тест можно провести бесплатно или за небольшие деньги 2.Выявляется до 80% критических ошибок 3.Довольно быстро 4.Лучше, чем вообще без тестов 26

Их недостатки 1.Менее точны, чем при использовании айтрекинга и спец оборудования 2.Не позволяют выявить все недочеты по юзабилити сайта 3.Достаточно примитивны 27

Но лучше тестировать ТАК, чем НИКАК 90% сайтов не тестировалось НИКАК!

Тестирование «на бабушке» 1.Берем неопытного пользователя сети (или нескольких) 2.Определяем цели и задачи 3.Сажаем за компьютер 4.Смотрим, как ведет себя тестер, что говорит 29

Основной смысл теста… Если неопытный пользователь справляется с поставленными задачами, то у сайт хороший уровень Юзабилити. 30

Тестирование силами эксперта 1.Для теста привлекается эксперт по юзабилити 2.Он анализирует сайт по ряду критериев 3.Пишет письменные рекомендации по исправлению ошибок Может быть привлечено несколько экспертов! 31

Тест из 5 пользователей 1.Приглашается 5 пользователей 2.Они выполняют заранее продуманные действия (заказ товара, поиск товара итп) 3.В процессе выполнения действий идет фиксация того, что они делают и говорят (лучше на видеокамеру) 4.Затем информация анализируется и формулируются рекомендации по юзабилити

Почему 5 пользователей?

Методы тестирования юзабилити

Перечень методов Heuristic Evaluation Remote Testing Co-discovery Learning Coaching Method Performance Measurement Question-asking Protocol Retrospective Testing Shadowing Method Teaching Method Thinking Aloud Protocol 35

Вопросы 1.Есть пользователи для проведения тестирования? 2.Доступны ли пользователи непосредственно? 3.Оцениваем производительность, а не впечатления людей? 4.Могут ли пользователи говорить (комментировать свою работу)? 5.Может ли другой пользователь комментировать работу пользователя, выполняющего тестовые задания? 6.Является ли тестер экспертом в предметной области? 36

Реакция на запросы клиента 37 Есть пользователи для проведения тестирования? ДАНЕТ Heuristic Evaluation Доступны ли пользователи непосредственно? ДАНЕТ Remote Testing Оцениваем производительность, а не впечатления? ДА НЕТ Performance Measurement Могут ли пользователи говорить (комментировать свою работу)?

Цикл покупки через сайт Могут ли пользователи говорить (комментировать свою работу)? ДА НЕТ Thinking Aloud Protocol Question-asking Protocol Может ли другой пользователь комментировать работу пользователя,выполняющего тестовые задания? ДАНЕТ Shadowing Method Retrospective Testing Является ли тестер экспертом в предметной области?

Почему важно быстро и качественно обслуживать посетителя? Является ли тестер экспертом в предметной области? ДАНЕТ Teaching Method Co-discovery Learning Coaching Method

Heuristic Evaluation (техника) Независимые эксперты ищут потенциальные проблемы в интерфейсах Оценка идет не по сценариям, а по критериям После окончания работы всех экспертов проводится анализ результатов

Heuristic Evaluation (критерии) Наглядное представление состояния системы Связь системы с реальным миром Управляемость и свобода действий Консистетность и стандарты Предотвращение ошибок Узнавание против запоминания Гибкость и эффективность использования Эстетика и минимализм дизайна Предвидение, диагностика и восстановление после ошибок Справочная система и документация

Remote testing Тестирующий и пользователь работают раздельно (в разных местах и/или в разное время) Необходимы технологии: Журналирование действий пользователя Видеокамеры и голосовая связь или запись Средства удаленного воспроизведения экрана пользователя

Performance Measurement Определить цели тестирования в терминах критериев Usability Выбрать наиболее важные показатели Определить как эти показатели будут оцениваться количественно, например

Performance Measurement Время, затраченное на выполнение задачи Количество задач разного типа, которые можно выполнить в ограниченное время Отношение успешных и ошибочных действий Время, потраченное на восстановление после ошибки Количество пользовательских ошибок и т.д.

Thinking Aloud Protocol Critical response – пользователь должен озвучивать выполнение только заранее определенных задач Periodic report – в случае, если задача трудна сама по себе, пользователь рассказывает о её выполнении после окончания.

Question-asking Protocol Помимо того, что пользователи озвучивают свою работу, им задаются заранее подготовленные вопросы о продукте Например, «Как Вы могли бы послать из этой программы?»

Shadowing Method Один пользователь выполняет задания Второй (эксперт в предметной области) комментирует usability-тестеру его работу.

Retrospective Testing Пользователи обсуждают с usability- тестером видеозапись тестирования Отвечают на вопросы, возникшие у тестера во время тестирования Пользователь объясняет, что он делал, чего пытался добиться по видеозаписи

Co-discovery Learning Задания выполняют сразу два пользователя, помогающие друг другу Пользователи должны быть знакомы и иметь предварительный опыт совместной работы

Teaching Method Один пользователь осваивает продукт А потом объясняет новичку, как им пользоваться

Coaching Methods Один тестер выступает в роли тренера, обучающего пользователя Второй тестер наблюдает за общением первого и пользователя Цель – выявить трудности обучения продукту и проблемы документации 51

Как нанимать тестеров?

Виды найма тестеров 1.Знакомые и коллеги 2.Через рекрутинговые агентства 3.Самостоятельный поиск и набор 53

Объявление 54

Анкета Сбор информации о пользователе Передача информации менеджеру Благодарность пользователю 55

Сценарии тестирования

Структура сценария Установление личного контакта Тренировочное задание (опционально) Задание тестирования Завершение тестирования 57

Установление личного контакта - знакомство Добрый день, меня зовут …, я сотрудник …. В нашей лаборатории мы проводим тестирование новых программных продуктов с участием пользователей. Наши заказчики хотят, чтобы их продукты максимально точно соответствовали потребностям целевой аудитории. Это комната, где Вы будете находиться во время тестирования. Это Ваш компьютер. Пожалуйста, сядьте за стол, я бы хотел убедиться, что Вам комфортно. Вы можете видеть несколько камер в этой комнате. Они нужны для того, чтобы я мог видеть выражение Вашего лица. Я буду сидеть в другой комнате. Это нужно для того, чтобы тестирование было объективным. Если я буду сидеть рядом с Вами – могу стеснять Вас и отвлекать. 58

Установление личного контакта - соглашение Для того, чтобы Вы были уверены в том, что записи тестирования с Вашим участием будут использованы только для внутренних целей, предлагаю Вам подписать соглашение о неразглашении. Мы гарантируем, что записи, Ваше имя и данные не будут опубликованы в Интернете и печатных изданиях, а Вы обязуетесь в течение 3 месяцев не раскрывать детали работы тестируемого продукта. 59

Тренировочное задание Работа с тестируемым продуктом довольно необычна. Для того, чтобы Вам было легче, мы подготовили тренировочное задание. Оно поможет Вам сориентироваться в принципах работы продукта. Выполнение задания займет не больше 2-3 минут. 60

Задание тестирования Инструкция Вопрос об ожиданиях пользователя Вопрос о том, что хочет сделать пользователь Выбор из желаний пользователя того, что соответствует заданию Вопрос о совпадении ожиданий пользователя с тем, что происходило во время выполнения задания 61

Завершение тестирования Спасибо, что поучаствовали в нашем исследовании! Сейчас я попрошу вас заполнить анкету. В ней содержится ряд утверждений о работе с данным продуктом. Справа от каждого утверждения находится пятибалльная шкала оценок от «Абсолютно не согласен» (это единица) до «Абсолютно согласен» (это пять). Пожалуйста, поставьте галочку в клетке, которая соответствует вашему мнению. Нас интересует ваша первая реакция, поэтому я попрошу вас не думать над каждым вопросом слишком много. Если вы не знаете, как ответить на вопрос или ваше мнение нейтрально, поставьте галочку в средней клетке (под номером 3). Пожалуйста, отвечайте честно. Напоминаю Вам, что я не являюсь разработчиком продукта, и вы не обидите меня своими оценками. 62

Отчет о тестировании

Структура отчета Введение Описание проекта План эксперимента: –Проверяемые гипотезы –Наем участников тестирования –Процедура тестирования –Сценарий тестирования –Опросник SUS Результаты тестирования: –Описание испытуемых –Проверка гипотез –Результаты опросника SUS Рекомендации и обсуждение 64

Введение Описание сроков проведения тестирования, заказчиков и исполнителей тестирования, основных целей работы. Описание проекта Описание тестируемого продукта Цели тестирования Задачи тестирования Целевая аудитория 65

План эксперимента. Проверяемые гипотезы Описание гипотезы Условие проверки Задача Критерий проверки Описание условий, при которых гипотеза подтверждается Описание условий, при которых гипотеза отвергается 66

Наем участников тестирования Способ найма участников Анкета участника Процедура тестирования Количество и длительность сессий тестирования Описание лаборатории (места тестирования) 67

Сценарий тестирования Текст сценария Опросник Текст опросника 68

Результаты тестирования. Описание испытуемых Количество анкет, полученных в результате найма Количество пользователей, входящих в целевую аудиторию. Описание испытуемых: имя, возраст, телефон, , фотография, ответы на анкету испытуемых. 69

Проверка гипотез Вывод (гипотеза подтверждается/отвергается) Краткое описание результатов проверки гипотезы Количество пользователей, на примере работы которых гипотеза подтверждается и отвергается Описание работы пользователей, на примере которых гипотеза подтверждается Описание работы пользователей, на примере которых гипотеза отвергается 70

Результаты опросника Средний балл Стандартное отклонение Выводы Рекомендации и обсуждения Рекомендации по результатам проверки гипотеза Обсуждение экспертной оценки тестируемого продукта 71

Резюмируя все сказанное…

1.Тестировать юзабилити надо всегда 2.Есть дорогие методы тестирования 3.Если мало денег, то есть простые, но эффективные методы тестирования 4.Необходимо продумать сценарии тестирования 5.По итогам тестирования нужно составить отчет и рекомендации

Вопросы?