Модерация юзабилити-тестирования
Что такое юзабилити-проблема
- Наблюдает и замечает проблемы
- Знает, когда вмешиваться, а когда нет
- Умеет задавать вопросы
- Устанавливает и поддерживает контакт
– это такая особенность дизайна продукта, которая в определенном контексте не дает пользователю эффективно выполнить его задачу, затрудняя его деятельность или вызывая негативные эмоции.
Под особенностью дизайна мы понимаем компоновку экранов, расположение и размеры элементов управления, структуру навигации, цветовые решения, тексты и реакцию системы на действия пользователя.
Под особенностью дизайна мы понимаем компоновку экранов, расположение и размеры элементов управления, структуру навигации, цветовые решения, тексты и реакцию системы на действия пользователя.
Наблюдение vs вмешательство
- Модератор не вмешивается в процесс, только наблюдает
- Давайте участникам свободу действий
- Не подсказывайте решение, даже
- когда участники спрашивают
- Не реагируйте на ошибки
плюсы:
- Участники проговаривают свои мысли, эмоции и реакции, выполняя задания теста
- Показывает, как участники размышляют над задачами, и что именно работает или не работает
- Позволяет выявить скрытые проблемы
- Замедляет решение задачи, заставляет обращать внимание на свои мысли
- Может предотвращать ошибки, которые возникли бы в реальной жизни
- Некоторые люди не могут проговаривать свои мысли, это кажется неестественным и отвлекающим
- Может быть утомительным для участников
- Дать время
- Спросить, в чём затруднение
- Дать минимальную подсказку
- Пройти на один наименьший шаг вперёд
- Прервать задание и обсудить
Долгие паузы при выполнении
Если во время выполнения задания возникли неожиданные очень долгие паузы при выполнении задания, вы можете спросить:
Участник не знает как выполнить задание
Участник не знает, что не решил задачу
Если подсказка повлияет на дальнейшие задания
Участник спрашивает, как правильно
Респондент спрашивает, что делать дальше посреди выполнения задания:
Респондент не хочет выполнять задание
Респондент считает задание нереалистичным или бессмысленным:
Если во время выполнения задания возникли неожиданные очень долгие паузы при выполнении задания, вы можете спросить:
- «О чем вы сейчас думаете?»
- «Вы выглядите озадаченным(-ой). Что-то произошло?»
Участник не знает как выполнить задание
- Спросить, что именно смущает
- Убедиться, что участники правильно поняли инструкцию
- Прояснить инструкцию, цель задания, и дать решать задачу дальше
- Дать минимально возможную посдказку, продолжить решение
Участник не знает, что не решил задачу
Если подсказка повлияет на дальнейшие задания
- Не говорите ничего. Просто запишите, что участник провалил задание и продолжайте тест
- Попросите учатсника проверить, справился ли он с заданием или нет
Участник спрашивает, как правильно
- Спросите «А как вы считаете, будет правильно?».
- поясните, что вы не хотите давать подсказки во время тестирования
- и что вам важнее понять, как сами участники воспринимают интерфейс и подходят к решению проблем.
Респондент спрашивает, что делать дальше посреди выполнения задания:
- Тоже спросите «А что вы думаете?».
- попросите ещё немного подумать
- если всё равно ничего не приходит в голову, или респондент прямо говорит, что не хочет продолжать задание, задание заканчивается.
Респондент не хочет выполнять задание
Респондент считает задание нереалистичным или бессмысленным:
- Рассматривайте это, как возможность побольше узнать о контексте использования приложения.
- Уточните детали и попробуйте переформулировать задание вместе с респондентом.
- Не забудьте выяснить причину нежелания выполнять действие.
- Объясните, как это должно было работать, и продолжайте.
- Попросите прощения и скажите, что нужно сделать, чтобы его обойти.
- Если это слишком сложно, возьмите устройство и сами попытайтесь все исправить.
- У вас нет выбора: пропускайте задание или останавливайте тестирование. Во втором случае, не забудьте провести дебрифинг.
Как задавать вопросы
- Не оценивать
- Не оправдывать и не ругать продукт
- Не предлагать свои интерпретации
- Докапываться до причин
- Участники не эксперты и не дизайнеры
– «Эта функция мне показалась нелогичной»
– «В чём была нелогичность?»
– «В другом продукте это сделать легче»
– «А как? Почему легче?»
– «Я бы добавил эту фичу в продукт»
– «Что она даст? Для чего будет полезна?»
– «В чём была нелогичность?»
– «В другом продукте это сделать легче»
– «А как? Почему легче?»
– «Я бы добавил эту фичу в продукт»
– «Что она даст? Для чего будет полезна?»
Участник сделал что-то ненужное для решения задачи, пошёл не туда, совершил неверное действие и т.д.:
«Что вы хотели сделать, когда сделали <то неверное действие>?»
«Какой результат вы ожидали получить?»
Если участник понял по ходу задания, что это была ошибк:
«В какой момент поняли, что это не работает так, как вы думали?»
«Что вы хотели сделать, когда сделали <то неверное действие>?»
«Какой результат вы ожидали получить?»
Если участник понял по ходу задания, что это была ошибк:
«В какой момент поняли, что это не работает так, как вы думали?»
Неожиданная невербальная реакция (например, удивление, злость, хмыканье и т.д.):
Неожиданная вербальная реакция:
Неожиданное поведение
Участник о тклонился от маршрута решения задачи, который вы представляли, совершил нестандартное действие:
- «Я заметил вы нахмурились. Расскажите, что произошло».
- «О чем вы сейчас думаете?»
- «Вы выглядите удивленным/расстроенным /что угодно. Что-то произошло?»
Неожиданная вербальная реакция:
- Просто повторите последние слова респондента с вопросительной интонацией.
Неожиданное поведение
Участник о тклонился от маршрута решения задачи, который вы представляли, совершил нестандартное действие:
- Почему решили выбрать <этот способ решения задачи, это действие>?
- Обратили ли внимание на другие способы? Они показались неподходящими или просто выбрали один?
избегайте «допрашивающего» тона
– Почему вы не нажали на кнопку А? Почему вы выбрали кнопку Б, вместо кнопки А?
± Я заметил, что вы нажали на кнопку Б. Почему?
+ Как вы поняли, что нужно делать после заполнения формы?
избегайте наводящих вопросов
– Всё было удобно?
± Как вы оцениваете удобство выбора способа оплаты?
+ Насколько удобно вам было выбирать способ оплаты?
не спрашивайте как у эксперта
– Как вы считаете, редактирование письма реализовано удобно?
+ Насколько удобно было редактировать это письмо?
– Почему вы не нажали на кнопку А? Почему вы выбрали кнопку Б, вместо кнопки А?
± Я заметил, что вы нажали на кнопку Б. Почему?
+ Как вы поняли, что нужно делать после заполнения формы?
избегайте наводящих вопросов
– Всё было удобно?
± Как вы оцениваете удобство выбора способа оплаты?
+ Насколько удобно вам было выбирать способ оплаты?
не спрашивайте как у эксперта
– Как вы считаете, редактирование письма реализовано удобно?
+ Насколько удобно было редактировать это письмо?
спрашивайте об опыте здесь и сейчас
– Вы стали бы использовать функцию В или нет?
+ Была ли сейчас полезна эта функция?
используйте язык пользователей
– Что вы думаете про онбординг ?
± Что вы думаете про карточки, которые появились при запуске приложения?
+ А как вы поняли, что говорилось в карточках, которые были в начале? Помогли ли понять, что делать?
конкретные вопросы
– Что вы думаете про процесс оформления покупки?
+ Насколько удобно было искать нужный товар?
избегайте сложносоставных вопросов
– Как вы оцениваете удобство и скорость работы функции В?
+ Насколько удобно было делать вот это? Насколько вас устроила скорость работы?
– Вы стали бы использовать функцию В или нет?
+ Была ли сейчас полезна эта функция?
используйте язык пользователей
– Что вы думаете про онбординг ?
± Что вы думаете про карточки, которые появились при запуске приложения?
+ А как вы поняли, что говорилось в карточках, которые были в начале? Помогли ли понять, что делать?
конкретные вопросы
– Что вы думаете про процесс оформления покупки?
+ Насколько удобно было искать нужный товар?
избегайте сложносоставных вопросов
– Как вы оцениваете удобство и скорость работы функции В?
+ Насколько удобно было делать вот это? Насколько вас устроила скорость работы?
Контакт с участниками
- Инструкции должны быть даны повседневным, а не формальным языком
- Следить, что участники понимают, что мы от них хотим (представления и ожидания)
- Не оценивать вербально или невербально
- Замечать беспокойство, помогать разрешать его
- Разговорить молчаливых
- Держать в рамках отвлекаемых и очень много говорящих
- Не давать переходить в режим эксперта (не давать переходить в абстрактные рассуждения, побуждать обсуждать свой личный опыт)
Ведение заметок
- Не дословный протокол
- Полезно помечать что -то, по поводу чего будете задавать вопрос
- Помечайте поведение, но только примечательное, иначе отстанете
- Сокращайте, имейте систему разметки (в моих заметках это табуляция, многоточия, переносы строк)
- Цифровые заметки лучше – не надо оцифровывать
Решение 1: по событиям
Вести заметки во время только по событиям, о которых хотите задать вопрос после задания. После теста сразу же выделить 15 минут на написание полных заметок и редактирование уже написанного
Решение 2: с наблюдателем
Заметки ведёт отдельный наблюдатель, после теста вы обсуждаете, что увидели, и вместе дополняете заметки
Решение 3: видеозапись
Только видеозапись тестирования (аудио недостаточно). После тестов посмотреть и сразу писать протокол
Вести заметки во время только по событиям, о которых хотите задать вопрос после задания. После теста сразу же выделить 15 минут на написание полных заметок и редактирование уже написанного
Решение 2: с наблюдателем
Заметки ведёт отдельный наблюдатель, после теста вы обсуждаете, что увидели, и вместе дополняете заметки
Решение 3: видеозапись
Только видеозапись тестирования (аудио недостаточно). После тестов посмотреть и сразу писать протокол
КАК ТЕБЕ КОНСПЕКТ?
Расскажи, чего не хватило. От похлавы мы тоже не откажемся))
