Юзабилити-исследование удобства интернет-банков.

1. СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ УДОБСТВА БАНКОВСКИХ ПРОДУКТОВ ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
Описание методологии исследования
Интернет-банк
Исследование проводилось в период с июня по август 2014 г.
9 октября анонс результатов
Записаться на презентацию

2. Записаться на презентацию
Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
— Наше исследование — это как трехмерная дорожная карта. Оно позволяет определить, в какой точке развития находится интернет-банк отдельно взятого банка относительно других представленных на рынке. Изучая материал исследования, анализируя результаты, сотрудники банка увидят, в чем они достигли успехов, насколько далеко ушли конкуренты, какие возможности приложения необходимо прокачать.
Цель исследования: сравнение удобства реализации типовых операций в интерфейсах различных интернет-банков.
Методика исследования: сравнительное usability- тестирование с использованием технологии регистрации движений глаз и обратная карточная сортировка.
2

3. Записаться на презентацию
Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Почему для тестирования отобраны именно типовые задачи?
Пользователи обращаются в интернет-банк преимущественно ради выполнения базовых операций.
Отсутствие возможности быстро и эффективно выполнить наиболее частотные операции приведёт к отказу от использования интернет-банка, даже при наличии широкого дополнительного функционала.
Для тестирования были отобраны 7 наиболее частотных и важных пользовательских задач:
Вход в систему
Просмотр информации по счетам
Просмотр истории операций по счёту
Перевод между своими счетами
Перевод клиенту другого банка
Оплата мобильного телефона с созданием шаблона
Оплата жилищно-коммунальных услуг
3

4. Записаться на презентацию
Что вы получите, читая этот отчёт?
●Видение преимуществ и недостатков продукта глазами пользователей.
●Понимание возможных причин отказа от использования продукта.
●Возможность по результатам исследования исправить ошибки, мешающие пользователям выполнять необходимые действия. И, как следствие, повысить востребованность продукта на рынке.
●Сравнение с другими интернет-банками.
●Понимание того, какие показатели и задачи являются наиболее проблемными у отдельных банков и по отрасли в целом.
7
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

5. Записаться на презентацию
Для кого отчёт окажется наиболее ценным?
●Для руководителей и начальников отделов – независимая сравнительная оценка результатов работы по созданию и развитию своего продукта.
●Для маркетологов и менеджеров продуктов – основание для корректировки стратегии развития и продвижения продукта.
●Для технических специалистов – основание для внесения изменений в интерфейс продукта.
Для чего именно он будет полезен?
●Повышение удобства интернет-банков и удовлетворённости пользователей от работы с ними.
●Снижение вероятности перехода к использованию продуктов-конкурентов в связи с проблемами интерфейсов.
●Улучшение интерфейсных конкурентных преимуществ интернет-банков, важных для привлечения новых клиентов банков.
8
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

6. Записаться на презентацию
9
Введение
БАНКИ-УЧАСТНИКИ

7. Записаться на презентацию
По каким критериям отбирались респонденты?
В тестировании приняло участие 60 человек в возрасте от 18 до 48 лет, которые были условно разделены на две группы по опыту использования интернет-банков («опытные» и «новички»).
Ни один из респондентов не являлся клиентом тестируемого банка.
«Опытными» считаются респонденты, которые пользуются интернет-банком и несколько раз в месяц совершают с его помощью расчётные операции (переводы, оплата услуг и т п).
«Новичками» считаются респонденты, не использующие интернет-банк, но планирующие начать, или использующие его только для просмотра информации о балансе.
11
«опытные»
«новички»
6
10
=
60
х
Методы исследования
АУДИТОРИЯ

8. Записаться на презентацию
Юзабилити-тестирование – качественный экспериментальный лабораторный метод анализа взаимодействия пользователя с продуктом при решении типичных задач (ГОСТ Р ИСО 9241-11).
Тестирование проводится в специально оборудованной лаборатории.
Модератор зачитывает задание из сценария, которое респонденту необходимо выполнить. Сценарий тестирования не содержит шагов выполнения задания или подсказок.
Операции респондент выполняет в обычном для себя темпе и при необходимости комментирует возникающие затруднения.
Модератор не вмешивается в ход работы респондента, не задаёт наводящих вопросов и не даёт подсказок. По завершении каждого задания и в конце всего тестирования модератор получает качественные данные с помощью интервью об удобстве выполнения задания и впечатлении от работы.
Модератор фиксирует время выполнения операции, затруднения и вопросы пользователя, а также наблюдает и анализирует его поведение.
13
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

9. Записаться на презентацию
Перед началом тестирования происходит настройка оборудования для регистрации движения глаз (eye- tracker) под конкретного респондента. Весь процесс тестирования записывается с помощью специального программного обеспечения, позволяющего визуализировать полученную информацию в виде тепловых карт и траекторий движения глаз.
Eye-tracking – метод регистрации движения глаз респондента по экрану при работе с интерфейсом. Позволяет делать выводы об ожиданиях и проблемах во время взаимодействия с продуктом.
14
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

10. Записаться на презентацию
Исследование проводится при помощи специализированного программного обеспечения, в котором исследователем в виде дерева задаётся структура тестируемого интернет-банка.
Респонденту предлагается выполнить те же 7 задач, что и в основной части тестирования. Разница лишь в том, что вместо выполнения операции респонденту предлагается отметить раздел, в котором он ожидает увидеть возможность выполнить заданную операцию.
Сортировка проводится до тестирования, чтобы исключить влияние обучения пользователя навигации в системе в процессе исследования.
Пользователи проводили tree testing интернет- банков, отличных от тех, с которыми работали в процессе тестирования.
Обратная карточная сортировка (tree testing) – качественный экспериментальный метод проверки удобства навигации и наименований в существующей информационной архитектуре интернет-банка.
15
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

11. Записаться на презентацию
После выполнения всех заданий пользователю необходимо оценить свои впечатления от работы с интернет-банком по 17 парам прилагательных с противоположными значениями.
Например, привлекательный/отталкивающий. На шкале пользователь отмечает тот балл, который лучше всего отражает его впечатление в контексте предложенной пары характеристик.
Семантический дифференциал – метод построения индивидуальных семантических пространств, позволяющий оценивать восприятие одного и того же объекта разными респондентами. Эта методика пришла в маркетинговые исследования из психологии (Ч. Осгуд, 1952 г.) Её результатом являются качественные характеристики эмоционального восприятия бренда, которые не влияют на рейтинговый балл по задачам.
16
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

12. Записаться на презентацию
После выполнения каждого задания респондент заполняет анкету с оперативными метриками. После выполнения всех заданий респонденту даётся анкета (итоговые метрики), в которой он оценивает свое общее впечатление от работы в интернет-банке по предложенным вопросам.
Юзабилити-метрики представляют собой две анкеты на 15 вопросов после каждого задания (оперативные метрики) и на 7 вопросов после завершения исследования (итоговые метрики). По каждому вопросу респондент оценивает удобство интернет- банка по 5-бальной шкале.
17
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

13. Записаться на презентацию
Дополнительные показатели:
Основые показатели:
Результативность
Эффективность рекламы
Юзабилити-ошибки
Эмоциональное восприятие бренда
Время выполнения задачи
Субъективная удовлетворённость
Непонятные формулировки
Удобство навигации
Наличие базового функционала
18
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ

14. Записаться на презентацию
Юзабилити-ошибки - количество проблем интерфейса, препятствующих совершению пользователем необходимого действия и снижающих удовлетворённость от использования продукта.
Возникающие у пользователя затруднения фиксируются модератором в процессе тестирования.
В процессе анализа проблемы ранжируются по степени критичности. Критичными считаются те проблемы, из-за которых респондент не смог выполнить задание (достичь нужного результата). Некритичными - те, которые не помещали респонденту выполнить задание, но существенно затруднили его работу с интерфейсом, малокритичными – те, которые несущественно затруднили выполнение задачи, но повлияли на удовлетворённость от работы с интерфейсом.
vs
19
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

15. Записаться на презентацию
Время, затраченное респондентом на успешное выполнение задания.
Во время тестирования модератор засекает время от начала выполнения задания до его успешного завершения. Учитывается время выполнения только тех заданий, с которыми респондент справился без подсказок модератора.
Если во время выполнения задачи респондент просит уточнить задачу или что-либо комментирует, это время также не учитывается.
Нет универсальных хороших и плохих показателей времени выполнения задач (например, 1 минута для того, чтобы совершить перевод в другой банк – это очень быстро, а 1 минута для того, чтобы найти в интернет-банке историю операций – это медленно), и сравнивать время по разным задачам между собой нельзя. Однако время можно сравнить по одной задаче у нескольких конкурирующих продуктов.
20
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

16. Записаться на презентацию
Успешность - число пользователей, успешно выполнивших задание.
Во время тестирования модератор отмечает, было ли задание выполнено респондентом. Для каждого здания в сценарии задается критерий его успешного выполнения. Для задач на просмотр информации в качестве критерия выступает правильный ответ на определённый набор вопросов. Для остальных задач – это совершение операции.
В качественном исследовании даже невыполнение задания 2 из 6
респондентов может служить
индикатором наличия серьезных ошибок
в интерфейсе.
21
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

17. Записаться на презентацию
Удовлетворённость - субъективное восприятие пользователем удобства работы с интерфейсом. После выполнения каждой задачи и завершения тестирования респондент заполняет анкету, в которой по шкале от 1 до 5 оценивает удобство работы с интернет-банком по различным параметрам. Максимальный балл всегда соответствует положительному полюсу, минимальный – отрицательному. Методика оценки удовлетворённости «Метрики субъективной удовлетворённости» разработана при участии Института Психологии РАН, А.Н. Костиным, д.п.н.
Нет смысла спрашивать респондента
«Понравился ли вам интернет-банк?»,
чаще всего респонденты отвечают
на такие вопросы утвердительно, даже
не задумываясь о смысле своего ответа.
Мы не задаем респондентам прямые
вопросы об удовлетворнности,
поскольку данные параметры являются
очень субъективными, и разные
респонденты могут вкладывать в это
различный смысл. Мы используем
специальные объективные методики для
оценки удовлетворённости.
22
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

18. Записаться на презентацию
Непонятные формулировки – соответствие названия раздела тому смыслу, который вкладывают в это название пользователи, либо фактическому содержанию этого раздела.
Показатель представляет собой количество неясных формулировок, встретившихся респондентам при выполнении базовых операций в интернет-банке.
Удобство навигации – простота и логичность структуры продукта для пользователя.
Определяется при помощи обратной карточной сортировки. Состоит из нескольких параметров: успешность – смог ли респондент верно указать раздел, в котором находится нужная информация; точность – показатель, зависящий от количества ошибок при поиске нужного раздела (чем меньше ошибок совершает пользователь, тем выше показатель точности).
23
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

19. Записаться на презентацию
Наличие базового функционала – фактическое присутствие или отсутствие в интернет-банке возможности выполнить базовые 7 операций, по которым производится сравнительное исследование.
24
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

20. Записаться на презентацию
Оценка эффективности рекламы. Анализируя данные eye-tracking камеры, можно сделать вывод о том, что привлекает наибольшее внимание пользователя и что на экране не попадает в его поле зрения. В процессе анализа выделяется так называемая «зона интереса», по которой изучается информация о времени фиксации взгляда и последовательности движения глаз. Таким образом, можно понять насколько эффективно продвижение услуг и акций (насколько предлагаемые в интернет-банке промо-материалы действительно различаются пользователями).
Эмоциональная оценка. Для каждого банка строится семантический профиль на основе оценок респондентов по парам прилагательных. Затем для каждого банка отбираются наиболее характерные прилагательные (имеющие наибольший балл) и производится качественный анализ полученных результатов. Также можно сравнить интернет-банки по доминирующим характеристикам.
25
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ДОПОЛНИТЕЛЬНЫЕ)

21. Записаться на презентацию
Общий отчёт по сравнительному исследованию интернет-банков содержит анализ лучших и худших решений по каждому измеряемому показателю, а также по каждой пользовательской задаче.
Подробные отчёты по отдельным банкам содержат подробный анализ прохождения всех задач в конкретном банке (в том числе, данные метрик), с указанием всех возникших проблем в интерфейсе и рекомендациями по их устранению, а также удачных интерфейсных решений, которые положительно повлияли на общие показатели удобства. Подробный отчёт составляется дополнительно по запросу со стороны заказчиков.
26
Методы исследования
РЕЗУЛЬТАТ ИССЛЕДОВАНИЯ

22. Записаться на презентацию
Рейтинг удобства интернет-банков
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА
22
Для расчёта балла, присваиваемого каждой операции, основные измеряемые показатели были объединены в 4 фактора, отражающие различные аспекты взаимодействия пользователя с интерфейсом.
Итоговый балл для каждой операции рассчитывался с учётом вклада каждого из факторов.
Дополнительные показатели (эмоциональная оценка и эффективность рекламы) не влияют на рейтинг.
Эффективность как различные аспекты результативности выполнения заданий.
Экономичность как затраты на деятельность т.е. ресурсы пользователя, затрачиваемые на работу с системой.
Удовлетворённость как отношение пользователя к продукту.
Надёжность и безопасность как помехоустойчивость выполнения, безошибочность, рисков и возможных опасных последствий.

23. Записаться на презентацию
Удобство навигации
(успешность, точность, время выполнения)
Результативность
Время решения
задачи
Количество
ошибок
Оперативные метрики
Итоговые метрики
и безопасность
Функциональность
27
Эффективность
Экономичность
Удовлетворённость
Надёжность
Рейтинг удобства интернет-банков
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

24. Записаться на презентацию
Эффективность
Отражает степень соответствия интерфейса реальным жизненным задачам пользователей. Фактор складывается из того, насколько полно и качественно интерфейс предоставляет пользователю информацию, и насколько верно и точно пользователь совершает все действия при работе с интерфейсом при выполнении базовых операций.
Экономичность
Отражает то, насколько легко и быстро интерфейс дает возможность пользователю достичь своих целей. Складывается из того, сколько времени и усилий пользователь вынужден затрачивать, насколько он утомляется, насколько интерфейс облегчает работу пользователю, предоставляя подходящие в данный момент подсказки и быстрые решения.
Удовлетворённость
Отражает то, насколько высоко пользователь оценивает удобство работы и привлекательность интерфейса. Складывается как из объективных показателей, зафиксированных на тестировании, таких как предсказуемость поведения интерфейса, его понятность, так и из субъективных эмоциональных оценок впечатления от работы с продуктом. В итоге, показатель комфорта описывает то, как пользователь воспринимает работу с интерфейсом в целом.
28
Рейтинг удобства интернет-банков
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

25. Записаться на презентацию
Надёжность и безопасность
Отражает то, насколько стабильно интерфейс дает пользователю возможность достигать своих целей, а также то, насколько пользователь уверен в безопасности совершения операций через данный интернет- банк. Показатель складывается как из количества и критичности ошибок, которые совершает пользователь при работе с интернет-банком, так и из субъективного впечатления о безопасности работы.
Функциональность
Отражает количество операций из 7 типичных пользовательских задач, которые теоретически возможно выполнить в интернет-банке. При этом, если одно из заданий, не смотря на теоретическую возможность выполнения в интернет-банке, не выполнено ни одним респондентом, функциональность также страдает.
29
Рейтинг удобства интернет-банков
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

26. ЗАПИШИТЕСЬ НА ПРЕЗЕНТАЦИЮ
+ 7 (495) 933-01-37 доб. 409
d.silaev@usabilitylab.net
www.usabilitylab.ru