Метрики дизайна: как отслеживать эффективность

Хороший дизайн — это баланс между внешним видом и юзабилити. Тогда у продукта есть шанс на успех. Поэтому для менеджеров, бизнес-аналитиков и маркетологов важно знать, как правильно исследовать, измерять и отслеживать эффективность дизайна. Давайте разбираться вместе. 

Виды исследований дизайна

Внешний вид продукта может радовать глаз, но если юзабилити подкачало, существует риск, что клиенты уйдут из-за неудобств в использовании. С другой стороны, «обертка» тоже важна, потому что людям нравятся красивые вещи. Чтобы объективно оценить дизайн и удобство продукта существует два вида исследований: количественный и качественный анализ. Оба можно использовать в отдельности, но для более точной оценки лучше совмещать.

Количественный анализ 

Способ оценить дизайн решений и продуктовых фич с помощью цифр. Помогает аргументировать и подтверждать гипотезы, а также избежать лишних обсуждений с прагматиками в вашей команде. 

Для количественного анализа дизайна часто используют UX-метрики (UX Metrics), данные для которых обычно получают после юзабилити-тестирования. Эти метрики применяют специалисты, которые работают с логикой в компании: UX-дизайнеры, UX-ресерчеры, бизнес-аналитики. С помощью UX-метрик можно словесно описать и количественно представить какое-то действие, но определить тот же ревенью сложно.

Примеры UX Metrics:

• Посчитать время на то, чтобы найти номер телефона на сайте.
• Зафиксировать количество кликов на кнопку Try Now.
• Определить количество затраченного времени на поиск песен, добавленных в музыкальное приложение в конкретную дату.

Качественный анализ

В отличие от количественного — это живое общение с пользователями продукта. Для его проведения отлично работают интервью, запись видео и аудио с комментариями, тестирование и опросы юзеров. 

Иногда UX-ресерчеры, бизнес-аналитики и менеджеры игнорируют данные, полученные благодаря качественному анализу, потому что ориентируются только на факты с подтвержденными цифрами. В итоге упускается важная составляющая исследования дизайна — что и почему на самом деле происходит в продукте. Качественный анализ (Qualitative Research) помогает ответить на эти вопросы.

Например, получили количественные данные, что падает конверсия. Посмотрели в Google Analytics и увидели, что на активность снижается на определенных страницах. Остается выяснить, почему так происходит. Возможно трафик не целевой или проблемы с посадочной страницей. В любом случае нужно работать с внешним и внутренним маркетингом продукта и логикой. Здесь поможет качественный анализ дизайна: нужно понять, чем клиенты довольны, а что хотели бы изменить. Для этого подойдет интервью или любой другой инструмент прямого либо косвенного общения с пользователями.

Этот пример иллюстрирует важность проведения как количественного, так и качественного анализа. Совместное их использование помогает: больше углубиться в продукт и понять причину успеха или провала на данном этапе, определить, что делать дальше.  

4 роли в продуктовом дизайне

Главное в работе любого коллектива — это четкое понимание, кто за что отвечает. В идеальном мире, команда по продуктовому дизайну распределена по ролям, каждая из которых вносит вклад в проект:

• UX-дизайнер (UX Designer). Работает с логикой продукта. Он может проводить юзабилити-тестирование и исследование поведения пользователей, участвовать в разработке юзерс сториз. UX-метрики — это его сфера ответственности.
• UI-дизайнер (UI Designer). Занимается только интерфейсами, рисует low и high fidelity mockups (черновой и финальные варианты продукта). Плотно взаимодействует с UX-дизайнером, получая от него базовую информацию о логике продукта, расположении блоков с элементами и их взаимосвязи между собой. Привлекать UI-дизайнер к работе с метриками нет смысла — это специалист-исполнитель в завершающей фазе.  
• Продуктовый дизайнер (Product Designer). Это бизнес ориентированный специалист, который, в первую очередь, изучает цели продукта и ищет решения. Работает с метриками, непосредственно взаимодействует с бизнес-аналитиком, менеджером продукта/проекта, клиентом. Основные задачи (кроме отрисовки дизайна): A/B тестирование, работа с проблемами пользователей, проведение интервью.
• Дизайнер по взаимодействию (Interaction Designer). Вылетающие ракеты, машущие лапкой котики и подобный интерактив — это к этому специалисту. Он не работает с метриками, но непосредственно может на них влиять. Например, повысить вовлеченность или уровень удовлетворения пользователей от взаимодействие с продуктом. Оптимальная схема работы с Interaction Designer — постановка задачи от менеджера на проработку определенной метрики, а дизайнер уже сам ищет и предлагает решения.

Formative помогает оценить дизайн продукта еще в процессе разработки. Здесь уместен качественный анализ, когда через интервью или тестирование проверяют гипотезы. Summative — метод оценки уже завершенного дизайна. Актуален при редизайне, когда можно применить количественный анализ для сравнения показателей «до» и «после».Перечисленные роли — это не обязательно разные люди. В стартапах или небольших устоявшихся компаниях часты ситуации, когда один человек занимается сразу несколькими направлениями. Это нормальное явление, но эффективней, когда в команде есть четкое разделение на роли. Тогда проще оценивать дизайн на различных стадиях готовности, используя методы Formative и Summative. 

Оба метода описывают, на какой стадии производится оценка дизайна, и какие виды анализа лучше использовать. Сам же процесс оценивания лучше проводить в формате UX Benchmarking.

Что такое UX Benchmarking и как его проводить?

UX Benchmarking — это оценка пользовательского интерфейса по выбранным методикам и определенным метрикам, которые можно менять в процессе. По сути — это тестирование в динамическом режиме, когда в дизайн вносят правки и сразу проводят сравнение с установленным ранее стандартом. Состоит из 7 этапов:

Бенчмаркинг пользовательского интерфейса — это волшебная палочка для продуктового менеджера, когда нужно:

• Доказать собственную экспертность и показать конкретную ценность определенной фичи команде или руководству, чтобы «пушить» собственные решения. Помните, что ответственность за успех или провал продукта несет продакт-менеджер.
• Аргументировать перед инвесторами запрос на получение дополнительного финансирования на разработку и развитие проекта. В этом случае даже небольшое количество точных данных часто перекрывает теоретические выкладки.
• Проверить дизайнеров на соответствие результатов их труда запланированным KPI, OKR. «Доверяй, но проверяй» — пословица, которая актуальна в работе успешного продуктового менеджера с командой специалистов.
• Определить тенденции. Есть ли спрос на продукт, где провалы и другие. С помощью UX-бенчмаркинга можно лучше оценить текущую ситуацию, спрогнозировать дальнейшие расклады и внести изменения в продукт при необходимости.

В целом бенчмаркинг пользовательского интерфейса — это возможность получить точные данные, которые помогут объективно оценить эффективность дизайна. 

Как проводят UX-бенчмаркинг?

Для старта UX Benchmarking определяют, что измерять и по каким метрикам, с помощью какого исследования будет происходить сбор данных. В этом помогут ответы на следующие вопросы:

• На что влияет данная версия дизайна?
• Какие ценности в команде, чтобы хотели донести пользователям через продукт?
• Какие ценности ваших юзеров, что им нужно?
• Какие дизайн-решения подвести к KPI (исследования должны помогать в достижении конкретных целей компании, а не просто быть процессом)?

После получения ответов на перечисленные вопросы составляют список основных задач, которые выполняют пользователи при взаимодействии с продуктом. Далее определяют основные метрики, по которым будет производиться оценивание продукта. В качестве шпаргалки можно использовать framework от Google под названием HEART:

Обработку некоторых перечисленных метрик можно делегировать UX-дизайнерам. Например, определить уровень «Удовлетворенности» пользователя от взаимодействия продукта и связанные с ним показатели. Бывает ситуация наоборот, когда только product manager может работать с конкретной метрикой. Проработать тот же коэффициент оттока клиентов (churn rate) дизайнеры вряд ли смогут. 

Определите, как часто вы собираете данные о метриках и проводите последующий процесс UX Benchmarking. Например: после каждой итерации, каждый квартал, год. Это поможет избежать путаницы при сборе данных.

После постановки задач и метрик определяют, как получать и измерять данные. Для количественного и качественного анализа применяют три способа:

1. Аналитика. Автоматически получаем органический поток данных об использовании системы, которые в дальнейшем обрабатываем.
2. Юзабилити-тестирование. Участники — тестировщики или клиенты — взаимодействуют с продуктом, выполняя конкретные задачи. К примеру, в каталоге необходимо выбрать товар и сделать заказ.
3. Опросы. Список вопросов пользователям, ответы на которые помогут оценить тот или иной параметр. Хорошо показывает на большой выборке.

В идеале использовать три способа одновременно — это поможет определить все слабые и сильные места дизайна. Главное, выбрать правильный метод для каждого способа получения и измерения данных. На практике чаще всего используют метод сбора данных (Data Collection): наблюдаемый и переданный. Примером наблюдаемого сбора данных будет аналитика продукта. Мы каждый день заходим на Google Analytics, Q-UT и подобные сервисы, где наблюдаем за данными. Для переданного сбора применяют отзывы и опросы.

Есть еще  контекстный (Context) метод получения и измерения данных. Так определяют поведение пользователей при взаимодействии с продуктом естественным образом (через аналитику или опросы) либо с помощью тестирования через постановку задач юзерам с последующим получением данных (через Q-UT, интервью, опросы).

Практический пример: оцениваем время на подачу заявки

Когда определили метрики и выбрали методы измерения, переходят к сбору первичных метрических данных. Например, необходимо посчитать, сколько времени займет подача заявки на курс. В качестве метрики выбрали Average time on task (среднее время выполнения задачи). Для ее оценки можем использовать следующие способы:

1. Сравнение текущей версии дизайна со старой. Это дает понимание того, в правильном ли направлении движемся.
2. Сравнение с продуктом конкурента. Это классический подход, чтобы определить свой конкурентный потенциал по конкретному параметру с учетом реалий рынка.
3. Сравнение со средними показателям индустрии. Если у вас много конкурентов, имеет смысл проверить продукт относительно средних показателей. Такой подход поможет четче понимать собственное место на рынке по определенной метрике.
   
   
4. Сравнение с целями стейкхолдеров. По сути мы должны увидеть, насколько реальные результаты отличаются от ожидаемых, которые выведены на основании существующей статистики или рекомендаций экспертов.
   
   

После сбора первичных данных делают редизайн, а затем формируют массив новых значений по метрикам и сравнивают полученную информацию «до» и «после».

Другой пример. Исследуем дизайн интернет-магазина. Даем задание пользователям: купить в один клик. В качестве метрик выбираем:

• количество продаж;
• количество новых действий, пользователей;
• насколько легко пользователям взаимодействовать с продуктом.

Для исследования и измерения используем аналитику и опросники. В итоге получаем первичные данные. Записываем их, делаем редизайн, снова собираем информацию и потом сравниваем с изначальными по 7-балльной шкале, где 1 — это очень сложно, а 7 — очень легко. 

Если показатели имеют явно положительную тенденцию, как в примере с интернет-магазином, значит, редизайн успешный, но для точного ответа считаем ROI (Return on Investment). Это классическая формула показателя возврата инвестиций, чтобы измерить доход от конкретного вложения.

После подсчета ROI первый полноценный UX-бенчмаркинг считается завершенным. Последующие анализы дизайна можно начинать с пункта о редизайне (при условии, что задачи и список метрик не изменились).

Что доказывает улучшение UX

Ключевой момент в UX-Benchmarking — это определить, помог ли продукту редизайн. Увидеть эффективность помогают метрики, которые соответствуют KPI компании:  

• прибыль (Profit);
• стоимость привлечения клиента (Cost);
• показатель пожизненной ценности клиента (Customer Lifetime Value);
• коэффициент текучести кадров (Employee Turnover Rate).

Существуют и другие метрики, но всё упирается в деньги, которые в итоге заработает компания на продукте. Поэтому, в первую очередь, оцениваем показатели с точки зрения достижения приоритетных целей. Если результаты устраивают, двигаемся дальше. Если нет, проводим анализ текущих данных и определяем новые задачи с метриками. Дальше действуем по уже известному списку UX-бенчмаркинга.

Методы, описанные в статье, — это лишь небольшая часть того, как «следить за дизайном» и улучшать пользовательский опыт. Менеджеры иногда закрывают глаза на проблемы с UX или перекладывают ответственность на дизайнера. Однако важно понимать, что вы делаете один продукт и ответственность у вас общая. 

Менеджер, который разбирается в UX, может ставить четкое ТЗ дизайнеру, аргументировать свои UX-решения или предотвратить ряд ошибок уже на старте.