Метрики дизайну: як відстежувати ефективність

Метрики дизайну: як відстежувати ефективність

8 October 2021

  • Автор: Леся Орловская

  • Складність: норм

  • Час: 7 хв

Гарний дизайн — це баланс між зовнішнім виглядом та юзабіліті. Тоді продукт має шанс на успіх. Тому для менеджерів, бізнес-аналітиків та маркетологів важливо знати, як правильно досліджувати, вимірювати та відстежувати ефективність дизайну. Давайте розбиратися разом.

Види досліджень дизайну

Зовнішній вигляд продукту може тішити око, але якщо юзабіліті підкачало, існує ризик, що клієнти підуть через незручності у використанні. З іншого боку, обгортка теж важлива, тому що людям подобаються гарні речі. Щоб об’єктивно оцінити дизайн та зручність продукту існує два види досліджень: кількісний та якісний аналіз. Обидва можна використовувати окремо, але для більш точної оцінки краще поєднувати.

Кількісний аналіз

Спосіб оцінити дизайн рішень та продуктових фіч за допомогою цифр. Допомагає аргументувати та підтверджувати гіпотези, а також уникнути зайвих обговорень із прагматиками у вашій команді.

Для кількісного аналізу дизайну часто використовують UX-метрики (UX Metrics), дані для яких зазвичай одержують після юзабіліті-тестування. Ці метрики застосовують фахівці, які працюють із логікою в компанії: UX-дизайнери, UX-ресерчери, бізнес-аналітики. За допомогою UX-метрик можна словесно описати і кількісно уявити якусь дію, але визначити те саме ревеню складно.

Приклади UX Metrics:

  • Порахувати час, щоб знайти номер телефону на сайті.
  • Зафіксувати кількість кліків на кнопку Try Now.
  • Визначити кількість витраченого часу на пошук пісень, доданих у музичний додаток у конкретну дату.

Якісний аналіз

На відміну від кількісного, це живе спілкування з користувачами продукту. Для його проведення добре працюють інтерв’ю, запис відео та аудіо з коментарями, тестування та опитування користувачів.

Іноді UX-ресерчери, бізнес-аналітики та менеджери ігнорують дані, отримані завдяки якісному аналізу, тому що орієнтуються лише на факти із підтвердженими цифрами. У результаті упускається важлива складова дослідження дизайну — що і чому насправді відбувається у продукті. Якісний аналіз (Qualitative Research) допомагає відповісти на ці запитання.

Наприклад, отримали кількісні дані, що падає конверсія. Подивилися в Google Analytics і побачили, що активність знижується на певних сторінках. Залишається з’ясувати, чому так відбувається. Можливо трафік не цільовий або проблеми з посадковою сторінкою. У будь-якому випадку потрібно працювати із зовнішнім та внутрішнім маркетингом продукту та логікою. Тут допоможе якісний аналіз дизайну: потрібно зрозуміти, чим клієнти задоволені, а що хотіли б змінити. Для цього підійде інтерв’ю або будь-який інший інструмент прямого або опосередкованого спілкування з користувачами.

Цей приклад ілюструє важливість проведення як кількісного, так і якісного аналізу. Спільне їх використання допомагає: більше заглибитись у продукт та зрозуміти причину успіху чи провалу на даному етапі, визначити, що робити далі.

4 ролі у продуктовому дизайні

Головне у роботі будь-якого колективу — це чітке розуміння, хто відповідає. В ідеальному світі, команда з продуктового дизайну розподілена за ролями, кожна з яких робить внесок у проєкт:

  • UX-дизайнер (UX Designer). Працює із логікою продукту. Він може проводити юзабіліті-тестування та вивчення поведінки користувачів, брати участь у розробці юзерс сториз. UX-метрики це його сфера відповідальності.
  • UI-дизайнер (UI Designer). Займається лише інтерфейсами, малює low та high fidelity mockups (чорновий та фінальні варіанти продукту). Щільно взаємодіє з UX-дизайнером, отримуючи від нього базову інформацію про логіку продукту, розташування блоків з елементами та їх взаємозв’язок між собою. Залучати UI-дизайнера до роботи з метриками немає сенсу, це фахівець-виконавець у завершальній фазі.
  • Продуктовий дизайнер (Product Designer). Це бізнес орієнтований фахівець, який насамперед вивчає цілі продукту та шукає рішення. Працює з метриками, безпосередньо взаємодіє із бізнес-аналітиком, менеджером продукту/проєкту, клієнтом. Основні завдання (крім відтворення дизайну): A/B тестування, робота з проблемами користувачів, проведення інтерв’ю.
  • Дизайнер по взаємодії (Interaction Designer). Вилітаючі салюти, котики, які махають лапкою і подібний інтерактив — це до цього фахівця. Він не працює з метриками, але може безпосередньо на них впливати. Наприклад, підвищити залучення чи рівень задоволення користувачів від взаємодії з продуктом. Оптимальна схема роботи з Interaction Designer — постановка завдання від менеджера на опрацювання певної метрики, а дизайнер уже сам шукає та пропонує рішення.
Метрики дизайну: як відстежувати ефективність

Formative допомагає оцінити дизайн продукту ще у процесі розробки. Тут доречний якісний аналіз, коли через інтерв’ю чи тестування перевіряють гіпотези.

Summative — метод оцінки вже завершеного дизайну. Актуальний при редизайні, коли можна застосувати кількісний аналіз для порівняння показників “до” і “після”. ​​

Перелічені ролі — це не обов’язково різні люди. У стартапах або невеликих усталених компаніях часто одна людина займається відразу кількома напрямками. Це нормальне явище, але ефективніше, коли у команді є чіткий поділ на ролі. Тоді простіше оцінювати дизайн на різних стадіях готовності, використовуючи методи Formative та Summative.

Обидва методи описують, на якій стадії проводиться оцінка дизайну і які види аналізу краще використовувати. Сам процес оцінювання краще проводити у форматі UX Benchmarking.

Що таке UX Benchmarking та як його проводити?

UX Benchmarking — це оцінка інтерфейсу користувача за обраними методиками і певними метриками, які можна змінювати в процесі. По суті це тестування в динамічному режимі, коли в дизайн вносять правки і відразу проводять порівняння з встановленим раніше стандартом. Складається з 7 етапів:

Метрики дизайну: як відстежувати ефективність

Бенчмаркінг інтерфейсу користувача — це чарівна паличка для продуктового менеджера, коли потрібно:

  • Довести власну експертність та показати конкретну цінність певної фічі команді чи керівництву, щоб «пушити» власні рішення. Пам’ятайте, що відповідальність за успіх чи провал продукту несе продакт-менеджер.
  • Аргументувати перед інвесторами запит на отримання додаткового фінансування на розробку та розвиток проєкту. В цьому випадку навіть невелика кількість точних даних часто перекриває теоретичні викладки.
  • Перевірити дизайнерів на відповідність результатів їхньої праці запланованим KPI, OKR. «Довіряй, але перевіряй» — прислів’я, яке актуальне в роботі успішного продуктового менеджера з командою фахівців.
  • Визначити тенденції. Чи є попит на продукт, де провали та ін. За допомогою UX-бенчмаркінгу можна краще оцінити поточну ситуацію, спрогнозувати подальші розклади та внести зміни до продукту за потреби.

В цілому бенчмаркінг інтерфейсу користувача — це можливість отримати точні дані, які допоможуть об’єктивно оцінити ефективність дизайну.

Як проводять UX Benchmarking?

Для старту UX Benchmarking визначають, що вимірювати і за якими метриками, за допомогою якого дослідження відбуватиметься збір даних. У цьому допоможуть відповіді такі питання:

  • На що впливає ця версія дизайну?
  • Які цінності в команді, що би хотіли донести користувачам через продукт?
  • Які цінності ваших користувачів, що їм необхідно?
  • Які дизайн-рішення підвести до KPI? (дослідження повинні допомагати у досягненні конкретних цілей компанії, а не просто бути процесом)

Після отримання відповіді на перелічені питання складають список основних завдань, які виконують користувачі під час взаємодії з продуктом. Далі визначають основні метрики, якими проводитиметься оцінювання продукту. Як шпаргалку можна використовувати framework від Google під назвою HEART:

Метрики дизайну: як відстежувати ефективність

Обробку деяких перерахованих метрик можна делегувати UX-дизайнерам. Наприклад, визначити рівень «задоволеності» користувача від взаємодії з продуктом та пов’язані з ним показники. Буває ситуація навпаки, коли тільки product manager може працювати з конкретною метрикою. Пропрацювати той самий коефіцієнт відтоку клієнтів (churn rate) дизайнери навряд чи зможуть.

Визначте, як часто ви збираєте дані про метрики та проводите подальший процес UX Benchmarking. Наприклад: після кожної ітерації, кожний квартал, рік. Це допоможе уникнути плутанини при збиранні даних.

Після постановки завдань та метрик визначають, як отримувати та вимірювати дані. Для кількісного та якісного аналізу застосовують три способи:

  1. Аналітика. Автоматично отримуємо органічний потік даних про використання системи, які надалі обробляємо.
  2. Юзабіліті-тестування. Учасники — тестувальники чи клієнти — взаємодіють з продуктом, виконуючи конкретні завдання. Наприклад, у каталозі необхідно вибрати товар та зробити замовлення.
  3. Опитування. Список запитань користувачам, відповіді на які допоможуть оцінити той чи інший параметр. Добре показує на великій вибірці.

В ідеалі використовувати три способи одночасно — це допоможе визначити всі слабкі та сильні місця дизайну. Головне, вибрати правильний метод для кожного способу отримання та вимірювання даних. На практиці найчастіше використовують метод збору даних (Data Collection): спостережуваний та переданий. Прикладом спостереження збору даних буде аналітика продукту. Ми щодня заходимо на Google Analytics, Q-UT та подібні сервіси, де спостерігаємо за даними. Для переданого збору застосовують відгуки та опитування.

Є ще контекстний (Context) метод отримання та вимірювання даних. Так визначають поведінку користувачів при взаємодії з продуктом природним чином (через аналітику або опитування) або за допомогою тестування через постановку завдань користувачам з подальшим отриманням даних (через Q-UT, інтерв’ю, опитування).

Метрики дизайну: як відстежувати ефективність

Практичний приклад: оцінюємо час на подання заявки

Коли визначили метрики та вибрали методи вимірювання, переходять до збирання первинних метричних даних. Наприклад, необхідно порахувати, скільки часу займе подання заявки на курс. Як метрику вибрали Average time on task (середній час виконання завдання). Для її оцінки можемо використовувати такі способи:

1.Порівняння поточної версії дизайну зі старою. Це дає розуміння того, чи в правильному напрямку рухаємося.

Метрики дизайну: як відстежувати ефективність

2. Порівняння із продуктом конкурента. Це класичний підхід, щоб визначити свій конкурентний потенціал за конкретним параметром з урахуванням реалій ринку.

Метрики дизайну: як відстежувати ефективність

3. Порівняння із середніми показниками сфери. Якщо у вас багато конкурентів, є сенс перевірити продукт щодо середніх показників. Такий підхід допоможе чіткіше розуміти власне місце на ринку за певною метрикою.

Метрики дизайну: як відстежувати ефективність

4. Порівняння з цілями стейкхолдерів. По суті, ми повинні побачити, наскільки реальні результати відрізняються від очікуваних, які виведені на підставі існуючої статистики чи рекомендацій експертів.

Метрики дизайну: як відстежувати ефективність

Після збору первинних даних роблять редизайн, а потім формують масив нових значень за метриками та порівнюють отриману інформацію «до» та «після».

Інший приклад. Досліджуємо дизайн інтернет-магазину. Даємо завдання користувачам: купити в один клік. В якості метрик вибираємо:

  • кількість продажів;
  • кількість нових дій, користувачів;
  • наскільки легко користувачам взаємодіяти з продуктом.

Для дослідження та вимірювання використовуємо аналітику та опитувальники. У результаті одержуємо первинні дані. Записуємо їх, робимо редизайн, знову збираємо інформацію і потім порівнюємо з початковими за 7-бальною шкалою, де 1 це дуже складно, а 7 дуже легко.

Метрики дизайну: як відстежувати ефективність

Якщо показники мають явно позитивну тенденцію, як у прикладі з інтернет-магазином, то редизайн успішний, але для точної відповіді рахуємо ROI (Return on Investment). Це класична формула показника повернення інвестицій, щоб виміряти прибуток від конкретного вкладення.

Метрики дизайну: як відстежувати ефективність

Після підрахунку ROI перший повноцінний UX-бенчмаркінг вважається завершеним. Подальші аналізи дизайну можна розпочинати з пункту про редизайн (за умови, що завдання та список метрик не змінилися).

Що доводить покращення UX

Ключовий момент у UX-Benchmarking — це визначити, чи допоміг продукту редизайн. Побачити ефективність допомагають метрики, які відповідають KPI компанії:

  • прибуток (Profit);
  • вартість залучення клієнта (Cost);
  • показник пожиттєвої цінності клієнта (Customer Lifetime Value);
  • коефіцієнт плинності кадрів (Employee Turnover Rate).

Існують й інші метрики, але все впирається у гроші, які в результаті заробить компанія на продукті. Тому, насамперед, оцінюємо показники з погляду досягнення пріоритетних цілей. Якщо результати влаштовують, рухаємось далі. Якщо ні, проводимо аналіз поточних даних та визначаємо нові задачі з метриками. Далі діємо за вже відомим списком UX-бенчмаркінгу.

Методи, описані в статті, — це лише невелика частина того, як «стежити за дизайном» і покращувати користувальницький досвід. Менеджери іноді заплющують очі на проблеми з UX або перекладають відповідальність на дизайнера. Однак важливо розуміти, що ви робите один продукт, і відповідальність у вас спільна.

Менеджер, який розуміється на UX, може ставити чітке ТЗ дизайнеру, аргументувати свої UX-рішення або запобігати низці помилок вже на старті.

Леся Орловская