Карточная сортировка – это метод для проверки или создания структуры элементов и навигации: правил группировки и названия групп.
Виды карточной сортировки:
- Открытая – создание групп
- Закрытая – распределение по группам
- Обратная – поиск элемента в структуре
Иногда используют не один вид сортировки, а несколько вместе: в серии заданий или исследований.
Пример. Проверить категоризацию и уточнить ее, добавив новые категории, с помощью открытой и закрытой сортировки, а потом пройти сравнительную обратную сортировку, чтобы проверить результат – действительно ли навигация стала проще и быстрее.
В этом руководстве мы остановимся подробнее на двух видах прямой сортировки: открытой и закрытой.
Задачи исследования и выбор метода
Первый этап – постановка задачи, исходя из того, какие решения правда могут быть приняты и какие ресурсы для этого доступны. Только второй – выбор подходящего метода.
Карточная сортировка поможет: увеличить релевантные просмотры, конверсию и удовлетворённость пользователей, сократить расходы на службу поддержки, если вы можете изменить навигацию. При этом не так важно, будет ли это навигация весов в магазине продуктов, категорий онлайн магазина одежды, рубрик контентного проекта или тасков для колл-центра.
Справка. Ключевые характеристики UX навигации Для количественного исследования задание должно быть максимально чётким, чтобы разные пользователи поняли его одинаково. Такое исследование удобнее делать онлайн, но из-за этого вы не увидите, отвлекается ли пользователь, стало ли ему скучно. Количество элементов должно не переутомлять пользователя, а задание содержать интересный и точный контекст.чевые характеристики UX навигации
- Объективная и субъективная быстрота поиска нужного элемента, чтобы пользователь не устал и не отвлёкся
- Уверенность, что увидел все возможные опции и при этом не встретил субъективно лишнего
- Оптимальный выбор: 1000+ товаров и 10+ страниц пугают, тогда как 5-10 товаров, даже если они подходят под критерии выбора, создают впечатление, что “тут ничего нет”
Ограничения метода
- Пользователь – не эксперт. Исследование выявляет проблемы, а не дает их решения, но и в этом не стоит полагаться напрямую на респондента – потребуется аналитика.
- Задача должна быть выполнимой: некоторые наборы элементов сложно рассортировать, а устав, пользователь начнет выдумывать, чтобы поскорее закончить. Выполнимость можно оценить с помощью здравого смысла или пилота исследования.
Пример. Навигация сайта, содержащего в себе разные контентные проекты, выстроена исторически, по ходу развития проектных команд. Пользователь не понимает, что скрывается за кнопками меню и случайно переходит с одного проекта на другой. Проведя сортировку, вы можете узнать, какие основания для деления были бы более актуальны, придумать говорящие названия, продумать flow под разные сегменты. Но если менеджмент не готов к таким изменениям, вы потратите время и деньги впустую.
Открытая и закрытая карточная сортировка
В этом руководстве ведётся речь о двух видах прямой сортировки: открытой и закрытой.
- Открытая сортировка – задания на создание групп из предложенных элементов, где количество групп и их названия определяет сам респондент, чтобы максимально полно раскрыть логику пользователя.
- Закрытая сортировка – задания на распределение элементов по группам, названия и количество которых заранее определены бизнесом или экспертами, чтобы проверить, отвечает ли такое деление представлениям обычных пользователей.
Применимость и ограничения по типам сортировки
Открытая | Закрытая | |
---|---|---|
Вопросы | – Звучат ли в языке пользователей категории, которыми вы пользуетесь? – Однороден ли этот язык? Есть ли там лучшее варианты? – Какие элементы пользователи ожидают видеть вместе, а какие раздельно, важно ли это? – Какие основания структуры приходят в голову пользователям в первую очередь? Есть ли вариации в зависимости от пользовательского опыта? – Сколько различных оснований? | – Понятны ли категории пользователям, совпадает ли их определение с вашим? – Какие элементы пользователь ожидает увидеть в каком разделе? – Исчерпывающая ли категоризация – Сколько ушло в “Другое”? Все ли категории заполнились? Однородно ли? – Очевидно ли основание категоризации, которое вы используете? – Насколько однородно пользователи справляются – всем ли понятно и что на это влияет? |
Возможности | – Не наталкиваете на ответ своими вариантами – Понятия близкие вашим пользователям – Можно увидеть неожиданные основания для деления | – Выбирать проще, чем придумывать – Экспертно созданные категории – Единое основание для статистического анализа |
Ограничения | – Неизвестно, если пользователь увидел бы другой вариант, был бы он ему также понятен, или подходит только его вариант – Иногда категории не могут отталкиваться от языка пользователя из-за стилевых, бизнесовых, интерфейсных требований – уточните это заранее – Обработка – придется кодировать ответы, что займет какое-то время при большой выборке | – Ограниченность опций вашей способностью придумывать и взглядами, что хорошо, что плохо – Необходимо разработать категории |
Пример
На UX тестах магазина одежды выявлено, что пользователи часто затрудняются, что такое “анораки”, “мюли” и избегают эти категории. Но есть опасение, что неискушённые пользователи разделят огромный каталог на понятные им “куртки” и “тапки”, что не сочетается с позиционированием самого магазина, требованиями отдельных брендов и неудобно. Совместим открытую и закрытую карточные сортировки, чтобы узнать, насколько подробный язык используют сами пользователи, но и проверить, какие категории им понятны, а какие нет.
Анализ: Количественный и качественный
В зависимости от задач карточную сортировку можно производить с упором на понимание логики, распространенность конкретных сценариев и названий или копать глубже.
- Качественное исследование – это интервью или фокус группы, которые помогают получить развернутые объяснения логики, понять потребности, которые за ней стоят, почувствовать эмпатию к пользователям и передать ее команде, чтобы потом построить навигацию, которая будет отвечать реальным задачам пользователям. Понадобится возможность организовать такую личную продолжительную работу.
- Количественные исследования выясняют, насколько такие сценарии или названия распространены в аудитории, для каких групп типичны, каким группам, что свойственно, но и найти статистические закономерности скрытых взаимосвязей. Понадобится много участников (min – 30) и организация сбора и обработки большого количества данных.
Для качественной открытой карточной сортировки особый интерес представляет фокус-группа: вы услышите реакцию пользователей на предложения других пользователей, а им будет проще генерировать идеи. Для группы потребуется модерация, чтобы не было явного лидера, и все голоса были услышаны.
Как правило, проводят несколько фокус групп, чтобы их сравнить. Стандартный размер одной ФГ – 6-8 человек, но для задания на сортировку удобнее группы по 3 человека.
Карточная сортировка может быть не основной задачей фокус группы, а помогать организовать групповую работу на ряду с другими техниками. Тогда перед заданием разделите стандартную группу на 2-3 подгруппы. Сначала пусть они сделают задание внутри подгруппы, а потом представители групп расскажут и сравнят результаты. Записывайте видео беседы, чтобы потом услышать обсуждение, и фиксируйте результаты на фото.
!При маленькой, неслучайной выборке вы не можете оперировать показателями количества. Один ответ так же важен, как и четыре, статистика здесь неприменима, поэтому мы не знаем, как бы распределилось мнение среди всех пользователей.
Варианты смешения подходов:
- Добавьте в количественный метод после заданий на сортировку открытый вопрос “Почему”. Например: “Напишите подробно, чем вы руководствовались при в распределении элементов”
- Проведите 20-30 интервью с карточной сортировкой, при этом позаботьтесь о выборке, как для количественного исследования. Для открытой сортировки лучше также подготовить закрытия, чтобы было проще проанализировать, и вести заранее формализованный протокол, чтобы ничего не упустить с каждым респондентом
- Для первого этапа исследования выберите один метод, отвечающий на основной вопрос, а вторым проведите другой метод, дополнив и ответив на возникшие после первого этапа вопросы
Способы проведения: онлайн и офлайн
Количественную сортировку проще сделать с помощью онлайн инструментов, качественные интервью предпочтительнее делать офлайн, но можно реализовать и в онлайне при наличии нужных инструментов, но не фокус группу.
Офлайн
Офлайн исследование позволяет настроить доверительное общение, что очень важно для качественного исследования.
Вам потребуется:
- Помещение
- Видео-, аудио-, фотоаппаратура, возможно, организация трансляции для коллег
- Физические карточки, организация их хранения и переноса в другой формат для анализа
Найти людей, которые смогут к вам приехать, или ездить к ним самим
Коридорное исследование – предельный вид упрощенного офлайн “качественника”.
Как правило, речь идет о тестах с коллегами, напрямую не связанными с продуктом, или с прохожими в людном месте. Лучше, чем ничего, но продумайте, чем именно доступная аудитория отличается от ЦА, и помните об ограничениях при оценке результатов.
- Коллеги вместо респондентов подходят для первого подхода к исследованиям, когда очень важно найти самые очевидные проблемы и нет бюджета и времени, а также для пилота самого исследования
- Прохожие – сложный ресурс для карточной сортировки, придётся сделать очень быстрый сценарий и продумать, как её осуществлять – найти укромное место со столом для физических карточек или ноутбука с онлайн сортировкой.
Онлайн
Онлайн формат ценен тем, что оптимизирует ресурсы на проведение и анализ исследования.
- Не требуется перенос данных, иногда реализована и последующая аналитика
- Респонденты потратят меньше времени на то, чтобы добраться до вас
- В немодерируемой сортировке респонденты смогут принять участие в удобное им время, параллельно с другими участниками и вне рабочих часов
Софт для проведения карточной сортировки онлайн
- Специализированный для карточных сортировок: например, Optimal Workshop
- Тип вопроса в опросном софте: например, есть в SurveyGizmo
- Доски с совместным доступом: Miro, Trello
Респонденты
Приглашение респондентов – солидная статья бюджета на исследование и трудоемкий процесс, поэтому важно оценить, на что вам может хватить ресурсов и какую ценность это принесёт. В одной ситуации достаточно провести коридорное исследование, а в другой так вы только дальше уйдёте от клиента.
Вознаграждение
Вопрос о том, нужно ли вознаграждение за исследование обширно изучается социальными науками. Как правило, спор ведется вокруг искажений, которое оно вносит.
- Бесплатно могут захотеть участвовать очень лояльные пользователи, “жалобщики” или те, кому нечем заняться
- За скидки и сувенирную продукцию – слишком лояльные или жадные
- За деньги – “профессиональные” респонденты, которые ходят на исследования как на работу и часто врут, чтобы попасть под критерии отбора
Сегодня принято платить респондентам, чтобы упростить рекрут и проявить уважение ко времени респондента.
За интервью и фокус-группу в среднем платят около 1000-1500 руб. на человека, за опрос – 100-150 руб. Вознаграждение увеличивается, если сложно найти желающих и уговорить участвовать, а если их очень много, интересная тема или всем хочется увидеть ваш офис – можно обойтись без вознаграждения. Кроме того, вы можете дарить сертификаты или сувениры, делать пожертвования фонды, делиться информацией.
Способы поиска респондентов
- Приглашение подходящих пользователей через контакт центр и менеджеров по продажам
- Рассылка по базе клиентов, уведомление с приглашением в скрининговую анкету
- Посты в группах в социальных сетях со схожими интересами
- Рекрутинговое агентство, панель респондентов
- “Снежный ком” – сеть рекомендаций из доступных вам точек входа: посты и репосты в социальных сетях, рекомендации знакомых
Приглашение
Расскажите, что будет происходить, где, когда, сколько займёт, какое вознаграждение предусмотрено. Не раскрывайте критерии отбора и глубинные цели проекта самому респонденту. Предупредите, что не нужно специально готовиться.
Иногда респонденты не нарочно обманывают рекрутера, а некоторые специально притворяются кем-то другим, чтобы получить вознаграждение, поэтому дополнительно проверяйте респондента неявными вопросами в начале исследования и сверяйте “клиентов” по данным в ваших системах.
Подготовка инструментария
Карточки для сортировки
Для сортировки можно использовать готовые элементы навигации: товары, функции, категории каталога, или придумать на мозговом штурме, если это новый продукт.
Карточки не должны наводить пользователя на очевидный ответ, но это не должно быть слишком сложно.
Требования к карточкам
- Элементы одного рода – не являются подвидами друг друга: либо яблоки и апельсины, либо овощи и фрукты.
- Категории для закрытой сортировки также одного рода: либо овощи и фрукты, либо цитрусовые и корнеплоды.
- Элементы не распадаются на очевидные группы. Земляника, клубника, картошка и капуста – очевидно ягоды и овощи. При добавлении помидора сортировка становится актуальна; но если в этот же список включить “сделать заказ”, “добавить в корзину”, “оставить отзыв” – наоборот, все первые станут товарами, а вторые функциями магазина, что не даст никакой информации о логике пользователя
- Релевантны для всей аудитории, которую изучаем: товары для детей лучше изучать с теми, у кого они есть, и исключить в работе с остальными пользователями, чтобы не собрать множество гипотетических ответов
- Названия четкие, короткие, без повторяющихся и похожих слов: веганский крем, веганский хлеб, вегетарианское мясо – обычными пользователями будут отнесены в одну группу скорее всего из-за слов “веганское” и “вегетарианское”, а не потому, что их будут искать в одном разделе сайта
Сокращение количества элементов
Рекомендуется выбрать от 30 до 100 карточек, чтобы пользователь мог справиться с заданием. Стоит дополнительно уменьшить количество карточек, если сортировка неочевидная, метод количественный и проводится онлайн.
- Уберите лишнее и приоритезируйте оставшееся: по популярности, типичности
- Если элементы очевидным образом делятся на большие группы, разбейте исследование на этапы, чтобы изучить разные наборы на каждом этапе
- Если элементы очевидно разбиваются на большое количество подгрупп – сортируйте группы вместо элементов
- Если элементы многочисленны, но не распадаются на группы – попробуйте математическую организацию
Способы группировки
- По смыслу – темы, категории товара: сортировать не конкретные SKU, а брюки, джинсы, леггинсы и т.д.
- Существующая структура интерфейса: сначала изучить одежду, потом обувь
- ЦА: сначала сделать сортировку среди женщин, отбросив, то, что им не подходит, потом для мужчин, потом для детей
- Математическая организация: случайный отбор в группы с пересечением элементов: 300 элементов разбиваем на 4 сортировки по 100 элементов. Для этого составляем список из 300 элементов в excel, в соседней колонке вводим формулу =СЛЧИС(), протягиваем весь столбец, сортируем обе колонки по колонке со случайными значениями. В первую сортировку берем первые получившиеся 100 – копируем в другое место, но не удаляем из исходного списка. Повторяем сортировку по второму столбцу, заново перемешивая элементы. И снова берем первые 100. Так еще два раза. Можно дополнительно вычислять с помощью формулы =СЛУЧМЕЖДУ(1;300) строчку, с которой начинать копировать.
Советы
- После сокращения, в особенности, при математическом подходе, проверьте получившийся набор на адекватность – можно ли сгруппировать отобравшиеся элементы
- Можете оставить парочку очевидных вариантов для разогрева – чтобы респонденту было с чего начать и почувствовать уверенность
- Заготовьте пустые или продублируйте карточки для попадания одного элемента в разные группы
Сценарий качественного исследования
План дискуссии для качественного исследования
1) Знакомство и правила игры. Объясните, что нужно выбирать наилучшие варианты для себя самого, а не планировать навигацию для других. Расскажите, как именно вы будете использовать результаты. Предупредите о записи и других организационных моментах.
2) Знакомство с карточками. Попросите ознакомиться с каждой из них до того, как объясните, что и как группировать. Непонятные лучше сразу отложить.
3) Группировка карточек.
- Открытая сортировка:
- Лучше не говорить заранее, что группы нужно называть, так как давать названия довольно сложно, и это может начать определять группировку больше, чем родство и различие элементов
- При необходимости вводите ограничения на количество групп или элементов в группе поэтапно: сначала пользователь сортирует, как ему хочется, а потом вы просите переделать с учётом ограничений, уточняя про отличия
- Закрытая сортировка: Уточните, все ли названия групп понятны, и отложите неизвестные. Расскажите, что делать с карточками, которые подходят в несколько групп или не подходят никуда.
4) Названия для групп
- Открытая сортировка: Попросите придумать и записать названия.
- Закрытая сортировка: Обсудите, подходят ли названия групп и могли ли быть другие
5) Обсуждение получившихся групп и возможность для перегруппировки. Уточните, насколько респондент доволен результатом, было ли сложно и почему.
Варианты вопросов для сценария для группировки карточек
- Разделите элементы на группы. Комментируйте вслух, что вы думаете, когда принимаете решения. По какому принципу вы их делите?
- Открытая сортировка: Использовался ли тут единый подход, по которому разделили (знаменатель), или больше опирались на схожесть элементов?
- Закрытая сортировка: Достаточно ли вам этих групп? Каких не хватает? Всем ли элементам хватило места?
- Почему вы положили именно этот элемент в эту группу? Мог бы он быть и в другой группе или только в этой? Почему? В каких группах он точно быть не может? Как вы думаете, какие другие элементы могут быть в группе? Почему? Есть ли элементы, которые в ней быть не могут? Какие элементы группы лучше всего отражают её суть?
- Открытая сортировка: Почему эти элементы лежат вместе? Можно ли их сгруппировать как-то по-другому? Это важно, чтобы они лежали вместе?
- Видели ли вы где-то до этого такие примеры? На что вы опираетесь, когда принимаете такое решение?
- Довольны ли вы тем, как поделились элементы на группы или это скорее компромисс? Что было сложно распределить, а что, наоборот, легко?
Задания для количественной сортировки
Для количественного исследования задание должно быть максимально чётким, чтобы разные пользователи поняли его одинаково. Такое исследование удобнее делать онлайн, но из-за этого вы не увидите, отвлекается ли пользователь, стало ли ему скучно. Количество элементов должно не переутомлять пользователя, а задание содержать интересный и точный контекст.
По аналогии со сценарием для качественных исследований, первым вопросом отсейте неизвестные или непонятные карточки и категории.
В задании на сортировку уточните, что нужно распределить все элементы и что делать с непонятными, укажите ограничение по количеству групп. Для закрытой сортировки не забудьте добавить варианты ответа “Другое”, “Затрудняюсь ответить”
Пример задания для открытой сортировки
Перед вами 20 заголовков статей. Разделите их на группы так, как вы бы ожидали увидеть их в онлайн-журнале. Придумайте названия для получившихся рубрик. В ответе опирайтесь на личный опыт и предпочтения.
Пример задания для закрытой сортировки
Ниже перечислены бренды косметики. Перенесите элемент в одну из категорий справа, в каком разделе сайта вы бы ожидали его увидеть. Если бренд подходит в несколько категорий, нажмите на него два раза. Если вы совершенно точно не знаете, куда отнести бренд, отнесите его в группу “Другое”
Пропилотируйте проходимость: возьмите коллег, которые более-менее подходят под критерии отбора респондентов, и попросите их сделать запрограммированную карточную сортировку при вас, при этом комментируя, легко ли им понять и выполнить задание, что они думают, как принимают решение.
Выборка
Качественная выборка
Достаточно 5 сессий, чтобы найти закономерности.
Если ваша аудитория разнородная, и все её группы одинаково важны, можно сделать несколько групп в выборке, чтобы сравнивать их между собой, или собрать очень разных представителей в одну. Продумайте, какие именно параметры действительно могут повлиять логику респондента, чтобы не включить лишнее.
Пример. Выборка для качественной карточной сортировки для онлайн магазина
Клиенты основного конкурента | Никогда не покупали у основного конкурента | |
Клиенты магазина | 3 респондента | 3 респондента |
Потенциальные клиенты | 3 респондента | 3 респондента |
Итого: 6 респондентов
Количественная выборка
Для количественного анализа важно количество респондентов, то, как их набрали и насколько эта группа похожа на ваших пользователей.
Размер выборки
Минимальная выборка для количественного анализа начинается от 30 респондентов.
Значимые результаты можно получить при выборке 1000–1500 пользователей.
Отбор
В идеале для статистического анализа необходимо организовать случайный отбор – рандомизированно отправлять приглашения из полной базы всех потенциальных участников.
В реалиях недоступности и большого количества неответов вопрос решается жесткой структурой выборки, контрольными параметрами и учётом возможных отклонений, которые вносит способ приглашения, ресурс для рекрута.
Структура
Структура выборки рассчитывается на параметрах, которые известны о целевой аудитории вашего исследования.
Для реализации структуры в выборке можно использовать квоты или взвешивание.
Для карточной сортировки проще организовать квоты.
Дополнительно стоит включить пару контрольных переменных, данные о распределении которых среди всех пользователей у вас уже есть – так вы сможете понять, чем отличается выборка и составить гипотезы, как бы выглядело распределение ответов, если бы ответили все пользователи.
Пример
Вы хотите собрать мнения пользователей онлайн кинотеатра и ожидаете, что важным параметром для сортировки будет опыт пользования. Из Google Analytics вам известно, сколько уникальных пользователей в месяц воспользовались им впервые, сколько с оформленной подпиской. Кроме того, возможно, социально-демографические характеристики также влияют на то, как структурируют для себя видеоконтент люди. Ниже в таблице расчет квот. Также, из brand health трекинга известно, что ваша аудитория на 50% пересекается с конкурентом. Это контрольный параметр. По результатам сортировки вы видите, что только 30% выборки указали, что они пользуются конкурентом – значит, вы собрали более лояльную аудиторию или использовали канал, где больше именно ваших пользователей.
Количество уникальных пользователей | Женщины, до 25 | Женщины, 26+ | Мужчины, до 25 | Мужчины, 26+ |
Новые пользователи | 5000 | 5000 | 5000 | 5000 |
Старые пользователи без подписки | 10000 | 10000 | 10000 | 10000 |
Старые пользователи с подпиской | 3000 | 3000 | 3000 | 3000 |
Итого: 72 000 уникальных пользователей за последний месяц
Количество уникальных пользователей | Женщины, до 25 | Женщины, 26+ | Мужчины, до 25 | Мужчины, 26+ |
Новые пользователи | 50 | 50 | 50 | 50 |
Старые пользователи без подписки | 100 | 100 | 100 | 100 |
Старые пользователи с подпиской | 30 | 30 | 30 | 30 |
Итого: 720 респондентов
Реализация
- Проверьте, какие ограничения есть у софта, которым вы собираетесь пользоваться: сколько карточек, сколько респондентов, доступно ли переиспользование одной и той же карточки в разных группах, если она подходит в нескольких местах.
- Перед самим полем обязательно проверьте ещё раз все ваши инструменты, проведя пилот, как самой сортировки, так и её анализа. Так вы сможете проверить, что всё работает и быть спокойны, что по завершению основной работы не столкнетесь с проблемой.
- Проверьте, чтобы респондент не видел карточек раньше времени, чтобы не отвлекался.
- В очной встрече уделите особое внимание установлению доверительного контакта. Не подсказывайте и не наталкивайте на ответы своими оценками, но не забывайте улыбаться.
Анализ
При анализе и интерпретации обязательно обратитесь снова к вопросам и учтите их формулировки и возможность выбрать 1 или несколько ответов.
Качественный анализ
Качественный анализ предполагает работу не только с конкретными ответами, но и с объяснениями, пара-данными.
Опорные вопросы для анализа:
- Как объясняли свои действия респонденты по наводящим вопросам сценария?
- Какие элементы первым находили своё место, а какие последними?
- Как быстро справлялись и были ли споры в группе, сомнения у респондента?
- Выделились ли какие-то явные группы элементов, пары элемент-категория?
- Совпадает ли это с вашими представлениями?
!При маленькой, неслучайной выборке вы не можете оперировать показателями количества. Один ответ так же важен, как и четыре, статистика здесь неприменима, поэтому мы не знаем, как бы распределилось мнение среди всех пользователей.
Количественный анализ
В закрытой сортировке можно сразу переходить к вычислениям, а открытую сортировку нужно предварительно закодировать.
Варианты кодировки
- Использовать самые популярные слова, а, остальное поместить в “другое”
- Объединить похожие по смыслу слова в одно понятие
- Смысловая кодировка не напрямую: например, по близости к исходной категоризации: отметить, какие попали, какие были близко, а какие совсем другие
Частотный анализ
Частотный анализ – базовый вариант для количественной методологии. Для этого вам нужно посчитать параметры сортировки. Для разных задач они могут отличаться.
Показатели частотного анализа
- Популярность отдельных названий для открытой сортировки
- Популярность конкретных пар для каждого элемента с группой: % пользователей, который отнес к группе, для закрытой сортировки
- Популярность конкретных пар для каждого элемента с другими элементами: % пользователей, который отнес эти элементы к одной группе
- Популярность конкретных групп каждого элементов: % пользователей, который отнес эти элементы к одной группе
- Количество элементов на группу: среднее, минимальное, максимальное..
- Количеств групп на элемент: среднее, минимальное, максимальное..
- Количество повторяющихся элементов : среднее, минимальное, максимальное..
- Количество элементов, попавших в “другое” и “неизвестное”
При подсчете будьте внимательны, на какое число вы делите, чтобы получить среднее или процент. Как правило, нужно считать от количества ответивших на задание. Для количественного анализа это число должно быть не меньше 30.
При сравнении обращайте внимание, сравнимые ли величины: знаменатель и способ подсчета у цифр должен быть один, и значимое ли отличие.
Для оценки значимости отличий можно использовать онлайн-калькулятор.
Например: radar-research.ru/software/z-test_calculator/
Лучше при этом понимать, какой способ статистического анализа он использует, для каких выборок подходит – зависимых или независимых и т.д. Если вы не разбираетесь в статистике, вы можете смотреть на цифры и без значимостей, но имейте в виду, что чем меньше выборка, а значение ближе к 50%, тем больше должен быть разрыв между значениями, чтобы разница не оказалась случайной.
Пример
Проведя карточную сортировку с 30 респондентами, вы получили результат, что 30% отнесли помидор к ягодам, а 50% – к овощам. Кажется, помидор логичнее разместить в овощах, потому что так думает больше пользователей. Но если вы посчитаете значимости, вы увидите, что разница незначима. Следовательно, вы не можете сказать точно, меньше ли пользователей отнесет помидор к ягодам или столько же.
Основания для интерпретации
- Сравнение популярности вариантов
- Поиск консенсуса между пользователями: считает ли так большинство
- Выделение трудных мест, где все варианты одинаково подходят или много затруднившихся
Другие варианты количественного анализа
Для поиска взаимосвязей подходит кластерный анализ и дерево решений, но для этого лучше заручиться поддержкой аналитиков и исследователей. Сложная аналитика имеет смысл при хорошо организованной выборке и понимании процедур. Математика имеет эффект магического ритуала: не разобравшись, вы рискуете довериться цифрам, за которыми ничего не стоит.
Источники
Помимо собственного опыта в количественных и качественных исследованиях при подготовке я использовала:
- Книгу про карточную сортировку с фокусом на качественный анализ и открытую сортировку: Donna Spencer. Card Sorting: Designing Usable Categories. 2009 Rosenfeld Media, LLC
- Статью с очень подробным описанием статистического анализа: https://lpgenerator.ru/blog/2018/03/31/glava-18-putevoditel-po-cheloveko-kompyuternomu-vzaimodejstviyu-kartochnaya-sortirovka-v-ux/ (Перевод материалов сайта: interaction-design.org)
- Статьи на сайтах исследовательских агентств:
https://uexpert.ru/card-sorting/
https://usabilitylab.ru/usability/kartochnaya-sortirovka/