Открытый отбор 2020

Посмотрели на Открытый отбор глазами продакта. Рассказали про пять гипотез, которые мы сформулировали и проверили за три недели конкурса. В этой статье — выводы и факапы первого этапа отбора.

Часть 3. Пять гипотез, которые мы проверили

В статье 10 фичей на входе мы смотрели на Открытый отбор глазами заказчиков и рассказывали о решениях, которые должны были помочь привлечь участников. На прошлой неделе мы анализировали профили участников. Пришло время взглянуть на Отбор глазами продактов. Мы заложили в механику сайта 5 неочевидных гипотез и проверили их за первые три недели конкурса. В этой статье я расскажу, что мы узнали и как будем дальше использовать это знание.

Что видит участник Открытого отбора

На сайте конкурса пользователь взаимодействует с 8 страницами:

Главная. Посетитель читает условия участия, смотрит, кто работодатели, изучает названия треков, число заявок на каждый трек. И подает заявку на участие.
Описание трека. Пользователь читает описания треков и выбирает подходящий. На каждой странице трека можно сразу подать заявку на участие. Но статистика говорит, что на одну заявку со страницы трека приходится шесть заявок с главной страницы.
Личный кабинет. Участник знакомится с последовательностью шагов первого этапа: Выбор трека — Анкета — Кейс — Оценка кейсов других участников.
Подтверждение трека в личном кабинете. Каждый конкурсант подает заявку только на один трек, и после этого этапа поменять свой выбор невозможно.
Анкета в личном кабинете. Пользователь отвечает на 4 вопроса, которые говорят о нем больше, чем кажется.
Кейс. Участник читает и решает кейс, может сохранить черновик ответа, чтобы подумать, или сразу отправить ответ.
Чужие кейсы. Отправив ответ, конкурсант получает доступ к списку чужих кейсов и двум кнопкам для оценки: «Хорошо» и «Плохо».
Дашборд. Каждый отслеживает количество набранных баллов и общий рейтинг участников своего трека.

Интереснее всего ведут себя пользователи до 18 лет: они выполняют все задания этапа строго последовательно, даже те, которые можно пропускать.

Среди ожидаемо популярных страниц: главная, страница регистрации и личный кабинет — внезапно затесалась страница одного трека, и это Руководитель образовательных программ

Гипотеза 1. Барьер регистрации можно преодолеть

Спойлер: подтвердилась на 80%

Мы рассматривали проблему сложных форм регистрации в статье Как развивать сервис, когда вокруг крутые конкуренты на Хабре. Пока весь мир конкурирует за внимание и каждый день упрощает вход для новых пользователей, мы продолжаем использовать в Leader-ID форму из 11 полей, за которые нам ежедневно желают гореть в аду.

Запуская внешний по отношению к платформе Leader-ID сервис Открытого отбора, мы технически могли обойти требования регистрации, но не стали. Мы решили показать партнерам, что сложные формы регистрации снижают конверсию в пределах допустимой нормы, что это не конец света и работать с ними можно.

Нажимая кнопку «Подать заявку» на сайте Отбора, пользователь переходит на платформу Leader-ID, где должен пройти процедуру авторизации либо зарегистрироваться в системе. После этого он возвращается на сайт конкурса в личный кабинет.

За три недели с начала Открытого отбора мы получили такие результаты:

123 372 просмотра страницы конкурса;
14 020 нажатий на кнопку «Подать заявку» — это 11,3% от количества просмотров;
5897 авторизаций на сайте конкурса — 42% пользователей, нажавших на кнопку «Подать заявку», преодолели барьер регистрации;
2513 регистраций на участие в конкурсе — почти каждый второй из тех, кто зарегистрировался на сайте конкурса, выбрал трек.

Это много или мало? Самый близкий бенчмарк — Leader-ID:

53,86% — конверсия регистрационной формы Leader-ID, она складывается из двух показателей: тех, кто начал регистрацию, и тех, кто ее завершил;
62,35% — те, кто открыл форму регистрации и начал ее заполнять;
86,39% из тех, кто начал регистрацию, довели ее до конца;
42% — а это для сравнения конверсия Отбора, она чуть ниже, чем у Лидера. Пока проигрываем сами себе, но не сильно.

Что крутого выяснили, пока проверяли гипотезу

Отказы происходят не сразу — пользователи, уходящие с сайта, проводят на нем в среднем полторы минуты, изучают минимум 2 страницы. Наши визуальные и технические решения не отторгают посетителей — скорее, они не находят себя среди целевой аудитории конкурса.

Какой факап обнаружили, пока проверяли гипотезу

Не приписали рядом с кнопкой «Подать заявку» поясняющий текст о переходе на другой сайт и потеряли на этом 10% трафика.

Гипотеза 2. Человек человеку не волк, если поощрять человечность баллами

Спойлер: подтвердилась на 100%

Мы дали участникам возможность оценивать чужие работы и понимаем естественное человеческое желание занизить оценку, чтобы добавить себе шансов. Поэтому мы написали в условиях конкурса, что даем баллы за объективную и беспристрастную оценку кейсов других участников, однако не рассказали, как именно будем начислять баллы: за совпадение с оценками экспертов или других участников.

Совокупное число оценок «Плохо» пока превышает число оценок «Хорошо», но ненамного: 54% против 46%. А участники четырех треков: Корпоративный директор, HR-директор, Руководитель информагентства и Product owner — и вовсе благосклонны друг к другу: оценок «Хорошо» больше 50%.

Ожидаемо оценок «Плохо» больше, чем «Хорошо», но при таком соотношении это говорит больше о строгости, чем о необъективности. Неожиданный результат: оказывается, обед, сон и утренняя медитация не влияют на оценку — разница колеблется в пределах 2% независимо от времени суток. А мы думали, что с утра люди злее.

Методологи и педагоги относятся друг к другу чуть строже, корпоративные работники — чуть мягче, но в целом позитивные и негативные оценки уравновешены: никто не пытается «загнобить конкурентов»

Вопрос, который нас беспокоил все три недели: как оценка чужих работ зависит от возраста, ведь в этом случае состав участников напрямую влияет на результаты. Результаты нас порадовали — видно, что двадцатилетние максималисты немного строже к коллегам, чем школьники и состоявшиеся специалисты, но по сумме заявок критическое отношение к чужим работам не связано с возрастом

Участники, оценившие меньше 5 работ, значительно добрее к своим конкурентам, но по мере дальнейшего увеличения активности строгость растет несущественно

Что крутого выяснили, пока проверяли гипотезу

Ни один пользователь не попытался взломать систему, попросив перезалить свой кейс после того, как он увидел чужие ответы.

Какой факап обнаружили, пока проверяли гипотезу

Рассчитывали, что сможем дольше удержать пользователей за счет дополнительных активностей. По факту пользователи теряются на каждом этапе по модели воронки:

5897 пользователей авторизовались на сайте,
2513 — выбрали трек,
1338 — заполнили анкету,
414 — решили кейс,
330 — оценили хотя бы один чужой кейс.

Гипотеза 3. Повторный выбор трека защищает от ошибок

Спойлер: подтвердилась на 100%

На первой странице личного кабинета пользователь выбирает трек, даже если он перешел в личный кабинет со страницы трека, а не с главной страницы. Мы сделали это, чтобы риск ошибки при выборе трека был как можно ниже: человек, который подтверждает свое решение дважды, успевает дважды подумать. В результате всего 10 человек сообщили агентам поддержки, что назвали не тот трек. Это 0,4% от числа заявок.

Что крутого выяснили, пока проверяли гипотезу

Сэкономили 83 человеко-часа, отключив техническую возможность поменять трек. Обычно в наших конкурсах пользователи крайне непостоянны в своих желаниях: до 20% участников обращаются в поддержку, чтобы поменять информацию. Это занимает у агентов около 10 минут на каждого пользователя.

Какой факап обнаружили, пока проверяли гипотезу

Когда решение окончательное и обжалованию не подлежит, пользователи начинают вести себя осторожнее и откладывать решение на потом — за 8 дней до конца приема заявок количество авторизованных пользователей, не выбравших трек, на 34% превышает количество тех, кто его подтвердил.

Гипотеза 4. Чтобы сделать сайт настольным приложением, достаточно ввести динамическую систему подсчета баллов

Спойлер: подтвердилась на 100%

Трафик со смартфонов на сайт конкурса в 2 раза выше, чем с ноутбуков. 67% пользователей авторизовывались на сайте с мобильного устройства, а вот выбирали трек и решали кейс уже с ноутбука.

Интереснее всего статистика по просмотрам дашборда:

85% пользователей, выбравших трек, просматривали свою статистику более 10 раз.
38% делали это больше 20 раз, то есть в среднем заходили в дашборд 1 раз в сутки.
А 2% — это 50 человек! — показали абсолютный рекорд: они обновляют страницу результатов по 4 раза в день.

Это статистика участников, которые проверяют свой дашборд каждый день. Для удобства сиреневым цветом выделили выходные дни

Что крутого мы выяснили, пока проверяли гипотезу

Получилось сделать сайт, которым удобно пользоваться с мобильных устройств.

Какой факап обнаружили, пока проверяли гипотезу

Нужно быть готовым к тому, что утром поддержку завалят вопросами о нечестном конкурсе, ведь вчера пользователь видел 38 начисленных баллов, а сегодня их почему-то 10.

Гипотеза 5. Лучше дать возможность нажимать только на самое главное на сайте

Спойлер: не подтвердилась

Есть мнение, что в пределах экрана надо давать пользователю только 1 повод для клика, чтобы собрать там все его внимание. Мы решили исследовать этот вопрос обстоятельно и составили тепловую карту действий пользователя на главной странице.

На скриншоте тепловой карты видно: на чем бы мы ни акцентировали внимание, посетители обстоятельно потоптались по всей странице. Бледно-голубой горошек отражает однократные клики, а покрасневшая от нагрузки кнопка участия — 5 тысяч нажатий.

Помимо кнопки «Подать заявку» пользователь нажимал на:

логотипы работодателей — они были некликабельными;
информацию внутри треков — тоже некликабельная;
людей из лидерборда треков — эта кликабельная.

Цвет лайм разных оттенков — около 800 кликов, именно столько пришлось на название конкурса «Открытый отбор» в левом верхнем углу. Пользователям не хватило информации о методике конкурса

Что крутого мы выяснили, пока проверяли гипотезу

Получили всего 46 запросов с уточнением, какой трек каким работодателем заявлен. Остальным содержание треков оказалось важнее внешней обертки.

Какой факап обнаружили, пока проверяли гипотезу

И все равно громкие имена будоражат — на организации, вовлеченные в реализацию НТИ, приходится меньше кликов, чем на Сбербанк и Алену Владимирскую. Конкуренцию за внимание вывезли за счет Платформы НТИ. 😉

И что дальше?

Вот какие у нас планы на работу с этим наследием:

Мы совершенно точно знаем, что будем и дальше работать со сроками не менее месяца — это время, необходимое для раскачки конкурса.
Сделали форму для сбора запросов на аналогичные Отборы — можно найти в подвале сайта и использовать уже сейчас.
Продолжим экспериментировать с бесчеловечными гипотезами (самое горячее будет 4 апреля во время второго этапа).
Регистрации через Лидер — быть.

Статистика авторизаций на первом этапе Отбора

Посещаемость сайта в первые 3 недели конкурса

Данные по количеству решенных кейсов. Показали экспоненциальный рост по всем трем показателям

У нас появилась пища для размышлений, а у вас еще осталось время подать заявку на участие — принимаем их по 31 марта включительно.

P. S. Пока мы дописывали статью, Яндекс порадовал портретом пользователей: кто подается на Открытый отбор по данным их поисковых запросов. И вот что Яндекс думает про конкурсантов:

«Это человек, который из развлечений предпочитает книги фильмам и музыке. Заинтересованный в использовании интернет-банкинга в 3 раза больше, чем в получении кредитов. Любящий хороший дизайн (дома) и планирующий отпуск за границей (как авиабилеты, так и отели). Заинтересованный в поиске работы (но не фрилансер) и имеющий кота в качестве домашнего животного».

Первая мысль: еще есть время, чтобы сделать в офисе отдельную библиотеку и кафе, куда можно с животными.

Примерно так наш дизайнер Полина, автор позитивных персонажей Открытого отбора, увидела участника конкурса в описании Яндекса