Открытый отбор 2020
Во время Открытого отбора мы косячили. Зато теперь точно знаем, что надо изменить. В финальной статье о конкурсе — ошибки прошедшего отбора и выводы для будущих.
Часть 7. Правда или вымысел: что оказалось факапом?
Со 2 марта по 20 апреля мы провели самый крупный кадровый конкурс в истории платформы. В нем приняли участие 4002 человека, на второй этап перешли 1251 человек, которые собрались в 104 команды. До конца дошли 952 человека — именно они попали в индивидуальные лидерборды. В предыдущих шести статьях мы рассказали о фичах, участниках, механике и результатах. Это последняя статья про конкурс, где мы расскажем про свои ошибки и выводы.
22 апреля мы провели двухчасовой созвон с участниками и ответили на часто задаваемые вопросы, поступающие в поддержку. Количество обращений постепенно снижается, но часть вопросов витает в воздухе и чатах: когда подведут все итоги, насколько справедливы рейтинги и чего ждать дальше.
Количество обращений в службу поддержки с вопросами про конкурсЕще один канал сбора обратной связи — социальные сети. Мы ожидаемо начали получать негативные отзывы: в одних авторы описывают ошибки, которые мы действительно допустили, в других — фичи, про которые мы не рассказали заранее.
Уже делали такой коллаж, но из позитивных отзывов. Пришло время сделать реверанс в обратную сторону1. Оставили бы участников в равных условиях
На старте мы поставили ограничение на объем кейса — 2 тысячи знаков. Спустя 261 решение и 9 обращений в поддержку мы увеличили ограничение до 10 тысяч знаков, тем самым дав преимущество тем, кто прислал решения позже. Это заметили 5 участников.
Как выкручивались: хотели дать дополнительные баллы тем участникам, кто оказался ущемлен в правах, но проанализировали зависимость количества положительных оценок от длины ответа и не нашли ее. Участники получали максимальные баллы за ответы и в 2, и в 10 тысяч знаков, а средняя длина ответа ненамного превосходила первое ограничение: 2434 символа. Поэтому мы не дали дополнительные баллы за короткие ответы. После окончания игры проанализировали все данные и увидели, что картина изменилась, — сейчас смотрим на график и кусаем локти от своей халатности.
Чем больше кейсы, тем сильнее они нравились экспертам. Для участников это тоже верно, хотя у них отношение выравнивается после 3,5 тысяч символов2. Проверили бы вероятность блокировки нашего бота на втором этапе конкурса при одномоментной отправке десятков сообщений
Телеграм заблокировал нас первый раз в 12:47, когда бот получал по 30 сообщений в секунду, и во второй раз — в 13:31, когда нужно было обработать единовременно 104 чата с голосованиями.
Как выкручивались: просматривали вручную все чаты, чтобы найти тех, кто правильно отгадал решение первой задачи, а потом разрешили делать презентацию на любом рынке вне зависимости от результатов голосования.
У каждой из 104 команд было от 6 до 12 попыток на проверку гипотезы. Проверить все это вручную было небанально, но, как показала практика, вполне возможно
Администратор дает одиннадцатой команде благословение развивать проект на любом рынке без голосования, и команда немедленно решает «открыть свое казино»3. Начали бы обработку анкет в первый день
Мы придумали выводить информацию из анкет в карточки участников в лидерборде за 24 часа до его публикации. Чуть не отказались от идеи, когда поняли, как выглядит большая часть анкет. Публиковать это в открытом доступе было нельзя. Через несколько суток напряженной работы мы решили проблему, но было бы намного лучше, если бы мы использовали для этого весь месяц подачи заявок.
Вот что увидели мы:
И вот что в итоге увидели посетители сайта:
Как выкручивались: вручную переработали все анкеты, сокращая, скрывая детали, исправляя опечатки. Работали в 3 группы: пока одна работала корректорами, другая приводила к единообразному виду информацию, третья — вносила содержательные правки, придавая информации более сексуальный вид. В 4 случаях накосячили: в карточку участника вывели информацию другого конкурсанта.
4. Уделили бы больше внимания командному рейтингу
Для расчета индивидуальных рейтингов нам понадобилось 10 дней. Чтобы не томить участников, мы решили опубликовать командные рейтинги раньше — через неделю. Мы заложили в них 4 критерия, о которых рассказали в прошлой статье.
Остальные показатели оставили для индивидуальных рейтингов — ведь именно личный зачет был финальным результатом отбора. Однако команды так сработались, что отнеслись к командному лидерборду со всей серьезностью: мы получили 7 обращений с просьбой пересмотреть результаты, в том числе от команд-победителей. Требовали, например, пересмотреть вклад участников в малочисленных командах.
Как выкручивались: сделали повторный пересчет, где учли дополнительные критерии из индивидуального рейтинга, например, число сообщений на одного участника как вклад в командный результат. Запостили на пробу в канал, посмотрели на отзывы и спустя несколько дней обновили результаты в паблике.
Сообщение в канале Открытого отбора о том, как изменилось положение команд в лидерборде, когда мы применили к командам критерий из личного рейтинга: рыжие и синие стрелки показывают, какие команды выросли, а какие упали
Объявление в командном лидерборде о пересчете рейтингов
Недовольные все равно остались — как справедливо заметил автор обращения, недовольные будут всегда5. Внимательнее отнеслись бы к историям успеха
Одним из наших промоматериалов была публикация в «Форбсе» про роль Открытого отбора для поиска профессионалов под новые задачи и вызовы НТИ. Искали для статьи интересные проекты, про которые стоит рассказать. Таких проектов у нас много, в числе прочих написали про историю Марии Корольковой, участницы Кружкового движения. Чуть позже выяснили, что Мария... участвует в отборе — по треку бренд-менеджер.
Как выкрутились: решили, что не будем активно продвигать эту публикацию. Но это не помогло, и она все равно набрала свои охваты:
Косяк 1: 3 способа отправить письмо не тем
3 раза ошиблись с базами получателей писем, когда отправили рассылку:
- участникам отбора, не исключив экспертов;
- тем, кто прошел во второй этап, как если бы они не прошли;
- тем, кто уже отправил кейс, с напоминанием отправить его.
В итоге 3543 человека подумали, что мы идиоты, — и имели на это право.
Всем нецелевым получателям написали и извинились за промахиКосяк 2: сэр, это не ваш клуб!
Записали двоих конкурсантов в техническую команду. Команда #50 называлась «Отстойник», мы создали ее из сотрудников Платформы НТИ и Университета 20.35, чтобы дать коллегам почувствовать на себе, как работает бот и другие механизмы отбора. «Отстойник» предсказуемо всегда был на последнем месте и, помимо прочего, работал маркером подсчета результатов: если он начинал расти в рейтинге, это был сигнал, что надо корректировать веса критериев.
Перед вторым этапом мы не уследили за алгоритмом распределения по командам, и в 50 команду попали два реальных участника. В последний момент обнаружили ошибку и до начала игры перевели конкурсантов в другие команды:
Косяк 3: нечестно всегда уступать маленьким
Не прикрутили рандомный порядок обновления на странице голосования за лендинги. Сделали статичную страницу, на которой команды располагались в порядке возрастания номеров. Закономерно, что команды с малыми номерами чаще попадали на глаза посетителям и собирали больше голосов. Команды, переживавшие за результаты голосования, написали в поддержку про это несправедливое преимущество — и мы начали автоматически обновлять страницу, выдавая лендинги в случайном порядке.
Первые 10 команд, умещающиеся на первом экране, по-прежнему получают преимущество при голосовании, но теперь это преимущество достается случайно, а «лидеры» меняются при каждом обновлении
Косяк 4: посчитали 25 участников два раза
Не сделали синхронизацию баз участников, которых приглашали через разные каналы для участия в отборе. В результате 25 участников, которые успели подать заявку, получили звонок с информацией, что их рекомендовали к участию в отборе. К слову, 7 из них пройдут во второй этап и займут 16, 17, 27, 44, 46, 74 и 93 места по своим трекам.
Косяк 5: запалили свой корыстный интерес
В последний момент решили воспользоваться служебным положением и добавили трек Product owner в отбор для поиска людей к себе в команду Лидера. И в этом не было бы ничего плохого: ведь нам действительно до зарезу нужны продакты, у нас для них амбициозные задачи и много работы — но этот трек везде выскакивал первым, от списка решений при оценке экспертов до итоговых рейтингов. Мы предпочли бы менее откровенную демонстрацию своих предпочтени
- Ограничили число треков в отборе и отказались добавлять новые. Несмотря на настоятельные просьбы руководства, мы не стали вносить позиции «Руководитель образовательной программы CDO» и «Директор программы по искусственному интеллекту». В итоге первыми закрываем именно их. А 9 человек сознательно отказались идти по своему прямому треку и ушли в другие.
- Не стали публиковать веса рейтингов и формулы для их подсчета. Те, кто оспаривал нашу систему подведения итогов, были недовольны своим местом в рейтинге, а не системой подсчета результатов. Количество недовольных будет одинаковым с любой системой и весами.
- Давали баллы, если конкурсант оценивал чужой кейс так же, как другие участники. Нам говорили, что участники будут занижать оценку и тем самым будут получать баллы, но в действительности оценка была очень близка к экспертной. Так что мы продолжим считать, что человек человеку не волк.
- Не выделили отдельные теги лидерства. Мы получили множество рекомендаций добавить такие критерии для оценки участников, ведь на отбор выставлены треки управленцев, которым необходимы лидерские компетенции. Мы уверены: если команда показала классный результат и дружно голосует за того, кто внес максимальный вклад, — это и есть лидер. Иначе зачем управленец сильной команде, которая может справиться без него?
- Назначили минимальный срок на собеседования. В итоге участники завалили нас вопросами о подведении итогов. Мы уложились в жесткие рамки первых трех этапов, опубликовали рейтинги, провели собеседования и сформировали базу будущих сотрудников. Четвертый этап мы объявили открытым — начиная с 20 апреля, — понимая, что работа с базой продлится долго. И стараемся донести эту мысль до участников.
Даты этапов Открытого отбораНа этом все. 7 недель подряд мы последовательно освещали Открытый отбор: фичи, участников, гипотезы, механику, результаты — и, наконец, увенчали серию статей откровенным разбором своих ошибок. Задача на ближайшие месяцы: сделать так, чтобы база участников конкурса стала нашей победой, а не факапом.
Прочитать предыдущие статьи про Открытый отбор:
