Открытый отбор 2020
20 апреля 2020 г.
Часть 5. Как сделать командный этап конкурса за 18 дней
31 марта закончился первый этап Открытого отбора. Во второй прошли 1251 человек — это в 10 раз больше, чем обычно. Вместе с результатами участники получили приглашение в командные чаты и начали знакомиться. Специально для этого этапа мы написали бота, он давал задания участникам и принимал у них ответы, а эксперты анализировали работы участников. Это история о том, как за 2,5 недели сделать онлайновый конкурс на тысячу человек со сложными творческими заданиями и развернутой обратной связью от экспертов.
18 февраля. 48 дней до старта
День, когда мы приняли решение, что все должно быть в онлайне. Это было за 46 дней до массового карантина, ограничений на проведение мероприятий и закрытия Точек, об изоляции и принудительном дистанционном конкурсе мы даже не думали. Вот о чем мы думали:
- Сработаются ли распределенные команды, участники которых друг друга никогда не видели?
- Сработаются ли незнакомые друг другу люди в течение 24 часов, когда времени на раскачку совсем нет?
- Продолжат ли команды общение после?
- Есть ли потенциал у формата 24-часового марафона, чтобы формировать устойчивые команды?
- Сколько данных мы сможем собрать и проанализировать по итогам?
18 марта. 17 дней до старта
День, когда мы придумали логику этапа. Чем мы руководствовались:
- Второй этап должен быть посвящен Национальной технологической инициативе — ведь мы ищем людей в компании и организации этой экосистемы. К слову, при проектировании заданий первого этапа мы это не учитывали.
- Нужно соблюсти баланс между высокой интенсивностью и управлением настроением участников. Если бы мы дали десять заданий, мы бы устроили жесткий хардкор. Скорее всего, чаты покинули бы не 86 участников, а 986.
- Задания должны воссоздать противоречивую среду, чтобы мы могли увидеть, как участники себя чувствуют в ней. Если им комфортно быть методичными, комфортно ли им быть креативными? Если они не могут сделать одно задание, будут ли испытывать трудности при выполнении диаметрально противоположного?
- Нужно дать возможность проявить себя всем участникам. Поэтому мы заменили шаблон презентации с реального шаблона проекта НТИ при подаче в проектный комитет на тот, в котором были слайды, собранные специально под треки Открытого отбора, — например, добавили слайд про продвижение.
Мы советовали участникам поспать и предусмотрели на это время — хотя 20 команд не последуют рекомендациям и будут работать почти все 24 часа
19 марта. 16 дней до старта
День, когда мы придумали задания. Вот из чего мы исходили:
- Задание 1. Для начала мы даем короткое задание на знакомство и 1 час на его решение. В качестве задания предложим угадать критерий разделения участников на подгруппы. Очевидно, что таких критериев много. Наша цель: сделать так, чтобы критерий выглядел логично. Мы выбрали такой: люди одной подгруппы начинают свой день с Телеграма, ведь второй этап проходил в Телеграме, и этот критерий показывал, какой из подгрупп будет легче. Эту информацию мы узнали о них на первом этапе при заполнении анкеты. Другие варианты, которые мы рассматривали: проходил ли участник диагностику Университета 20.35, регистрировался ли ради конкурса в Leader-ID, он из Москвы или из регионов. С этим заданием справятся 7 команд.
- Задание 2. Далее мы даем час на то, чтобы обсудить и выбрать рынок НТИ, который нравится участникам больше всего, или предложить новый рынок. Участники выдвигают гипотезы отдельно друг от друга, а потом голосуют. 95 команд выберут существующие рынки, а 8 — новые.
- Задание 3. Начинается отсчет первых шести часов, в течение которых участники делают презентацию про стартап на выбранном рынке, чтобы получить государственное финансирование как проект НТИ. Ни одна команда не справится с первого раза, и все получат еще 5 часов на доработку.
- Задание 4. За оставшиеся 9 часов участники сверстают лендинги по своим проектам, которые мы отправим по базе пользователей Лидера. 1 команда нас опередит и опубликует свой проект на Planeta.ru.
Мы отказались от механики, когда команда в середине голосует за самое слабое звено. Мы хотели дать возможность этим людям продолжить в одиночку, но в последний момент побоялись негативных социальных последствий. Стоит сказать, что во время игры мы получим 1 запрос на смену команды. Возможно, этому кандидату помогла возможность работать в одиночку.
И хотя логику разделения на подгруппы выяснят только 7 команд, версий будет почти 3 тысячи
21 марта. 14 дней до старта
День, когда мы тестировали механику на себе. Поделились на «бота», который отправлял задания, и команду. Отыграли 24 часа, потом поспали, созвонились и скорректировали правила:
- увеличили время на создание презентаций с 4 часов до 6;
- увеличили число попыток отгадать критерий разбиения внутри команды — с 3 до 10.
Лайфхак: каждый раз новую механику мы тестируем на себе в полной боевой выкладке. Если планируем этап на 24 часа, то и проверяем его работу полные сутки. Проблемы обнаруживаются в самых неожиданных местах
23 марта. 12 дней до старта
День, когда мы сели писать бота. И хотя времени на разработку было мало, во время игры он упал из-за технических сбоев всего два раза — на этапе голосований за рынки и подачи гипотез о критериях разделения, когда участники одновременно писали боту по 30 сообщений в секунду. Чтобы помочь участникам, мы разрешили менять рынки и делать стартап на любом из них — этой возможностью воспользовались 36 команд.
30 марта. 5 дней до старта
День, когда мы провели первое техническое тестирование. Проверяли работу чатов модерации, что нам приходят ответы команд и уходят сообщения командам.
Вот что было со стороны команды
Вот что было со стороны модератора
31 марта. 4 дня до старта
День, когда мы собирали команду экспертов в проектный комитет, чтобы оценивать заявки. Провели для них 2 инструктажа по критериям.
Критерии для оценки презентации
- Все блоки презентации раскрыты. Если нет — в ответе команде указываем, что им нужно дополнить, какой информации не хватило.
- Все слайды содержат непротиворечивую информацию об одном проекте. Совпадают: сумма финансирования, участники команды, компания-инициатор и т. д.
- В презентации использована информация о реальных ресурсах: настоящие участники, настоящая компания-инициатор и т. д.
Критерии для оценки лендинга
Мы предложим пользователям Лидера проголосовать за лендинги участников второго этапа отбора, поэтому важно проверить:
- в лендинге нет нецензурных выражений и неуместного контента;
- кнопки и формы для заполнения рабочие и не вызывают диссонанса;
- сайт не стыдно показать миллионной аудитории;
- информация в лендинге совпадает с презентацией команды.
У нас было 16 экспертов для оценки презентаций и 11 для оценки лендингов.
Чтобы отправить решение, эксперт должен был нажать реплай на присланную заявку. Вот что важно: за всю игру эксперты не ошибутся ни разу и не напишут: «Ребят, не знаю, что им ответить, возьмите кто-нибудь??»
Это загрузка экспертов по оценке кейсов. По условиям они должны были сделать эту работу в течение часа
А так эксперты оценивали лендинги
1 апреля. 3 дня до старта
День, когда мы придумали, как будем делить людей на команды. Алгоритм сделали так: мы смотрели на рейтинг участников по трекам и собирали суперрезультативные, среднерезультативные и малорезультативные команды. Несколько малорезультативных команд разбавили суперсильными участниками по одному из треков. Не удержались и сделали несколько команд, состоящих только из операционных директоров. Кстати, они в среднем были в два раза менее активными в чатах, чем участники остальных команд.
Когда ИИ закончил собирать людей в команды, общая картина напоминала панораму северного сияния
Кстати, алгоритм оказался еще умнее, чем мы думали, и нашел дополнительные пересечения между участниками
2 апреля. 2 дня до старта
Участники получили доступ и присоединяются к своим командам
Все процессы взаимодействия с участниками были автоматизированы, за них отвечал бот. Тем не менее весь последний день мы готовили кризисный сценарий на случай, если все упадет. Он выглядел так.
С какого аккаунта отправляем задания: администратор @oo2020_admin
Что делаем: руками добавляем участников в резервные чаты. Ведем коммуникацию с аккаунтов администраторов. 104 команды делим между модераторами, 9 модераторов — по 11 команд каждому.
Сценарий. «Второй этап Открытого отбора посвящен перезапуску Национальной технологической инициативы, который случится в этом году. НТИ — это программа, которая помогает российским компаниям стать лидерами на новых высокотехнологичных рынках. Именно они определят структуру мировой экономики в ближайшие 15–20 лет.
Вы — стартап и хотите запустить свой проект для рынка НТИ. Вы ищете инвестиции, поэтому в задании нужно дать обоснование выбранного технологического рынка, который стоит развивать в первую очередь.
У вас уже есть готовая технология, и вы готовы показать ее инвестиционному фонду. Для этого подготовьте презентацию проекта для подачи заявки в проектный офис НТИ. Вы можете использовать готовый шаблон презентации или сделать свой.
Венчурный фонд — не предел. Вы параллельно ищете другие способы продвижения продукта. Решаете разместить его на краудфандинговой платформе. Чтобы инвесторы могли узнать о вас больше, подготовьте лендинг с информацией о проекте. Лендинг пройдет модерацию, и спустя несколько дней мы отправим его на голосование пользователям Leader-ID.
До 12 часов 5 апреля вы должны отправить: обоснование перспективности выбранного рынка, презентацию проекта для проектного офиса и ссылку на лендинг проекта».
3 апреля. 1 день до старта
Утром второй раз прогоняли сценарий игры. Проверили, что игроков не из списка вышедших во второй этап команд выкинет из чата, смотрели, пройдут ли через фильтр слишком длинные или короткие ответы, смайлы и ответы, которые не соответствуют формату.
Днем мы отправили смс-рассылку участникам, которые до сих пор не присоединились к чатам, и начали их обзванивать. К старту игры у нас будет 978 участников второго этапа (из 1251 возможного).
К началу игры численный состав команд распределится так
Вечером перед сном мы вдруг придумали сделать канал с трансляцией хода второго этапа. Запустим мы его в 11 утра следующего дня и напишем там 57 сообщений — в среднем два в час. У нас появятся 727 подписчиков и 1 благодарность. :)
4 апреля. 12 часов до игры
Ночь, когда мы финально проверили, что:
- если скинуть ссылку с приглашением присоединиться к боту, человек присоединится, но, когда начнется игра, его выкинет;
- лимит на количество попыток работает;
- если отправить не pdf, команду попросят пересмотреть формат файла;
- если отправить пустой /submit без текста сообщения, то команде напомнят, как правильно писать ответ;
- без ответа модератора нельзя прислать новый ответ;
- модератор не может отклонить презентацию или лендинг, не указав причину;
- меняется статус присланной заявки в зависимости от того, это новая заявка, рассматривается экспертом или обработана;
- если заявка обрабатывается, то видно, какой модератор в процессе ее обработки.
4 апреля 12:00 — 5 апреля 12:00. Тот Самый День
В первую минуту после старта получим негативный отзыв 1 участника, что мы не довели информацию, как присоединиться к своей команде. За первые 15 минут из чатов команд выйдут 13 человек. За следующие 2,5 часа нас покинут еще 48 человек, причем 21 человек сделает это до 12:40. Всего команды останутся без 84 участников. Еще 40 участников будут молчать в чатах, не выходя из них.
Первый раз тайминг съедет в 13:41, когда мы обнаружим технический сбой при голосовании за рынок. Мы потеряли 25 минут на это. Второй раз тайминг съедет, когда команды начнут присылать первые версии презентаций в последний момент. Некоторые из них будут ждать дольше положенного часа.
На графике видно, как увеличивается время модерации, когда большая часть работ приходит за 10 минут до дедлайна
Первый чит мы зафиксируем в 15:04, когда команда пришлет презентацию спустя 53 минуты после получения задания. Это будет рекламная презентация. Мы ее отклоним, как отклоним и попытку подсунуть готовый сайт вместо нового лендинга. Мы будем долго спорить с командой, которая будет упорно доказывать, что мы неправы.
В 23:44 мы опровергнем предположение участников, что НТИ будет отчитываться проведенной экспертизой в своих КПЭ. Потом это предположение возникнет еще несколько раз у разных команд. Надо признать: а идея неплохая, с учетом количества развернутых заключений, которые дадут участникам эксперты, — ведь ни одна команда не справится с презентацией и лендингом с первого раза. Большинство команд пройдут 2–4 цикла доработки до того, как их проекты одобрят.
Рейтинг основных причин, по которым эксперты отклоняли презентации
А это причины, по которым командам возвращали на доработку лендинги
В 2:19 время закончится, и шесть команд попробуют доказать организаторам, что презентацию надо принять, так как ее не отправили вовремя по техническим причинам. 4 команды справятся, 2 нет — дальше пройдут 100 команд.
В 3 утра мы усилим дежурную группу, когда выяснится, что, несмотря на наши рекомендации, часть команд отказывается спать
В 11 утра настанет очередной пик для модераторов по работе с лендингами: время модерации снова вырастет из-за количества заявок, поступающих одновременно. Когда в 12 дня мы закрыли возможность подавать заявки, на модерации оставалось еще 10 лендингов — 8 мы одобрим, а 2 отклоним.
В 12:18 мы опубликуем протокол второго этапа. Его сгенерируют автоматически по числу сообщений и сабмитов участников. В 14:15 разошлем индивидуальное задание — прислать независимое экспертное заключение на свой собственный проект — и ляжем спать. А проснемся… под отзывы.
Всю следующую неделю мы будем публиковать рейтинги и другие результаты конкурса. А еще у нас есть неделя, чтобы обработать все данные и увидеть картину глубже сухой констатации показателей в штуках, граммах и процентах. Следующая статья будет предпоследней: мы расскажем вам про анализ работы и взаимодействия участников в командах.
Ксения Андреева
Перезапустила Открытый Отбор