Почти уволен. Как я построил отдел аналитики Яндекса

Меня зовут Алексей Долотов, я 10 лет не писал на Хабр. Отчасти дело в том, что когда мне было 22 года, я начал строить отдел аналитики Яндекса, затем семь лет им руководил, а теперь придумал и строю сервис Яндекс.Таланты. Профессия аналитика даёт массу возможностей. Главное правильно начать — например, в Школе менеджеров сейчас идёт набор по направлению аналитики.

Я решил рассказать, как развивалась моя карьера, и дать несколько советов тем, кто хочет «зажечь» в этой профессии. Надеюсь, мой своеобразный опыт окажется кому-нибудь полезным.

Единственный семестр вуза и начало карьеры

К моменту поступления в вуз я неплохо программировал, даже написал свой shareware-продукт (слово из прошлого). Это был каталогизатор лазерных дисков. Винчестеры ещё были небольшими, на них не всё помещалось, поэтому люди часто пользовались CD и DVD. Каталогизатор считывал файловую систему диска, индексировал её и собирал мета-информацию из файлов, записывал всё это в базу данных и позволял по ней искать. В первый день продукт скачало 50 тысяч китайцев, на второй день на Альтависте появился кряк. А я-то думал, что сделал классную защиту.

Я поступил в питерский университет ИТМО, но спустя один семестр решил, что программировать и так умею, быстрее учусь в процессе работы, и поэтому уехал в Норвегию фрилансить. Вернувшись, я на двоих с партнёром организовал веб-студию. Он отвечал скорее за бизнес и документы, я — за всё остальное, включая техническую часть. В разное время у нас работало до 10 человек.

Яндекс в те годы проводил так называемые клиентские семинары, на один из которых я проник якобы как журналист. Там выступали в том числе Андрей Себрант, Женя Ломизе, Лена Колмановская. Послушав, как они говорят, я впечатлился их нестандартному мышлению. Лучший способ приблизиться к кому-нибудь по степени профессионализма — начать с ним работать. Поэтому я в тот момент — мне было 19 или 20 лет — перепридумал всю свою жизнь, решил бросить не очень успешную веб-студию и переехать из Петербурга в Москву, чтобы попасть в Яндекс.

Сделать это сразу же после переезда мне не удалось. Отдел, именно в который я почему-то упорно пытался устроиться, знал, что я хитростью проник на упомянутый семинар и даже попытался получить сертификат о пройденном курсе по Яндекс.Директу. Кстати, этот сертификат мне долго не могли выдать. Никто не рассчитывал, что курс пройдёт кто-либо помимо основной аудитории семинара. Моим будущим коллегам эта история показалась странной, и в Яндекс меня тогда не взяли.

Зато в Mail.Ru взяли быстро, пять собеседований за два дня. Это было кстати — у меня после переезда уже заканчивались деньги. Я отвечал за все поисковые сервисы, включая GoGo и go.mail.ru. Но спустя полтора года я всё-таки перешёл в Яндекс менеджером колдунщиков (элементов выдачи, отвечающих на вопрос пользователя прямо на странице с результатами поиска). Это был конец 2008 года, в Mail.Ru работало примерно 400 человек, в Яндексе — около 1500.

Яндекс

Надо признаться, в Яндексе сначала не получилось. Через четыре месяца мне предложили поискать другие варианты в компании. Фактически — уволили. У меня было какое-то время на поиск, но если бы я ничего не нашёл, то пришлось бы уйти. До тех пор я не работал в действительно большой компании со сложной структурой управления проектами. Не сориентировался, не хватило опыта.

Я остался, устроился аналитиком коммуникационных сервисов: Фоток, Я.ру, но самой главное — Почты. И тут мне очень пригодилось сочетание менеджерских скиллов (походить по людям, договориться), продуктовых (понять, где польза, чего хотят пользователи) и технических (применить опыт программирования, самостоятельно обработать данные).

Мы первыми в компании начали строить когорты — изучать зависимость оттока пользователей от того, в каком месяце они зарегистрировались. Во-первых, мы довольно точно предсказывали объём аудитории по полученной модели. Во-вторых, что важнее, по ней можно было предсказывать, как разные изменения отразятся на главных показателях сервиса. Раньше Яндекс такого не делал.

Как-то ко мне пришёл Андрей Себрант и сказал — у тебя хорошо получается, теперь нам нужно то же самое в масштабах всего Яндекса. «Делай отдел». Я ответил: «Хорошо».

Отдел

Андрей мне очень помогал, в том числе иногда говорил — ты же взрослый парень, разберись. Опечатки нет, это тоже помощь. Мне действительно требовалась бо́льшая самостоятельность, и я начал делать всё сам. Когда возникал вопрос к руководству, я старался сначала подумать: а что бы руководитель мне ответил на этот вопрос? Такой подход помогал развиваться быстрее. Иногда из-за большой ответственности было просто страшно. Наступил переломный момент: я из человека, решающего задачи, стал ответственным за развитие большого куска процессов. Число сервисов и сами сервисы росли, им требовались аналитики. Я активно занимался двумя вещами: наймом и менторством.

Ко мне часто приходили с вопросами, ответы на которые я не знал. Тем самым я научился решать почти любую задачу с какой-то точностью, исходя из очень ограниченного объёма данных. Это как в «Что? Где? Когда?», только там надо дать правильный ответ, а тут правильного ответа может вообще не быть, но достаточно понять, в какую сторону копать. Я стал бороться с многими когнитивными искажениями (пожалуй, самый популярный среди исследователей и аналитиков — confirmation bias, склонность подтверждения своей точки зрения), у меня развилось «инвариантное», «квантовое» мышление. Оно работает так: ты слышишь условие задачи и сразу представляешь себе все возможные и невозможные варианты решения, автоматически «прорешивая» эти ветки и понимая, какой минимум гипотез нужно проверить, чтобы «решить» как можно больше самых вероятных веток.

Ещё я учил ребят тому, чего не знал сам. Первые азы статистики я выучил на собеседованиях, которые проводил. Потом начал учить руководить, хотя сам только-только стал руководителем. Кажется, нет большего стимула в чём-то как следует разобраться, чем объяснить это кому-то другому.

Партизаны

Я стал помогать аналитикам расти: говорил каждому, что буду работать с ним, а с командой сервиса он должен работать самостоятельно. При этом я задавал неудобные вопросы. Приходит ко мне аналитик и рассказывает о задачах, которые он сейчас делает. Дальше диалог:

— Почему ты делаешь такие задачи?
— Потому что меня попросили.
— А какие сейчас самые важные задачи у самой команды?
— Не знаю.
— Давай делать не то, о чём попросили, а то, что требуется сервису.

Следующий диалог:

— Они делают то-то.
— А чего они не делают? Что они не учли, о чём забыли подумать?

Я учил ребят не брать задачи, пока они не поймут, что на самом деле «болит» у заказчика. Важно вместе с заказчиком «репетировать» сценарий того, как результат аналитики будет использоваться. Часто оказывалось, что заказчику нужно не то, что он изначально спрашивает. Понять это — ответственность аналитика.

Такова философия «доброго партизанства» или «партизанского продакт-менеджмента». Да, ты всего лишь аналитик. Но у тебя есть возможность повлиять на курс движения всего сервиса — например, через правильную формулировку метрик. Формулировать метрики и цели по ним — пожалуй, главный инструмент влияния аналитика. Понятная и прозрачная цель, декомпозированная на метрики, каждую из которых ясно как улучшать, — лучший способ направить команду нужным курсом и помочь ей не сбиться с этого курса. Я пропагандировал идею, что все мои ребята должны взаимодействовать кросс-сервисно и тем самым образовывать «водородные связи» внутри Яндекса, который имел тенденцию расклеиваться по другим швам.

Поисковая доля

В 2011 году мы исследовали причины изменения поисковой доли Яндекса — было сложно доказать влияние каждого конкретного фактора, а их нашлось немало. Как-то в пятницу я показал Аркадию Воложу график, который до того долго не мог составить и наконец составил. Тогда я придумал «метод заморозки факторов», который позволил выделить влияние браузеров с предустановленным альтернативным поиском. На нём хорошо читалось, что доля меняется именно из-за них. Такой вывод на тот момент не казался очевидным: люди ещё не очень часто пользовались подобными браузерами. И всё же оказалось, что предустановленный поиск сильно влияет на ситуацию.

В те дни началась фаза моего активного общения с Воложем: я стал уделять поисковой доле больше времени. Появилось само понятие — аналитика доли или «факапочная» (резкие изменения доли часто были вызваны чьими-то факапами). Именно тогда в команде появился Серёжа Линёв, в будущем один из ключевых аналитиков Яндекса. Вместе с Лёшей Тихоновым — ещё одним прекрасным аналитиком и автором Автопоэта — мы помогали Серёже расти и создавать вокруг себя бесценную экспертизу детектирования и анализа сложных аномалий. Сейчас, если происходит какой-нибудь влияющий на долю инцидент, дежурный администратор сразу о нём узнаёт со всеми подробностями. Уже не требуется, как тогда, собираться десятком аналитиков и тратить несколько дней на расследование причин. Можно сказать, что сейчас в этом плане у нас эпоха космических кораблей, а тогда мы телеги таскали.

Аркадия всегда очень интересовала доля. Он стал часто звонить и писать мне, когда возникали аномалии на приборах поисковой доли — даже если я не имел отношения к причинам этих аномалий. Возможно, он продолжал звонить именно мне, поскольку это помогало. А я просто знал, кому позвонить дальше.

Кстати, в Яндексе есть рассылка для нерабочих вопросов, и когда я попросил кого-нибудь одолжить мне ракетку для бадминтона, первым отозвался именно Аркадий.

Илья

Наверное, именно здесь уместно рассказать, как я — хоть и недолго — работал с Ильёй Сегаловичем. По хронологии об этом нужно было рассказать раньше: как ни странно, работал я с ним, ещё будучи в Mail.Ru.

Дело в том, что поиск go.mail.ru в тот момент работал на движке Яндекса (собственный движок был только у GoGo — другого проекта Mail.Ru). Поэтому мне как менеджеру поисковых сервисов дали контакты нескольких яндексоидов. По техническим вопросам я звонил либо Толе Орлову, либо Илье Сегаловичу. К своему стыду, я тогда понятия не имел, кто эти люди. В нерабочее время дозвониться на рабочий телефон Илье было проще, а вот днём наоборот. Меня удивляло, почему он так редко бывает на рабочем месте, я думал — что за разработчик такой? Зато когда он отвечал, то очень вежливо и содержательно помогал мне в кратчайшее время. Поэтому в первую очередь я звонил именно ему.

Уже потом я узнал, кто такой Илья, даже играл с ним в бадминтон в составе большой группы коллег. Устраиваясь в Яндекс, я пытался вспомнить, что же успел ему наговорить. Илья действительно по всем внешним признакам был обычным хорошим человеком без какой-либо звёздной болезни.

Был случай, мы столкнулись с Ильёй в лифте. Илья в диком возбуждении устраивает мне elevator pitch, показывая экран своего телефона: «За этим будущее!» За время в лифте невозможно разобраться, что именно он имеет в виду. Но ты замечаешь, насколько человек горит, и не понимаешь, безумство это или гениальность. Наверное, и то и другое.

Есть люди, идеи о которых живут во мне и делают меня лучше. Илья — один из них.

Таланты

Многие нынешние аналитические отделы в Яндексе сейчас возглавляют мои ребята. Было несколько причин, почему я решил переключиться на что-то другое после семи лет руководства отделом.

Во-первых, Яндекс превратился в группу компаний, и пропала необходимость в централизованной аналитике. Во-вторых, с таким большим отделом стало слишком много административной работы. И в-третьих, мне хотелось принимать решения и брать за них полную ответственность. Я хотел однажды прийти домой и сказать жене: «Вот это сделал я».

Поэтому я создал сервис Яндекс.Таланты. Мы стараемся перепридумать поиск работы и найм сотрудников. Мы сейчас делаем только первые шаги, но я вижу в нас огромный потенциал. Классическая идея job board в эпоху, когда везде машинное обучение и беспилотники ездят по улицам, кажется устаревшей. Пора начать использовать умные алгоритмы, чтобы помогать и соискателям, и работодателям.

Раньше я всё время объяснял людям в сервисах, как нужно делать их работу, считая, что эти доводы основаны на аналитике и моём экспертном мнении. Но работа над Яндекс.Талантами показала, что я очень часто бываю не прав. Правда рождается между людьми — простое утверждение, которое, впрочем, надо прочувствовать. Кроме того, создание стартапа потребовало сильно погрузиться в бизнес, и теперь я считаю, что в первую очередь продуктовый аналитик должен изучить финансовую модель своего продукта. Если ты не понимаешь, из чего складываются твои основные бизнес-показатели, то как ты можешь помогать команде их достигать?

Что нужно крутому аналитику

Аналитик должен уметь многое, но есть два главных навыка, которые позволяют по-настоящему «зажечь».

В первую очередь требуется феноменальное умение бороться с когнитивными искажениями. Советую почитать статью «Список когнитивных искажений» на Википедии, увлекательное и полезное чтиво. Всё время ловишь себя на мысли, насколько этот список про нас.

И второе — нельзя признавать никакие авторитеты. Аналитика — она про то, чтобы спорить. Ты сначала доказываешь себе, что ты сам не прав в своих выводах, а затем учишься доказывать, что кто-то другой не прав. В один из дней августа 2011 года портал Яндекса какое-то время работал с перебоями. Это была пятница, а в ближайший понедельник был хурал, который вёл я. Пришёл Аркадий, долго ругался. Потом я взял слово: «Аркадий, теперь я приступлю к хуралу, пожалуй». Он говорит — нет, хурала не будет, пусть все идут работать. Я ответил, что не отпущу компанию работать всю неделю в таком настроении. Он сразу согласился. И мы провели хурал.

Эти качества пригодятся и в других областях, особенно если вы руководитель.

Источник: habr.com