Téměř vystřeleno. Jak jsem vybudoval analytické oddělení Yandex

Jmenuji se Alexej Dolotov a Habrovi jsem nepsal 10 let. Částečně je to tak, že když mi bylo 22 let, začal jsem budovat analytické oddělení Yandex, pak jsem ho řídil sedm let a teď jsem vymyslel a buduji službu Yandex.Talents. Profese analytika poskytuje mnoho příležitostí. Hlavní je správně začít – například v Škola manažerů V současné době přijímáme pracovníky pro analytiky.

Rozhodl jsem se vám říci, jak se moje kariéra vyvíjela, a dát pár rad těm, kteří chtějí „začít“ v této profesi. Doufám, že moje jedinečná zkušenost bude pro někoho užitečná.

Jediný semestr VŠ a začátek kariéry

Když jsem nastoupil na univerzitu, byl jsem dobrý programátor, dokonce jsem napsal svůj vlastní sharewarový produkt (slovo z minulosti). Byl to katalogizátor laserových disků. Winchestery byly ještě malé a nevešlo se na ně všechno, takže lidé často používali CD a DVD. Katalogizátor přečetl souborový systém disku, indexoval jej a shromáždil ze souborů metainformace, zapsal to vše do databáze a umožnil prohledávat. První den si produkt stáhlo 50 tisíc Číňanů, druhý den se na Altavistovi objevil crack. A myslel jsem si, že jsem udělal skvělou obranu.

Nastoupila jsem na St. Petersburg ITMO University, ale po jednom semestru jsem se rozhodla, že už umím programovat, v práci jsem se učila rychleji, a tak jsem odjela do Norska na volnou nohu. Po návratu jsem si společně s partnerem založil webové studio. On byl zodpovědný spíše za obchod a doklady, já za vše ostatní včetně technické části. V různé době jsme zaměstnávali až 10 lidí.

Yandex v těch letech pořádal takzvané klientské semináře, do jednoho jsem prý vstoupil jako novinář. Vystoupili zde mimo jiné Andrei Sebrant, Zhenya Lomize a Lena Kolmanovskaya. Poté, co jsem je slyšel mluvit, na mě zapůsobilo jejich nestandardní myšlení. Nejlepší způsob, jak se s někým přiblížit z hlediska profesionality, je začít s ním spolupracovat. Proto jsem v tu chvíli - bylo mi 19 nebo 20 let - přehodnotil celý svůj život, rozhodl jsem se opustit své nepříliš úspěšné webové studio a přestěhovat se z Petrohradu do Moskvy, abych se dostal na Yandex.

To se mi hned po přestěhování nepodařilo. Oddělení, ve kterém jsem se z nějakého důvodu tvrdošíjně snažil získat práci, vědělo, že jsem na zmíněný seminář lstivě vstoupil a dokonce se pokusil získat certifikát o absolvování kurzu Yandex.Direct. Mimochodem, tento certifikát mi dlouho nemohli dát. Nikdo nečekal, že se kurzu zúčastní někdo jiný než hlavní publikum semináře. Tento příběh se mým budoucím kolegům zdál zvláštní a nezaměstnali mě v Yandexu.

Ale Mail.Ru mě najala rychle, pět pohovorů za dva dny. To bylo užitečné – po přestěhování mi už docházely peníze. Byl jsem zodpovědný za všechny vyhledávací služby, včetně GoGo a go.mail.ru. Ale po roce a půl jsem se konečně přestěhoval do Yandexu jako manažer čarodějů (prvky problému, které odpovídají na otázku uživatele přímo na stránce s výsledky vyhledávání). Bylo to na konci roku 2008, přibližně 400 lidí pracovalo v Mail.Ru, asi 1500 v Yandexu.

Yandex

Musím přiznat, že to v Yandexu zpočátku nefungovalo. Po čtyřech měsících jsem byl požádán, abych hledal další možnosti v rámci firmy. Ve skutečnosti mě vyhodili. Měl jsem nějaký čas na hledání, ale kdybych nic nenašel, musel bych odejít. Do té doby jsem nepracoval pro opravdu velkou společnost se složitou strukturou projektového řízení. Nezorientoval jsem se, neměl jsem dostatek zkušeností.

Zůstal jsem a dostal práci jako analytik komunikačních služeb: Fotok, Ya.ru, ale hlavně Pochta. A zde se mi velmi hodila kombinace manažerských dovedností (chodit s lidmi, vyjednávat), produktových dovedností (porozumět tomu, kde jsou výhody, co uživatelé chtějí) a technických dovedností (uplatnění zkušeností s programováním, samostatné zpracování dat).

Jako první jsme ve společnosti začali budovat kohorty – zkoumat závislost odchodu uživatelů na měsíci, ve kterém se zaregistrovali. Za prvé jsme pomocí výsledného modelu poměrně přesně předpověděli velikost publika. Za druhé, a co je důležitější, bylo možné předvídat, jak různé změny ovlivní hlavní ukazatele služby. Yandex to nikdy předtím neudělal.

Jednou za mnou přišel Andrey Sebrant a řekl - děláš to dobře, teď potřebujeme totéž v měřítku celého Yandexu. "Udělejte oddělení." Odpověděl jsem: "Dobře."

Oddělení

Andrey mi hodně pomohl, někdy i řekl: "Jsi dospělý chlap, přijď na to." Není tam žádný překlep, je to také nápověda. Potřebovala jsem opravdu více nezávislosti, a tak jsem si vše začala dělat sama. Když vyvstala otázka pro vedení, pokusil jsem se nejprve přemýšlet: jak by manažer na tuto otázku odpověděl? Tento přístup pomohl k rychlejšímu rozvoji. Někdy to bylo díky velké zodpovědnosti prostě děsivé. Přišel zlom: z řešitele problémů jsem se stal zodpovědným za vývoj velkého množství procesů. Počet služeb i samotných služeb rostl a potřebovali analytiky. Aktivně jsem se podílel na dvou věcech: náboru a mentoringu.

Lidé za mnou často chodili s otázkami, na které jsem neznal odpovědi. Tak jsem se naučil řešit téměř jakýkoli problém s určitou přesností na základě velmi omezeného množství dat. Je to jako „Co? Kde? Kdy?“, jen tam je potřeba dát správnou odpověď, ale zde nemusí být správná odpověď vůbec, ale stačí pochopit, kterým směrem kopat. Začal jsem se potýkat s mnoha kognitivními zkresleními (možná nejoblíbenější mezi výzkumníky a analytiky je konfirmační zaujatost, tendence potvrzovat svůj úhel pohledu), vyvinul jsem „invariantní“, „kvantové“ myšlení. Funguje to takto: uslyšíte prohlášení o problému a okamžitě si představíte všechna možná i nemožná řešení, automaticky „řeší“ tyto větve a pochopíte, jaké minimální hypotézy je třeba otestovat, abyste „vyřešili“ co nejvíce nejpravděpodobnějších větví. jak je to možné.

Také jsem děti naučil něco, co jsem sám nevěděl. První základy statistiky jsem se naučil během rozhovorů, které jsem vedl. Pak začal učit, jak vést, ačkoli sám se teprve stal vůdcem. Zdá se, že neexistuje větší motivace pochopit něco lépe, než to vysvětlit někomu jinému.

partyzáni

Začal jsem pomáhat analytikům růst: Všem jsem řekl, že s nimi budu pracovat a že by měli pracovat nezávisle se servisním týmem. Zároveň jsem kladl nepříjemné otázky. Přichází za mnou analytik a mluví o úkolech, které právě dělá. Další dialog:

- Proč děláte takové úkoly?
- Protože mě o to požádali.
— Jaké jsou nyní nejdůležitější úkoly pro samotný tým?
- Nevím.
- Nedělejme to, co bylo požádáno, ale to, co služba vyžaduje.

Další dialog:

- Dělají to.
-Co nedělají? S čím nepočítali, na co zapomněli myslet?

Naučil jsem kluky, aby nebrali úkoly, dokud nepochopí, co zákazníka skutečně „bolí“. Je důležité společně se zákazníkem „nacvičit“ scénář, jak bude analytický výsledek použit. Často se ukázalo, že zákazník nepotřeboval to, co původně požadoval. Je odpovědností analytika, aby to pochopil.

To je filozofie „dobrého guerillaismu“ nebo „guerilla produktového managementu“. Ano, jste jen analytik. Máte ale možnost ovlivnit průběh pohybu celé služby – například správnou formulací metrik. Formulování metrik a cílů pro ně je možná hlavním nástrojem vlivu analytika. Jasný a transparentní cíl, rozložený na metriky, z nichž každá je jasné, jak se zlepšit, je nejlepší způsob, jak nasměrovat tým na požadovaný kurz a pomoci mu udržet se v kurzu. Prosazoval jsem myšlenku, že všichni moji chlapi by měli interagovat napříč službami, a tak vytvořit „vodíkové vazby“ v rámci Yandexu, které měly tendenci se rozpadat v jiných švech.

Podíl vyhledávání

V roce 2011 jsme zkoumali důvody změny podílu vyhledávání Yandexu - bylo obtížné prokázat vliv každého konkrétního faktoru a bylo jich mnoho. Jednoho pátku jsem Arkadiju Volozhovi ukázal rozvrh, který jsem dlouho nemohl sestavit a nakonec jsem to udělal. Pak jsem přišel s „metodou faktorového zmrazení“, která umožnila izolovat vliv prohlížečů s předinstalovaným alternativním vyhledáváním. Jasně bylo napsáno, že podíl se mění právě kvůli nim. Tento závěr se v té době nezdál samozřejmý: lidé ještě takové prohlížeče příliš často nepoužívali. A přesto se ukázalo, že přednastavené vyhledávání situaci velmi ovlivňuje.

V těch dnech začala fáze mé aktivní komunikace s Volozh: začal jsem se více věnovat vyhledávací sekci. Objevil se samotný koncept share analytics neboli „fakap“ (ostré změny podílu byly často způsobeny něčím fakapem). Tehdy se k týmu připojil Seryozha Linev, v budoucnu jeden z klíčových analytiků Yandexu. Spolu s Leshou Tikhonovem, dalším vynikajícím analytikem a autorem knihy Autopoet, jsme pomohli Seryozhovi růst a vytvořit kolem sebe neocenitelné odborné znalosti v odhalování a analýze složitých anomálií. Nyní, pokud dojde k nějakému incidentu ovlivňujícímu sdílenou složku, služba ve službě se o tom okamžitě dozví se všemi podrobnostmi. Již není nutné jako tehdy shromáždit tucet analytiků a strávit několik dní vyšetřováním příčin. Dá se říct, že teď jsme v tomto ohledu v éře vesmírných lodí, ale tehdy jsme vláčeli káry.

Arkady se vždy velmi zajímal o sdílení. Začal mi často volat a psát, když se na vyhledávacím zařízení objevily anomálie – i když jsem s příčinami těchto anomálií neměl nic společného. Možná mi volal dál, protože to pomohlo. A věděl jsem, komu zavolat příště.

Mimochodem, Yandex má mailing list pro nepracovní otázky, a když jsem někoho požádal, aby mi půjčil badmintonovou raketu, Arkady byl první, kdo odpověděl.

Ilya

Pravděpodobně zde je vhodné říci, jak jsem, byť krátce, spolupracoval s Iljou Segalovičem. Chronologicky se o tom mělo mluvit dříve: kupodivu jsem s ním pracoval, když jsem byl ještě v Mail.Ru.

Faktem je, že vyhledávání go.mail.ru v tu chvíli fungovalo na motoru Yandex (pouze GoGo, další projekt Mail.Ru, měl svůj vlastní engine). Proto jsem jako manažer vyhledávací služby dostal kontakty na několik Yandexoidů. S technickými dotazy jsem volal buď Tolju Orlovovi nebo Ilju Segalovičovi. Ke své hanbě jsem v té době neměl tušení, kdo tito lidé byli. V mimopracovní době bylo jednodušší zavolat na Iljův pracovní telefon, ale přes den to bylo naopak. Překvapilo mě, proč je v práci tak zřídka, říkal jsem si – co je to za vývojáře? Ale když odpověděl, pomohl mi velmi slušně a smysluplně v co nejkratším čase. Proto jsem mu zavolal jako první.

Později jsem zjistil, kdo je Ilya, a dokonce jsem s ním hrál badminton jako součást velké skupiny kolegů. Když jsem dostal práci v Yandexu, snažil jsem se vzpomenout si, co se mi podařilo mu říct. Ilya byl skutečně podle všech vnějších znaků obyčejný dobrý člověk bez hvězdné nemoci.

Vyskytl se případ, kdy jsme ve výtahu narazili na Ilju. Ilja, divoce vzrušený, mě nakloní do výtahu a ukáže mi obrazovku svého telefonu: "To je budoucnost!" Během doby ve výtahu je nemožné zjistit, co přesně má na mysli. Ale všimnete si, jak moc člověk hoří, a nechápete, zda je to šílenství nebo génius. Pravděpodobně obojí.

Jsou lidé, jejichž myšlenky ve mně žijí a dělají mě lepším. Ilya je jedním z nich.

Talenty

Mnoho současných analytických oddělení v Yandexu nyní vedou moji lidé. Důvodů, proč jsem se po sedmi letech vedení katedry rozhodl přejít k něčemu jinému, bylo více.

Za prvé, Yandex se stal skupinou společností a potřeba centralizované analýzy zmizela. Za druhé, s tak velkým oddělením bylo příliš mnoho administrativní práce. A za třetí jsem chtěl dělat rozhodnutí a nést za ně plnou odpovědnost. Chtěl jsem se jednoho dne vrátit domů a říct své ženě: "Udělal jsem to."

Proto jsem vytvořil službu Yandex.Talents. Snažíme se přehodnotit hledání práce a najímání. Teď teprve děláme první kroky, ale vidím v nás velký potenciál. Klasická myšlenka pracovní desky v době, kdy je strojové učení všude a po ulicích se potulují drony, se zdá zastaralá. Je čas začít používat chytré algoritmy, které pomohou uchazečům o zaměstnání i zaměstnavatelům.

Vždy jsem lidem ve službách vysvětloval, jak by se jejich práce měla dělat, a věřila jsem, že tyto argumenty vycházejí z analýzy a mého odborného názoru. Ale práce na Yandex.Talents ukázala, že se často mýlím. Pravda se rodí mezi lidmi – prosté tvrzení, které je však třeba cítit. Vytvoření startupu navíc vyžadovalo hodně ponoření se do podnikání a nyní věřím, že první věcí, kterou by měl produktový analytik udělat, je prostudovat si finanční model svého produktu. Pokud nerozumíte tomu, jaké jsou vaše klíčové obchodní metriky, jak můžete svému týmu pomoci jich dosáhnout?

Co potřebuje skvělý analytik?

Analytik musí být schopen dělat spoustu věcí, ale existují dvě hlavní dovednosti, které vám umožní skutečně „rozjet“.

Především to vyžaduje fenomenální schopnost vypořádat se s kognitivními zkresleními. Doporučuji přečíst si článek „Seznam kognitivních zkreslení“ na Wikipedii, fascinující a užitečné čtení. Vždy se přistihnete, jak moc je tento seznam o nás.

A za druhé by neměly být uznávány žádné úřady. Analytics je o hádce. Nejprve dokážete sami sobě, že se ve svých závěrech mýlíte, a pak se naučíte dokazovat, že se mýlí někdo jiný. Jednoho dne v srpnu 2011 portál Yandex nějakou dobu přerušovaně fungoval. Byl pátek a následující pondělí se konal khural, který jsem vedl. Arkadij přišel a dlouho nadával. Pak jsem se ujal slova: "Arkady, teď možná začnu s khuralem." Říká ne, khural nebude, ať všichni jdou do práce. Odpověděl jsem, že v tomto rozpoložení nenechám firmu pracovat celý týden. Okamžitě souhlasil. A drželi jsme khural.

Tyto vlastnosti se vám budou hodit v jiných oblastech, zvláště pokud jste manažer.

Zdroj: www.habr.com