Ovu sliku je napisao Arthur Kuzin (), prilično precizno sažima sadržaj objave na blogu. Kao rezultat toga, sljedeću bi priču trebalo shvatiti više kao priču od petka nego kao nešto izuzetno korisno i tehničko. Osim toga, vrijedi napomenuti da je tekst bogat engleskim riječima. Neke od njih ne znam ispravno prevesti, a neke jednostavno ne želim prevoditi.
Kako je došlo do prelaska iz akademske sredine u industrijsku, otkrivamo u prve dvije epizode. U ovom će se razgovor voditi o onome što se zatim dogodilo.
Bio je siječanj 2017. Tada sam imao nešto više od godinu dana radnog iskustva i radio sam u San Franciscu u tvrtki poput Sr. Znanstvenik za podatke.
TrueAccord je startup za naplatu dugova. Jednostavnije rečeno – agencija za naplatu. Kolekcionari obično zovu puno. Poslali smo puno e-mailova, ali malo zvali. Svaki e-mail vodio je do web stranice tvrtke, gdje je dužniku ponuđen popust na dug, pa čak i plaćanje na rate. Ovaj pristup doveo je do bolje naplate, omogućio skaliranje i manju izloženost tužbama.
Društvo je bilo normalno. Proizvod je proziran. Uprava je zdrava. Lokacija je dobra.
U prosjeku ljudi u dolini rade na jednom mjestu oko godinu i pol. Odnosno, svaka tvrtka za koju radite samo je mali korak. Na ovom koraku skupit ćete nešto novca, steći nova znanja, vještine, veze i crtice u životopisu. Nakon toga slijedi prijelaz na sljedeću fazu.
U samom TrueAccordu sudjelovao sam u prilaganju sustava preporuka biltenima e-pošte, kao iu davanju prioriteta telefonskim pozivima. Utjecaj je razumljiv i prilično je dobro izmjeren u dolarima kroz A/B testiranje. Budući da prije mog dolaska nije bilo strojnog učenja, utjecaj mog rada nije bio loš. Opet, puno je lakše poboljšati nešto nego nešto što je već uvelike optimizirano.
Nakon šest mjeseci rada na tim sustavima, čak su mi povisili osnovnu plaću sa 150 tisuća dolara na 163 tisuće dolara. U zajednici postoji meme o 163 tisuće dolara. Odavde raste sa svojim nogama.
Sve je to bilo divno, ali nije vodilo nikamo, ili je vodilo, ali ne tamo.
Iznimno poštujem TrueAccord, i tvrtku i momke s kojima sam tamo radio. Puno sam naučio od njih, ali nisam želio dugo raditi na sustavima preporuke u agenciji za naplatu. Od ovog koraka morali ste zakoračiti u nekom smjeru. Ako ne naprijed i gore, onda barem bočno.
Što mi se nije svidjelo?
- Iz perspektive strojnog učenja, problemi me nisu oduševili. Htio sam nešto moderno, mladenački, dakle Deep Learning, Computer Vision, nešto što je prilično blisko znanosti ili barem alkemiji.
- Startup, pa čak i agencija za naplatu, ima problema sa zapošljavanjem visokokvalificiranog osoblja. Kao startup, ne može platiti puno. Ali kao agencija za naplatu gubi na statusu. Grubo rečeno, ako te djevojka na spoju pita gdje radiš? Vaš odgovor: "Na Googleu" zvuči mnogo bolje od "agencija za naplatu". Malo me zasmetalo što je mojim prijateljima koji rade u Googleu i Facebooku, za razliku od mene, ime njihove tvrtke otvaralo vrata poput: možete biti pozvani na konferenciju ili meetup kao govornik ili zanimljiviji ljudi pišu na LinkedInu s ponudom za susret i razgovor uz čašu čaja. Jako volim komunicirati s ljudima koje ne poznajem osobno. Dakle, ako živite u San Franciscu, nemojte se ustručavati pisati - idemo na kavu i razgovarati.
- Osim mene, u tvrtki su radila tri Data Scientista. Ja sam radio na strojnom učenju, a oni su radili na drugim zadacima Data Science, koji su uobičajeni u svakom pokretanju od sada do sutra. Kao rezultat toga, nisu baš razumjeli strojno učenje. No, da bih rastao, moram s nekim komunicirati, raspravljati o člancima i najnovijim događanjima i na kraju tražiti savjet.
Što je bilo dostupno?
- Obrazovanje: fizika, ne informatika.
- Jedini programski jezik koji sam znao bio je Python. Postojao je osjećaj da se moram prebaciti na C++, ali još uvijek nisam mogao doći do toga.
- Godinu i pol dana rada u branši. Štoviše, na poslu nisam proučavao ni Deep Learning ni Computer Vision.
- U životopisu nema niti jednog članka o dubokom učenju / računalnom vidu.
- Postojalo je postignuće Kaggle Master.
Što si htio?
- Pozicija na kojoj će biti potrebno uvježbati mnoge mreže, a bliže računalnom vidu.
- Bolje je da je to velika kompanija poput Googlea, Tesle, Facebooka, Ubera, LinkedIna itd. Iako u nevolji, startup bi bio dovoljan.
- Ne trebam biti najveći stručnjak za strojno učenje u timu. Postojala je velika potreba za starijim suborcima, mentorima i svim vrstama komunikacije, što je trebalo ubrzati proces učenja.
- Nakon čitanja postova na blogu o tome kako diplomanti bez industrijskog iskustva imaju ukupnu naknadu od 300 do 500 tisuća dolara godišnje, želio sam ići u isti raspon. Nije da mi to toliko smeta, ali pošto kažu da je to uobičajena pojava, a ja ih imam manje, onda je ovo signal.
Zadatak se činio potpuno rješiv, ali ne u smislu da možeš uskočiti u bilo koje društvo, nego da ako gladuješ, sve će se srediti. Odnosno, desetke ili stotine pokušaja i bol od svakog neuspjeha i svakog odbijanja treba iskoristiti za izoštravanje fokusa, poboljšanje pamćenja i produljenje dana na 36 sati.
Dotjerao sam životopis, počeo ga slati i odlaziti na razgovore. Većinu sam proletio u fazi komunikacije s HR-om. Mnogima je trebao C++, ali ja to nisam znao i imao sam snažan osjećaj da me ne bi zanimale pozicije koje zahtijevaju C++.
Vrijedno je napomenuti da je otprilike u isto vrijeme došlo do faznog prijelaza u vrsti natjecanja na Kaggleu. Prije 2017. bilo je mnogo tabelarnih podataka i vrlo rijetko slikovnih podataka, ali počevši od 2017. bilo je mnogo zadataka računalnog vida.
Život je tekao na sljedeći način:
- Rad preko dana.
- Kad tehnički ekran / na licu mjesta, uzmete slobodno vrijeme.
- Večeri i vikendi Kaggle + članci / knjige / postovi na blogu
Kraj 2016. godine obilježio je moj ulazak u zajednicu , što je dosta toga pojednostavilo. U zajednici ima mnogo ljudi s bogatim industrijskim iskustvom, što nam je omogućilo da postavimo mnogo glupih pitanja i dobijemo mnogo pametnih odgovora. Također postoji mnogo vrlo jakih stručnjaka za strojno učenje svih vrsta, što mi je, neočekivano, omogućilo da, putem ODS-a, zatvorim problem redovitom dubinskom komunikacijom o znanosti o podacima. Do sada, u smislu ML-a, ODS mi daje mnogo puta više od onoga što dobivam na poslu.
Pa, kao i obično, ODS ima dovoljno stručnjaka za natjecanja na Kaggleu i drugim stranicama. Rješavanje problema u timu je zabavnije i produktivnije, pa smo uz šale, psovke, memeove i ostalu štrebersku zabavu počeli rješavati probleme jedan po jedan.
U ožujku 2017. - u timu sa Serega Mushinsky - treće mjesto za . Zlatna medalja na Kaggleu + 20 tisuća dolara za dvoje. Na ovom zadatku poboljšan je rad sa satelitskim snimkama + binarna segmentacija putem UNeta.
Tog istog ožujka otišao sam na intervju u NVidiju s timom za samovozeći se. Stvarno sam se mučio s pitanjima o otkrivanju objekata. Nije bilo dovoljno znanja.
Srećom, u isto vrijeme počelo je i natjecanje Object Detection na snimkama iz zraka iz istog DSTL-a. Sam Bog naredio je riješiti problem i nadograditi. Mjesec večeri i vikenda. Pokupio sam znanje i završio drugi. Ovo natjecanje imalo je zanimljivu nijansu u pravilima, zbog koje sam u Rusiji bio prikazan na saveznim i ne tako saveznim kanalima. popeo sam se , te u hrpi tiskanih i online publikacija. Mail Ru Group dobio je mali pozitivan PR na moj račun i vlastiti novac, a fundamentalna znanost u Rusiji obogaćena je za 12000 funti. Kao i obično, pisano je o ovoj temi . Idite tamo za detalje.
U isto vrijeme me je kontaktirao Teslin regruter i ponudio razgovor o poziciji Computer Vision. Složio sam se. Projurio sam kroz ponijeti kući, dva tehnička zaslona, intervju na licu mjesta i imao vrlo ugodan razgovor s Andreijem Karpathyjem, koji je upravo bio zaposlen u Tesli kao direktor AI-ja. Sljedeća faza je provjera prošlosti. Nakon toga je Elon Musk osobno morao odobriti moju prijavu. Tesla ima strogi Ugovor o tajnosti podataka (NDA).
Nisam prošao provjeru prošlosti. Regrut je rekao da puno čavrljam na mreži, kršeći NDA. Jedino mjesto gdje sam išta rekao o intervjuu u Tesli bio je ODS, tako da je trenutna hipoteza da je netko napravio snimku zaslona i pisao HR-u u Tesli, a ja sam uklonjen iz utrke bez opasnosti. Tada je to bila sramota. Sad mi je drago da nije uspjelo. Moja trenutna pozicija je puno bolja, iako bi bilo vrlo zanimljivo raditi s Andreyem.
Odmah nakon toga, uključio sam se u natjecanje satelitskih snimaka na Kaggleu . Problem je bio jednostavan i iznimno dosadan; nitko ga nije htio riješiti, ali svi su htjeli besplatnu zlatnu medalju ili novčanu nagradu. Stoga smo se s timom Kaggle Mastersa od 7 ljudi dogovorili da ćemo bacati željezo. Istrenirali smo 480 mreža u modu 'fit_predict' i od njih napravili trokatni ansambl. Završili smo sedmi. . Inače, Jeremy Howard, koji je nadaleko poznat kao kreator završio 23.
Nakon završetka natječaja, preko prijatelja koji je radio u AdRollu, organizirao sam Meetup u njihovim prostorijama. Predstavnici Planet Labsa tamo su govorili o tome kako je izgledala organizacija natjecanja i označavanje podataka s njihove strane. Wendy Kwan, koja radi u Kaggleu i nadgleda natjecanje, govorila je o tome kako je ona to vidjela. Opisao sam naše rješenje, trikove, tehnike i tehničke detalje. Dvije trećine publike riješilo je ovaj problem, tako da su pitanja bila postavljena na točku i općenito je sve bilo cool. Bio je tamo i Jeremy Howard. Ispostavilo se da je završio na 23. mjestu jer nije znao slagati model i da uopće nije znao za ovaj način konstruiranja ansambala.
Sastanci u dolini o strojnom učenju uvelike se razlikuju od susreta u Moskvi. U pravilu su susreti u dolini dno. Ali naš je ispao dobar. Nažalost, suborac koji je trebao stisnuti tipku i sve snimiti nije stisnuo tipku :)
Nakon toga, pozvan sam na razgovor na mjesto Deep Learning Engineera u tom istom Planet Labsu, i to odmah na licu mjesta. Nisam prošao. Formulacija odbijanja je da nema dovoljno znanja u Deep Learningu.
Svaki sam natječaj osmislio kao projekt u . Za DSTL problem smo napisali i postavio ga na arxiv. Nije članak, ali ipak kruh. Također preporučam svima ostalima da napuhaju svoj LinkedIn profil kroz natjecanja, članke, vještine i tako dalje. Postoji pozitivna korelacija između toga koliko ključnih riječi imate na svom LinkedIn profilu i koliko vam često ljudi šalju poruke.
Ako sam zimi i proljeće bio vrlo tehničar, do kolovoza sam imao i znanja i samopouzdanja.
Krajem srpnja javio mi se na LinkedIn tip koji je radio kao Data Science manager u Lyftu i pozvao me na kavu i razgovor o životu, o Lyftu, o TrueAccordu. Pričali smo. Ponudio je intervju sa svojim timom za poziciju Data Scientista. Rekao sam da opcija radi, pod uvjetom da je Computer Vision / Deep Learning od jutra do večeri. Uvjeravao je da s njegove strane nema nikakvih primjedbi.
Poslao sam svoj životopis i on ga je učitao na Lyftov interni portal. Nakon toga me nazvao regruter da otvori moj životopis i sazna više o meni. Već pri prvim riječima bilo je jasno da je za njega to formalnost, jer mu je iz životopisa bilo jasno da “nisam materijal za Lyft”. Pretpostavljam da je nakon toga moj životopis otišao u kantu za smeće.
Cijelo to vrijeme, dok sam bio na intervjuu, pričao sam o svojim neuspjesima i padovima u ODS-u i dečki su mi davali povratne informacije i pomagali mi na sve načine savjetima, iako je, kao i obično, bilo i tu prijateljskog trolanja.
Jedan od članova ODS-a ponudio mi je da me spoji sa svojim prijateljem, koji je direktor inženjeringa u Lyftu. Rečeno, učinjeno. Dođem u Lyft na ručak, a osim ovog prijatelja tu su i Head of Data Science i Product manager koji je veliki obožavatelj Deep Learninga. Za ručkom smo razgovarali preko DL-a. A budući da sam pola godine trenirao mreže 24/7, čitao kubike literature i izvršavao zadatke na Kaggleu s više-manje jasnim rezultatima, mogao bih satima pričati o Deep Learningu, kako u smislu novih članaka tako i praktične tehnike.
Poslije ručka su me pogledali i rekli - odmah se vidi da si zgodan, hoćeš li da pričamo s nama? Štoviše, dodali su kako mi je jasno da se take home + tech screen može preskočiti. I da ću odmah biti pozvan na lice mjesta. Složio sam se.
Nakon toga me taj regruter nazvao da dogovorimo razgovor na licu mjesta i bio je nezadovoljan. Promrmljao je nešto o tome da ti ne skače preko glave.
došao. Intervju na licu mjesta. Pet sati komunikacije s različitim ljudima. Nije bilo niti jednog pitanja o Deep Learningu, niti o strojnom učenju u načelu. Budući da ne postoji Deep Learning / Computer Vision, onda nisam zainteresiran. Dakle, rezultati intervjua bili su ortogonalni.
Regrut zove i kaže - čestitamo, prošli ste na drugom razgovoru na licu mjesta. Ovo je sve iznenađujuće. Što je drugo na licu mjesta? Nikad nisam čuo za takvo što. Išao sam. Ima nekoliko sati, ovaj put sve o tradicionalnom strojnom učenju. Tako je bolje. Ali još uvijek nije zanimljivo.
Regrut me zove i čestita mi što sam prošao treći razgovor na licu mjesta i obećava da će ovo biti posljednji. Otišao sam to vidjeti i tamo je bio i DL i CV.
Imao sam prethodnika mnogo mjeseci koji mi je rekao da neće biti ponude. Neću trenirati na tehničkim vještinama, već na mekim. Ne na mekoj strani, već na činjenici da će se pozicija zatvoriti ili da tvrtka još ne zapošljava, već jednostavno testira tržište i razinu kandidata.
Sredina kolovoza. Pio sam pivo u redu. Mračne misli. Prošlo je 8 mjeseci, a ponuda još uvijek nema. Dobro je biti kreativan pod pivom, pogotovo ako je kreativnost čudna. Pada mi na pamet ideja. Dijelim ga s Alexeyjem Shvetsom, koji je u to vrijeme bio postdoktorand na MIT-u.
Što ako uzmete najbližu DL/CV konferenciju, pogledate natjecanja koja se održavaju u sklopu nje, trenirate nešto i prijavite se? Budući da svi tamošnji stručnjaci grade svoje karijere na tome i to rade mjesecima ili čak godinama, nemamo šanse. Ali nije strašno. Napravimo neku smislenu prijavu, odletimo do posljednjeg mjesta, a nakon toga napišemo predtisak ili članak o tome kako nismo kao svi drugi i pričamo o svojoj odluci. A članak je već na LinkedInu i u vašem životopisu.
Odnosno, čini se relevantnim i ima više točnih ključnih riječi u životopisu, što bi trebalo malo povećati šanse za dolazak do tehničkog ekrana. Kod i podnesci od mene, tekstovi od Alexeya. Igra, naravno, ali zašto ne?
Rečeno, učinjeno. Najbliža konferencija koju smo guglali bila je MICCAI i tamo su zapravo bila natjecanja. Pogodili smo prvu. Bilo je . Zadatak ima 3 podzadatka. Do roka je ostalo još 8 dana. Ujutro sam se otrijeznio, ali nisam odustao od ideje. Uzeo sam svoje cjevovode od Kagglea i prebacio ih sa satelitskih podataka na medicinske. 'fit_predict'. Alexey je za svaki problem pripremio opis rješenja na dvije stranice, a mi smo ga poslali. Spreman. U teoriji, možete izdahnuti. Ali pokazalo se da postoji još jedan zadatak za istu radionicu () sa tri podzadatka i da joj je rok pomaknut za 4 dana, odnosno možemo tu napraviti 'fit_predict' i poslati. To smo i učinili.
Za razliku od Kagglea, ova su natjecanja imala svoje akademske specifičnosti:
- Nema ljestvice. Prijave se šalju e-poštom.
- Bit ćete udaljeni ako predstavnik tima ne dođe predstaviti rješenje na konferenciji na Radionici.
- Vaše mjesto na ljestvici postaje poznato samo tijekom konferencije. Neka vrsta akademske drame.
Konferencija MICCAI 2017 održana je u gradu Quebec. Da budem iskren, u rujnu sam počeo izgarati, pa je ideja da uzmem tjedan dana odmora s posla i odem u Kanadu izgledala zanimljivo.
Došao na konferenciju. Došao sam na ovu radionicu, ne poznajem nikoga, sjedim u kutu. Svi se poznaju, komuniciraju, izbacuju pametne medicinske riječi. Osvrt na prvo natjecanje. Sudionici govore i govore o svojim odlukama. Tamo je cool, sa sjajem. Moj red. I nekako me čak i sram. Oni su riješili problem, radili na njemu, unaprijedili znanost, a mi smo čisto "fit_predict" iz prošlih događaja, ne zbog znanosti, već da poboljšamo svoj životopis.
Izašao je i rekao da ni ja nisam stručnjak za medicinu, ispričao se što im gubim vrijeme i pokazao mi jedan slajd s rješenjem. Spustio sam se u hodnik.
Najavljuju prvi podzadatak - prvi smo, i to s razlikom.
Drugi i treći su najavljeni.
Najavljuju treći – opet prvi i opet s vodstvom.
General je prvi.
Neki u publici se smiješe i gledaju me s poštovanjem. Drugi, oni koji su se očito smatrali stručnjacima na tom području, dobili su potporu za ovaj zadatak i time se bavili dugi niz godina, imali su malo izobličen izraz lica.
Slijedi drugi zadatak, onaj s tri podzadatka i koji je pomaknut četiri dana unaprijed.
Evo i ja sam se ispričao i ponovno pokazao naš jedan slajd.
Ista priča. Dva prva, jedan drugi, zajednički prvi.
Mislim da je ovo vjerojatno prvi put u povijesti da je agencija za naplatu pobijedila na natjecanju za medicinsko snimanje.
I sad stojim na bini, daju mi nekakvu diplomu i bombardiran sam. Kako je to moguće? Ti akademici troše novac poreznih obveznika, rade na pojednostavljenju i poboljšanju kvalitete rada liječnika, odnosno, u teoriji, mog životnog vijeka, a neki su cijeli taj akademski kadar u par večeri poderali na britansku zastavu.
Dodatak tome je što će u drugim timovima studenti diplomskih studija koji su mjesecima radili na tim zadacima imati životopis koji je privlačan HR-u, odnosno lako će doći do tehničkog ekrana. I pred očima mi je tek primljeni e-mail:
A Googler recently referred you for the Research Scientist, Google Brain (United States) role. We carefully reviewed your background and experience and decided not to proceed with your application at this time.Uglavnom, odmah s pozornice pitam publiku: "Zna li netko gdje radim?" Jedan od organizatora natjecanja je znao – guglao je što je TrueAccord. Ostali nisu. Nastavljam: “Radim za agenciju za naplatu, a na poslu se ne bavim niti računalnim vidom niti dubinskim učenjem. I na mnogo načina, to se događa jer HR odjeli Google Braina i Deepminda filtriraju moj životopis, ne dajući mi priliku da pokažem tehničku obuku. "
Predali svjedodžbu, pauza. Skupina akademika me povuče u stranu. Ispostavilo se da je ovo Health grupa s Deepmindom. Bili su toliko impresionirani da su odmah htjeli razgovarati sa mnom o slobodnom mjestu istraživača u njihovom timu. (Razgovarali smo. Ovaj razgovor je trajao 6 mjeseci, položio sam kući, kviz, ali sam prekinut na tehničkom ekranu. 6 mjeseci od početka komunikacije do tehničkog ekrana je dugo vrijeme. Dugo čekanje daje okus beskorisnosti. Inženjer istraživanja u Deepmindu u Londonu, u pozadini TrueAccorda došlo je do snažnog iskoraka, ali u odnosu na moj trenutni položaj to je korak prema dolje. S udaljenosti od dvije godine koje su prošle od tada, to je dobro da nije.)
Zaključak
Otprilike u isto vrijeme dobio sam ponudu od Lyfta koju sam prihvatio.
Na temelju rezultata ova dva natječaja s MICCAI-om objavljeni su sljedeći:
To jest, unatoč divljini ideje, dodavanje inkrementalnih članaka i predispisa putem natjecanja dobro funkcionira. A u godinama koje su uslijedile učinili smo to još gorim.
Posljednjih nekoliko godina radim u Lyftu radeći računalni vid/dubinsko učenje za samovozeće automobile. Odnosno, dobio sam što sam htio. I zadaci, i tvrtka s visokim statusom, i jaki kolege, i sve ostale dobrote.
Tijekom ovih mjeseci komunicirao sam kako s velikim kompanijama Google, Facebook, Uber, LinkedIn, tako i s morem startupova raznih veličina.
Boljelo je sve ove mjesece. Svemir vam svaki dan kaže nešto ne baš ugodno. Redovito odbijanje, redovito griješenje i sve to začinjeno je postojanim osjećajem beznađa. Nema garancija da ćete uspjeti, ali postoji osjećaj da ste budala. To jako podsjeća na to kako sam pokušao pronaći posao odmah nakon fakulteta.
Mislim da su mnogi tražili posao u dolini i sve im je bilo puno lakše. Trik je, po mom mišljenju, u ovome. Tražite li posao u području u koje se razumijete, imate puno iskustva, a isto piše i u životopisu, nema problema. Uzeo sam ga i našao. Puno je slobodnih mjesta.
Ali ako tražite posao u oblasti koja vam je nova, dakle kada nemate znanja, nemate veze i u životopisu nešto krivo stoji - u ovom trenutku sve postaje izuzetno zanimljivo.
Trenutačno mi regruteri redovito pišu i nude da rade isto što radim sada, ali u drugoj tvrtki. Stvarno je vrijeme za promjenu posla. Ali nema smisla ići raditi ono u čemu sam već dobar. Za što?
Ali za ono što želim, opet nemam ni znanja ni redaka u životopisu. Da vidimo kako će sve ovo završiti. Ako sve bude u redu, napisat ću sljedeći dio. 🙂
Izvor: www.habr.com