Ovu sliku je napravio Arthur Kuzin (), prilično precizno sumira sadržaj blog posta. Kao rezultat toga, sljedeći narativ bi trebao biti percipiran više kao priča od petka nego kao nešto izuzetno korisno i tehničko. Osim toga, vrijedno je napomenuti da je tekst bogat engleskim riječima. Ne znam kako da prevedem neke od njih ispravno, a neke jednostavno ne želim da prevodim.
Kako je došlo do prelaska iz akademskog u industrijsko okruženje otkriva se u prve dvije epizode. U ovom će razgovoru biti o tome šta se dalje dogodilo.
Bio je januar 2017. Tada sam imao nešto više od godinu dana radnog iskustva i radio sam u San Francisku u kompaniji poput Sr. Data Scientist.
TrueAccord je startup za naplatu dugova. Jednostavno rečeno - agencija za naplatu. Sakupljači obično često zovu. Poslali smo puno mejlova, ali smo obavili malo poziva. Svaki mejl vodio je na web stranicu kompanije, gdje je dužniku ponuđen popust na dug, pa čak i plaćanje na rate. Ovaj pristup je doveo do bolje naplate, omogućio skaliranje i manju izloženost tužbama.
Kompanija je bila normalna. Proizvod je čist. Uprava je zdrava. Lokacija je dobra.
U proseku, ljudi u dolini rade na jednom mestu oko godinu i po. Odnosno, svaka kompanija u kojoj radite je samo mali korak. Na ovom koraku ćete prikupiti nešto novca, steći nova znanja, vještine, veze i linije u svom životopisu. Nakon toga slijedi prijelaz na sljedeći korak.
U samom TrueAccord-u, bio sam uključen u priključivanje sistema preporuka na biltene e-pošte, kao i davanje prioriteta telefonskim pozivima. Uticaj je razumljiv i prilično je dobro izmjeren u dolarima kroz A/B testiranje. Kako prije mog dolaska nije bilo mašinskog učenja, učinak mog rada nije bio loš. Opet, mnogo je lakše poboljšati nešto nego nešto što je već uvelike optimizirano.
Nakon šest mjeseci rada na ovim sistemima, čak su mi podigli osnovnu platu sa 150 dolara na 163 dolara. U zajednici postoji mem oko 163 hiljade dolara. Odavde raste sa svojim nogama.
Sve je to bilo divno, ali nije vodilo nikuda, ili je vodilo, ali ne tamo.
Veoma poštujem TrueAccord, i kompaniju i momke sa kojima sam tamo radio. Od njih sam puno naučio, ali nisam želio dugo raditi na sistemima preporuka u agenciji za naplatu. Od ovog koraka morali ste zakoračiti u nekom pravcu. Ako ne naprijed i gore, onda barem bočno.
Šta mi se nije dopalo?
- Iz perspektive mašinskog učenja, problemi me nisu uzbuđivali. Želeo sam nešto moderno, mladalačko, odnosno duboko učenje, kompjuterski vid, nešto prilično blisko nauci ili bar alhemiji.
- Startup, pa čak i agencija za naplatu, ima problema sa zapošljavanjem visoko kvalifikovanog osoblja. Kao startup, ne može platiti mnogo. Ali kao agencija za naplatu, gubi na statusu. Grubo rečeno, ako vas devojka na spoju pita gde radite? Vaš odgovor: "Na Googleu" zvuči mnogo bolje od "agencije za naplatu". Malo me je zasmetalo to što je mojim prijateljima koji rade u Google-u i Facebook-u, za razliku od mene, ime njihove kompanije otvorilo vrata poput: možete biti pozvani na konferenciju ili sastanak kao govornik, ili zanimljiviji ljudi pišu na LinkedIn-u sa ponudom da se sretnemo i razgovaramo uz čašu čaja. Zaista volim da komuniciram sa ljudima koje ne poznajem lično. Dakle, ako živite u San Francisku, ne ustručavajte se pisati - idemo na kafu i razgovaramo.
- Pored mene, u kompaniji su radila tri Data Scientists. Ja sam radio na mašinskom učenju, a oni su radili na drugim zadacima nauke o podacima, koji su uobičajeni u svakom startupu od sada do sutra. Kao rezultat toga, nisu baš razumjeli mašinsko učenje. Ali da bih rastao, moram s nekim komunicirati, razgovarati o člancima i najnovijim dešavanjima i na kraju tražiti savjet.
Šta je bilo dostupno?
- Obrazovanje: fizika, a ne informatika.
- Jedini programski jezik koji sam poznavao bio je Python. Postojao je osjećaj da moram preći na C++, ali još uvijek nisam mogao doći do toga.
- Godinu i po dana rada u industriji. Štaviše, na poslu nisam studirao ni duboko učenje ni kompjuterski vid.
- Niti jedan članak o dubokom učenju / kompjuterskom vidu u životopisu.
- Postojalo je dostignuće Kaggle Master.
šta si hteo?
- Pozicija na kojoj će biti potrebno obučiti mnoge mreže, a bliže kompjuterskom vidu.
- Bolje je da se radi o velikoj kompaniji kao što su Google, Tesla, Facebook, Uber, LinkedIn itd. Iako u stisci, startup bi bio dobar.
- Ne moram biti najveći stručnjak za mašinsko učenje u timu. Postojala je velika potreba za starijim drugovima, mentorima i svim vidovima komunikacije, što je trebalo da ubrza proces učenja.
- Nakon što sam pročitao postove na blogu o tome kako diplomci bez industrijskog iskustva imaju ukupnu nadoknadu od 300-500 dolara godišnje, htio sam ući u isti raspon. Nije da mi ovo toliko smeta, ali pošto kažu da je to uobičajena pojava, a ja imam manje, onda je ovo signal.
Činilo se da je zadatak potpuno rješiv, ali ne u smislu da možete uskočiti u bilo koje društvo, već da će, ako izgladnete, sve uspjeti. Odnosno, desetine ili stotine pokušaja i bol od svakog neuspjeha i svakog odbijanja treba iskoristiti za izoštravanje fokusa, poboljšanje pamćenja i produženje dana na 36 sati.
Napravio sam svoj životopis, počeo da ga šaljem i idem na intervjue. Većinu njih sam prošao u fazi komunikacije sa HR-om. Mnogi ljudi su zahtevali C++, ali ja to nisam znao, a imao sam snažan osećaj da neću biti baš zainteresovan za pozicije koje zahtevaju C++.
Vrijedi napomenuti da je otprilike u isto vrijeme došlo do fazne tranzicije u tipu takmičenja na Kaggleu. Prije 2017. bilo je puno tabelarnih podataka i vrlo rijetko slikovnih podataka, ali počevši od 2017. bilo je puno zadataka kompjuterskog vida.
Život je tekao na sledeći način:
- Radite tokom dana.
- Kada je tehnički ekran / na licu mjesta uzimate slobodno vrijeme.
- Večeri i vikendom Kaggle + članci / knjige / postovi na blogu
Kraj 2016. godine obilježila je činjenica da sam se pridružio zajednici , što je pojednostavilo mnoge stvari. U zajednici ima dosta momaka sa bogatim industrijskim iskustvom, što nam je omogućilo da postavimo mnoga glupa pitanja i dobijemo mnogo pametnih odgovora. Postoji i puno jako jakih stručnjaka za mašinsko učenje svih vrsta, što mi je, neočekivano, omogućilo da, preko ODS-a, zatvorim problem redovnom dubinskom komunikacijom o Data Science. Do sada, u smislu ML, ODS mi daje višestruko više od onoga što dobijem na poslu.
Pa, kao i obično, ODS ima dovoljno stručnjaka za takmičenja na Kaggleu i drugim stranicama. Rješavanje problema u timu je zabavnije i produktivnije, pa smo uz šale, psovke, memove i drugu štrebersku zabavu počeli rješavati probleme jedan po jedan.
U martu 2017. - u timu sa Serega Mushinsky - treće mjesto za . Zlatna medalja na Kaggleu + 20k$ za dvoje. Na ovom zadatku je poboljšan rad sa satelitskim snimcima + binarna segmentacija putem UNet-a.
Istog marta otišao sam na intervju u NVidia sa Self Driving timom. Zaista sam se mučio s pitanjima o detekciji objekata. Nije bilo dovoljno znanja.
Srećom, u isto vrijeme počelo je i takmičenje u detekciji objekata na snimcima iz zraka sa istog DSTL-a. Sam Bog je naredio da se problem riješi i nadogradi. Mjesec večeri i vikenda. Pokupio sam znanje i završio drugi. Ovo takmičenje je imalo zanimljivu nijansu u pravilima, što je dovelo do toga da sam prikazan u Rusiji na federalnim, a ne tako federalnim kanalima. Uspeo sam , te u gomili štampanih i online publikacija. Mail Ru Group je dobila malo pozitivnog PR-a na moj račun i svoj novac, a fundamentalna nauka u Rusiji se obogatila za 12000 funti. Kao i obično, pisano je na ovu temu . Idite tamo za detalje.
Istovremeno me je kontaktirao Teslin regruter i ponudio da razgovaramo o poziciji Computer Vision. pristao sam. Projurio sam kroz kućicu, dva tehnološka ekrana, intervju na licu mesta i imao veoma prijatan razgovor sa Andrejem Karpatijem, koji je upravo bio angažovan u Tesli kao direktor AI. Sljedeća faza je provjera pozadine. Nakon toga, Elon Musk je morao lično da odobri moju prijavu. Tesla ima strogi ugovor o neotkrivanju podataka (NDA).
Nisam prošao provjeru. Regruter je rekao da puno ćaskam na mreži, kršeći NDA. Jedino mjesto na kojem sam išta rekao o intervjuu u Tesli bio je ODS, tako da je trenutna hipoteza da je neko napravio snimak ekrana i pisao HR-u u Tesli, a ja sam uklonjen iz trke iz opasnosti. Tada je to bila sramota. Sad mi je drago da nije uspjelo. Moja trenutna pozicija je mnogo bolja, iako bi bilo veoma interesantno raditi sa Andrejem.
Odmah nakon toga, upao sam u takmičenje u satelitskim snimcima na Kaggle-u . Problem je bio jednostavan i krajnje dosadan, niko ga nije htio riješiti, ali su svi htjeli besplatnu zlatnu medalju ili novčanu nagradu. Stoga smo se sa timom Kaggle Mastersa od 7 ljudi dogovorili da ćemo bacati željezo. Obučili smo 480 mreža u 'fit_predict' modu i od njih napravili troetažni ansambl. Završili smo sedmi. . Inače, Džeremi Hauard, koji je nadaleko poznat kao kreator završio 23.
Nakon završetka takmičenja, preko prijatelja koji je radio u AdRoll-u, organizovao sam Meetup u njihovim prostorijama. Predstavnici Planet Labsa govorili su o tome kako je sa njihove strane izgledala organizacija takmičenja i označavanje podataka. Wendy Kwan, koja radi u Kaggleu i nadgledala je konkurenciju, govorila je o tome kako je to vidjela. Opisao sam naše rješenje, trikove, tehnike i tehničke detalje. Dve trećine publike je rešilo ovaj problem, tako da su pitanja postavljena na suštinu i generalno sve je bilo cool. Jeremy Howard je također bio tamo. Ispostavilo se da je završio na 23. mjestu jer nije znao kako da složi maketu i da uopšte nije znao za ovaj način konstruisanja ansambala.
Meetupovi u dolini o mašinskom učenju veoma se razlikuju od susreta u Moskvi. Po pravilu, susreti u dolini su dno. Ali naš je ispao dobar. Nažalost, drug koji je trebao pritisnuti dugme i sve snimiti nije pritisnuo dugme :)
Nakon toga, pozvan sam da razgovaram na poziciji Inženjera dubokog učenja u ovoj istoj Planet Labs, i to odmah na licu mjesta. Nisam prošao. Formulacija odbijanja je da nema dovoljno znanja u dubokom učenju.
Svako takmičenje sam osmislio kao projekat . Za DSTL problem smo pisali i postavio na arxiv. Nije članak, ali ipak kruh. Također preporučujem svima ostalima da naduvaju svoj LinkedIn profil kroz takmičenja, članke, vještine i tako dalje. Postoji pozitivna korelacija između toga koliko ključnih riječi imate na svom LinkedIn profilu i koliko često vam ljudi šalju poruke.
Ako sam zimi i proleća bio vrlo tehničar, onda sam do avgusta imao i znanje i samopouzdanje.
Krajem jula, momak koji je radio kao Data Science menadžer u Lyftu kontaktirao me je na LinkedIn-u i pozvao me na kafu i razgovor o životu, o Lyftu, o TrueAccord-u. Razgovarali smo. Ponudio je intervju sa svojim timom za poziciju Data Scientist. Rekao sam da opcija radi, pod uslovom da je Computer Vision/Deep Learning od jutra do večeri. On je uvjerio da s njegove strane nema prigovora.
Poslao sam svoj životopis i on ga je postavio na Lyftov interni portal. Nakon toga, regruter me je pozvao da otvorim svoj životopis i saznam više o meni. Već od prvih riječi bilo je jasno da je to za njega formalnost, jer mu je iz njegovog životopisa bilo jasno da „ja nisam materijal za Lyft“. Pretpostavljam da je nakon toga moj životopis otišao u kantu za smeće.
Sve ovo vrijeme, dok sam bio na intervjuu, razgovarao sam o svojim neuspjesima i padovima u ODS-u, a momci su mi davali povratne informacije i pomagali mi na svaki mogući način savjetima, iako je, kao i obično, bilo i dosta prijateljskog trolovanja.
Jedan od članova ODS-a je ponudio da me poveže sa svojim prijateljem, koji je direktor inženjeringa u Lyftu. Ne pre rečeno nego učinjeno. Dolazim u Lyft na ručak, a osim ovog prijatelja tu su i voditelj Data Science i Product manager koji je veliki obožavatelj Deep Learning. Za ručkom smo ćaskali preko DL. A kako već pola godine treniram mreže 24/7, čitam kubike literature i izvršavam zadatke na Kaggle-u s manje-više jasnim rezultatima, o dubokom učenju mogao bih pričati satima, kako u smislu novih članaka tako iu smislu praktične tehnike.
Posle ručka su me pogledali i rekli - odmah se vidi da si zgodan, hoćeš da razgovaramo sa nama? Štaviše, dodali su da mi je jasno da se ekran ponese kući + tech može preskočiti. I da ću odmah biti pozvan na lice mjesta. pristao sam.
Nakon toga me je zvao taj regruter da zakaže razgovor na licu mjesta i bio je nezadovoljan. Promrmljao je nešto o tome da ti ne skače preko glave.
Došao. Intervju na licu mesta. Pet sati komunikacije sa različitim ljudima. Nije bilo nijedno pitanje o dubokom učenju, niti o mašinskom učenju u principu. Pošto ne postoji Duboko učenje/Kompjuterski vid, onda me ne zanima. Dakle, rezultati intervjua su bili ortogonalni.
Ovaj regruter zove i kaže - čestitam, prošli ste do drugog intervjua na licu mjesta. Ovo je sve iznenađujuće. Šta je drugo na licu mesta? Nikad nisam čuo za tako nešto. Otišao sam. Postoji nekoliko sati, ovaj put sve o tradicionalnom mašinskom učenju. To je bolje. Ali još uvijek nije zanimljivo.
Regruter zove uz čestitke što sam prošao treći intervju na licu mjesta i obećava da će ovo biti posljednji. Otišao sam da vidim i bilo je i DL i CV.
Imao sam prije mnogo mjeseci koji mi je rekao da neće biti ponude. Neću trenirati na tehničkim vještinama, već na mekim. Ne na mekoj strani, već na činjenici da će se pozicija zatvoriti ili da kompanija još ne zapošljava, već jednostavno testira tržište i nivo kandidata.
Sredinom avgusta. Popio sam pivo u redu. Mračne misli. Prošlo je 8 mjeseci, a još uvijek nema ponude. Dobro je biti kreativan pod pivom, pogotovo ako je kreativnost čudna. Pade mi na pamet ideja. Dijelim to s Alexeyjem Shvetsom, koji je u to vrijeme bio postdoktor na MIT-u.
Šta ako odeš na najbližu DL/CV konferenciju, pogledaš takmičenja koja se održavaju u sklopu nje, treniraš nešto i predaš se? Pošto svi tamošnji stručnjaci na tome grade svoje karijere i to rade mjesecima ili čak godinama, nemamo šanse. Ali nije strašno. Dajemo neki smisleni podnesak, letimo na zadnje mjesto, a nakon toga napišemo pre-print ili članak o tome kako nismo kao svi i pričamo o svojoj odluci. A članak se već nalazi na LinkedInu iu vašem životopisu.
Odnosno, čini se da je relevantno i ima više ispravnih ključnih riječi u životopisu, što bi trebalo malo povećati šanse da dođete do tehnološkog ekrana. Kod i podnesci od mene, tekstovi od Alekseja. Igra, naravno, ali zašto ne?
Ne pre rečeno nego učinjeno. Najbliža konferencija koju smo tražili bila je MICCAI i tamo su se zapravo održavala takmičenja. Pogodili smo prvu. Bilo je . Zadatak ima 3 podzadatka. Do isteka roka ostalo je još 8 dana. Otreznila sam se ujutro, ali nisam odustala od ideje. Uzeo sam svoje cjevovode od Kaggle-a i prebacio ih sa satelitskih podataka na medicinske. 'fit_predict'. Alexey je pripremio opis rješenja na dvije stranice za svaki problem, a mi smo ga poslali. Spreman. U teoriji, možete izdahnuti. Ali ispostavilo se da postoji još jedan zadatak za istu radionicu () sa tri podzadatka i da joj je rok pomaknut za 4 dana, odnosno tu možemo napraviti 'fit_predict' i poslati ga. To smo i uradili.
Za razliku od Kaggle-a, ova takmičenja su imala svoje akademske specifičnosti:
- No Leaderboard. Prijave se šalju e-poštom.
- Bićete uklonjeni ako predstavnik tima ne dođe da predstavi rešenje na konferenciji na Radionici.
- Vaše mjesto na ljestvici postaje poznato tek tokom konferencije. Neka vrsta akademske drame.
Konferencija MICCAI 2017 održana je u Quebec Cityju. Da budem iskren, do septembra sam počeo da izgaram, pa mi je ideja da uzmem nedelju dana odmora od posla i krenem u Kanadu izgledala zanimljivo.
Došao na konferenciju. Došao sam na ovu radionicu, ne poznajem nikoga, sjedim u ćošku. Svi se poznaju, komuniciraju, izbacuju pametne medicinske riječi. Pregled prvog takmičenja. Učesnici govore i govore o svojim odlukama. Tamo je cool, sa sjajem. Moj red. I nekako se čak stidim. Oni su riješili problem, radili na njemu, unaprijedili nauku, a mi smo čisto "fit_predict" iz prošlih razvoja, ne radi nauke, već da bismo poboljšali naš životopis.
Izašao je i rekao da ni ja nisam stručnjak za medicinu, izvinio se što su gubili vrijeme i pokazao mi jedan slajd sa rješenjem. Sišao sam u hodnik.
Najavljuju prvi podzadatak - mi smo prvi, i to s marginom.
Drugi i treći su najavljeni.
Najavljuju treće - opet prvo i opet sa vođstvom.
General je prvi.
Neki u publici se smiju i gledaju me s poštovanjem. Drugi, oni koji su očigledno smatrani stručnjacima u toj oblasti, dobili su grant za ovaj zadatak i to su radili dugi niz godina, imali su malo izobličen izraz lica.
Slijedi drugi zadatak, onaj sa tri podzadatka i koji je pomjeren za četiri dana unaprijed.
Ovdje sam se i ja izvinio i opet pokazao naš jedan slajd.
Ista priča. Dva prva, jedan drugi, prvi zajednički.
Mislim da je ovo vjerovatno prvi put u historiji da je agencija za naplatu pobijedila na takmičenju za medicinsko snimanje.
I sad stojim na sceni, daju mi nekakvu diplomu i bombarduju me. Kako to može biti? Ovi akademci troše novac poreskih obveznika, rade na pojednostavljivanju i poboljšanju kvaliteta rada doktora, odnosno, u teoriji, mog životnog vijeka, a neko je ovo cijelo akademsko osoblje za nekoliko večeri strgalo u britansku zastavu.
Bonus za to je što će u drugim timovima diplomirani studenti koji rade na ovim zadacima mnogo mjeseci imati životopis koji je privlačan HR-u, odnosno lako će doći do tehnološkog ekrana. A pred očima mi je nedavno primljen mejl:
A Googler recently referred you for the Research Scientist, Google Brain (United States) role. We carefully reviewed your background and experience and decided not to proceed with your application at this time.Uglavnom, odmah sa bine pitam publiku: "Zna li neko gdje radim?" Jedan od organizatora takmičenja znao je - proguglao je šta je TrueAccord. Ostali nisu. Nastavljam: „Radim za agenciju za naplatu, a na poslu ne radim ni kompjuterski vid ni duboko učenje. I na mnogo načina, to se dešava zato što HR odjeli Google Brain i Deepmind filtriraju moj životopis, ne dajući mi priliku da pokažem tehničku obuku. "
Uručili sertifikat, pauza. Grupa akademika me povlači u stranu. Ispostavilo se da je ovo zdravstvena grupa sa Deepmindom. Bili su toliko impresionirani da su odmah htjeli razgovarati sa mnom o upražnjenom mjestu istraživača u njihovom timu. (Razgovarali smo. Ovaj razgovor je trajao 6 mjeseci, položio sam test, ali sam bio prekinut na tehničkom ekranu. 6 mjeseci od početka komunikacije do tehničkog ekrana je dugo. Dugo čekanje daje ukus beskorisnosti. Istraživački inženjer u Deepmindu u Londonu, u pozadini TrueAccord-a je bio snažan iskorak, ali na pozadini moje trenutne pozicije to je korak dole. Sa distance od dvije godine koje su prošle od tada, to je dobro da nije.)
zaključak
Otprilike u isto vrijeme, dobio sam ponudu od Lyfta, koju sam prihvatio.
Na osnovu rezultata ova dva konkursa sa MICCAI, objavljeno je:
To jest, uprkos divljini ideje, dodavanje inkrementalnih članaka i preprinta putem takmičenja dobro funkcioniše. A u narednim godinama smo to učinili još gore.
Radim u Lyftu posljednjih nekoliko godina radeći na kompjuterskom vidu/dubokom učenju za automobile koji se samostalno voze. Odnosno, dobio sam šta sam hteo. I zadaci, i firma visokog statusa, i jake kolege, i sve druge dobrote.
Tokom ovih mjeseci imao sam komunikaciju s obje velike kompanije Google, Facebook, Uber, LinkedIn, te sa morem startupova raznih veličina.
Bolelo je svih ovih mjeseci. Univerzum vam svaki dan govori nešto ne baš prijatno. Redovno odbacivanje, redovno činjenje grešaka i sve to je začinjeno upornim osjećajem beznađa. Nema garancija da ćete uspjeti, ali postoji osjećaj da ste budala. Vrlo podsjeća na to kako sam pokušavao da nađem posao odmah nakon fakulteta.
Mislim da su mnogi tražili posao u dolini i sve im je bilo mnogo lakše. Trik je, po mom mišljenju, u ovome. Ako tražite posao u oblasti u kojoj se razumete, imate dosta iskustva, a to piše i u vašem životopisu, nema problema. Uzeo sam i našao. Puno je slobodnih radnih mjesta.
Ali ako tražite posao u oblasti koja vam je nova, odnosno kada nema znanja, nema veza i vaš životopis govori nešto pogrešno – u ovom trenutku sve postaje izuzetno zanimljivo.
Trenutno mi regruteri redovno pišu i nude da uradim isto što i sada radim, ali u drugoj kompaniji. Zaista je vrijeme za promjenu posla. Ali nema smisla raditi ono u čemu sam već dobar. Za što?
Ali za ono što želim, opet nemam ni znanja ni redova u svojoj biografiji. Da vidimo kako će se sve ovo završiti. Ako sve bude kako treba, pisaću sledeći deo. 🙂
izvor: www.habr.com