To sliko je avtor Arthur Kuzin (), precej natančno povzema vsebino zapisa na blogu. Posledično je treba naslednjo pripoved dojemati bolj kot petkovo zgodbo kot pa kot nekaj izjemno uporabnega in tehničnega. Poleg tega velja omeniti, da je besedilo bogato z angleškimi besedami. Nekaterih ne vem, kako pravilno prevesti, nekaterih pa preprosto nočem prevesti.
Kako je potekal prehod iz akademskega okolja v industrijsko, razkrivamo v prvih dveh epizodah. V tem bo pogovor tekel o tem, kaj se je zgodilo potem.
Bil je januar 2017. Takrat sem imel nekaj več kot leto dni delovnih izkušenj in sem delal v San Franciscu v podjetju kot Sr. Podatkovni znanstvenik.
TrueAccord je startup za izterjavo dolgov. Preprosto povedano – agencija za izterjavo. Zbiratelji običajno veliko kličejo. Poslali smo veliko e-poštnih sporočil, opravili pa malo klicev. Vsako elektronsko sporočilo je vodilo na spletno stran podjetja, kjer so dolžniku ponudili popust pri dolgu in mu celo omogočili plačilo na obroke. Ta pristop je privedel do boljšega zbiranja, omogočil skaliranje in manjšo izpostavljenost tožbam.
Družba je bila normalna. Izdelek je prozoren. Uprava je zdrava. Lokacija je dobra.
V povprečju ljudje v dolini delajo na enem mestu približno leto in pol. To pomeni, da je vsako podjetje, v katerem delate, le majhen korak. Na tem koraku boste zbrali nekaj denarja, pridobili nova znanja, veščine, povezave in vrstice v življenjepisu. Po tem sledi prehod na naslednji korak.
V samem TrueAccordu sem sodeloval pri prilaganju sistemov priporočil e-poštnim glasilom, pa tudi pri določanju prednosti telefonskih klicev. Vpliv je razumljiv in je bil precej dobro izmerjen v dolarjih s testiranjem A/B. Ker pred mojim prihodom ni bilo strojnega učenja, vpliv mojega dela ni bil slab. Še enkrat, veliko lažje je nekaj izboljšati kot nekaj, kar je že močno optimizirano.
Po šestih mesecih dela na teh sistemih so mi celo zvišali osnovno plačo s 150 tisoč dolarjev na 163 tisoč dolarjev. V skupnosti obstaja meme o $163k. Od tod raste z nogami.
Vse to je bilo čudovito, vendar ni vodilo nikamor ali pa je vodilo, a ne tja.
Zelo spoštujem TrueAccord, tako podjetje kot fante, s katerimi sem tam delal. Od njih sem se veliko naučil, vendar si nisem želel dolgo delati na priporočilnih sistemih v agenciji za izterjavo. Od tega koraka si moral stopiti v neko smer. Če ne naprej in navzgor, pa vsaj vstran.
Kaj mi ni bilo všeč?
- Z vidika strojnega učenja me težave niso navdušile. Želel sem nekaj modnega, mladostnega, torej Deep Learning, Computer Vision, nekaj precej blizu znanosti ali vsaj alkimiji.
- Startup in celo agencija za izterjavo ima težave z najemom visoko usposobljenega kadra. Kot startup ne more plačati veliko. A kot agencija za izterjavo izgublja na statusu. Grobo rečeno, če dekle na zmenku vpraša, kje delaš? Vaš odgovor: »V Googlu« zveni veliko bolje kot »izterjevalna agencija«. Nekoliko me je zmotilo, da je mojim prijateljem, ki delajo v Googlu in Facebooku, za razliko od mene, ime njihovega podjetja odpiralo vrata kot: lahko si povabljen na konferenco ali srečanje kot govornik ali bolj zanimivi ljudje pišejo na LinkedInu. s ponudbo za srečanje in klepet ob kozarcu čaja. Zelo rada komuniciram z ljudmi, ki jih osebno ne poznam. Torej, če živite v San Franciscu, ne oklevajte in pišite - gremo na kavo in se pogovorimo.
- Poleg mene so v podjetju delali še trije Data Scientists. Delal sem na strojnem učenju, oni pa so delali na drugih nalogah Data Science, ki so pogoste v vsakem zagonu od tukaj do jutri. Posledično v resnici niso razumeli strojnega učenja. Da pa rastem, moram z nekom komunicirati, razpravljati o člankih in najnovejših dogodkih ter na koncu vprašati za nasvet.
Kaj je bilo na voljo?
- Izobrazba: fizika, ne računalništvo.
- Edini programski jezik, ki sem ga poznal, je bil Python. Bil je občutek, da moram preklopiti na C++, vendar še vedno nisem mogel priti do tega.
- Leto in pol dela v industriji. Poleg tega pri delu nisem študiral niti globokega učenja niti računalniškega vida.
- V življenjepisu ni niti enega članka o poglobljenem učenju/računalniškem vidu.
- Tam je bil dosežek Kaggle Master.
Kaj si hotel?
- Položaj, kjer bo treba usposobiti veliko omrežij in bližje računalniškemu vidu.
- Bolje je, če gre za veliko podjetje, kot so Google, Tesla, Facebook, Uber, LinkedIn itd. Čeprav je v stiski, bi zadostoval startup.
- Ni mi treba biti največji strokovnjak za strojno učenje v ekipi. Bila je velika potreba po starejših tovariših, mentorjih in vseh vrstah komunikacije, ki naj bi pospešila učni proces.
- Po branju objav v spletnem dnevniku o tem, kako imajo diplomanti brez industrijskih izkušenj skupno nadomestilo 300–500 tisoč dolarjev na leto, sem želel iti v isti obseg. Saj ne, da me to zelo moti, ampak ker pravijo, da je to pogost pojav, jaz pa jih imam manj, potem je to signal.
Naloga se je zdela povsem rešljiva, a ne v smislu, da lahko skočiš v katero koli družbo, ampak da se bo vse izšlo, če boš stradal. Se pravi, na desetine ali stotine poskusov in bolečino zaradi vsakega neuspeha in vsake zavrnitve je treba uporabiti za izostritev fokusa, izboljšanje spomina in raztegovanje dneva na 36 ur.
Popravil sem svoj življenjepis, ga začel pošiljati in hoditi na razgovore. Večino sem preletel v fazi komunikacije s HR. Veliko ljudi je zahtevalo C++, vendar tega nisem vedel in imel sem močan občutek, da me položaji, ki zahtevajo C++, ne bodo preveč zanimali.
Omeniti velja, da je približno v istem času prišlo do faznega prehoda v vrsti tekmovanj na Kaggleju. Pred letom 2017 je bilo veliko tabelaričnih podatkov in zelo redko slikovnih podatkov, od leta 2017 pa je bilo veliko nalog računalniškega vida.
Življenje je teklo v naslednjem načinu:
- Delo čez dan.
- Na tehničnem zaslonu/na mestu si vzamete čas.
- Večeri in vikendi Kaggle + članki / knjige / objave v blogih
Konec leta 2016 je zaznamovalo to, da sem se pridružil skupnosti , ki je marsikaj poenostavila. V skupnosti je veliko fantov z bogatimi industrijskimi izkušnjami, kar nam je omogočilo, da smo postavili veliko neumnih vprašanj in dobili veliko pametnih odgovorov. Obstaja tudi veliko zelo močnih strokovnjakov za strojno učenje vseh vrst, kar mi je nepričakovano omogočilo, da prek ODS zaključim vprašanje z rednim poglobljenim komuniciranjem o Data Science. Do zdaj mi ODS v smislu ML daje večkrat več, kot dobim v službi.
No, kot ponavadi ima ODS dovolj strokovnjakov za tekmovanja na Kaggle in drugih straneh. Reševanje problemov v ekipi je bolj zabavno in produktivno, zato smo se s šalami, psovkami, memi in ostalo piflarsko zabavo lotili reševanja problemov enega za drugim.
Marca 2017 - v ekipi s Serega Mushinsky - tretje mesto za . Zlata medalja na Kaggle + 20 tisoč $ za dva. Na tej nalogi je bilo izboljšano delo s satelitskimi slikami + binarno segmentacijo preko UNeta.
Istega marca sem šel na razgovor v NVidia z ekipo Self Driving. Resnično sem imel težave z vprašanji o zaznavanju predmetov. Znanja ni bilo dovolj.
Na srečo se je istočasno začelo tekmovanje Object Detection na aeroposnetkih iz istega DSTL. Sam Bog je ukazal rešiti problem in nadgraditi. Mesec večerov in vikendov. Pobral sem znanje in dosegel drugo mesto. To tekmovanje je imelo zanimivo nianso v pravilih, zaradi česar so me v Rusiji prikazali na zveznih in manj zveznih kanalih. Vstopil sem , ter v kopici tiskanih in spletnih publikacij. Mail Ru Group je na moj račun in svoj denar prejel malo pozitivnega piara, temeljna znanost v Rusiji pa obogatena za 12000 funtov. Kot ponavadi je bilo napisano na to temo . Pojdite tja za podrobnosti.
Istočasno me je kontaktiral Teslin rekruter in ponudil pogovor o delovnem mestu Computer Vision. Strinjal sem se. Brskal sem skozi odvoz domov, dva tehnična zaslona, intervju na kraju samem in imel zelo prijeten pogovor z Andrejem Karpathyjem, ki je bil pravkar zaposlen pri Tesli kot direktor AI. Naslednja faza je preverjanje preteklosti. Po tem je moral Elon Musk osebno odobriti mojo prijavo. Tesla ima strogo pogodbo o nerazkritju podatkov (NDA).
Nisem opravil preverjanja preteklosti. Rekruter je rekel, da veliko klepetam na spletu, s čimer kršim NDA. Edino mesto, kjer sem povedal kaj o razgovoru pri Tesli, je bil ODS, tako da je trenutna hipoteza, da je nekdo posnel posnetek zaslona in pisal kadrovski službi pri Tesli, zaradi česar so me brez nevarnosti odstranili iz dirke. Takrat je bilo škoda. Zdaj sem vesel, da se ni izšlo. Moj trenutni položaj je veliko boljši, čeprav bi bilo zelo zanimivo sodelovati z Andrejem.
Takoj za tem sem se potopil v tekmovanje satelitskih posnetkov na Kaggleju . Problem je bil preprost in izjemno dolgočasen; nihče ga ni hotel rešiti, vsi pa so želeli brezplačno zlato medaljo ali denarno nagrado. Zato smo se z ekipo Kaggle Masters 7 ljudi dogovorili, da bomo metali železo. Usposobili smo 480 mrež v načinu 'fit_predict' in iz njih sestavili trinadstropni ansambel. Zasedli smo sedmo mesto. . Mimogrede, Jeremy Howard, ki je splošno znan kot ustvarjalec končal 23.
Po koncu tekmovanja sem preko prijatelja, ki je delal v AdRollu, organiziral Meetup v njihovih prostorih. Predstavniki Planet Labs so tam spregovorili o tem, kako je izgledala organizacija tekmovanja in označevanje podatkov z njihove strani. Wendy Kwan, ki dela pri Kaggle in je nadzorovala tekmovanje, je spregovorila o tem, kako je to videla. Opisal sem našo rešitev, trike, tehnike in tehnične podrobnosti. Dve tretjini občinstva sta rešili to težavo, zato so bila vprašanja postavljena do točke in na splošno je bilo vse kul. Tam je bil tudi Jeremy Howard. Izkazalo se je, da je končal na 23. mestu, ker ni znal zlagati modela in da sploh ni poznal tega načina sestavljanja ansamblov.
Srečanja v dolini o strojnem učenju se zelo razlikujejo od srečanj v Moskvi. Praviloma so srečanja v dolini dno. Toda naš se je dobro izkazal. Žal tovariš, ki bi moral pritisniti na gumb in vse posneti, gumba ni stisnil :)
Po tem so me povabili na pogovor na delovno mesto inženirja poglobljenega učenja v istem Planet Labs in takoj na kraju samem. Nisem opravil. Besedilo zavrnitve je, da v globokem učenju ni dovolj znanja.
Vsak natečaj sem zasnoval kot projekt v . Za problem DSTL smo pisali in ga objavil na arxiv. Ne članek, ampak vseeno kruh. Tudi vsem ostalim priporočam, da svoj LinkedIn profil napihnejo s tekmovanji, članki, veščinami ipd. Obstaja pozitivna korelacija med številom ključnih besed, ki jih imate v profilu LinkedIn, in tem, kako pogosto vam ljudje pošiljajo sporočila.
Če sem bil pozimi in spomladi zelo tehničen, sem do avgusta imel tako znanje kot samozavest.
Konec julija me je na LinkedInu kontaktiral fant, ki je delal kot Data Science manager pri Lyftu in me povabil na kavo in klepet o življenju, o Lyftu, o TrueAccordu. Smo se pogovarjali. Ponudil je intervju s svojo ekipo za položaj podatkovnega znanstvenika. Rekel sem, da možnost deluje, pod pogojem, da je Computer Vision / Deep Learning od jutra do večera. Zagotovil je, da z njegove strani ni zadržkov.
Poslal sem svoj življenjepis in on ga je naložil na Lyftov interni portal. Po tem me je zaposlilec poklical, da bi odprl moj življenjepis in izvedel več o meni. Že ob prvih besedah je bilo jasno, da je zanj to formalnost, saj mu je bilo iz njegovega življenjepisa jasno, da »nisem material za Lyft«. Mislim, da je šel po tem moj življenjepis v koš za smeti.
Ves ta čas, ko sem bil na razgovorih, sem razpravljal o svojih neuspehih in padcih v ODS in fantje so mi dajali povratne informacije in mi na vse možne načine pomagali z nasveti, čeprav je bilo tudi tu, kot ponavadi, veliko prijaznega trolanja.
Eden od članov ODS mi je ponudil povezavo s svojim prijateljem, ki je direktor inženiringa pri Lyftu. Nič prej rečeno kot storjeno. Pridem v Lyft na kosilo in poleg tega prijatelja sta tu še vodja podatkovne znanosti in produktni vodja, ki je velik oboževalec globokega učenja. Ob kosilu smo klepetali preko DL. In ker sem pol leta treniral omrežja 24/7, prebiral kubične metre literature in izvajal naloge na Kaggle z bolj ali manj jasnimi rezultati, bi o globokem učenju lahko govoril ure in ure, tako v smislu novih člankov kot praktične tehnike.
Po kosilu so me pogledali in rekli - takoj se vidi, da si čeden, ali želiš govoriti z nami? Še več, dodali so, da mi je jasno, da se zaslon take home + tech lahko preskoči. In da bom takoj povabljen na teren. Strinjal sem se.
Po tem me je tisti zaposloval poklical, da bi se dogovoril za razgovor na kraju samem, in bil je nezadovoljen. Zamrmral je nekaj o tem, da ti ne sme skočiti čez glavo.
prišel. Intervju na kraju samem. Pet ur komunikacije z različnimi ljudmi. Ni bilo niti enega vprašanja o globokem učenju ali načeloma o strojnem učenju. Ker ni globokega učenja / računalniškega vida, me ne zanima. Tako so bili rezultati intervjuja pravokotni.
Ta nabornik pokliče in reče - čestitam, prišli ste do drugega intervjuja na kraju samem. Vse to je presenetljivo. Kaj je drugo na mestu? Še nikoli nisem slišal za kaj takega. Šel sem. Tam je nekaj ur, tokrat vse o tradicionalnem strojnem učenju. To je bolje. Ampak še vedno ni zanimivo.
Zaposlovalec me pokliče in mi čestita, da sem opravil tretji razgovor na kraju samem, in obljubi, da bo to zadnji. Šel sem ga pogledat in tam sta bila DL in CV.
Več mesecev sem imel predhodnika, ki mi je rekel, da ponudbe ne bo. Ne bom treniral na tehničnih veščinah, ampak na mehkih. Ne na mehki strani, ampak na dejstvu, da bo delovno mesto zaprto ali da podjetje še ne zaposluje, ampak preprosto testira trg in raven kandidatov.
Sredi avgusta. Pil sem pivo v redu. Temne misli. 8 mesecev je minilo, ponudbe pa še vedno ni. Dobro je biti ustvarjalen ob pivu, sploh če je kreativnost čudna. Na misel mi pride ideja. Delim ga z Alexeyem Shvetsom, ki je bil takrat podoktor na MIT.
Kaj pa če vzameš najbližjo DL/CV konferenco, pogledaš tekmovanja, ki potekajo v sklopu nje, nekaj treniraš in oddaš? Ker vsi tamkajšnji strokovnjaki na tem gradijo svoje kariere in to delajo že več mesecev ali celo let, nimamo nobene možnosti. Ampak to ni strašljivo. Naredimo neko smiselno oddajo, priletimo do zadnjega mesta, potem pa napišemo prednatis ali članek o tem, da nismo kot vsi drugi in se pogovorimo o svoji odločitvi. In članek je že na LinkedInu in v vašem življenjepisu.
To pomeni, da se zdi relevantno in v življenjepisu je več pravilnih ključnih besed, kar bi moralo nekoliko povečati možnosti, da pridete do tehničnega zaslona. Koda in prispevki od mene, besedila od Alexeya. Igra seveda, ampak zakaj pa ne?
Nič prej rečeno kot storjeno. Najbližja konferenca, ki smo jo iskali v Googlu, je bila MICCAI in tam so bila tekmovanja. Zadeli smo prvo. Bilo je . Naloga ima 3 podnaloge. Do roka je ostalo še 8 dni. Zjutraj sem se streznil, a ideje nisem opustil. Svoje cevovode sem vzel od Kaggla in jih preklopil s satelitskih podatkov na zdravstvene podatke. 'fit_predict'. Alexey je za vsako težavo pripravil dvostranski opis rešitev, ki smo ga poslali. pripravljena Teoretično lahko izdihnete. Izkazalo pa se je, da obstaja še ena naloga za isto delavnico () s tremi podnalogami in da je njen rok premaknjen za 4 dni, to pomeni, da lahko tam naredimo 'fit_predict' in ga pošljemo. To smo storili.
Za razliko od Kaggla so imela ta tekmovanja svoje akademske posebnosti:
- Brez lestvice najboljših. Prijave se pošiljajo po elektronski pošti.
- Odstranjeni boste, če predstavnik ekipe ne pride predstavit rešitve na konferenci na delavnici.
- Vaše mesto na lestvici najboljših postane znano šele med konferenco. Nekakšna akademska drama.
Konferenca MICCAI 2017 je potekala v mestu Quebec. Če sem iskren, sem do septembra začel izgorevati, zato je bila ideja, da bi si vzel en teden dopusta v službi in se odpravil v Kanado, videti zanimiva.
Prišel na konferenco. Prišel sem na to delavnico, nikogar ne poznam, sedim v kotu. Vsi se poznajo, komunicirajo, mečejo pametne medicinske besede. Pregled prvega tekmovanja. Udeleženci govorijo in govorijo o svojih odločitvah. Tam je kul, z iskrico. Jaz sem na vrsti. In nekako me je celo sram. Rešili so problem, delali na njem, napredovali v znanosti, mi pa zgolj »fit_predict« iz preteklega razvoja, ne zaradi znanosti, ampak zato, da izboljšamo svoj življenjepis.
Prišel je ven in rekel, da tudi jaz nisem strokovnjak za medicino, se opravičil, ker sem zapravljal čas, in mi pokazal en diapozitiv z rešitvijo. Spustil sem se v vežo.
Napovejo prvo podnalogo - prvi smo, in to z rezervo.
Drugi in tretji sta napovedana.
Napovejo tretjega - spet prvega in spet z vodstvom.
General je prvi.
Nekateri v občinstvu se nasmehnejo in me gledajo s spoštovanjem. Drugi, tisti, ki so očitno veljali za strokovnjake na tem področju, so pridobili štipendijo za to nalogo in se s tem ukvarjali že vrsto let, so imeli nekoliko popačen izraz na obrazu.
Sledi druga naloga, tista s tremi podnalogami, ki je bila premaknjena za štiri dni naprej.
Tukaj sem se tudi opravičil in ponovno pokazal naš en diapozitiv.
Ista zgodba. Prva dva, drugi drugi, prvi skupni.
Mislim, da je to verjetno prvič v zgodovini, da je zbirateljska agencija zmagala na tekmovanju za medicinsko slikanje.
In zdaj stojim na odru, dajo mi nekakšno diplomo in sem bombardiran. Kako za vraga je to lahko? Ti akademiki porabljajo davkoplačevalski denar, si prizadevajo za poenostavitev in izboljšanje kakovosti dela zdravnikov, torej v teoriji za mojo pričakovano življenjsko dobo, in nekdo je celotno to akademsko osebje v nekaj večerih raztrgal na britansko zastavo.
Dodatek k temu je, da bodo imeli v drugih skupinah podiplomski študenti, ki so več mesecev delali na teh nalogah, življenjepis, ki je privlačen za kadrovske službe, kar pomeni, da bodo zlahka prišli do tehničnega zaslona. In pred mojimi očmi je sveže prejeti email:
A Googler recently referred you for the Research Scientist, Google Brain (United States) role. We carefully reviewed your background and experience and decided not to proceed with your application at this time.Na splošno takoj z odra vprašam občinstvo: "Ali kdo ve, kje delam?" Eden od organizatorjev tekmovanja je vedel – poguglal je, kaj je TrueAccord. Ostali niso. Nadaljujem: »Delam za zbirno agencijo in v službi se ne ukvarjam niti z računalniškim vidom niti z globokim učenjem. In v mnogih pogledih se to zgodi, ker kadrovska oddelka Google Brain in Deepmind filtrirata moj življenjepis in mi ne data možnosti, da pokažem tehnično usposobljenost. "
Podelili so spričevalo, odmor. Skupina akademikov me potegne na stran. Izkazalo se je, da je to skupina Health z Deepmindom. Bili so tako navdušeni, da so se takoj želeli pogovoriti z menoj o prostem delovnem mestu raziskovalnega inženirja v njihovi ekipi. (Res sva se pogovarjala. Ta pogovor je trajal 6 mesecev, opravil sem test za odpelji domov, kviz, vendar sem bil na tehničnem zaslonu prekinjen. 6 mesecev od začetka komunikacije do tehničnega zaslona je dolga doba. Dolgo čakanje daje okus neuporabnosti. Raziskovalni inženir pri Deepmindu v Londonu, glede na TrueAccord je bil močan korak navzgor, vendar glede na moj trenutni položaj je korak navzdol. Z razdalje dveh let, ki sta minili od takrat, je dobro da ni.)
Zaključek
Približno v istem času sem prejel ponudbo od Lyfta, ki sem jo sprejel.
Na podlagi rezultatov teh dveh tekmovanj z MICCAI so bili objavljeni:
To pomeni, da kljub divji ideji dodajanje inkrementalnih člankov in prednatisov prek tekmovanj deluje dobro. In v naslednjih letih smo to še poslabšali.
Zadnjih nekaj let delam pri Lyftu in se ukvarjam z računalniškim vidom/globinskim učenjem za samovozeče avtomobile. Se pravi, dobil sem, kar sem hotel. In naloge, podjetje z visokim statusom, močni sodelavci in vse ostale dobrote.
V teh mesecih sem komuniciral z velikimi podjetji Google, Facebook, Uber, LinkedIn in z morjem startupov različnih velikosti.
Vse te mesece je bolelo. Vesolje vam vsak dan pove kaj ne ravno prijetnega. Redno zavračanje, redno delanje napak in vse to je začinjeno z vztrajnim občutkom brezupnosti. Ni zagotovil, da vam bo uspelo, vendar obstaja občutek, da ste norec. Zelo spominja na to, kako sem poskušal najti službo takoj po univerzi.
Mislim, da so mnogi iskali delo v dolini in jim je bilo vse veliko lažje. Trik je po mojem mnenju v tem. Če iščete delo na področju, v katerega se razumete, imate veliko izkušenj in to piše tudi v vašem življenjepisu, ni težav. Vzel sem ga in našel. Veliko je prostih mest.
Če pa iščete delo na področju, ki je za vas novo, torej ko ni znanja, zvez in v vašem življenjepisu piše nekaj narobe – v tem trenutku postane vse izjemno zanimivo.
Trenutno mi zaposlovalci redno pišejo in ponujajo, da počnejo isto stvar, ki jo počnem zdaj, vendar v drugem podjetju. Res je čas za menjavo službe. Ampak nima smisla, da bi delal tisto, v čemer sem že dober. Za kaj?
A za to, kar hočem, spet nimam ne znanja ne vrstic v življenjepisu. Poglejmo, kako se bo vse skupaj končalo. Če bo vse v redu, bom napisal naslednji del. 🙂
Vir: www.habr.com