Questa foto è di Arthur Kuzin (), riassume in modo abbastanza accurato il contenuto del post del blog. Di conseguenza, il racconto che segue dovrebbe essere percepito più come una storia del venerdì che come qualcosa di estremamente utile e tecnico. Inoltre, vale la pena notare che il testo è ricco di parole inglesi. Non so come tradurne alcuni correttamente e semplicemente non voglio tradurne alcuni.
Nei primi due episodi viene svelato come è avvenuto il passaggio dall'ambiente accademico a quello industriale. In questo, la conversazione riguarderà quello che è successo dopo.
Era gennaio 2017. A quel tempo avevo poco più di un anno di esperienza lavorativa e lavoravo a San Francisco in azienda come sr. Scienziato dei dati.
TrueAccord è una startup di recupero crediti. In termini semplici: un'agenzia di riscossione. I collezionisti di solito chiamano molto. Abbiamo inviato molte e-mail, ma fatto poche chiamate. Ogni e-mail portava al sito web della società, dove al debitore veniva offerto uno sconto sul debito e veniva persino consentito di pagare a rate. Questo approccio ha portato a una migliore riscossione, ha consentito un ridimensionamento e una minore esposizione a cause legali.
La compagnia era normale. Il prodotto è chiaro. La gestione è sana di mente. La posizione è buona.
In media, le persone che vivono nella valle lavorano nello stesso posto per circa un anno e mezzo. Cioè, qualsiasi azienda per cui lavori è solo un piccolo passo. In questa fase raccoglierai dei soldi, acquisirai nuove conoscenze, abilità, connessioni e linee nel tuo curriculum. Dopodiché si passa al passaggio successivo.
Presso TrueAccord mi sono occupato di allegare sistemi di consigli alle newsletter via e-mail e di dare priorità alle telefonate. L’impatto è comprensibile ed è stato misurato abbastanza bene in dollari attraverso i test A/B. Poiché prima del mio arrivo non esisteva il machine learning, l’impatto del mio lavoro non è stato negativo. Ancora una volta, è molto più facile migliorare qualcosa che qualcosa che è già fortemente ottimizzato.
Dopo sei mesi di lavoro su questi sistemi, hanno persino aumentato la mia paga base da $ 150 a $ 163. Nella comunità c'è un meme su $ 163k. Cresce con le sue gambe da qui.
Tutto questo è stato meraviglioso, ma non ha portato da nessuna parte, oppure ha portato, ma non lì.
Ho un grande rispetto per TrueAccord, sia per l'azienda che per i ragazzi con cui ho lavorato. Ho imparato molto da loro, ma non volevo lavorare a lungo sui sistemi di raccomandazione presso un'agenzia di riscossione. Da questo passo dovevi fare un passo in qualche direzione. Se non in avanti e verso l'alto, almeno lateralmente.
Cosa non mi è piaciuto?
- Dal punto di vista dell'apprendimento automatico, i problemi non mi hanno entusiasmato. Volevo qualcosa di fashion, giovanile, cioè Deep Learning, Computer Vision, qualcosa di piuttosto vicino alla scienza o almeno all'alchimia.
- Una startup, e anche un’agenzia di riscossione, hanno problemi ad assumere personale altamente qualificato. Essendo una startup, non può pagare molto. Ma come agenzia di riscossione perde status. In parole povere, se una ragazza ad un appuntamento ti chiede dove lavori? La tua risposta: "Su Google" suona molto meglio di "agenzia di riscossione". Mi ha dato un po' fastidio il fatto che per i miei amici che lavorano in Google e Facebook, a differenza mia, il nome della loro azienda aprisse porte del tipo: puoi essere invitato a una conferenza o a un incontro come relatore, oppure persone più interessanti scrivono su LinkedIn con la proposta di incontrarsi per una chiacchierata davanti a un bicchiere di tè. Adoro comunicare con persone che non conosco di persona. Quindi, se vivi a San Francisco, non esitare a scrivere: andiamo a prendere un caffè e parliamo.
- Oltre a me, in azienda lavoravano tre Data Scientist. Stavo lavorando sull'apprendimento automatico e loro stavano lavorando su altri compiti di Data Science, che sono comuni in qualsiasi startup da qui a domani. Di conseguenza, non capivano veramente l’apprendimento automatico. Ma per crescere ho bisogno di comunicare con qualcuno, discutere di articoli e novità, chiedere infine consigli.
Cosa era disponibile?
- Istruzione: fisica, non informatica.
- L'unico linguaggio di programmazione che conoscevo era Python. Avevo la sensazione di dover passare al C++, ma ancora non riuscivo a farlo.
- Un anno e mezzo di lavoro nel settore. Inoltre al lavoro non ho studiato né Deep Learning né Computer Vision.
- Non un solo articolo su Deep Learning/Computer Vision nel curriculum.
- C'era un risultato Kaggle Master.
Cosa volevi?
- Una posizione in cui sarà necessario formare molte reti e avvicinarsi alla visione artificiale.
- È meglio se si tratta di una grande azienda come Google, Tesla, Facebook, Uber, LinkedIn, ecc. Anche se in caso di necessità, una startup andrebbe bene.
- Non ho bisogno di essere il più grande esperto di machine learning del team. C'era un grande bisogno di compagni senior, mentori e tutti i tipi di comunicazione, che avrebbero dovuto accelerare il processo di apprendimento.
- Dopo aver letto i post del blog su come i laureati senza esperienza industriale ricevono un compenso totale di $ 300-500 all'anno, volevo entrare nello stesso intervallo. Non è che questo mi dia molto fastidio, ma visto che dicono che è un fenomeno comune, ma ne ho meno, allora questo è un segnale.
Il compito sembrava completamente risolvibile, anche se non nel senso che puoi entrare in qualsiasi azienda, ma piuttosto che se muori di fame, tutto funzionerà. Cioè, decine o centinaia di tentativi, e il dolore di ogni fallimento e di ogni rifiuto, dovrebbero essere utilizzati per affinare la concentrazione, migliorare la memoria e allungare la giornata a 36 ore.
Ho modificato il mio curriculum, ho iniziato a inviarlo e a fare colloqui. Ho sorvolato la maggior parte di loro nella fase di comunicazione con le risorse umane. Molte persone richiedevano il C++, ma io non lo sapevo e avevo la forte sensazione che non sarei stato molto interessato a posizioni che richiedessero il C++.
Vale la pena notare che più o meno nello stesso periodo si è verificata una transizione di fase nel tipo di competizioni su Kaggle. Prima del 2017 c’erano molti dati tabellari e molto raramente dati immagine, ma a partire dal 2017 ci sono state molte attività di visione artificiale.
La vita scorreva nella seguente modalità:
- Lavora durante il giorno.
- Durante lo screening tecnico/sul posto ti prendi del tempo libero.
- Serate e fine settimana Kaggle + articoli / libri / post sul blog
La fine del 2016 è stata segnata dal fatto che sono entrato a far parte della comunità , il che ha semplificato molte cose. Ci sono molti ragazzi nella comunità con una ricca esperienza industriale, che ci ha permesso di porre molte domande stupide e ottenere molte risposte intelligenti. Ci sono anche molti specialisti molto forti di machine learning di ogni genere, che, inaspettatamente, mi hanno permesso, tramite ODS, di chiudere la questione con una comunicazione regolare e approfondita sulla Data Science. Fino ad ora, in termini di ML, ODS mi dà molte volte di più di quello che ottengo al lavoro.
Bene, come al solito, ODS ha abbastanza specialisti nelle competizioni su Kaggle e altri siti. Risolvere i problemi in gruppo è più divertente e produttivo, quindi con battute, imprecazioni, meme e altri divertimenti nerd abbiamo iniziato a risolvere i problemi uno per uno.
Nel marzo 2017 - in squadra con Serega Mushinsky - terzo posto per . Medaglia d'oro su Kaggle + $ 20k per due. In questo compito è stato migliorato il lavoro con le immagini satellitari + la segmentazione binaria tramite UNet.
Nello stesso marzo sono andato per un colloquio presso NVidia con il team Self Driving. Ho davvero faticato con le domande sul rilevamento degli oggetti. Non c'era abbastanza conoscenza.
Per fortuna, nello stesso periodo, è iniziato il concorso Object Detection su immagini aeree dello stesso DSTL. Dio stesso ha ordinato di risolvere il problema e aggiornarlo. Un mese di serate e fine settimana. Ho acquisito la conoscenza e sono arrivato secondo. Questa competizione aveva delle sfumature interessanti nelle regole, che mi hanno portato ad essere trasmesso in Russia su canali federali e non federali. Sono salito e in numerose pubblicazioni cartacee e online. Il Mail Ru Group ha ricevuto un po' di PR positive a mie spese e con i propri soldi, e la scienza fondamentale in Russia è stata arricchita di 12000 sterline. Come al solito, è stato scritto su questo argomento . Vai lì per i dettagli.
Allo stesso tempo, un reclutatore di Tesla mi ha contattato e si è offerto di parlare della posizione di Computer Vision. Ho accettato. Mi sono precipitato a casa, ho visto due schermi tecnologici, un colloquio in loco e ho avuto una conversazione molto piacevole con Andrei Karpathy, che era appena stato assunto presso Tesla come direttore dell'intelligenza artificiale. La fase successiva è il controllo dei precedenti. Successivamente, Elon Musk ha dovuto approvare personalmente la mia domanda. Tesla ha un rigido accordo di non divulgazione (NDA).
Non ho superato il controllo dei precedenti. Il reclutatore ha detto che chatto molto online, violando la NDA. L'unico posto in cui ho parlato di un'intervista a Tesla è stato ODS, quindi l'ipotesi attuale è che qualcuno abbia preso uno screenshot e scritto alle risorse umane di Tesla, e io sono stato rimosso dalla gara fuori pericolo. È stato un peccato allora. Ora sono felice che non abbia funzionato. La mia posizione attuale è molto migliore, anche se sarebbe molto interessante lavorare con Andrey.
Subito dopo mi sono tuffato nel concorso di immagini satellitari su Kaggle da . Il problema era semplice ed estremamente noioso; nessuno voleva risolverlo, ma tutti volevano una medaglia d'oro o un premio in denaro gratis. Pertanto, con una squadra di Kaggle Masters di 7 persone, abbiamo concordato di lanciare il ferro. Abbiamo addestrato 480 reti nella modalità "fit_predict" e ne abbiamo ricavato un insieme a tre piani. Siamo arrivati settimi. . A proposito, Jeremy Howard, ampiamente conosciuto come il creatore finito 23.
Dopo la fine del concorso, tramite un amico che lavorava presso AdRoll, ho organizzato un Meetup presso la loro sede. I rappresentanti di Planet Labs hanno parlato lì di come si presentava l'organizzazione del concorso e la marcatura dei dati da parte loro. Wendy Kwan, che lavora presso Kaggle e ha supervisionato la competizione, ha parlato di come la vedeva. Ho descritto la nostra soluzione, i trucchi, le tecniche e i dettagli tecnici. Due terzi del pubblico hanno risolto questo problema, quindi le domande sono state poste al punto e in generale è andato tutto bene. C'era anche Jeremy Howard. Si è scoperto che ha concluso al 23 ° posto perché non sapeva come impilare il modello e non conosceva affatto questo metodo di costruzione degli insiemi.
I meetup nella valle sul machine learning sono molto diversi dai meetup a Mosca. Di norma, gli incontri nella valle sono il fondo. Ma il nostro è venuto bene. Sfortunatamente, il compagno che avrebbe dovuto premere il pulsante e registrare tutto non ha premuto il pulsante :)
Successivamente, sono stato invitato a parlare con la posizione di Deep Learning Engineer presso lo stesso Planet Labs e immediatamente sul posto. Non l'ho superato. La formulazione del rifiuto è che non c’è abbastanza conoscenza nel Deep Learning.
Ho concepito ogni concorso come un progetto in . Per il problema DSTL che abbiamo scritto e l'ho pubblicato su arxiv. Non un articolo, ma pur sempre pane. Consiglio anche a tutti gli altri di gonfiare il proprio profilo LinkedIn attraverso concorsi, articoli, competenze e così via. Esiste una correlazione positiva tra quante parole chiave hai nel tuo profilo LinkedIn e la frequenza con cui le persone ti inviano messaggi.
Se in inverno e in primavera ero molto tecnico, ad agosto avevo sia conoscenza che fiducia in me stesso.
Alla fine di luglio, un ragazzo che lavorava come manager di Data Science presso Lyft mi ha contattato su LinkedIn e mi ha invitato a prendere un caffè e parlare della vita, di Lyft, di TrueAccord. Abbiamo parlato. Si è offerto di intervistare il suo team per la posizione di Data Scientist. Ho detto che l'opzione funziona, a patto che sia Computer Vision/Deep Learning dalla mattina alla sera. Ha assicurato che non ci sono state obiezioni da parte sua.
Ho inviato il mio curriculum e lui lo ha caricato sul portale interno di Lyft. Successivamente, il reclutatore mi ha chiamato per aprire il mio curriculum e scoprire di più su di me. Fin dalle prime parole, era chiaro che per lui questa era una formalità, poiché dal suo curriculum era ovvio che "non sono un materiale per Lyft". Immagino che dopo questo il mio curriculum sia finito nel cestino.
Per tutto questo tempo, durante i colloqui, ho discusso dei miei fallimenti e dei miei fallimenti in ODS e i ragazzi mi hanno dato feedback e mi hanno aiutato in ogni modo possibile con consigli, anche se, come al solito, c'erano anche molti troll amichevoli.
Uno dei membri dell'ODS si è offerto di mettermi in contatto con il suo amico, che è il direttore dell'ingegneria presso Lyft. Detto fatto. Vengo a Lyft a pranzo e oltre a questo amico c'è anche un responsabile di Data Science e un product manager che è un grande fan del Deep Learning. A pranzo abbiamo chiacchierato su DL. E dal momento che ho addestrato reti 24 ore su 7, XNUMX giorni su XNUMX per sei mesi, ho letto metri cubi di letteratura e ho eseguito attività su Kaggle con risultati più o meno chiari, potrei parlare di Deep Learning per ore, sia in termini di nuovi articoli che di tecniche pratiche.
Dopo pranzo mi hanno guardato e hanno detto: è subito evidente che sei bello, vuoi parlare con noi? Inoltre, hanno aggiunto che per me è chiaro che il take home + tech screen può essere saltato. E che sarò immediatamente invitato sul posto. Ho accettato.
Successivamente, il reclutatore mi ha chiamato per fissare un colloquio in loco ed era insoddisfatto. Ha mormorato qualcosa sul non saltarti sopra la testa.
Venni. Intervista in loco. Cinque ore di comunicazione con persone diverse. Non c’era una sola domanda sul Deep Learning o sull’apprendimento automatico in linea di principio. Poiché non esiste Deep Learning/Computer Vision, non sono interessato. Pertanto, i risultati dell’intervista erano ortogonali.
Questo reclutatore chiama e dice: congratulazioni, sei riuscito a sostenere il secondo colloquio in loco. Tutto ciò è sorprendente. Qual è il secondo in loco? Non ho mai sentito parlare di una cosa del genere. Sono andato. Ci sono un paio d'ore, questa volta interamente dedicate al machine learning tradizionale. Così va meglio. Ma ancora non interessante.
Il reclutatore mi chiama congratulandosi per aver superato il terzo colloquio in loco e promette che questo sarà l'ultimo. Sono andato a vederlo e c'era sia un DL che un CV.
Avevo un precedente da molti mesi che mi diceva che non ci sarebbe stata alcuna offerta. Mi allenerò non sulle competenze tecniche, ma su quelle morbide. Non sul lato soft, ma sul fatto che la posizione sarà chiusa o che l'azienda non sta ancora assumendo, ma sta semplicemente testando il mercato e il livello dei candidati.
Metà agosto. Ho bevuto birra, ok. Pensieri oscuri. Sono passati 8 mesi e ancora nessuna offerta. È bello essere creativi sotto la birra, soprattutto se la creatività è strana. Mi viene in mente un'idea. Lo condivido con Alexey Shvets, che a quel tempo era un postdoc al MIT.
Cosa succede se partecipi alla conferenza DL/CV più vicina, guardi le competizioni che si svolgono come parte di essa, ti alleni qualcosa e ti iscrivi? Dato che tutti gli esperti stanno costruendo la loro carriera su questo e lo fanno da molti mesi o addirittura anni, non abbiamo alcuna possibilità. Ma non è spaventoso. Facciamo qualche presentazione significativa, voliamo all'ultimo posto e poi scriviamo una prestampa o un articolo su come non siamo come tutti gli altri e parliamo della nostra decisione. E l'articolo è già su LinkedIn e nel tuo curriculum.
Cioè, sembra essere rilevante e ci sono parole chiave più corrette nel curriculum, il che dovrebbe aumentare leggermente le possibilità di arrivare alla schermata tecnica. Codice e contributi da parte mia, testi di Alexey. Gioco, ovviamente, ma perché no?
Detto fatto. La conferenza più vicina che abbiamo cercato su Google è stata MICCAI e in realtà lì c'erano delle gare. Abbiamo colpito il primo. Era . L'attività ha 3 sottoattività. Mancavano 8 giorni alla scadenza. La mattina sono tornato sobrio, ma non ho rinunciato all'idea. Ho preso i miei gasdotti da Kaggle e li ho scambiati dai dati satellitari ai dati medici. 'fit_predict'. Alexey ha preparato una descrizione di due pagine delle soluzioni per ciascun problema e l'abbiamo inviata. Pronto. In teoria, puoi espirare. Ma si è scoperto che c'era un altro compito per lo stesso laboratorio () con tre sottoattività e che la sua scadenza è stata posticipata di 4 giorni, ovvero possiamo fare 'fit_predict' lì e inviarlo. Questo è quello che abbiamo fatto.
A differenza di Kaggle, queste competizioni avevano le loro specifiche accademiche:
- Nessuna classifica. Le comunicazioni vengono inviate tramite e-mail.
- Verrai rimosso se un rappresentante del team non verrà a presentare la soluzione alla conferenza del Workshop.
- La tua posizione in classifica verrà resa nota solo durante la conferenza. Una sorta di dramma accademico.
La conferenza MICCAI 2017 si è tenuta a Quebec City. Ad essere sincero, a settembre stavo iniziando a esaurirmi, quindi l'idea di prendermi una settimana libera dal lavoro e partire per il Canada sembrava interessante.
È venuto alla conferenza. Sono venuto a questo Workshop, non conosco nessuno, sono seduto in un angolo. Tutti si conoscono, comunicano, pronunciano parole mediche intelligenti. Recensione del primo concorso. I partecipanti parlano e parlano delle loro decisioni. È bello lì, con una scintilla. Il mio turno. E in qualche modo mi vergogno persino. Hanno risolto il problema, ci hanno lavorato sopra, hanno fatto avanzare la scienza e noi siamo puramente "fit_predict" dagli sviluppi passati, non per la scienza, ma per migliorare il nostro curriculum.
È uscito e ha detto che nemmeno io sono un esperto in medicina, si è scusato per aver fatto perdere tempo e mi ha mostrato una diapositiva con la soluzione. Sono andato in corridoio.
Annunciano la prima sottoattività: siamo i primi e con un margine.
Vengono annunciati il secondo e il terzo.
Annunciano il terzo: di nuovo prima e di nuovo con un vantaggio.
Il generale è il primo.
Alcuni tra il pubblico sorridono e mi guardano con rispetto. Altri, quelli che apparentemente erano considerati esperti nel settore, avevano vinto una borsa di studio per questo compito e lo svolgevano da molti anni, avevano un'espressione leggermente distorta sui volti.
Poi c'è la seconda attività, quella con tre sottoattività e che è stata spostata avanti di quattro giorni.
Anche qui mi sono scusato e ho mostrato di nuovo la nostra diapositiva.
La solita storia. Due primi, un secondo, primo comune.
Penso che questa sia probabilmente la prima volta nella storia che un'agenzia di recupero crediti vince un concorso di imaging medico.
E ora sono sul palco, mi danno una specie di diploma e sono bombardato. Come cazzo può essere? Questi accademici stanno spendendo i soldi dei contribuenti, lavorando per semplificare e migliorare la qualità del lavoro dei medici, che in teoria è la mia aspettativa di vita, e qualcuno ha strappato l'intero staff accademico nella bandiera britannica in poche sere.
Un vantaggio è che in altri team, gli studenti laureati che hanno lavorato su questi compiti per molti mesi avranno un curriculum attraente per le risorse umane, ovvero arriveranno facilmente allo schermo tecnico. E davanti ai miei occhi c'è una email appena ricevuta:
A Googler recently referred you for the Research Scientist, Google Brain (United States) role. We carefully reviewed your background and experience and decided not to proceed with your application at this time.In genere, fin dal palco, chiedo al pubblico: “Qualcuno sa dove lavoro?” Uno degli organizzatori del concorso lo sapeva: ha cercato su Google cosa fosse TrueAccord. Il resto no. Proseguo: “Lavoro per un’agenzia di recupero crediti, e al lavoro non faccio né Computer Vision né Deep Learning. E in molti modi ciò accade perché i dipartimenti delle risorse umane di Google Brain e Deepmind filtrano il mio curriculum, non dandomi la possibilità di mostrare una formazione tecnica. "
Hanno consegnato il certificato, una pausa. Un gruppo di accademici mi prende da parte. Si è scoperto che questo è un gruppo sanitario con Deepmind. Sono rimasti così colpiti che hanno subito voluto parlarmi del posto vacante di Ingegnere Ricercatore nel loro team. (Abbiamo parlato. Questa conversazione è durata 6 mesi, ho superato il quiz da portare a casa, ma sono stato interrotto sullo schermo tecnico. 6 mesi dall'inizio della comunicazione sullo schermo tecnico sono tanti. La lunga attesa dà un assaggio di inutilità. Ingegnere ricercatore presso Deepmind a Londra, nel contesto di TrueAccord c'è stato un forte passo avanti, ma nel contesto della mia attuale posizione è un passo indietro. A distanza di due anni trascorsi da allora, è positivo che non è stato così.)
conclusione
Più o meno nello stesso periodo ho ricevuto un'offerta da Lyft, che ho accettato.
Sulla base dei risultati di questi due concorsi con MICCAI, sono stati pubblicati:
Cioè, nonostante la follia dell’idea, l’aggiunta di articoli e prestamp incrementali attraverso i concorsi funziona bene. E negli anni successivi abbiamo reso le cose ancora peggiori.
Ho lavorato presso Lyft negli ultimi due anni occupandomi di visione artificiale/apprendimento profondo per auto a guida autonoma. Cioè, ho ottenuto quello che volevo. E compiti, un'azienda di alto livello, colleghi forti e tutte le altre chicche.
In questi mesi ho avuto contatti sia con le grandi aziende Google, Facebook, Uber, LinkedIn, sia con un mare di startup di varie dimensioni.
Ha fatto male in tutti questi mesi. L'universo ti dice ogni giorno qualcosa di non molto piacevole. Rifiuto regolare, errori regolari e tutto ciò è condito da un persistente sentimento di disperazione. Non ci sono garanzie che avrai successo, ma c'è la sensazione che tu sia uno sciocco. Ricorda molto il modo in cui ho cercato di trovare lavoro subito dopo l’università.
Penso che molti cercassero lavoro in valle e per loro tutto era molto più facile. Il trucco, secondo me, è questo. Se stai cercando un lavoro in un campo in cui capisci, hai molta esperienza e il tuo curriculum dice la stessa cosa, non ci sono problemi. L'ho preso e l'ho trovato. Ci sono molti posti vacanti.
Ma se stai cercando un lavoro in un campo nuovo per te, cioè quando non ci sono conoscenze, connessioni e il tuo curriculum dice qualcosa di sbagliato, in questo momento tutto diventa estremamente interessante.
In questo momento, i reclutatori mi scrivono regolarmente e si offrono di fare la stessa cosa che sto facendo adesso, ma in un’azienda diversa. E' davvero ora di cambiare lavoro. Ma non ha senso fare ciò in cui sono già bravo. Per quello?
Ma per quello che voglio, ancora una volta non ho né la conoscenza né le righe nel mio curriculum. Vediamo come va a finire. Se tutto andrà bene, scriverò la parte successiva. 🙂
Fonte: habr.com