For cirka halvandet år siden begyndte jeg at deltage i hackathons. I løbet af denne periode nåede jeg at deltage i mere end 20 arrangementer af forskellige størrelser og temaer i Moskva, Helsinki, Berlin, München, Amsterdam, Zürich og Paris. I alle aktiviteter var jeg involveret i dataanalyse i en eller anden form. Jeg kan godt lide at komme til nye byer, skabe nye kontakter, komme med friske ideer, implementere gamle ideer på kort tid og adrenalinsus under forestillingen og offentliggørelsen af resultaterne.
Dette indlæg er det første af tre indlæg om emnet hackathons, hvor jeg vil fortælle dig, hvad hackathons er, og hvorfor du skal begynde at deltage i hackathons. Det andet indlæg vil handle om den mørke side af disse arrangementer – om hvordan arrangørerne lavede fejl under arrangementet, og hvad de førte til. Det tredje indlæg vil blive afsat til at besvare spørgsmål om hackathon-relaterede emner.
Hvad er et hackathon?
Et hackathon er et arrangement, der afholdes over flere dage, hvis mål er at løse et problem. Normalt er der flere problemer ved et hackathon, hver præsenteret som et separat spor. Den sponsorerende virksomhed giver en beskrivelse af opgaven, succesmålinger (metrics kan være subjektive som "nyhed og kreativitet", eller de kan være objektive - klassificeringsnøjagtighed på et udskudt datasæt) og ressourcer til at opnå succes (virksomheds API'er, datasæt, hardware) . Deltagerne skal formulere et problem, foreslå en løsning og vise en prototype af deres produkt inden for den afsatte tid. De bedste løsninger modtager præmier fra virksomheden og mulighed for yderligere samarbejde.
Hackathon etaper
Efter at opgaverne er annonceret, forenes hackathon-deltagerne i hold: hver "enspænder" modtager en mikrofon og taler om den valgte opgave, hans erfaring, ideen og hvilken slags specialister han har brug for til implementering. Nogle gange kan et team bestå af én person, der er i stand til selvstændigt at udføre alt arbejdet på projektet på et ret højt niveau. Dette er relevant for hackathons om dataanalyse, men er ofte forbudt eller uønsket til produktarrangementer - arrangørerne sigter mod at fortsætte arbejdet med projektet, men allerede i virksomheden; det dannede team har en række fordele i forhold til deltagere, der ønskede at skabe produktet alene. Det optimale team består normalt af 4 personer og omfatter: front-end, back-end, data scientist og forretningsperson. For øvrigt er opdelingen mellem datascience og produkthackathons ret simpel - hvis der er et datasæt med klare metrics og et leaderboard, eller du kan vinde med kode i jupyter notebook - er dette et datascience hackathon; alt andet - hvor du skal lave en ansøgning, hjemmeside eller noget klistret - dagligvarer.
Typisk starter arbejdet med et projekt klokken 9 om fredagen, og deadline er klokken 10 om søndagen. Noget af denne tid skal bruges på at sove (at holde sig vågen og kode er en opskrift på fiasko, tjekkede jeg), hvilket betyder, at deltagerne ikke har meget tid til at producere noget af kvalitet. For at hjælpe deltagere er virksomhedsrepræsentanter og mentorer til stede på siden.
Arbejdet med et projekt begynder med kommunikation med virksomhedens repræsentanter, da de bedre forstår opgavens specifikationer, målinger, og højst sandsynligt vil de bedømme dit arbejde i sidste ende. Formålet med denne kommunikation er at forstå, hvilke områder der er mest relevante, og hvor du bør fokusere din opmærksomhed og tid.
Ved et hackathon blev opgaven sat til at udføre regression på et datasæt med tabeldata og billeder og en klar metrik - RMSE. Efter at jeg havde talt med virksomhedens dataforsker, indså jeg, at de ikke havde brug for regression, men klassificering, men en fra ledelsen besluttede simpelthen, at det var bedst at løse problemet på denne måde. Og de har brug for klassificering ikke for at få en stigning i monetære målinger, men for at forstå, hvilke parametre der er vigtigst, når der skal træffes en beslutning og derefter behandle dem manuelt. Det vil sige, at det oprindelige problem (regression med RMSE) ændres til klassifikation; Prioriteten af vurderingen ændres fra den opnåede nøjagtighed til evnen til at forklare resultatet. Dette eliminerer til gengæld muligheden for at bruge stabling og black box-algoritmer. Denne dialog sparede mig for en masse tid og øgede mine chancer for at vinde.
Når du har forstået, hvad du skal gøre, begynder selve arbejdet med projektet. Du skal indstille kontrolpunkter - det tidspunkt, hvor de tildelte opgaver skal være afsluttet; Undervejs er det en god idé at fortsætte med at kommunikere med mentorer - virksomhedsrepræsentanter og tekniske specialister - dette er nyttigt til at justere ruten for dit projekt. Et nyt blik på et problem kan foreslå en interessant løsning.
Da et stort antal begyndere deltager i hackathons, er det god skik fra arrangørernes side at holde foredrag og masterclasses. Normalt er der tre foredrag - om hvordan du præsenterer din idé som et produkt, et foredrag om tekniske emner (for eksempel om brugen af åbne API'er i maskinlæring, så du ikke skal skrive din speech2text på to dage, men brug en færdiglavet), et foredrag om pitching (hvordan præsenterer dit produkt, hvordan vifter du korrekt med armene på scenen, så publikum ikke keder sig). Der er forskellige aktiviteter til at puste nyt liv i deltagerne - en yogasession, bordfodbold og tennis eller et konsolspil.
Søndag morgen skal du præsentere resultaterne af dit arbejde for juryen. Ved gode hackathons starter det hele med teknisk ekspertise – virker det, du påstår, virkelig? Formålet med dette tjek er at frasortere hold med en smuk præsentation og buzzwords, men uden et produkt, fra de fyre, der rent faktisk gjorde noget. Desværre er teknisk ekspertise ikke til stede ved alle hackathons, og der er tilfælde, hvor et hold med 12 slides og tankegangen “... blockchain, quantum computing, and then AI will finish it...” vinder førstepladsen. Sådanne fortilfælde er ikke så almindelige, men da de er de mest mindeværdige, tror mange mennesker, at en god præsentation er 99% af sejren i et hackathon. Præsentationen er i øvrigt rigtig vigtig, men dens bidrag er ikke mere end 30%.
Efter deltagernes optrædener beslutter juryen at præmiere vinderne. Dette afslutter den officielle del af hackathonet.
Motivation til at deltage i hackathons
erfaring
Med hensyn til den opnåede erfaring er hackathonet et unikt arrangement. Der er ikke mange steder i naturen, hvor du kan implementere en idé ud af ingenting på 2 dage og få øjeblikkelig feedback på dit arbejde. Under hackathonet forbedres kritisk tænkning, teamwork færdigheder, tidsstyring, evnen til at arbejde i en stresset situation, evnen til at præsentere resultaterne af dit arbejde i en forståelig form, præsentationsevner og mange andre. Derfor er hackathons et godt sted for folk med teoretisk viden, som ønsker at få erfaringer fra den virkelige verden.
præmier
Typisk er hackathon-præmiefonden cirka 1.5k - 10k euro for førstepladsen (i Rusland - 100-300 tusind rubler). Den forventede fordel (forventet værdi, EV) ved deltagelse kan beregnes ved hjælp af en simpel formel:
EV = Prize * WinRate + Future_Value - Costs
где Præmie — størrelsen af præmien (for nemheds skyld antager vi, at der kun er én præmie);
WinRate — sandsynlighed for at vinde (for et begynderhold vil denne værdi være begrænset til 10%, for et mere erfarent hold - 50% og højere; Jeg har mødt folk, der forlod hvert hackathon med en præmie, men dette er snarere en undtagelse fra reglen og på lang sigt vil deres gevinstrate være lavere 100%);
Fremtidig_Værdi - en værdi, der viser det fremtidige overskud ved at deltage i et hackathon: dette kan være profit fra de opnåede erfaringer, etablerede forbindelser, modtaget information mv. Denne værdi er næsten umulig at bestemme nøjagtigt, men den skal huskes;
Omkostninger — udgifter til transport, ophold mv.
Beslutningen om at deltage er truffet på baggrund af en sammenligning af EV for hackathonet med EV for den aktivitet, du gerne vil lave, hvis der ikke var noget hackathon: hvis du ville ligge på sofaen i weekenden og pille næse, så skal du nok deltage i hackathon; hvis du bruger tid sammen med dine forældre eller kæreste, så tag dem med på et hold til et hackathon (bare sjov, beslut selv), hvis du freelancer, sammenligne dollar-time.
Ifølge mine beregninger kan jeg sige, at i Rusland for den gennemsnitlige dataforsker på junior-mellemniveau er deltagelse i hackathons i forhold til det økonomiske overskud fra en almindelig arbejdsdag, men der er også nuancer (størrelse på holdet, type af hackathon, præmiefond osv.). Generelt er hackathons ikke en bonanza i øjeblikket, men de kan give et pænt løft til dit personlige budget.
Virksomhedsrekruttering og netværk
For en virksomhed er et hackathon en af måderne at ansætte nye medarbejdere på. Det vil være meget lettere for dig at vise, at du er en passende person og ved, hvordan du arbejder ved et hackathon end ved et interview, hvor du snurrer et binært træ på tavlen (hvilket i øvrigt ikke altid svarer til, hvad du vil gøre i et rigtigt job som dataforsker, men traditioner skal respekteres). En sådan test under "kamp"-forhold kan erstatte en testdag.
Jeg fik mit første job takket være et hackathon. Ved hackathonet viste jeg, at der kan presses flere penge ud af data, og jeg fortalte, hvordan jeg skulle gøre dette. Jeg startede et projekt på et hackathon, vandt det og fortsatte derefter projektet med sponsorfirmaet. Dette var det fjerde hackathon i mit liv.
Mulighed for at få et unikt datasæt
Dette er et meget relevant punkt for datavidenskabshackathons, som ikke alle forstår vigtigheden af. Typisk leverer sponsorvirksomheder rigtige datasæt under arrangementet. Disse data er private, de er under NDA, hvilket ikke forhindrer os i at vise dig proof of concept på et rigtigt datasæt og ikke på et legetøj Titanic. I fremtiden vil sådanne resultater i høj grad hjælpe, når du søger ansættelse i denne virksomhed eller en konkurrent virksomhed, eller til at retfærdiggøre lignende projekter. Enig i, at det alt andet lige er bedre at have gennemført projekter, der blev positivt vurderet end ikke at have dem. Generelt spiller sådanne afsluttede projekter en lignende rolle som medaljer og statusser, men for industrien er deres værdi mere indlysende.
Советы
Generelt er det en ret forskelligartet oplevelse at arbejde ved et hackathon, og det er svært at formulere en liste over regler. Men her vil jeg gerne give en liste over observationer, der kan hjælpe en nybegynder:
- Vær ikke bange for at gå til hackathons, selvom du ikke har erfaring eller et hold. Tænk over, hvordan du kan være nyttig. For eksempel har du måske en interessant idé eller er du velbevandret inden for et eller andet område? Du kan bruge din domæneviden, når du skal formulere et problem og finde ikke-trivielle løsninger. Eller er du måske den bedste til Google? Din færdighed vil spare en masse tid, hvis du kan finde færdige implementeringer i Github. Eller er du meget god til at justere lightgbm-parametre? I dette tilfælde skal du ikke gå til hackathon, men bevise det i kagla-konkurrencen.
- Taktik er vigtigere end manøvrer. Dit mål ved hackathonet er at løse et problem. Nogle gange, for at løse et problem, skal du identificere det. Tjek, at dit identificerede problem virkelig er relevant for virksomheden. Tjek din løsning op mod problemet, spørg dig selv om din løsning er optimal. Når de vurderer din løsning, vil de først se på relevansen af problemet og tilstrækkeligheden af den foreslåede løsning. Få mennesker er interesserede i arkitekturen af dit neurale netværk eller hvor mange hænder du har modtaget.
- Deltag i så mange hackathons som muligt, men vær ikke bleg for at gå væk fra dårligt organiserede begivenheder.
- Tilføj resultaterne af dit arbejde på hackathon til dit CV, og vær ikke bange for at skrive om det offentligt.
Essensen af hackathons. Kort
Kilde: www.habr.com