Około półtora roku temu zacząłem brać udział w hackatonach. W tym czasie udało mi się wziąć udział w ponad 20 wydarzeniach o różnej skali i tematyce w Moskwie, Helsinkach, Berlinie, Monachium, Amsterdamie, Zurychu i Paryżu. We wszystkich działaniach byłem zaangażowany w analizę danych w takiej czy innej formie. Lubię przyjeżdżać do nowych miast, nawiązywać nowe kontakty, wpadać na świeże pomysły, wdrażać stare w krótkim czasie i adrenalinę podczas występu i ogłoszenia wyników.
Ten post jest pierwszym z trzech postów poruszających temat hackatonów, w którym opowiem czym są hackatony i dlaczego warto zacząć w nich uczestniczyć. Drugi post będzie dotyczył ciemnej strony tych wydarzeń – tego, jak organizatorzy popełnili błędy podczas wydarzenia i do czego to doprowadziło. Trzeci post poświęcony będzie odpowiedziom na pytania dotyczące tematów związanych z hackatonem.
Co to jest hackaton?
Hackaton to kilkudniowe wydarzenie, którego celem jest rozwiązanie problemu. Zwykle na hackatonie pojawia się kilka problemów, a każdy z nich jest przedstawiany jako osobna ścieżka. Firma sponsorująca dostarcza opis zadania, wskaźniki sukcesu (metryki mogą być subiektywne, np. „nowość i kreatywność”, lub mogą być obiektywne – dokładność klasyfikacji na odroczonym zbiorze danych) oraz zasoby umożliwiające osiągnięcie sukcesu (firmowe interfejsy API, zbiory danych, sprzęt) . Uczestnicy muszą w wyznaczonym czasie sformułować problem, zaproponować rozwiązanie i pokazać prototyp swojego produktu. Najlepsze rozwiązania otrzymują od firmy nagrody i możliwość dalszej współpracy.
Etapy hackatonu
Po ogłoszeniu zadań uczestnicy hackatonu łączą się w zespoły: każdy „samotnik” otrzymuje mikrofon i opowiada o wybranym zadaniu, swoim doświadczeniu, pomyśle i jakich specjalistach potrzebuje do realizacji. Czasami zespół może składać się z jednej osoby, która jest w stanie samodzielnie wykonać wszystkie prace nad projektem na dość wysokim poziomie. Jest to istotne w przypadku hackatonów poświęconych analizie danych, ale często jest zabronione lub niepożądane w przypadku wydarzeń produktowych - organizatorzy mają na celu dalszą kontynuację prac nad projektem, ale już w firmie; utworzony zespół ma szereg przewag nad uczestnikami, którzy chcieli samodzielnie stworzyć produkt. Optymalny zespół składa się zazwyczaj z 4 osób i obejmuje: front-end, backend, analityka danych i biznesmena. Swoją drogą podział pomiędzy datascience i hackatonami produktowymi jest dość prosty – jeśli istnieje zbiór danych z przejrzystymi metrykami i tabelą wyników, albo można wygrać kodem w notatniku jupyter – jest to hackaton datascience; wszystko inne - gdzie trzeba zrobić aplikację, stronę internetową lub coś przyklejonego - spożywcze.
Zazwyczaj prace nad projektem rozpoczynają się o godzinie 9:10 w piątek, a termin realizacji upływa w niedzielę o godzinie XNUMX:XNUMX. Część tego czasu trzeba przeznaczyć na sen (nie spanie, a kodowanie to przepis na porażkę, sprawdziłem), co oznacza, że uczestnicy nie mają zbyt wiele czasu na stworzenie czegoś wartościowego. Aby pomóc uczestnikom, na stronie obecni są przedstawiciele firmy i mentorzy.
Pracę nad projektem zaczynamy od komunikacji z przedstawicielami firmy, ponieważ lepiej rozumieją oni specyfikę zadania, metryki i najprawdopodobniej ostatecznie ocenią Twoją pracę. Celem tej komunikacji jest zrozumienie, które obszary są najbardziej istotne i na których należy skupić swoją uwagę i czas.
Podczas jednego z hackathonów zadaniem było przeprowadzenie regresji na zbiorze danych z danymi tabelarycznymi i obrazami oraz jasną metryką – RMSE. Po rozmowie z analitykiem danych w firmie zdałem sobie sprawę, że nie potrzebna jest im regresja, ale klasyfikacja, ale ktoś z kierownictwa po prostu zdecydował, że najlepiej rozwiązać problem w ten sposób. I potrzebują klasyfikacji nie po to, aby uzyskać wzrost wskaźników pieniężnych, ale po to, aby zrozumieć, które parametry są najważniejsze przy podejmowaniu decyzji, a następnie przetworzyć je ręcznie. Oznacza to, że początkowy problem (regresja z RMSE) zostaje zmieniony na klasyfikację; Priorytet oceny zmienia się z uzyskanej dokładności na możliwość wyjaśnienia wyniku. To z kolei eliminuje możliwość stosowania algorytmów stackowania i czarnej skrzynki. Dialog ten oszczędził mi mnóstwo czasu i zwiększył moje szanse na wygraną.
Gdy zrozumiesz, co musisz zrobić, rozpoczyna się właściwa praca nad projektem. Musisz wyznaczyć punkty kontrolne – czas, w którym należy wykonać przydzielone zadania; Po drodze warto kontynuować komunikację z mentorami – przedstawicielami firmy i specjalistami technicznymi – przydaje się to do dostosowania trasy Twojego projektu. Świeże spojrzenie na problem może zasugerować ciekawe rozwiązanie.
Ponieważ w hackatonach uczestniczy duża liczba początkujących, dobrą praktyką organizatorów jest organizowanie wykładów i kursów mistrzowskich. Zwykle odbywają się trzy wykłady – o tym, jak zaprezentować swój pomysł jako produkt, wykład o tematyce technicznej (np. o wykorzystaniu otwartych API w uczeniu maszynowym, aby nie trzeba było pisać mowy w dwa dni, ale użyj gotowego), wykład na temat pitchingu (jak prezentować swój produkt, jak prawidłowo machać rękami na scenie, aby publiczność się nie nudziła). Dla ożywienia uczestników przewidziano różnorodne zajęcia – sesja jogi, piłkarzyki i tenis stołowy czy gra na konsoli.
W niedzielny poranek trzeba zaprezentować jury efekty swojej pracy. W dobrych hackatonach wszystko zaczyna się od wiedzy technicznej – czy to, co twierdzisz, naprawdę działa? Celem tej kontroli jest wyeliminowanie zespołów z piękną prezentacją i modnymi hasłami, ale bez produktu, od chłopaków, którzy rzeczywiście coś zrobili. Niestety, na wszystkich hackatonach nie ma wiedzy technicznej i zdarzają się przypadki, gdy pierwsze miejsce zdobywa zespół z 12 slajdami i nastawieniem „...blockchain, obliczenia kwantowe, a potem AI to dokończy…”. Takie precedensy nie są zbyt częste, ale ponieważ zapadają w pamięć, wiele osób uważa, że dobra prezentacja to 99% zwycięstwa w hackatonie. Nawiasem mówiąc, prezentacja jest naprawdę ważna, ale jej wkład nie przekracza 30%.
Po występach uczestników jury postanawia nagrodzić zwycięzców. Na tym kończy się oficjalna część hackatonu.
Motywacja do udziału w hackatonach
Doświadczenie
Pod względem zdobytych doświadczeń hackaton jest wydarzeniem wyjątkowym. Niewiele jest miejsc w przyrodzie, gdzie można wdrożyć pomysł z niczego w 2 dni i uzyskać natychmiastową informację zwrotną na temat swojej pracy. Podczas hackatonu doskonalone jest krytyczne myślenie, umiejętność pracy w zespole, zarządzanie czasem, umiejętność pracy w sytuacji stresowej, umiejętność przedstawiania wyników swojej pracy w zrozumiałej formie, umiejętności prezentacji i wiele innych. Dlatego hackatony są doskonałym miejscem dla osób posiadających wiedzę teoretyczną, które chcą zdobyć doświadczenie w świecie rzeczywistym.
Nagrody
Zazwyczaj pula nagród hackatonu wynosi około 1.5 tys. – 10 tys. euro za pierwsze miejsce (w Rosji – 100–300 tys. rubli). Oczekiwaną korzyść (wartość oczekiwaną, EV) z udziału można obliczyć za pomocą prostego wzoru:
EV = Prize * WinRate + Future_Value - Costs
gdzie Nagroda — wielkość nagrody (dla uproszczenia założymy, że nagroda jest tylko jedna);
Współczynnik wygranych — prawdopodobieństwo wygranej (dla drużyny początkującej wartość ta będzie ograniczona do 10%, dla drużyny bardziej doświadczonej – 50% i więcej; spotkałem osoby, które wychodziły z każdego hackatonu z nagrodą, ale jest to raczej wyjątek od reguły a w dłuższej perspektywie ich współczynnik wygranych będzie niższy o 100%;
Przyszła wartość - wartość określająca przyszły zysk z udziału w hackatonie: może to być zysk ze zdobytego doświadczenia, nawiązanych kontaktów, otrzymanych informacji itp. Dokładne określenie tej wartości jest prawie niemożliwe, ale należy o tym pamiętać;
Koszty: — koszty transportu, zakwaterowania itp.
Decyzja o udziale podejmowana jest na podstawie porównania EV hackatonu z EV aktywności, którą chciałbyś wykonać, gdyby hackathonu nie było: jeśli chciałbyś w weekend poleżeć na kanapie i dłubać w nosie, to prawdopodobnie powinieneś wziąć udział w hackatonie; jeśli spędzasz czas z rodzicami lub dziewczyną, zabierz ich do zespołu na hackaton (tylko żartuję, zdecyduj sam), jeśli jesteś niezależny, porównaj dolara za godzinę.
Według moich obliczeń mogę powiedzieć, że w Rosji dla przeciętnego analityka danych na poziomie młodszego i średniego uczestnictwo w hackatonach jest współmierne do zysku pieniężnego z normalnego dnia pracy, ale są też niuanse (wielkość zespołu, rodzaj hackathonu, funduszu nagród itp.). Ogólnie rzecz biorąc, hackatony nie są obecnie rewelacją, ale mogą stanowić niezłe zastrzyki dla Twojego osobistego budżetu.
Rekrutacja i networking dla firm
Dla firmy hackaton jest jedną ze sposobów na zatrudnienie nowych pracowników. O wiele łatwiej będzie Ci pokazać, że jesteś odpowiednią osobą i potrafisz pracować na hackatonie, niż na rozmowie kwalifikacyjnej, kręcąc na tablicy drzewko binarne (co zresztą nie zawsze odpowiada temu, co będziesz wykonywać w prawdziwej pracy analityka danych, ale należy szanować tradycje). Taki test w warunkach „bojowych” może zastąpić dzień testowy.
Dzięki hackatonowi udało mi się zdobyć pierwszą pracę. Na hackatonie pokazałem, że z danych można wycisnąć więcej pieniędzy i opowiedziałem, jak zamierzam tego dokonać. Rozpocząłem projekt na hackatonie, wygrałem go, a następnie kontynuowałem projekt w firmie sponsorującej. To był czwarty hackaton w moim życiu.
Możliwość uzyskania unikalnego zbioru danych
To bardzo istotny punkt w przypadku hackatonów data science, których znaczenie nie wszyscy rozumieją. Zazwyczaj firmy sponsorujące udostępniają podczas wydarzenia rzeczywiste zbiory danych. Dane te są prywatne i podlegają umowie NDA, która nie uniemożliwia nam pokazania dowodu słuszności koncepcji na prawdziwym zbiorze danych, a nie na zabawkowym Titanicu. Takie wyniki będą w przyszłości bardzo pomocne przy ubieganiu się o pracę w tej firmie lub firmie konkurencyjnej, bądź przy uzasadnianiu podobnych projektów. Zgadzam się, że niezależnie od innych czynników, lepsze jest posiadanie projektów, które zostały pozytywnie ocenione, niż ich brak. Generalnie takie ukończone projekty pełnią podobną rolę jak medale i statusy, jednak dla branży ich wartość jest bardziej oczywista.
Советы
Generalnie praca na hackatonie to dość zróżnicowane doświadczenie i trudno sformułować listę zasad. Tutaj jednak chciałbym podać listę obserwacji, które mogą pomóc początkującemu:
- Nie bój się brać udziału w hackatonach, nawet jeśli nie masz doświadczenia ani zespołu. Pomyśl, jak możesz się przydać. Na przykład, może masz ciekawy pomysł lub jesteś dobrze zorientowany w jakiejś dziedzinie? Formułując problem, możesz wykorzystać wiedzę dziedzinową i znaleźć nietrywialne rozwiązania. A może jesteś najlepszy w Google? Twoje umiejętności zaoszczędzą mnóstwo czasu, jeśli znajdziesz gotowe implementacje w Githubie. A może jesteś dobry w dostrajaniu parametrów Lightgbm? W takim wypadku nie jedź na hackaton, tylko udowodnij to w konkursie kagla.
- Taktyka jest ważniejsza niż manewry. Twoim celem podczas hackatonu jest rozwiązanie problemu. Czasami, aby rozwiązać problem, trzeba go zidentyfikować. Sprawdź, czy zidentyfikowany problem jest rzeczywiście istotny dla firmy. Porównaj swoje rozwiązanie z problemem, zadaj sobie pytanie, czy jest ono optymalne. Oceniając Twoje rozwiązanie, najpierw przyjrzą się znaczeniu problemu i adekwatności proponowanego rozwiązania. Niewiele osób interesuje się architekturą Twojej sieci neuronowej lub liczbą otrzymanych rozdań.
- Weź udział w jak największej liczbie hackatonów, ale nie wstydź się rezygnować ze słabo zorganizowanych wydarzeń.
- Dodaj efekty swojej pracy na hackatonie do swojego CV i nie bój się napisać o tym publicznie.
Istota hackatonów. Krótko
Źródło: www.habr.com