Kif u għaliex irbaħna l-binarju tal-Big Data fil-hackathon Urban Tech Challenge

Jisimni Dmitry. U rrid nitkellem dwar kif it-tim tagħna laħaq il-finali tal-hackathon Urban Tech Challenge fuq il-binarju tal-Big Data. Ngħid mill-ewwel li din mhix l-ewwel hackathon li pparteċipajt fiha, u mhux l-ewwel li ħadt premjijiet fiha. F'dan ir-rigward, fl-istorja tiegħi rrid nesprimi xi osservazzjonijiet ġenerali u konklużjonijiet rigward l-industrija tal-hackathon kollha kemm hi, u nagħti l-opinjoni tiegħi għall-kuntrarju tar-reviżjonijiet negattivi li dehru onlajn immedjatament wara t-tmiem tal-Urban Tech Challenge (għal eżempju dan).

Allura l-ewwel xi osservazzjonijiet ġenerali.

1. Huwa sorprendenti li ħafna nies naively jaħsbu li hackathon hija xi tip ta 'kompetizzjoni sportiva fejn l-aħjar kodifikaturi jirbħu. Dan huwa ħażin. Ma nikkunsidrax każijiet meta l-organizzaturi tal-hackathon infushom ma jafux xi jridu (rajt ukoll). Iżda, bħala regola, il-kumpanija li torganizza hackathon issegwi l-għanijiet tagħha stess. Il-lista tagħhom tista’ tkun differenti: tista’ tkun soluzzjoni teknika għal xi problemi, tfittxija għal ideat u nies ġodda, eċċ. Dawn l-għanijiet ħafna drabi jiddeterminaw il-format tal-avveniment, iż-żmien tiegħu, online/offline, kif il-kompiti se jiġu fformulati (u jekk humiex se jiġu fformulati), jekk ikunx hemm reviżjoni tal-kodiċi fil-hackathon, eċċ. Kemm it-timijiet kif ukoll dak li għamlu huma evalwati minn dan il-lat. U dawk it-timijiet li l-aħjar laħqu l-punt li l-kumpanija teħtieġ jirbħu, u ħafna jaslu għal dan il-punt kompletament inkonxjament u b'mod aċċidentali, billi jaħsbu li verament qed jipparteċipaw f'kompetizzjoni sportiva. L-osservazzjonijiet tiegħi juru li sabiex jimmotivaw lill-parteċipanti, l-organizzaturi għandhom joħolqu mill-inqas id-dehra ta 'ambjent sportiv u kundizzjonijiet ugwali, inkella jirċievu mewġa ta' negattività, bħal fir-reviżjoni ta 'hawn fuq. Imma aħna digress.

2. Għalhekk il-konklużjoni li ġejja. L-organizzaturi huma interessati li parteċipanti jiġu għall-hackathon bix-xogħol tagħhom stess, xi drabi anke jorganizzaw apposta stadju ta' korrispondenza onlajn għal dan il-għan. Dan jippermetti soluzzjonijiet ta 'produzzjoni aktar b'saħħithom. Il-kunċett ta '"xogħol stess" huwa wieħed relattiv ħafna; kull żviluppatur b'esperjenza jista' jakkumula eluf ta 'linji ta' kodiċi mill-proġetti antiki tiegħu fl-ewwel impenn tiegħu. U dan se jkun żvilupp ippreparat minn qabel? Imma fi kwalunkwe każ, tapplika r-regola, li esprimejt fil-forma ta 'meme famuż:

Kif u għaliex irbaħna l-binarju tal-Big Data fil-hackathon Urban Tech Challenge

Biex tirbaħ, irid ikollok xi ħaġa, xi tip ta 'vantaġġ kompetittiv: proġett simili li għamilt fil-passat, għarfien u esperjenza f'suġġett speċifiku, jew xogħol lest magħmul qabel il-bidu tal-hackathon. Iva, mhux sportiv. Iva, dan jista 'ma jkunx jiswa l-isforz minfuq (hawn, kulħadd jiddeċiedi waħdu jekk jaqbilx jikkodifika għal ġimgħat 3 bil-lejl għal premju ta' 100 elf, maqsum bejn it-tim kollu, u anke bir-riskju li ma jirċevuhx). Iżda, ħafna drabi, din hija l-unika ċans biex timxi 'l quddiem.

3. Għażla tat-tim. Kif innutajt fiċ-chats tal-hackathon, ħafna jindirizzaw din il-kwistjoni b'mod pjuttost frivoli (għalkemm din hija l-aktar deċiżjoni importanti li tiddetermina r-riżultat tiegħek fil-hackathon). F’ħafna oqsma ta’ attività (kemm fl-isports kif ukoll fil-hackathons) rajt li n-nies b’saħħithom għandhom it-tendenza li jingħaqdu mal-qawwi, id-dgħajjef mad-dgħajjef, il-smart mal-smart, sew, b’mod ġenerali, tieħu l-idea... Dan huwa bejn wieħed u ieħor dak li jiġri fiċ-chats: programmaturi inqas b'saħħithom huma immedjatament snapped up, nies li m'għandhomx ħiliet ta 'valur għal hackathon jiddendlu fiċ-chat għal żmien twil u jagħżlu tim fuq il-prinċipju li kieku xi ħadd jeħodha. . F'xi hackathons, l-assenjazzjoni każwali għal timijiet hija pprattikata, u l-organizzaturi jsostnu li timijiet każwali ma jaħdmux agħar minn dawk eżistenti. Iżda skond l-osservazzjonijiet tiegħi, in-nies motivati, bħala regola, isibu tim waħedhom; jekk xi ħadd irid jiġi assenjat, allura, ħafna drabi, ħafna minnhom ma jaslux għall-hackathon.

Fir-rigward tal-kompożizzjoni tat-tim, din hija individwali ħafna u dipendenti ħafna fuq il-kompitu. Nista' ngħid li l-kompożizzjoni minima tat-tim vijabbli hija disinjatur - front-end jew front-end - back-end. Imma naf ukoll b'każijiet meta rebħu timijiet li jikkonsistu biss minn front-enders, li żiedu back-end sempliċi f'node.js, jew għamlu applikazzjoni mobbli f'React Native; jew biss minn backenders li għamlu tqassim sempliċi. B'mod ġenerali, kollox huwa individwali ħafna u jiddependi fuq il-kompitu. Il-pjan tiegħi għall-għażla ta' tim għall-hackathon kien kif ġej: Jien ippjanajt li ngħaqqad tim jew ningħaqad ma' tim bħal front-end - back-end - disinjatur (I am a front-end myself). U pjuttost malajr bdejt nitkellem ma' python backender u disinjatur li aċċettaw l-istedina biex tingħaqad magħna. Ftit wara, tfajla, analista tan-negozju, li diġà kellha esperjenza ta’ rebħ ta’ hackathon, ingħaqdet magħna, u dan iddeċieda l-kwistjoni li tingħaqad magħna. Wara laqgħa qasira, iddeċidejna li nsejħu lilna nfusna U4 (URBAN 4, urban four) b'analoġija mal-fantastika four. U saħansitra poġġew stampa korrispondenti fuq l-avatar tal-kanal tat-telegramma tagħna.

4. Għażla ta 'kompitu. Kif diġà għedt, irid ikollok vantaġġ kompetittiv, il-kompitu għall-hackathon jintgħażel ibbażat fuq dan. Ibbażat fuq dan, wara li ħares lista tal-kompiti u billi evalwaw il-kumplessità tagħhom, ikkonċentraw fuq żewġ kompiti: katalgu ta 'intrapriżi innovattivi minn DPiIR u chatbot minn EFKO. Il-kompitu minn DPIiR intgħażel mill-backender, il-kompitu minn EFKO intgħażlet minni, għax kellu esperjenza fil-kitba ta' chatbots f'node.js u DialogFlow. Il-kompitu tal-EFKO kien jinvolvi wkoll l-ML; Għandi ftit esperjenza, mhux estensiva ħafna, fil-ML. U skont il-kundizzjonijiet tal-problema, deherli li ma kienx probabbli li tiġi solvuta bl-użu ta 'għodod ML. Dan is-sensazzjoni ssaħħaħ meta mort il-laqgħa tal-Urban Tech Challenge, fejn l-organizzaturi wrewni dataset fuq EFKO, fejn kien hemm madwar 100 ritratt ta’ layouts tal-prodotti (meħuda minn angoli differenti) u madwar 20 klassi ta’ żbalji fit-tqassim. U, fl-istess ħin, dawk li ordnaw il-kompitu riedu jiksbu rata ta 'suċċess tal-klassifikazzjoni ta' 90%. Bħala riżultat, ħejjejt preżentazzjoni tas-soluzzjoni mingħajr ML, il-backender ħejja preżentazzjoni bbażata fuq il-katalgu, u flimkien, wara li ffinalizzajna l-preżentazzjonijiet, bgħatniehom lill-Urban Tech Challenge. Diġà f'dan l-istadju, ġie żvelat il-livell ta 'motivazzjoni u kontribut ta' kull parteċipant. Id-disinjatur tagħna ma ħax sehem fid-diskussjonijiet, wieġeb tard, u saħansitra imla informazzjoni dwaru nnifsu fil-preżentazzjoni fl-aħħar mument, b'mod ġenerali, qamu dubji.

B'riżultat ta 'dan, għaddejna l-kompitu minn DPiIR, u ma konna xejn mdejqa li ma għadniex l-EFKO, peress li l-kompitu deher stramba għalina, biex ngħiduha ħafif.

5. Tħejjija għall-hackathon. Meta fl-aħħar sar magħruf li konna kkwalifikajna għall-hackathon, bdejna nippreparaw il-preparazzjoni. U hawn mhux qed nirrakkomanda li tibda nikteb kodiċi ġimgħa qabel il-bidu tal-hackathon. Bħala minimu, għandu jkollok boilerplate lest, li biha tista 'tibda immedjatament taħdem, mingħajr ma jkollok għalfejn tikkonfigura għodod, u mingħajr ma tħabbtu ma' bugs ta 'xi lib li ddeċidejt li tipprova għall-ewwel darba f'hackathon. Naf storja dwar inġiniera angolari li waslu għal hackathon u qattgħu jumejn iwaqqfu l-bini tal-proġett, għalhekk kollox għandu jkun ippreparat minn qabel. Kellna l-intenzjoni li nqassmu r-responsabbiltajiet kif ġej: il-backender jikteb crawlers li jkaxkru l-Internet u jpoġġi l-informazzjoni kollha miġbura fid-database, filwaqt li nikteb API f'node.js li jfittex din id-database u jibgħat id-data fuq quddiem. F'dan ir-rigward, ħejjejt server bil-quddiem bl-użu ta' express.js u ħejjejt front-end f'reazzjoni. Ma nużax is-CRA, jien dejjem nippersonalizza l-webpack għalija nnifsi u naf tajjeb ħafna x'riskji jista' joħloq dan (ftakar l-istorja dwar l-iżviluppaturi angolari). F'dan il-punt, tlabt mudelli ta 'interface jew għall-inqas mockups mid-disinjatur tagħna sabiex ikolli idea ta' dak li se nagħmel. Fit-teorija, għandu wkoll jagħmel il-preparamenti tiegħu stess u jikkoordinahom magħna, iżda qatt ma rċevejt tweġiba. Bħala riżultat, ssellef id-disinn minn wieħed mill-proġetti antiki tiegħi. U bdiet taħdem aktar malajr, peress li l-istili kollha għal dan il-proġett kienu diġà nkitbu. Għalhekk il-konklużjoni: disinjatur mhux dejjem ikun meħtieġ fuq tim))). Ġejna għall-hackathon b’dawn l-iżviluppi.

6. Xogħol fil-hackathon. L-ewwel darba li rajt it-tim tiegħi live kien biss fil-ftuħ tal-hackathon fiċ-Ċentru tad-Distribuzzjoni Ċentrali. Iltqajna, iddiskutejna s-soluzzjoni u l-istadji tal-ħidma fuq il-problema. U għalkemm wara l-ftuħ kellna mmorru bil-karozza tal-linja sa Ottubru l-Aħmar, morna d-dar norqdu, aċċettajna li naslu fil-post għad-9.00. Għaliex? L-organizzaturi milli jidher riedu jieħdu l-aħjar mill-parteċipanti, u għalhekk irranġaw skeda bħal din. Iżda, fl-esperjenza tiegħi, tista' tikkodifika b'mod normali mingħajr ma torqod għal lejl wieħed. Fir-rigward tat-tieni waħda, m'għadniex ċert. Hackathon hija maratona; trid tikkalkula u tippjana b'mod adegwat is-saħħa tiegħek. Barra minn hekk, kellna tħejjijiet.

Kif u għaliex irbaħna l-binarju tal-Big Data fil-hackathon Urban Tech Challenge

Għalhekk, wara li rqadna, fid-9.00 konna bilqiegħda fis-sitt sular tad-Dewocracy. Imbagħad id-disinjatur tagħna bla mistenni ħabbar li ma kellux laptop u li kien se jaħdem mid-dar, u aħna se nikkomunikaw bit-telefon. Din kienet l-aħħar tiben. U għalhekk dawwarna minn erba’ għal tlieta, għalkemm ma biddilniex l-isem tat-tim. Għal darb'oħra, din ma kinitx daqqa kbira għalina; diġà kelli d-disinn mill-proġett l-antik. B'mod ġenerali, għall-ewwel kollox mexa pjuttost bla xkiel u skond il-pjan. Tgħabbejna fid-database (iddeċidejna li nużaw neo4j) sett ta 'dejta ta' kumpaniji innovattivi mill-organizzaturi. Bdejt intajjar it-tipa, imbagħad ħadt node.js, u mbagħad l-affarijiet bdew jaħarbu ħażin. Qatt ma kont ħdimt ma' neo4j qabel, u għall-ewwel kont qed infittex sewwieq li jaħdem għal din id-database, imbagħad sibt kif nikteb mistoqsija, u mbagħad kont sorpriż meta niskopri li din id-database, meta mistoqsija, tirritorna entitajiet fil- forma ta 'firxa ta' oġġetti node u t-truf tagħhom. Dawk. meta tlabt organizzazzjoni u d-dejta kollha fuqha permezz ta' TIN, minflok oġġett wieħed ta' organizzazzjoni, ġejt ritornat firxa twila ta' oġġetti li kien fihom dejta dwar din l-organizzazzjoni u r-relazzjonijiet bejniethom. I kiteb mapper li għadda mill-firxa kollha u kolla l-oġġetti kollha skond l-organizzazzjoni tagħhom f'oġġett wieħed. Iżda fil-battalja, meta talbet database ta '8 elf organizzazzjoni, ġiet eżegwita bil-mod estremament, madwar 20 - 30 sekonda. Bdejt naħseb dwar l-ottimizzazzjoni... U mbagħad waqqafna fil-ħin u qlibna għal MongoDB, u ħadna madwar 30 minuta. B'kollox, madwar 4 sigħat intilfu fuq neo5j.

Ftakar, qatt ma tieħu teknoloġija għal hackathon li m'intix familjari miegħu, jista 'jkun hemm sorpriżi. Iżda, b’mod ġenerali, apparti dan il-falliment, kollox mexa skont il-pjan. U diġà filgħodu tad-9 ta 'Diċembru, kellna applikazzjoni li taħdem bis-sħiħ. Għall-bqija tal-ġurnata ppjanajna li nżidu karatteristiċi addizzjonali magħha. Fil-futur, kollox mexa relattivament bla xkiel għalija, iżda l-backender kellu mazz sħiħ ta 'problemi bil-projbizzjoni tat-tkaxkir tiegħu fil-magni tat-tiftix, fl-ispam ta' aggregaturi ta 'entitajiet legali, li daħal fl-ewwel postijiet tar-riżultati tat-tfittxija meta talbet għal kull kumpanija speċifika. Imma huwa aħjar għalih li jgħidlu hu stess. L-ewwel karatteristika addizzjonali li żidt kienet it-tfittxija bl-isem sħiħ. Direttur Ġenerali ta 'VKontakte. Ħa diversi sigħat.

Għalhekk, fuq il-paġna tal-kumpanija fl-applikazzjoni tagħna, deher avatar tad-direttur ġenerali, link għall-paġna VKontakte tiegħu u xi dejta oħra. Kienet ċirasa sabiħa fuq il-kejk, għalkemm forsi ma tatniex ir-rebħa. Imbagħad, ridt inmexxi xi analytics. Iżda wara tfittxija twila ta 'għażliet (kien hemm ħafna sfumaturi ma' l-UI), qagħadt fuq l-aktar aggregazzjoni sempliċi ta 'organizzazzjonijiet skond il-kodiċi ta' attività ekonomika. Diġà filgħaxija, fl-aħħar sigħat, kont qed nagħmel mudell għall-wiri ta 'prodotti innovattivi (fl-applikazzjoni tagħna suppost hemm sezzjoni Prodotti u Servizzi), għalkemm il-backend ma kienx lest għal dan. Fl-istess ħin, id-database kienet nefħa b'mod leaps u limiti, it-tkaxkir komplew jaħdmu, il-backender esperimenta bl-NLP biex jiddistingwi testi innovattivi minn dawk mhux innovattivi))). Iżda l-ħin għall-preżentazzjoni finali kien diġà qed joqrob.

7. Preżentazzjoni. Mill-esperjenza tiegħi stess, nista' ngħid li għandek taqleb għall-preparazzjoni ta' preżentazzjoni madwar 3 sa 4 sigħat qabel ma tkun dovuta. Speċjalment jekk jinvolvi vidjo, l-isparar u l-editjar tiegħu jieħdu ħafna ħin. Suppost kellna vidjo. U kellna persuna speċjali li ttrattat dan, u solviet ukoll numru ta 'kwistjonijiet organizzattivi oħra. F'dan ir-rigward, aħna ma nfixklux lilna nfusna mill-kodifikazzjoni sal-aħħar mument.

8. Żift. Ma għoġobnix li l-preżentazzjonijiet u l-finali saru f'jum tal-ġimgħa separat (it-Tnejn). Hawnhekk, x'aktarx, kompliet il-politika tal-organizzaturi li jingħafsu l-massimu mill-parteċipanti. Ma ppjanajtx li nieħu ħin liberu mix-xogħol, ridt biss niġi għall-finali, għalkemm il-kumplament tat-tim tiegħi ħadu l-ġurnata libera. Madankollu, l-immersjoni emozzjonali fl-hackathon kienet diġà tant għolja li fit-8 am ktibt fiċ-chat tat-tim tiegħi (it-tim tax-xogħol, mhux it-tim tal-hackathon) li kont qed nieħu l-ġurnata bi spejjeż tiegħi, u mort fiċ-ċentru uffiċċju għall-pitches. Il-problema tagħna rriżulta li kellha ħafna xjentisti tad-dejta puri, u dan affettwa ħafna l-approċċ biex tissolva l-problema. Ħafna kellhom DS tajba, iżda ħadd ma kellu prototip tax-xogħol, ħafna ma setgħux jiċċaraw il-projbizzjonijiet tat-tkaxkir tagħhom fil-magni tat-tiftix. Konna l-uniku tim bi prototip li jaħdem. U konna nafu kif insolvu l-problema. Fl-aħħar, irbaħna l-korsa, għalkemm kellna xxurtjati ħafna li għażilna l-inqas kompitu kompetittiv. Meta nħarsu lejn il-pitches f’binarji oħra, indunajna li hemmhekk ma jkollna ebda ċans. Irrid ngħid ukoll li konna xxurtjati ħafna mal-ġurija; huma ċċekkjaw il-kodiċi bir-reqqa. U, meta wieħed jiġġudika mir-reviżjonijiet, dan ma seħħx fil-binarji kollha.

9. Finali. Wara li ġejna msejħa għall-ġurija diversi drabi għal reviżjoni tal-kodiċi, aħna, ħsibna li fl-aħħar konna sollejna l-kwistjonijiet kollha, morna nieklu f'Burger King. Hemmhekk l-organizzaturi reġgħu ċemplulna, kellna malajr nippakkjaw l-ordnijiet tagħna u mmorru lura.

L-organizzatur uriena f’liema kamra kellna bżonn nidħlu, u malli dħalna, sibna ruħna f’sessjoni ta’ taħriġ ta’ taħdit fil-pubbliku għat-timijiet rebbieħa. Il-ġuvini li suppost kellhom jagħmlu fuq il-palk kienu ċċarġjati tajjeb, kulħadd ħareġ bħal showmen reali.

U għandi nammetti, fil-finali, fl-isfond tat-timijiet l-aktar b'saħħithom minn binarji oħra, dehru pallida; ir-rebħa fin-nomina tal-klijenti tal-gvern marret b'mod meritat lit-tim mill-binarju tat-teknoloġija tal-proprjetà immobbli. Naħseb li l-fatturi ewlenin li kkontribwew għar-rebħa tagħna fuq il-binarju kienu: id-disponibbiltà ta 'vojt lest, li minħabba fih stajna nagħmlu prototip malajr, il-preżenza ta' "punti ewlenin" fil-prototip (tfittxija għal CEOs fuq in-netwerks soċjali) u l-ħiliet NLP tal-backender tagħna, li wkoll interessaw ħafna lill-ġurija.

Kif u għaliex irbaħna l-binarju tal-Big Data fil-hackathon Urban Tech Challenge

U bħala konklużjoni, grazzi tradizzjonali għal dawk kollha li appoġġjawna, il-ġurija tal-korsa tagħna, Evgeniy Evgrafiev (l-awtur tal-problema li solvejna fil-hackathon) u naturalment l-organizzaturi tal-hackathon. Dan forsi kien l-akbar u l-aktar cool hackathon li qatt ipparteċipajt fih, nista 'biss nawgura lill-guys biex iżommu standard daqshekk għoli fil-futur!

Sors: www.habr.com

Żid kumment