Ciamar agus carson a choisinn sinn an t-slighe Dàta Mòr aig an Urban Tech Challenge hackathon

Is e m ’ainm Dmitry. Agus tha mi airson bruidhinn mu mar a ràinig an sgioba againn na cuairtean deireannach de hackathon Urban Tech Challenge air an t-slighe Dàta Mòr. Canaidh mi sa bhad nach e seo a’ chiad hackathon anns an do ghabh mi pàirt, agus chan e a’ chiad fhear anns an do choisinn mi duaisean. A thaobh seo, anns an sgeulachd agam tha mi airson cuid de bheachdan agus cho-dhùnaidhean coitcheann a thogail a thaobh gnìomhachas hackathon gu h-iomlan, agus mo bheachd a thoirt seachad an taca ris na lèirmheasan àicheil a nochd air-loidhne dìreach às deidh deireadh an Urban Tech Challenge (airson eisimpleir seo).

Mar sin an toiseach cuid de bheachdan coitcheann.

1. Tha e na iongnadh gu bheil grunn dhaoine a’ smaoineachadh gu naively gur e seòrsa de cho-fharpais spòrs a th’ ann an hackathon far am bi na còdairean as fheàrr a’ buannachadh. Tha seo ceàrr. Cha bhith mi a’ beachdachadh air cùisean nuair nach eil fios aig eagraichean hackathon fhèin dè a tha iad ag iarraidh (chunnaic mi sin cuideachd). Ach, mar riaghailt, tha a 'chompanaidh a bhios a' cur air dòigh hackathon a 'leantainn a h-amasan fhèin. Faodaidh an liosta aca a bhith eadar-dhealaichte: dh’ fhaodadh e a bhith na fhuasgladh teignigeach air cuid de dhuilgheadasan, a’ lorg bheachdan ùra agus daoine, msaa. Bidh na h-amasan sin gu tric a’ dearbhadh cruth an tachartais, an ùine aige, air-loidhne / far-loidhne, mar a thèid na gnìomhan a chuir ri chèile (agus am bi iad air an cruthachadh idir), am bi ath-sgrùdadh còd aig an hackathon, msaa. Tha an dà sgioba agus na rinn iad air am measadh bhon taobh seo. Agus bidh na sgiobaidhean sin as fheàrr a bhuail a’ phuing a dh’ fheumas a’ chompanaidh a’ buannachadh, agus bidh mòran a’ faighinn chun na h-ìre seo gu tur gun mhothachadh agus gun fhiosta, a’ smaoineachadh gu bheil iad dha-rìribh a’ gabhail pàirt ann am farpais spòrs. Tha na beachdan agam a’ sealltainn, gus com-pàirtichean a bhrosnachadh, gum bu chòir do luchd-eagrachaidh co-dhiù coltas àrainneachd spòrs agus suidheachaidhean co-ionann a chruthachadh, air neo gheibh iad tonn de àicheileachd, mar a tha san sgrùdadh gu h-àrd. Ach tha sinn a 'sgaradh.

2. Uime sin an co-dhùnadh a leanas. Tha ùidh aig an luchd-eagrachaidh gum bi com-pàirtichean a’ tighinn chun hackathon leis an obair aca fhèin, uaireannan bidh iad eadhon a’ cur air dòigh ìre conaltraidh air-loidhne gu sònraichte airson an adhbhar seo. Leigidh seo le fuasglaidhean toraidh nas làidire. Tha bun-bheachd “obair fhèin” gu math càirdeach; faodaidh leasaiche eòlach sam bith mìltean de loidhnichean còd a chruinneachadh bho na seann phròiseactan aige anns a ’chiad ghealladh aige. Agus am bi seo na leasachadh ro-ullaichte? Ach co-dhiù, tha an riaghailt a 'buntainn, a chuir mi an cèill ann an cruth meme ainmeil:

Ciamar agus carson a choisinn sinn an t-slighe Dàta Mòr aig an Urban Tech Challenge hackathon

Gus buannachadh, feumaidh rudeigin a bhith agad, seòrsa de bhuannachd farpaiseach: pròiseact coltach ris a rinn thu san àm a dh’ fhalbh, eòlas agus eòlas air cuspair sònraichte, no obair deiseil a chaidh a dhèanamh ro thoiseach an hackathon. Seadh, chan e spòrs a th’ ann. 'S e, is dòcha nach fhiach seo an oidhirp a chaidh a chosg (an seo, bidh a h-uile duine a' co-dhùnadh dhaibh fhèin an fhiach e còdadh airson 3 seachdainean air an oidhche airson duais de 100 mìle, air a roinn am measg an sgioba gu lèir, agus eadhon leis a 'chunnart nach fhaigh e). Ach, gu tric, is e seo an aon chothrom faighinn air adhart.

3. Taghadh sgioba. Mar a mhothaich mi ann an còmhraidhean hackathon, bidh mòran a’ dèiligeadh ris a’ chùis seo gu suarach (ged is e seo an co-dhùnadh as cudromaiche a cho-dhùineas do thoradh aig an hackathon). Ann am mòran raointean gnìomhachd (an dà chuid ann an spòrs agus ann an hackathons) tha mi air faicinn gu bheil daoine làidir buailteach a bhith ag aonachadh leis an fheadhainn làidir, an lag leis an lag, an smart leis an smart, uill, san fharsaingeachd, gheibh thu am beachd ... Is e seo an ìre mhath a thachras ann an cabadaich: bidh luchd-prògramaidh nach eil cho làidir air am briseadh suas sa bhad, bidh daoine aig nach eil sgilean luachmhor airson hackathon a ’crochadh anns a’ chat airson ùine mhòr agus a ’taghadh sgioba air a’ phrionnsapal mura gabhadh ach cuideigin e . Aig cuid de hackathons, thathas a’ cleachdadh sònrachadh air thuaiream do sgiobaidhean, agus tha an luchd-eagrachaidh ag ràdh nach bi sgiobaidhean air thuaiream a’ coileanadh nas miosa na an fheadhainn a th’ ann. Ach a rèir mo bheachdan, bidh daoine brosnachail, mar riaghailt, a 'lorg sgioba leotha fhèin; ma dh'fheumas cuideigin a bhith air a shònrachadh, an uairsin, gu tric, chan eil mòran dhiubh a 'tighinn chun an hackathon.

A thaobh buill na sgioba, tha seo gu math fa leth agus gu mòr an urra ris a 'ghnìomh. Dh'fhaodainn a ràdh gur e dealbhaiche - ceann aghaidh no ceann aghaidh - ceann-cùil an ìre as lugha de cho-sgrìobhadh sgioba obrachail. Ach tha fios agam cuideachd air cùisean nuair a bhuannaich sgiobaidhean anns nach robh ach luchd-aghaidh, a chuir cùl-raon sìmplidh ann an node.js, no a rinn tagradh gluasadach ann an React Native; no dìreach bho backenders a rinn cruth sìmplidh. San fharsaingeachd, tha a h-uile dad gu math fa leth agus an urra ris a ’ghnìomh. Bha am plana agam airson sgioba a thaghadh airson an hackathon mar a leanas: bha mi an dùil sgioba a chruinneachadh no a dhol còmhla ri sgioba mar cheann-aghaidh - deireadh cùil - dealbhaiche (tha mi nam cheann-aghaidh mi-fhìn). Agus gu math luath thòisich mi a’ cabadaich le backender python agus dealbhaiche a ghabh ris a’ chuireadh a thighinn còmhla rinn. Beagan às deidh sin, thàinig nighean, anailisiche gnìomhachais, aig an robh eòlas mu thràth air hackathon a chosnadh, còmhla rinn, agus cho-dhùin seo a ’cheist mu bhith còmhla rinn. Às deidh coinneamh ghoirid, chuir sinn romhainn U4 (URBAN 4, bailteil ceithir) a ghairm sinn fhìn a rèir an aon seòrsa ris na ceithir sgoinneil. Agus chuir iad eadhon dealbh co-fhreagarrach air avatar an t-sianail teileagram againn.

4. Taghadh obair. Mar a thuirt mi mu thràth, feumaidh buannachd farpaiseach a bhith agad, tha an obair airson an hackathon air a thaghadh stèidhichte air seo. Stèidhichte air seo, an dèidh coimhead liosta ghnìomhan agus a’ measadh an iom-fhillteachd, shocraich sinn air dà ghnìomh: catalog de dh’ iomairtean ùr-ghnàthach bho DPiIR agus chatbot bho EFKO. Chaidh an obair bho DPIiR a thaghadh leis an backender, chaidh an obair bho EFKO a thaghadh leam, oir bha eòlas aca a’ sgrìobhadh chatbots ann an node.js agus DialogFlow. Bha obair EFKO cuideachd a’ toirt a-steach ML; Tha beagan eòlais agam, nach eil gu math farsaing, ann an ML. Agus a rèir suidheachadh na trioblaid, bha e coltach riumsa nach robh e coltach a bhith air fhuasgladh le bhith a 'cleachdadh innealan ML. Chaidh am faireachdainn seo a neartachadh nuair a chaidh mi gu coinneamh Urban Tech Challenge, far an do sheall na h-eagraichean dàta dhomh air EFKO, far an robh timcheall air dealbhan 100 de dhealbhadh toraidh (air an toirt bho dhiofar cheàrnan) agus timcheall air 20 clas de mhearachdan cruth. Agus, aig an aon àm, bha an fheadhainn a dh'òrdaich an obair ag iarraidh a choileanadh seòrsachadh ìre soirbheachaidh de 90%. Mar thoradh air an sin, dh'ullaich mi taisbeanadh den fhuasgladh às aonais ML, dh'ullaich an backender taisbeanadh stèidhichte air a 'chatalog, agus còmhla, an dèidh crìoch a chur air na taisbeanaidhean, chuir sinn iad chun an Urban Tech Challenge. A-cheana aig an ìre seo, chaidh ìre brosnachaidh agus tabhartas gach com-pàirtiche fhoillseachadh. Cha do ghabh an dealbhaiche againn pàirt anns na còmhraidhean, fhreagair e fadalach, agus eadhon lìon e fiosrachadh mu dheidhinn fhèin anns an taisbeanadh aig a ’mhionaid mu dheireadh, san fharsaingeachd, dh’ èirich teagamhan.

Mar thoradh air an sin, chaidh sinn seachad air a’ ghnìomh bho DPiIR, agus cha robh sinn idir troimh-chèile nach deach sinn seachad air an EFKO, leis gu robh an obair a’ coimhead neònach dhuinn, airson a chuir gu socair.

5. Ag ullachadh airson an hackathon. Nuair a thàinig fios mu dheireadh gu robh sinn air teisteanas fhaighinn airson an hackathon, thòisich sinn air an ullachadh ullachadh. Agus an seo chan eil mi a 'tagradh a bhith a' tòiseachadh a 'sgrìobhadh còd seachdain ro thoiseach an hackathon. Aig a 'char as lugha, bu chòir dhut clàr-goileadair a bhith deiseil, leis an urrainn dhut tòiseachadh ag obair sa bhad, gun a bhith agad ri innealan a rèiteachadh, agus gun a bhith a' bualadh a-steach do bhiteagan cuid de lib a chuir thu romhpa feuchainn airson a 'chiad uair aig hackathon. Tha fios agam air sgeulachd mu innleadairean ceàrnach a thàinig gu hackathon agus a chuir seachad 2 latha a’ stèidheachadh togail a’ phròiseict, agus mar sin bu chòir a h-uile càil ullachadh ro-làimh. Bha sinn an dùil dleastanasan a sgaoileadh mar a leanas: bidh an backender a ’sgrìobhadh crawlers a bhios a’ sgùradh an eadar-lìn agus a ’cur a h-uile fiosrachadh cruinnichte san stòr-dàta, fhad‘ s a bhios mi a ’sgrìobhadh API ann an node.js a bhios a’ ceasnachadh an stòr-dàta seo agus a ’cur an dàta chun aghaidh. A thaobh seo, dheasaich mi frithealaiche ro-làimh a’ cleachdadh express.js agus dheasaich mi ceann-aghaidh ann an react. Cha bhith mi a’ cleachdadh CRA, bidh mi an-còmhnaidh a’ gnàthachadh pasgan-lìn dhomh fhìn agus tha fios agam gu math dè na cunnartan a dh’ fhaodadh a bhith ann (cuimhnich air an sgeulachd mu luchd-leasachaidh ceàrnach). Aig an ìre seo, dh’ iarr mi teamplaidean eadar-aghaidh no co-dhiù mockups bhon dealbhaiche againn gus beachd fhaighinn air na bhithinn a’ cur a-mach. Ann an teòiridh, bu chòir dha cuideachd an ullachadh aige fhèin a dhèanamh agus an co-òrdanachadh leinn, ach cha d’ fhuair mi freagairt a-riamh. Mar thoradh air an sin, fhuair mi an dealbhadh air iasad bho aon de na seann phròiseactan agam. Agus thòisich e ag obair a-mach eadhon nas luaithe, leis gu robh a h-uile stoidhle airson a 'phròiseict seo air a sgrìobhadh mu thràth. Mar sin an co-dhùnadh: chan eil feum air dealbhaiche an-còmhnaidh air sgioba))). Thàinig sinn chun hackathon leis na leasachaidhean sin.

6. Obraich aig an hackathon. Cha robh a’ chiad turas a chunnaic mi an sgioba agam beò ach aig fosgladh an hackathon aig an Ionad Cuairteachaidh Mheadhanach. Choinnich sinn, bheachdaich sinn air fuasgladh agus ìrean obrach air an duilgheadas. Agus ged as deidh an fhosglaidh bha againn ri dhol air a bhus gu Red October, chaidh sinn dhachaigh a chadal, ag aontachadh an t-àite a ruighinn ro 9.00. Carson? Tha e coltach gu robh an luchd-eagrachaidh airson a’ chuid as fheàrr fhaighinn de na com-pàirtichean, agus mar sin chuir iad air dòigh dìreach clàr mar sin. Ach, nam eòlas-sa, faodaidh tu còd a dhèanamh gu h-àbhaisteach gun a bhith a 'cadal airson aon oidhche. A thaobh an dàrna fear, chan eil mi cinnteach tuilleadh. Is e marathon a th’ ann an hackathon; feumaidh tu do neart obrachadh a-mach agus a phlanadh. A bharrachd air an sin, bha ullachadh againn.

Ciamar agus carson a choisinn sinn an t-slighe Dàta Mòr aig an Urban Tech Challenge hackathon

Mar sin, às deidh dhuinn cadal dheth, aig 9.00 bha sinn nar suidhe air an t-siathamh làr de Dewocracy. An uairsin dh’ ainmich an dealbhaiche againn gun dùil nach robh laptop aige agus gum biodh e ag obair bhon taigh, agus gum biodh sinn a ’conaltradh air a’ fòn. B’ e seo an sròn mu dheireadh. Agus mar sin thionndaidh sinn bho cheithir gu trì, ged nach do dh'atharraich sinn ainm na sgioba. A-rithist, cha b’ e buille mòr a bha seo dhuinn; bha an dealbhadh bhon t-seann phròiseact agam mu thràth. San fharsaingeachd, an toiseach chaidh a h-uile càil gu math rèidh agus a rèir a 'phlana. Chuir sinn a-steach don stòr-dàta (cho-dhùin sinn neo4j a chleachdadh) stòr-dàta de chompanaidhean ùr-ghnàthach bhon luchd-eagrachaidh. Thòisich mi a’ clò-sgrìobhadh, an uairsin ghabh mi node.js, agus an uairsin thòisich cùisean a’ dol ceàrr. Cha robh mi air a bhith ag obair le neo4j a-riamh roimhe, agus an toiseach bha mi a’ coimhead airson draibhear a bha ag obair airson an stòr-dàta seo, an uairsin dh’ obraich mi a-mach mar a sgrìobhas mi ceist, agus an uairsin chuir e iongnadh orm faighinn a-mach gu bheil an stòr-dàta seo, nuair a chaidh faighneachd dhomh, a’ tilleadh buidhnean anns an ann an cruth sreath de stuthan nód agus na h-oirean aca. An fheadhainn sin. nuair a dh’ iarr mi air buidheann agus an dàta gu lèir air le TIN, an àite aon nì buidhne, chaidh sreath fhada de nithean a thilleadh thugam anns an robh dàta mun bhuidheann seo agus na dàimhean eatorra. Sgrìobh mi mapper a chaidh tron ​​​​t-sreath gu lèir agus a ghleusadh a h-uile nì a rèir na buidhne ann an aon nì. Ach anns a 'bhlàr, nuair a dh' iarr e stòr-dàta de 8 mìle buidhnean, chaidh a chur gu bàs gu math slaodach, mu 20 - 30 diogan. Thòisich mi a 'smaoineachadh air optimization ... Agus an uairsin stad sinn ann an tìde agus thionndaidh sinn gu MongoDB, agus thug e timcheall air 30 mionaid dhuinn. Gu h-iomlan, chaidh mu 4 uairean a chall air neo5j.

Cuimhnich, na toir teicneòlas gu hackathon air nach eil thu eòlach, is dòcha gum bi iongnadh ann. Ach, san fharsaingeachd, a bharrachd air an fhàiligeadh seo, chaidh a h-uile càil a rèir a 'phlana. Agus mu thràth air madainn 9 Dùbhlachd, bha tagradh làn-obrach againn. Airson a’ chòrr den latha bha sinn an dùil feartan a bharrachd a chur ris. Anns an àm ri teachd, chaidh a h-uile càil gu ìre mhath rèidh dhòmhsa, ach bha tòrr dhuilgheadasan aig an backender le casg air na crawlers aige ann an einnseanan luirg, ann an spam luchd-cruinneachaidh bhuidhnean laghail, a thàinig anns a ’chiad àiteachan de thoraidhean sgrùdaidh nuair a dh’ iarr iad. airson gach companaidh sònraichte. Ach tha e nas fheàrr innse dha fhèin mu dheidhinn. B’ e a’ chiad fheart a bharrachd a chuir mi ris sgrùdadh le làn ainm. Stiùiriche Coitcheann Vkontakte. Thug e grunn uairean a thìde.

Mar sin, air duilleag na companaidh san tagradh againn, nochd avatar an stiùiriche coitcheann, ceangal chun duilleag VKontakte aige agus dàta eile. B’ e cherry snog a bh’ ann air a’ chèic, ged is dòcha nach tug e a’ bhuaidh dhuinn. An uairsin, bha mi airson beagan anailis a ruith. Ach às deidh sgrùdadh fada air roghainnean (bha mòran nuances ann leis an UI), shocraich mi air a ’chruinneachadh as sìmplidh de bhuidhnean a rèir còd gnìomhachd eaconamach. A-cheana air an fheasgar, anns na h-uairean mu dheireadh, bha mi a’ cur a-mach teamplaid airson toraidhean ùr-ghnàthach a thaisbeanadh (anns an tagradh againn tha còir gum biodh roinn Bathar is Seirbheisean), ged nach robh an backend deiseil airson seo. Aig an aon àm, bha an stòr-dàta a’ dol suas le leuman is crìochan, lean na crawlers ag obair, rinn an backender deuchainn le NLP gus teacsaichean ùr-ghnàthach a dhealachadh bho fheadhainn neo-ùr-ghnàthach))). Ach bha an t-àm airson an taisbeanadh mu dheireadh a’ tighinn dlùth.

7. Taisbeanadh. Bhon eòlas agam fhìn, is urrainn dhomh a ràdh gum bu chòir dhut atharrachadh gu bhith ag ullachadh taisbeanadh mu 3 gu 4 uairean mus bi e ri phàigheadh. Gu sònraichte ma tha e a’ toirt a-steach bhidio, bheir an losgadh agus an deasachadh tòrr ùine. Bha còir againn bhidio a bhith againn. Agus bha neach sònraichte againn a dhèilig ri seo, agus cuideachd a dh’ fhuasgail grunn chùisean eagrachaidh eile. A thaobh seo, cha do tharraing sinn sinn fhìn bho chòdachadh gus an àm mu dheireadh.

8. Clach. Cha bu toil leam gun deach na taisbeanaidhean agus na cuairtean deireannach a chumail air latha seachdaineach air leth (Diluain). An seo, is coltaiche, lean poileasaidh an luchd-eagrachaidh a bhith a’ brùthadh a’ char as àirde a-mach às na com-pàirtichean. Cha robh dùil agam ùine a ghabhail dheth bhon obair, cha robh mi airson a thighinn chun na cuairtean deireannach, ged a thug an còrr den sgioba agam an latha dheth. Ach, bha am bogadh tòcail anns an hackathon cho àrd mar-thà is gun do sgrìobh mi aig 8m ann an còmhradh mo sgioba (an sgioba obrach, chan e an sgioba hackathon) gun robh mi a’ gabhail an latha air mo chosgais fhìn, agus chaidh mi chun phrìomh ionad. oifis airson raointean-cluiche. Thionndaidh an duilgheadas againn gu robh mòran de luchd-saidheans dàta fìor, agus thug seo buaidh mhòr air an dòigh-obrach airson fuasgladh fhaighinn air an duilgheadas. Bha DS math aig mòran, ach cha robh prototype obrach aig duine, cha b 'urrainn dha mòran faighinn timcheall air casg an luchd-sreap ann an innealan rannsachaidh. B 'e sinne an aon sgioba le prototype obrach. Agus bha fios againn ciamar a dh 'fhuasglas sinn an duilgheadas. Aig a’ cheann thall, bhuannaich sinn an trac, ged a bha sinn gu math fortanach gun do thagh sinn an obair as lugha farpaiseach. A’ coimhead air na raointean-cluiche ann an slighean eile, thuig sinn nach biodh cothrom sam bith againn an sin. Tha mi cuideachd airson a ràdh gu robh sinn gu math fortanach leis an diùraidh; rinn iad sgrùdadh mionaideach air a’ chòd. Agus, a 'breithneachadh leis na lèirmheasan, cha do thachair seo anns a h-uile slighe.

9. Deireannach. Às deidh dhuinn a bhith air ar gairm chun diùraidh grunn thursan airson ath-sgrùdadh còd, chaidh sinn, a’ smaoineachadh gu robh sinn air a h-uile cùis fhuasgladh mu dheireadh, gu lòn aig Burger King. An sin chuir na h-eagraichean fios thugainn a-rithist, bha againn ri na h-òrdughan againn a phacadh gu sgiobalta agus a dhol air ais.

Sheall an t-eagraiche dhuinn dè an rùm a dh’ fheumadh sinn a dhol a-steach, agus nuair a chaidh sinn a-steach, lorg sinn sinn fhìn aig seisean trèanaidh labhairt poblach dha na sgiobaidhean a bhuannaich. Bha deagh chosgais air na balaich a bha còir a bhith a’ cluich air an àrd-ùrlar, thàinig a h-uile duine a-mach mar fhìor luchd-taisbeanaidh.

Agus feumaidh mi aideachadh, anns a 'chuairt dheireannaich, an aghaidh cùl-raon nan sgiobaidhean as làidire bho shlighean eile, bha sinn a' coimhead bàn; chaidh a 'bhuaidh ann an ainmeachadh luchd-ceannach an riaghaltais gu tur airidh air an sgioba bhon t-slighe teicneòlais oighreachd. Tha mi a’ smaoineachadh gur e na prìomh nithean a chuir ri ar buaidh air an t-slighe: cothrom air bàn deiseil, leis an robh e comasach dhuinn prototype a dhèanamh gu sgiobalta, làthaireachd “prìomh thachartasan” anns a ’phròtacal (lorg Ceannardan). air lìonraidhean sòisealta) agus sgilean NLP an neach-taic againn, anns an robh ùidh mhòr aig an diùraidh cuideachd.

Ciamar agus carson a choisinn sinn an t-slighe Dàta Mòr aig an Urban Tech Challenge hackathon

Agus ann an co-dhùnadh, traidiseanta taing don a h-uile duine a thug taic dhuinn, diùraidh ar slighe, Evgeniy Evgrafiev (ùghdar an duilgheadas a dh'fhuasglar sinn aig an hackathon) agus gu dearbh an luchd-eagrachaidh a 'hackathon. Is dòcha gur e seo an hackathon as motha agus as fhuaire a ghabh mi pàirt a-riamh, chan urrainn dhomh ach a bhith ag iarraidh air na balaich ìre cho àrd a chumail san àm ri teachd!

Source: www.habr.com

Cuir beachd ann