Kedu na ihe kpatara anyị ji merie nnukwu egwu data na Urban Tech Challenge hackathon

Aha m bụ Dmitry. Achọrọ m ikwu maka otu ndị otu anyị si ruo na ngwụcha nke Urban Tech Challenge hackathon na egwu Big Data. M ga-ekwu ozugbo na nke a abụghị hackathon mbụ m so na ya, ọ bụghịkwa nke mbụ m nwetara ihe nrite. N'akụkụ a, na akụkọ m, achọrọ m ikwupụta ụfọdụ nleba anya na nkwubi okwu banyere ụlọ ọrụ hackathon n'ozuzu ya, ma nye echiche m n'ụzọ megidere nyocha ndị na-adịghị mma nke pụtara na ntanetị ozugbo njedebe nke Urban Tech Challenge (maka ihe atụ nke a).

Yabụ na mbụ ụfọdụ nlebanya izugbe.

1. Ọ bụ ihe ijuanya na ndị mmadụ ole na ole na-eche echiche efu na hackathon bụ ụdị asọmpi egwuregwu ebe ndị coders kacha mma na-emeri. Nke a adịghị mma. Anaghị m atụle ikpe mgbe ndị na-ahazi hackathon n'onwe ha amaghị ihe ha chọrọ (ahụla m nke ahụ). Ma, dịka iwu, ụlọ ọrụ na-ahazi hackathon na-achụso ihe mgbaru ọsọ nke ya. Ndepụta ha nwere ike ịdị iche: ọ nwere ike ịbụ ngwọta teknụzụ maka nsogbu ụfọdụ, ịchọ echiche ọhụrụ na ndị mmadụ, wdg. Ihe mgbaru ọsọ ndị a na-ekpebikarị usoro nke ihe omume ahụ, oge ya, online / offline, ka a ga-esi hazie ọrụ ahụ (na ma a ga-emepụta ha ma ọlị), ma a ga-enwe nyochaa koodu na hackathon, wdg. A na-enyocha ma ndị otu ahụ na ihe ha mere site n'echiche a. Na ndị otu ndị kasị mma kụrụ isi ụlọ ọrụ kwesịrị imeri, na ọtụtụ na-eru ebe a kpamkpam n'amaghị ama na mberede, na-eche na ha na-ekere òkè n'ezie na asọmpi egwuregwu. Ihe m chọpụtara na-egosi na iji kpalie ndị sonyere, ndị nhazi kwesịrị ịmepụta ma ọ dịkarịa ala ọdịdị nke ebe egwuregwu na ọnọdụ nha anya, ma ọ bụghị ya, ha ga-enweta ebili mmiri nke negativity, dị ka na nyochaa n'elu. Ma anyị na-aga.

2. Ya mere nkwubi okwu a. Ndị nhazi ahụ nwere mmasị na ndị sonyere na-eji ọrụ nke aka ha na-abịa hackathon, mgbe ụfọdụ ha na-ahazi ọkwa nzikọrịta ozi n'ịntanetị maka ebumnuche a. Nke a na-enye ohere maka ngwọta mmepụta siri ike. Echiche nke "ọrụ nke onwe" bụ nke dị oke ọnụ; onye nrụpụta ọ bụla nwere ahụmahụ nwere ike ịchịkọta puku kwuru puku ahịrị site na ọrụ ochie ya na ntinye mbụ ya. Nke a ọ ga-abụkwa mmepe akwadoro? Ma n'ọnọdụ ọ bụla, iwu ahụ na-emetụta, nke m gosipụtara n'ụdị meme a ma ama:

Kedu na ihe kpatara anyị ji merie nnukwu egwu data na Urban Tech Challenge hackathon

Iji merie, ị ghaghị inwe ihe, ụfọdụ ụdị asọmpi uru: ọrụ yiri nke ahụ nke ị mere n'oge gara aga, ihe ọmụma na ahụmahụ na isiokwu a kapịrị ọnụ, ma ọ bụ ọrụ dị njikere tupu mmalite nke hackathon. Ee, ọ bụghị egwuregwu. Ee, nke a nwere ike ọ gaghị aba uru mgbalị a na-etinye (ebe a, onye ọ bụla na-ekpebi onwe ya ma ọ bara uru itinye koodu maka izu 3 n'abalị maka ihe nrite nke 100 puku, kewara n'etiti otu dum, na ọbụna n'ihe ize ndụ nke ịghara inweta ya). Mana, mgbe mgbe, nke a bụ naanị ohere ị ga-aga n'ihu.

3. Nhọrọ otu. Dị ka m chọpụtara na hackathon nkata, ọtụtụ na-abịakwute okwu a nke ọma (ọ bụ ezie na nke a bụ mkpebi kachasị mkpa nke ga-ekpebi nsonaazụ gị na hackathon). N'ọtụtụ ebe ọrụ (ma na egwuregwu na hackathons) ahụla m na ndị siri ike na-ejikọta na ndị siri ike, ndị na-adịghị ike na ndị na-adịghị ike, ndị maara ihe na ndị maara ihe, nke ọma, n'ozuzu, ị ga-enweta echiche ahụ ... Nke a bụ ihe na-eme na mkparịta ụka: ndị mmemme na-esighị ike, a na-ejide ha ozugbo, ndị na-enweghị nkà ọ bụla bara uru maka hackathon kwụgidere na nkata ogologo oge wee họrọ otu otu na ụkpụrụ na ọ bụrụ na mmadụ ga-ewere ya. . N'oge ụfọdụ hackathons, a na-eme ọrụ na-enweghị usoro maka otu, ndị na-ahazi na-ekwu na ndị otu na-eme ihe adịghị njọ karịa ndị dị adị. Ma dị ka m chọpụtara, ndị na-akpali akpali, dị ka a na-achị, na-achọta otu n'onwe ha; ọ bụrụ na a ga-ekenye mmadụ, mgbe ahụ, mgbe mgbe, ọtụtụ n'ime ha adịghị abịa na hackathon.

Banyere nhazi nke otu, nke a bụ ihe dị n'otu n'otu ma dabere na ọrụ ahụ. Enwere m ike ịsị na opekempe nwere ike ime otu egwuregwu bụ onye nrụpụta - n'ihu ma ọ bụ n'ihu - njedebe azụ. Ma m na-marakwa nke ikpe mgbe otu ndị mejupụtara naanị n'ihu-enders meriri, onye gbakwunyere a dị mfe azụ-njedebe na node.js, ma ọ bụ mere a mobile ngwa na React Native; ma ọ bụ naanị site na ndị na-azụ ahịa bụ ndị mere nhazi dị mfe. N'ozuzu, ihe niile dị nnọọ n'otu n'otu ma dabere na ọrụ ahụ. Atụmatụ m maka ịhọrọ otu maka hackathon bụ nke a: Ezubere m ịkpọkọta otu ma ọ bụ sonye n'otu egwuregwu dị ka njedebe n'ihu - azụ-azụ - mmebe (Abụ m onye n'ihu n'onwe m). Na ọmarịcha ngwa ngwa, amalitere m ịkparịta ụka na onye na-akwado python na onye mmebe nabatara òkù isonyere anyị. Obere oge ka e mesịrị, otu nwa agbọghọ, onye nyocha azụmahịa, bụ onye nweburu ahụmahụ na-emeri hackathon, sonyeere anyị, nke a kpebiri okwu banyere ịbanye anyị. Mgbe obere oge gasịrị, anyị kpebiri ịkpọ onwe anyị U4 (URBAN 4, obodo anọ) site na ntụnyere na ọmarịcha anọ. Ha tinyere ọbụna foto kwekọrọ na avatar nke ọwa telegram anyị.

4. Ịhọrọ ọrụ. Dịka m kwurula, ị ga-enwerịrị uru asọmpi, a na-ahọrọ ọrụ maka hackathon dabere na nke a. Dabere na nke a, mgbe anya ndepụta ọrụ N'ịtụle mgbagwoju anya ha, anyị doziri na ọrụ abụọ: katalọgụ nke ụlọ ọrụ ọhụrụ sitere na DPiIR na chatbot sitere na EFKO. Ọrụ sitere na DPIIR bụ onye na-azụ azụ họpụtara, ọrụ sitere na EFKO bụ m họọrọ, n'ihi na nwere ahụmahụ ide chatbots na node.js na DialogFlow. Ọrụ EFKO tinyekwara ML; Enwere m ahụmịhe na ML, ọ bụghị nke ukwuu. Dịkwa ka ọnọdụ nsogbu ahụ siri dị, ọ dị m ka o yighị ka a ga-edozi ya site na iji ngwá ọrụ ML. E wusiri mmetụta a ike mgbe m gara Urban Tech Challenge meeting, ebe ndị nhazi gosipụtara m dataset na EFKO, ebe e nwere ihe dị ka foto 100 nke nhazi ngwaahịa (nke e si n'akụkụ dị iche iche) na ihe dịka 20 klas nke njehie nhazi. Na, n'otu oge ahụ, ndị nyere iwu ọrụ ahụ chọrọ iji nweta ọkwa ọganihu nke ọkwa nke 90%. N'ihi ya, m kwadebere ihe ngosi nke ngwọta na-enweghị ML, onye na-azụ azụ kwadoro ihe ngosi dabeere na katalọgụ, na ọnụ, mgbe emechara ihe ngosi, anyị zigara ha na Urban Tech Challenge. Ugbua na ọkwa a, e gosipụtara ọkwa mkpali na ntinye aka nke onye ọ bụla so na ya. Onye mmebe anyị esonyeghị na mkparịta ụka ahụ, zara n'oge, na ọbụna mejupụta ozi gbasara onwe ya na ngosi na oge ikpeazụ, n'ozuzu, enwere obi abụọ.

N'ihi ya, anyị gafere ọrụ ahụ n'aka DPiIR, ma ọ dịghị ewe iwe na anyị agaghị agafe EFKO, ebe ọ bụ na ọrụ ahụ dị ka ihe ijuanya nye anyị, n'ikwu ya n'ụzọ dị nro.

5. Na-akwadebe maka hackathon. Mgbe e mesịrị mara na anyị ruru eru maka hackathon, anyị malitere ịkwadebe nkwadebe. Na ebe a, anaghị m akwado ịmalite ide koodu otu izu tupu mmalite nke hackathon. Opekempe, ị ga-enwe efere efere, nke ị nwere ike ịmalite ịrụ ọrụ ozugbo, na-enweghị ịhazi ngwaọrụ, yana na-enweghị ịbanye n'ime ahụhụ nke ụfọdụ lib nke ị kpebiri ịnwale maka oge mbụ na hackathon. Amaara m akụkọ banyere ndị injinia angular bịara na hackathon wee nọrọ ụbọchị 2 ịtọlite ​​​​ọrụ a na-ewu ụlọ, yabụ ihe niile kwesịrị ịdị njikere tupu oge eruo. Anyị bu n'obi kesaa ọrụ dị ka ndị a: onye na-azụ azụ na-ede crawlers na-enyocha ịntanetị ma tinye ozi niile anakọtara na nchekwa data, ebe m na-ede API na node.js nke na-ajụ nchekwa data a ma na-eziga data n'ihu. N'akụkụ a, m kwadebere ihe nkesa n'ọdịnihu site na iji express.js ma kwadebere njedebe n'ihu na mmeghachi omume. Anaghị m eji CRA, ana m ahazi akpa webpack maka onwe m, amakwaara m nke ọma ihe egwu nke a nwere ike ibute (cheta akụkọ gbasara ndị mmepe angular). N'oge a, arịọrọ m ndebiri interface ma ọ bụ opekata mpe ịkwa emo site n'aka onye nrụpụta anyị ka m nwee echiche nke ihe m ga-ewepụta. Na tiori, o kwesịkwara ime nkwadebe nke ya ma soro anyị na-ahazi ha, mana enwetaghị m azịza. N'ihi ya, agbaziri m imewe ahụ site na otu n'ime ọrụ ochie m. Ma ọ malitere ịrụ ọrụ ngwa ngwa, ebe ọ bụ na e deelarị ụdị niile maka ọrụ a. N'ihi ya, nkwubi okwu: ọ bụghị mgbe niile ka onye mmebe chọrọ na otu))). Anyị bịara hackathon na mmepe ndị a.

6. Na-arụ ọrụ na hackathon. Oge mbụ m hụrụ ka ndị otu m dị ndụ bụ naanị na mmeghe nke hackathon na Central Distribution Center. Anyị zutere, kwurịta ihe ngwọta na usoro nke ịrụ ọrụ na nsogbu ahụ. Ma ọ bụ ezie na mgbe mmeghe ahụ gasịrị, anyị ga-eji bọs gaa Red October, anyị na-aga n'ụlọ na-ehi ụra, kwenye ịbịarute ebe ahụ site na 9.00. Gịnị kpatara? O doro anya na ndị nhazi ahụ chọrọ inweta ihe kacha mma n'ime ndị sonyere ya, n'ihi ya, ha haziri naanị usoro ihe omume ahụ. Mana, n'ahụmahụ m, ị nwere ike itinye koodu na-enweghị ụra otu abalị. Maka nke abụọ, ejighi m n'aka. Hackathon bụ marathon; ịkwesịrị ịgbakọ nke ọma na hazie ike gị. Ọzọkwa, anyị nwere nkwadebe.

Kedu na ihe kpatara anyị ji merie nnukwu egwu data na Urban Tech Challenge hackathon

Ya mere, mgbe anyị na-ehi ụra, na 9.00 anyị nọ ọdụ n'ala nke isii nke Dewocracy. Mgbe ahụ, onye mmepụta anyị kwupụtara na mberede na ya enweghị laptọọpụ nakwa na ọ ga-esi n'ụlọ na-arụ ọrụ, na anyị ga-eji ekwentị na-ekwurịta okwu. Nke a bụ ahịhịa ikpeazụ. Ya mere, anyị tụgharịrị site na anọ gaa na atọ, n'agbanyeghị na anyị agbanweghị aha otu. Ọzọ, nke a abụghị nnukwu ihe mgbu nye anyị; Enweela m atụmatụ site na ọrụ ochie ahụ. N'ozuzu, na mbụ ihe niile gara nnọọ were were na dị ka atụmatụ. Anyị tinye n'ime nchekwa data (anyị kpebiri iji neo4j) otu dataset nke ụlọ ọrụ ọhụrụ sitere na ndị nhazi. Amalitere m typeeting, were were node.js, mgbe ahụ ihe malitere ịka njọ. Mụ na neo4j arụbeghị ọrụ mbụ, na mbụ m na-achọ onye ọkwọ ụgbọ ala na-arụ ọrụ maka nchekwa data a, mgbe ahụ achọpụtara m ka m ga-esi dee ajụjụ, mgbe ahụ ọ tụrụ m n'anya ịchọpụta na nchekwa data a, mgbe a jụrụ ajụjụ, na-eweghachi ụlọ ọrụ na nchekwa data. ụdị n'usoro ihe ọnụ ọnụ na akụkụ ha. Ndị ahụ. Mgbe m rịọrọ otu nzukọ na data niile dị na ya site na TIN, kama ịbụ otu ihe nzukọ, eweghachiri m ọtụtụ ihe nwere data gbasara nzukọ a yana mmekọrịta dị n'etiti ha. Edere m mapa nke gafere n'usoro niile wee tinye ihe niile dị ka nhazi ha si dị n'otu ihe. Mana n'ọgụ, mgbe ị na-arịọ nchekwa data nke ụlọ ọrụ puku asatọ, e gburu ya nwayọ nwayọ, ihe dịka 8 - 20 sekọnd. Amalitere m iche echiche banyere njikarịcha ... Ma mgbe ahụ, anyị kwụsịrị n'oge ma gbanwee na MongoDB, ọ were anyị ihe dị ka nkeji 30. Na mkpokọta, ihe dị ka awa 30 tụfuru na neo4j.

Cheta, ewerela teknụzụ gaa na hackathon nke ị mabeghị nke ọma, enwere ike ịnwe ihe ịtụnanya. Mana, n'ozuzu, ewezuga ọdịda a, ihe niile gara dịka atụmatụ si dị. Ma ugbua n'ụtụtụ Disemba 9, anyị nwere ngwa ọrụ zuru oke. N'ime ụbọchị fọdụrụ, anyị mere atụmatụ ịgbakwunye atụmatụ ndị ọzọ na ya. N'ọdịnihu, ihe niile wee dịtụ were were maka m, ma backender nwere a dum ụyọkọ nsogbu na mmachibido iwu ya crawlers na search engines, na spam nke aggregators nke iwu ụlọ ọrụ, nke bịara na mbụ ebe nke search results mgbe na-arịọ arịrịọ. maka ụlọ ọrụ ọ bụla akọwapụtara. Ma ọ ka mma ka ọ gwa ya n'onwe ya. Akụkụ izizi m gbakwunyere bụ ịchọ site na aha zuru oke. General director nke VKontakte. O were ọtụtụ awa.

Yabụ, na ibe ụlọ ọrụ na ngwa anyị, avatar nke onye isi njikwa pụtara, njikọ ya na ibe VKontakte na data ndị ọzọ. Ọ bụ cherry mara mma na achicha ahụ, ọ bụ ezie na ọ nwere ike ọ gaghị enye anyị mmeri. Mgbe ahụ, achọrọ m ịme nyocha ụfọdụ. Mana mgbe nyochachara ogologo nke nhọrọ (enwere ọtụtụ nuances na UI), ebidoro m na nchịkọta kachasị mfe nke otu site na koodu ọrụ akụ na ụba. Ugbua na mgbede, n'ime awa ikpeazụ, m na-ewepụta template maka igosipụta ngwaahịa ọhụrụ (na ngwa anyị ekwesịrị ịbụ ngalaba Ngwaahịa na Ọrụ), ọ bụ ezie na azụ azụ adịghị njikere maka nke a. N'otu oge ahụ, nchekwa data ahụ na-arị elu site na ịrị elu na oke, ndị na-agba agba na-aga n'ihu na-arụ ọrụ, onye na-azụ azụ na-anwale NLP iji mata ọdịiche dị iche iche ederede ọhụrụ site na ndị na-abụghị ndị ọhụrụ))). Ma oge ngosi ikpeazụ adịlarị nso.

7. Ihe ngosi. Site na ahụmịhe nke m, enwere m ike ịsị na ị kwesịrị ịgbanwe gaa na-akwadebe ihe ngosi banyere 3 ruo 4 awa tupu oge eruo. Karịsịa ma ọ bụrụ na ọ gụnyere vidiyo, agbapụ ya na idezi ya na-ewe oge dị ukwuu. Anyị kwesịrị inwe vidiyo. Na anyị nwere onye pụrụ iche nke mesoro nke a, ma dozie ọtụtụ nsogbu nhazi ndị ọzọ. N'akụkụ a, anyị ewepụghị uche anyị site na itinye koodu ruo oge ikpeazụ.

8. Mgbapụta. Achọghị m na e mere ihe ngosi na ngwụcha n'ụbọchị izu ụka dị iche (Monday). N'ebe a, o yikarịrị, amụma ndị nhazi nke ịkachapụ ihe kachasị na ndị sonyere gara n'ihu. Enweghị m atụmatụ iwepụta oge n'ọrụ, naanị ihe m chọrọ bụ ịbịa na njedebe, ọ bụ ezie na ndị otu m ndị ọzọ wepụrụ ụbọchị ahụ. Otú ọ dị, imikpu mmetụta uche na hackathon adịlarị elu nke na na 8 am edere m na nkata nke otu m (otu ọrụ, ọ bụghị otu hackathon) na m na-ewere ụbọchị ahụ n'ego nke m, wee gaa na etiti etiti. ụlọ ọrụ maka oghere. Nsogbu anyị tụgharịrị nwee ọtụtụ ndị ọkà mmụta sayensị data dị ọcha, nke a na-emetụtakwa ụzọ isi dozie nsogbu ahụ. Ọtụtụ nwere ezigbo DS, mana ọ nweghị onye nwere ụdị ọrụ na-arụ ọrụ, ọtụtụ enweghị ike ịbanye na mmachibido iwu nke crawlers ha na igwe ọchụchọ. Anyị bụ naanị otu nwere ụdị ọrụ. Anyị makwaara otú e si edozi nsogbu ahụ. N'ikpeazụ, anyị meriri egwu ahụ, ọ bụ ezie na anyị nwere chi ọma na anyị họọrọ ọrụ asọmpi kacha nta. N'ileghachi anya na olulu na egwu ndị ọzọ, anyị ghọtara na anyị agaghị enwe ohere ebe ahụ. Achọkwara m ịsị na anyị nwere chi ọma na ndị juri; ha nyochachara koodu ahụ nke ọma. Na, na-ekpe ikpe site na nyocha, nke a emeghị na egwu niile.

9. N'ikpeazụ. Mgbe a kpọchara anyị ndị juri ọtụtụ ugboro maka nyocha koodu, anyị na-eche na anyị emechaala dozie nsogbu niile, gara iri nri ehihie na Burger King. N'ebe ahụ ndị nhazi ahụ kpọkwara anyị ọzọ, anyị ga-ebu ngwa ngwa ngwa ngwa wee laghachi azụ.

Onye nhazi ahụ gosiri anyị ọnụ ụlọ anyị kwesịrị ịbanye, mgbe anyị banyere, anyị chọtara onwe anyị na ọzụzụ ikwu okwu ihu ọha maka otu ndị meriri. Ụmụ okorobịa ndị kwesịrị ime na ogbo nwere mma nke ọma, onye ọ bụla pụtara dị ka ezigbo showmen.

Ekwesịrị m ikweta, n'ikpeazụ, megide ndabere nke otu ndị siri ike sitere na egwu ndị ọzọ, anyị na-acha odo odo; mmeri na nhọpụta ndị ahịa gọọmentị dabara adaba na ndị otu ahụ site na egwu teknụzụ ụlọ. Echere m na isi ihe ndị nyere aka na mmeri anyị na egwu ahụ bụ: nnweta nke oghere dị njikere, n'ihi nke anyị nwere ike ime ngwa ngwa ịmepụta ihe ngosi, ọnụnọ nke "isi ihe" na prototype (chọọ CEOs). na netwọk mmekọrịta) na nkà NLP nke onye na-akwado anyị, nke nwekwara mmasị na ndị juri.

Kedu na ihe kpatara anyị ji merie nnukwu egwu data na Urban Tech Challenge hackathon

Na n'ikpeazụ, ekele omenala ndị niile na-akwado anyị, ndị juri nke egwu anyị, Evgeniy Evgrafiev (onye edemede nke nsogbu ahụ anyị edoziworo na hackathon) na ndị na-ahazi hackathon. Nke a bụ ma eleghị anya hackathon kasị ukwuu na nke kacha mma m sonye na ya, naanị m nwere ike ịchọrọ ka ụmụ okorobịa ahụ debe ụkpụrụ dị elu n'ọdịnihu!

isi: www.habr.com

Tinye a comment