Sunana Dmitry. Kuma ina so in yi magana game da yadda ƙungiyarmu ta kai wasan karshe na Urban Tech Challenge hackathon akan Big Data track. Zan ce nan da nan cewa wannan ba shine farkon hackathon da na shiga ba, kuma ba shine farkon wanda na karɓi kyaututtuka ba. Dangane da wannan, a cikin labarina ina so in faɗi wasu bayanai na gabaɗaya da ƙarshe game da masana'antar hackathon gabaɗaya, kuma in ba da ra'ayi na sabanin ra'ayi mara kyau da ya bayyana kan layi nan da nan bayan ƙarshen Kalubalen Fasaha na Urban (don misali ).
Don haka da farko wasu abubuwan lura gabaɗaya.
1. Abin mamaki ne cewa mutane kaɗan suna tunanin cewa hackathon wani nau'i ne na gasar wasanni inda mafi kyawun coders suka yi nasara. Wannan ba daidai ba ne. Ba na la'akari da lokuta lokacin da masu shirya hackathon da kansu ba su san abin da suke so ba (Na ga haka kuma). Amma, a matsayin mai mulkin, kamfanin da ke shirya hackathon yana bin manufofinsa. Lissafin su na iya zama daban-daban: yana iya zama maganin fasaha ga wasu matsalolin, neman sababbin ra'ayoyi da mutane, da dai sauransu. Wadannan manufofi sukan ƙayyade tsarin taron, lokacin sa, kan layi / layi, yadda za a tsara ayyukan (da kuma ko za a tsara su gaba ɗaya), ko za a yi nazarin lambar a hackathon, da dai sauransu. Dukkan qungiyoyin da abin da suka yi ana tantance su ta wannan mahangar. Kuma wa] annan} ungiyoyin da suka fi dacewa da matsayi na kamfani yana buƙatar nasara, kuma da yawa sun isa wannan batu gaba daya ba tare da sani ba kuma ta hanyar haɗari, suna tunanin cewa da gaske suna shiga gasar wasanni. Abubuwan da nake lura da su sun nuna cewa don ƙarfafa mahalarta, masu shirya ya kamata su haifar da akalla bayyanar yanayin wasanni da kuma daidaitattun yanayi, in ba haka ba za su sami raƙuman raƙuman ruwa, kamar yadda a cikin bita na sama. Amma mun digress.
2. Don haka ƙarshe mai zuwa. Masu shiryawa suna sha'awar mahalarta zuwa hackathon tare da aikin nasu, wani lokacin ma suna tsara matakan wasiƙun kan layi na musamman don wannan dalili. Wannan yana ba da damar samar da mafita mai ƙarfi. Manufar "aiki na kansa" dangi ne sosai; kowane ƙwararren mai haɓakawa zai iya tara dubunnan layukan layukan daga tsoffin ayyukansa a cikin alƙawarinsa na farko. Kuma shin wannan zai zama ci gaban da aka riga aka shirya? Amma a kowane hali, dokar ta shafi, wanda na bayyana a cikin wani shahararren meme:
Don cin nasara, dole ne ku sami wani abu, wani nau'in fa'ida mai fa'ida: irin wannan aikin da kuka yi a baya, ilimi da gogewa a cikin takamaiman batun, ko aikin da aka shirya kafin fara hackathon. Ee, ba wasa ba ne. Haka ne, wannan bazai dace da ƙoƙarin da aka yi ba (a nan, kowa yana yanke shawara da kansa ko yana da daraja yin codeing na makonni 3 da dare don kyautar 100, wanda aka raba tsakanin dukan tawagar, har ma da hadarin rashin samun shi). Amma, sau da yawa, wannan ita ce kawai damar samun gaba.
3. Zaɓin ƙungiyar. Kamar yadda na lura a cikin tattaunawar hackathon, mutane da yawa suna fuskantar wannan batun sosai (ko da yake wannan shine mafi mahimmancin yanke shawara wanda zai ƙayyade sakamakon ku a hackathon). A cikin yankuna da yawa na ayyuka (a cikin wasanni da kuma a cikin hackathons) Na ga cewa mutane masu karfi suna son haɗuwa tare da masu karfi, masu rauni tare da raunana, masu basira tare da masu hankali, da kyau, gaba ɗaya, kuna samun ra'ayi ... Wannan shi ne kusan abin da ke faruwa a cikin tattaunawa: ƙananan shirye-shiryen shirye-shirye suna kama su nan da nan, mutanen da ba su da wata fasaha mai mahimmanci ga hackathon suna rataye a cikin hira na dogon lokaci kuma su zaɓi ƙungiya a kan ka'idar cewa idan kawai wani zai dauki shi. . A wasu hackathons, bazuwar aiki ga ƙungiyoyi ana aiwatar da su, kuma masu shiryawa suna da'awar cewa ƙungiyoyin bazuwar ba su yin muni fiye da waɗanda suke da su. Amma bisa ga abin da na lura, mutane masu motsa jiki, a matsayin mai mulkin, suna samun ƙungiya da kansu; idan an sanya wani, to, sau da yawa, yawancin su ba sa zuwa hackathon.
Amma game da abun da ke cikin ƙungiyar, wannan yana da mutuƙar mutuntaka kuma yana dogara sosai akan aikin. Zan iya cewa mafi ƙarancin ƙaƙƙarfan tsarin ƙungiyar shine mai ƙira - gaba-gaba ko ƙarshen gaba - ƙarshen baya. Amma na kuma san lokuta lokacin da ƙungiyoyin da suka ƙunshi kawai na gaba-gaba suka ci nasara, waɗanda suka ƙara ƙarshen ƙarshen baya a node.js, ko yin aikace-aikacen wayar hannu a cikin React Native; ko kawai daga masu goyon baya waɗanda suka yi shimfida mai sauƙi. Gabaɗaya, duk abin da ke cikin mutum ɗaya ne kuma ya dogara da aikin. Shirina na zabar ƙungiyar don hackathon shine kamar haka: Na shirya haɗa ƙungiya ko shiga ƙungiya kamar ƙarshen gaba - baya-ƙarshen - zanen (Ni kaina ne na gaba-gaba). Kuma da sauri na fara hira tare da python backender da wani mai zane wanda ya karɓi gayyatar shiga mu. Ba da daɗewa ba, wata yarinya, mai nazarin harkokin kasuwanci, wadda ta riga ta sami gogewa ta lashe hackathon, ta shiga tare da mu, kuma wannan ya yanke shawarar batun shigar da mu. Bayan ɗan gajeren taro, mun yanke shawarar kiran kanmu U4 (URBAN 4, birane huɗu) ta hanyar kwatankwacin kyawawan huɗun. Kuma har ma sun sanya hoton da ya dace a kan avatar na tashar mu ta telegram.
4. Zaɓin aiki. Kamar yadda na riga na fada, dole ne ku sami fa'ida mai fa'ida, an zaɓi aikin hackathon bisa ga wannan. Bisa ga wannan, bayan duba Da kuma tantance irin hadaddun su, mun daidaita kan ayyuka guda biyu: kasida na sabbin masana'antu daga DPiIR da kuma chatbot daga EFKO. Aiki daga DPIIR na baya ne ya zaba, aikin daga EFKO ni ne ya zaba, saboda ya sami gogewa wajen rubuta chatbots a node.js da DialogFlow. Ayyukan EFKO kuma sun haɗa da ML; Ina da wasu, ba su da yawa, kwarewa a ML. Kuma bisa ga yanayin matsalar, na ga kamar ba za a iya magance ta ta amfani da kayan aikin ML ba. An ƙarfafa wannan jin lokacin da na je taron kalubale na Urban Tech Challenge, inda masu shiryawa suka nuna mani bayanan bayanai akan EFKO, inda akwai kimanin hotuna 100 na tsarin samfurin (wanda aka ɗauka daga kusurwoyi daban-daban) da kuma kimanin nau'o'in 20 na kuskuren layout. Kuma, a lokaci guda, waɗanda suka ba da umarnin aikin suna so su cimma nasarar rarrabuwa na 90%. A sakamakon haka, na shirya gabatarwar bayani ba tare da ML ba, mai ba da baya ya shirya gabatarwa bisa ga kasida, kuma tare, bayan kammala gabatarwa, mun aika da su zuwa Ƙalubalen Tech na Urban. Tuni a wannan matakin, matakin ƙarfafawa da gudummawar kowane ɗan takara ya bayyana. Mai zanen mu bai shiga cikin tattaunawar ba, ya amsa marigayi, har ma ya cika bayanai game da kansa a cikin gabatarwa a lokacin ƙarshe, a gaba ɗaya, shakku sun tashi.
Sakamakon haka, mun wuce aikin daga DPiIR, kuma ko kaɗan ba mu ji haushin cewa ba mu wuce EFKO ba, tunda aikin ya zama kamar baƙon abu a gare mu, in faɗi shi a hankali.
5. Ana shirya don hackathon. Lokacin da a ƙarshe ya zama sananne cewa mun cancanci shiga hackathon, mun fara shirya shirye-shiryen. Kuma a nan ba na bayar da shawarar fara rubuta code mako guda kafin fara hackathon. Aƙalla, yakamata a shirya tukunyar tukunyar jirgi, wanda zaku iya fara aiki nan da nan, ba tare da saita kayan aikin ba, kuma ba tare da kutsawa cikin kwari na wasu lib ɗin da kuka yanke shawarar gwadawa a karon farko a hackathon ba. Na san wani labari game da injiniyoyin angular waɗanda suka zo hackathon kuma sun shafe kwanaki 2 suna kafa aikin ginin, don haka ya kamata a shirya komai a gaba. Mun yi niyya don rarraba nauyi kamar haka: mai baya yana rubuta crawlers waɗanda ke zazzage Intanet kuma suna sanya duk bayanan da aka tattara a cikin ma'ajin bayanai, yayin da nake rubuta API a cikin node.js wanda ke tambayar wannan bayanan kuma aika bayanan zuwa gaba. Game da wannan, na shirya uwar garken a gaba ta amfani da express.js kuma na shirya gaba-gaba a amsa. Ba na amfani da CRA, koyaushe ina keɓance fakitin gidan yanar gizo don kaina kuma na san sosai menene haɗarin wannan zai iya haifar (tuna da labarin game da masu haɓaka angular). A wannan gaba, na nemi samfuran dubawa ko aƙalla izgili daga mai zanen mu don samun ra'ayin abin da zan shimfidawa. A ka’ida shi ma ya kamata ya yi nasa shirye-shiryen ya hada su da mu, amma ban samu amsa ba. A sakamakon haka, na aro zane daga ɗaya daga cikin tsoffin ayyukana. Kuma ya fara aiki har ma da sauri, tun da an riga an rubuta duk salon wannan aikin. Saboda haka ƙarshe: ba a koyaushe ake buƙatar mai zane a kan ƙungiya))). Mun zo hackathon tare da waɗannan ci gaba.
6. Yi aiki a hackathon. A karo na farko da na ga tawaga ta kai tsaye kawai a lokacin buɗe hackathon a Cibiyar Rarraba ta Tsakiya. Mun hadu, mun tattauna mafita da matakan aiki akan matsalar. Kuma ko da yake bayan budewar dole ne mu tafi da bas zuwa Red Oktoba, mun tafi gida don barci, mun yarda mu isa wurin da karfe 9.00. Me yasa? Da alama masu shirya taron sun so su sami mafi kyawun mahalarta, don haka sun tsara irin wannan jadawali. Amma, a cikin gwaninta, kuna iya yin code kullum ba tare da yin barci na dare ɗaya ba. Amma na biyun, ban tabbata ba. Hackathon tseren marathon ne; kuna buƙatar ƙididdigewa da tsara ƙarfin ku. Haka kuma, mun yi shirye-shirye.
Saboda haka, bayan barci kashe, a 9.00 muna zaune a kan bene na shida na Dewocracy. Sai mai zanen mu ba zato ba tsammani ya sanar cewa ba shi da kwamfutar tafi-da-gidanka kuma zai yi aiki daga gida, kuma za mu yi magana ta waya. Wannan shi ne bambaro na ƙarshe. Kuma haka muka juya daga hudu zuwa uku, ko da yake ba mu canza sunan kungiyar ba. Bugu da ƙari, wannan ba babban rauni ba ne a gare mu; Na riga na sami zane daga tsohon aikin. Gabaɗaya, da farko komai ya tafi daidai kuma bisa tsari. Mun loda cikin bayanan (mun yanke shawarar yin amfani da neo4j) bayanan kamfanoni masu tasowa daga masu shiryawa. Na fara nau'in rubutu, sannan na ɗauki node.js, sannan abubuwa suka fara yin ɓarna. Ban taɓa yin aiki da neo4j ba, kuma da farko ina neman direba mai aiki don wannan bayanan, sannan na gano yadda ake rubuta tambaya, sannan na yi mamakin gano cewa wannan ma'adanin, lokacin da aka tambaye shi, yana dawo da ƙungiyoyi a cikin bayanan. nau'i na tsararrun abubuwan kumburi da gefunansu. Wadancan. a lokacin da na nemi wata kungiya da duk bayanan da TIN ke da ita, maimakon wani abu na kungiya daya, sai aka mayar mini da wasu dogayen abubuwa masu dauke da bayanai kan wannan kungiya da alakar da ke tsakaninsu. Na rubuta taswira wanda ya ratsa cikin jeri duka kuma na manne duk abubuwan bisa ga ƙungiyarsu zuwa abu ɗaya. Amma a cikin yaƙi, lokacin da ake buƙatar bayanan ƙungiyoyi dubu 8, an aiwatar da shi a hankali a hankali, kusan 20 - 30 seconds. Na fara tunanin ingantawa... Sannan muka tsaya a kan lokaci kuma muka koma MongoDB, kuma ya ɗauki mu kamar minti 30. Gabaɗaya, an yi asarar kusan sa'o'i 4 akan neo5j.
Ka tuna, kada ka ɗauki fasaha zuwa hackathon wanda ba ka saba da shi ba, za a iya samun abubuwan mamaki. Amma, gaba ɗaya, baya ga wannan gazawar, komai ya tafi bisa ga tsari. Kuma tuni a safiyar ranar 9 ga Disamba, mun sami cikakkiyar aikace-aikacen aiki. A sauran ranan mun shirya ƙara ƙarin fasali zuwa gare shi. A nan gaba, komai ya tafi daidai a gare ni, amma mai ba da baya yana da ɗimbin matsaloli tare da hana crawlers a cikin injunan bincike, a cikin spam na aggregators na shari'a, wanda ya zo a farkon wuraren bincike lokacin da ake buƙata. ga kowane kamfani na musamman. Amma yana da kyau a gare shi ya faɗi game da shi da kansa. Ƙarin fasalin farko da na ƙara shi ne bincike da cikakken suna. Babban Daraktan VKontakte. Ya ɗauki sa'o'i da yawa.
Don haka, a kan shafin kamfanin a cikin aikace-aikacenmu, akwai avatar na babban darektan, hanyar haɗi zuwa shafin VKontakte da wasu bayanai. Yana da kyau ceri a kan kek, ko da yake watakila bai ba mu nasara ba. Sa'an nan, Ina so in gudanar da wasu nazari. Amma bayan dogon bincike na zaɓuɓɓuka (akwai nuances da yawa tare da UI), na daidaita kan mafi sauƙin haɗar ƙungiyoyi ta lambar ayyukan tattalin arziki. Tuni da maraice, a cikin sa'o'i na ƙarshe, Ina shimfiɗa samfuri don nuna sabbin samfura (a cikin aikace-aikacenmu ya kamata a sami sashin Samfura da Sabis), kodayake baya ba a shirye don wannan ba. A lokaci guda, ma'ajin bayanai ya kumbura ta hanyar tsalle-tsalle da iyakoki, masu rarrafe sun ci gaba da aiki, mai goyon baya ya yi gwaji tare da NLP don bambanta rubutun da ba a saba ba))). Amma lokacin gabatarwa na ƙarshe ya riga ya gabato.
7. Gabatarwa. Daga gwaninta na, zan iya cewa ya kamata ku canza zuwa shirya gabatarwa game da 3 zuwa 4 hours kafin lokacin. Musamman idan ya shafi bidiyo, harbi da gyara shi yana ɗaukar lokaci mai yawa. Ya kamata mu yi bidiyo. Kuma mun sami wani mutum na musamman wanda ya magance wannan, kuma ya warware wasu batutuwa da dama na kungiyar. Dangane da haka, ba mu shagaltar da kanmu daga yin codeing ba har sai lokacin ƙarshe.
8. Fita. Ban ji dadin cewa an gudanar da gabatarwa da na karshe a ranar mako daban (Litinin). Anan, mai yuwuwa, manufofin masu shiryawa na matsi matsakaicin matsakaicin daga cikin mahalarta sun ci gaba. Ban shirya yin hutu daga wurin aiki ba, ina so kawai in zo wasan karshe, kodayake sauran ’yan wasa na sun yi hutu. Duk da haka, nutsewar motsin rai a cikin hackathon ya riga ya yi girma sosai cewa a karfe 8 na safe na rubuta a cikin hira na tawagar (ma'aikatan aiki, ba ƙungiyar hackathon ba) cewa na dauki ranar a kan kuɗin kaina, kuma na tafi tsakiyar tsakiya. ofis don filaye. Matsalarmu ta kasance tana da ɗimbin masana kimiyyar bayanai masu tsafta, kuma wannan ya shafi tsarin magance matsalar sosai. Mutane da yawa suna da DS mai kyau, amma babu wanda ke da samfurin aiki, da yawa ba za su iya kewaye da bans na crawlers a cikin injunan bincike ba. Mu ne kawai ƙungiyar da ke da samfurin aiki. Kuma mun san yadda za mu magance matsalar. A ƙarshe, mun ci waƙar, ko da yake mun yi sa'a sosai cewa mun zaɓi aikin mafi ƙarancin gasa. Duban filaye a wasu waƙoƙi, mun gane cewa ba za mu sami dama a can ba. Ina kuma so in ce mun yi sa'a sosai tare da alkalai; sun bincika lambar sosai. Kuma, kuna yin la'akari da sake dubawa, wannan bai faru ba a duk hanyoyi.
9. Karshe. Bayan da aka kira mu ga juri sau da yawa don sake duba lambar, mu, muna tunanin cewa mun warware duk matsalolin, mun tafi cin abinci a Burger King. Can sai da masu shirya taron suka sake kiran mu, da sauri muka tattara odar mu muka koma.
Wanda ya shirya taron ya nuna mana dakin da muke bukatar shiga, kuma da shiga, mun tsinci kanmu a wani taron horar da jama’a ga kungiyoyin da suka yi nasara. Mutanen da ya kamata su yi wasan kwaikwayo a kan wasan kwaikwayo sun cika da kyau, kowa ya fito kamar masu wasan kwaikwayo na gaske.
Kuma dole ne in yarda, a wasan karshe, a kan koma bayan kungiyoyin da suka fi karfi daga wasu wakoki, mun yi kama da kololuwa; Nasarar da aka samu a zaben abokin ciniki na gwamnati ya dace da kungiyar daga hanyar fasahar mallakar gidaje. Ina tsammanin cewa mahimman abubuwan da suka ba da gudummawar nasararmu a kan waƙar sune: samuwa na shirye-shiryen da aka shirya, saboda abin da muka sami damar yin samfuri da sauri, kasancewar "mahimman bayanai" a cikin samfurin (bincika ga Shugaba. akan hanyoyin sadarwar zamantakewa) da kuma ƙwarewar NLP na mai ba da baya, wanda kuma yana da sha'awar juri sosai.
Kuma a ƙarshe, godiya ga al'ada ga duk waɗanda suka tallafa mana, juri na waƙarmu, Evgeniy Evgrafiev (mawallafin matsalar da muka warware a hackathon) da kuma masu shirya hackathon. Wannan shi ne watakila mafi girma kuma mafi kyawun hackathon da na taɓa shiga, Zan iya fatan mutanen su ci gaba da irin wannan matsayi a nan gaba!
source: www.habr.com