Injiniyan Bayanai ko mutu: labarin ɗaya mai haɓakawa

A farkon watan Disamba, na yi mummunan kuskure kuma na yi canji a rayuwata a matsayin mai haɓakawa kuma na koma ƙungiyar Data Engineering (DE) a cikin kamfanin. A cikin wannan labarin zan raba wasu abubuwan lura da na yi a cikin watanni biyu na aiki a cikin ƙungiyar DE.

Me yasa Injiniyan Bayanai?

Tafiyata zuwa DE ta fara ne a lokacin rani na 2019, lokacin da muke Xneg muje zuwa Makarantar rarraba kwamfuta, kuma a can na sami wayewa. Na fara sha'awar batun, nazarin algorithms har ma game da su rubuta, sannan yayi tunani game da iyakokin aikace-aikacen kuma da sauri gano cewa aikace-aikacen aikace-aikacen a cikin kamfaninmu yana rarraba bayanan bayanai.

Menene ainihin ƙungiyarmu ke yi? Mu, kamar duk samari da 'yan mata, muna son zama Kamfanin Tuɓar Bayanai. Kuma domin hakan ya yiwu, muna buƙatar aƙalla gina ingantaccen wurin ajiya, wanda za a iya amfani da shi don gina duk rahoton da kamfani ke buƙata. Amma abu mafi mahimmanci shine dole ne a amince da bayanan da ke cikin wannan ma'adana. Bugu da ƙari, yin amfani da waɗannan bayanan, kuna buƙatar samun damar dawo da yanayin tsarin a lokaci t. Duk wannan yana da rikitarwa ta yadda muke rayuwa a cikin sabuwar duniyar jajirtacciya ta microservices, kuma wannan akidar tana nuna cewa kowane sabis yana aiwatar da ƙananan ayyukansa, ma'ajin bayanai nasa kasuwancinsa ne, kuma yana iya share shi aƙalla kowace rana, amma a kowace rana. lokaci guda dole ne mu iya karba da aiwatar da yanayin sabis ɗin.

Idan kana so ka zama Data Driven, da farko zama Event Driven

Ba mai sauƙi ba. Abubuwan da suka faru sun bambanta, kuma masu haɓakawa da injiniyan bayanai suna kallon su daban. Magana game da abubuwan da suka faru jigo ne don labarin dabam, don haka ba zan shiga ciki ba a nan. Bugu da ƙari, irin wannan labarin ya rigaya ya rubuta wani Martin Fowler, ba zan cire ladarsa ba, bari shi ma ya shahara.

Gabaɗaya, akwai abubuwa da yawa da za a yi tunani game da shi kuma shi ya sa wannan yanki yana da kyau. Hakan ya faru ne cewa a cikin kamfaninmu, Injiniyan Bayanai yana da fa'ida da yawa na alhakin fiye da mutumin da ya rubuta bututun ETL / ELT (idan ba ku san abin da waɗannan gajerun suke nufi ba, ku zo. haduwa. A matsayin tallan mahallin).

Muna hulɗa da gine-ginen ajiya, ƙirar bayanai, batutuwan da suka shafi tsaro bayanai, da kuma bututun da kansu, ba shakka. Har ila yau, muna buƙatar tabbatar da cewa, a gefe guda, kasancewarmu ba ta da nauyi sosai ga masu haɓaka samfurin kuma dole ne su kasance da hankali kadan kadan ta hanyar bukatunmu lokacin da muke yanke sababbin siffofi a cikin tsarin, kuma a daya bangaren, mu suna buƙatar samar da su cikin dacewa da shimfidawa cikin bayanan ajiya don manazarta da ƙungiyar BI. Haka muke rayuwa.

Matsaloli a lokacin da ake canzawa daga ci gaba

A ranar farko da na fara aiki, na ci karo da wahalhalu da dama da nake so in raba tare da ku.

1. Abu na farko da na gani shi ne rashin tuling da wasu ayyuka. Ɗauki, misali, ɗaukar hoto tare da gwaje-gwaje. Muna da ɗaruruwan tsarin gwaji a cikin haɓakawa. Lokacin aiki tare da bayanai, komai ya fi rikitarwa. Ee, zamu iya gwada bututun ETL akan bayanan gwaji, amma dole ne muyi duka da hannu kuma mu nemi mafita ga kowane takamaiman lamari. A sakamakon haka, ɗaukar hoto ya fi muni. Abin farin ciki, akwai wani nau'in ra'ayi ta hanyar sa ido da rajistan ayyukan, amma wannan ya rigaya yana buƙatar mu mu mayar da martani maimakon faɗakarwa, wanda ke fushi da rashin tsoro.

2. Duniya daga DE hangen zaman gaba ba a duk abin da alama ga talakawa samfurin developer (da kyau, ba shakka mai karatu ba haka ba ne, kuma ya riga ya san kome da kome, amma ban sani ba kuma yanzu ina screwing). ta up). A matsayina na mai haɓakawa, na ƙirƙiri microservice na, sanya bayanan a cikin [database ɗin da kuka zaɓa], ajiye jihara a can, sami wani abu ta ID kuma yana da kyau. Sabis ɗin yana jinkirin, umarni suna da ruɗani, shi ke nan. Suna neme ni in nemi jihara a wani sabis, don haka zan jefa wani taron a cikin wasu RabbitMQ kuma shi ke nan. Kuma a nan mun sake komawa ga batun al'amuran da aka kwatanta a sama.

Abin da sabis ɗin ke buƙata don aikin aiki bai dace da mu ba don bayanan tarihi, don haka tambayar sake yin kwangilar sabis da aiki kusa da ƙungiyoyin ci gaba sun fara. Ba za ku iya ma tunanin sa'o'i nawa ya ɗauki mu mu yarda ba: wane nau'in Lamarin da aka Koka da shi a cikin kamfaninmu.

3. Kuna buƙatar tunani da kanku. A'a, ba na nufin cewa masu haɓakawa ba sa tunani (ko da yake wanene ni zan yi magana ga kowa da kowa), kawai cewa a cikin haɓaka samfurin sau da yawa kuna da wani nau'i na gine-gine, kuma kuna yanke shuffles daban-daban daga baya. Tabbas, wannan yana buƙatar tsarawa da tunani, amma wannan shine aikin rafi, inda babban matsalar shine kawai a yi shi da kyau da inganci.

A gare mu, ba abu ne mai sauƙi ba saboda canja wurin sassan tsarin daban-daban daga wani dumi da jin dadi na monolith zuwa duniyar gandun daji na microservice na daji ba shi da sauƙi. Lokacin da sabis ɗin ya fara watsa abubuwan da suka faru, kuna buƙatar sake la'akari da dabaru don cika ma'ajiyar, saboda bayanan yanzu sun bambanta. Wannan shine inda kake buƙatar yin tunani da yawa kuma sosai, ba a matsayin mai haɓakawa ba, amma a matsayin injiniyan bayanai. Labari ne na yau da kullun lokacin da kuka yi kwanaki tare da littafin rubutu da alkalami ko tare da alamar a allo. Yana da matukar wahala, ba na son yin tunani, Ina son samarwa kuma.

4. Wataƙila abu mafi mahimmanci shine bayani. Me muke yi idan ba mu da ilimi? Wa ya ce stackoverflow? Fitar da wannan mutumin daga daki. Muna zuwa karanta takardu, littattafai kan batun, sannan akwai kuma wata al'umma da ke shirya taruka, taro da taro. Takaddun bayanai suna da kyau, amma abin takaici, yana iya zama bai cika ba. Muna amfani da Cosmos DB a cikin ayyuka da yawa. Sa'a mai kyau karanta takaddun don wannan samfurin. Littattafai sune kaɗai ceto; Abin farin ciki, suna wanzu kuma ana iya samun su, suna ɗauke da ɗimbin ilimi na asali kuma dole ne ku karanta da yawa kuma koyaushe. Amma matsalar tana tare da al'umma.

Yanzu yana da wahala a sami aƙalla isashen taro ko taro a yankinmu. A'a, ba shakka, akwai haɗuwa da yawa tare da kalmar Data, amma kusa da wannan kalma yawanci ana samun taƙaitaccen taƙaitaccen abu kamar ML ko AI. Don haka, wannan ba namu ba ne, muna magana ne game da yadda za mu gina wuraren ajiya, kuma ba yadda za mu shafa kanmu da ƙwayoyin cuta ba. Wadannan hipsters sun mamaye komai. A sakamakon haka, ba mu da al'umma. Af, idan kai Injiniyan Bayanai ne kuma ka san al'ummomi masu kyau, da fatan za a rubuta a cikin sharhi.

Kammalawa da sanarwar taron

Me muka ƙare? Kwarewata ta farko ta gaya mani cewa jin a cikin takalmin injiniyan bayanai zai zama da amfani ga kowane mai haɓakawa. Yana ba mu damar kallon abubuwa daban kuma kada muyi mamakin lokacin da idanunmu suka sami zubar da jini lokacin da muka ga yadda masu haɓaka ke bi da bayanan su. Don haka, idan akwai DE a cikin kamfanin ku, kawai kuyi magana da waɗannan mutane, za ku koyi sababbin abubuwa da yawa (game da kanku).

Kuma a ƙarshe, sanarwar. Tun da yake yana da wuya a sami haduwa akan batunmu a cikin rana, mun yanke shawarar yin namu. Me ya sa muka fi muni? Sa'a muna da ban mamaki Schvepsss da abokanmu daga Sabbin Sana'o'i Lab, wanda, kamar mu, suna jin cewa injiniyoyin bayanai ba su da adalci ba tare da kulawa ba.

Yin amfani da wannan damar, ina gayyatar duk wanda ya damu ya zo taronmu na farko na al'umma tare da kyakkyawar taken "DE ko DIE", wanda zai gudana a ranar 27.02.2020 ga Fabrairu, XNUMX a ofishin Dodo Pizza. Cikakkun bayanai a TimePad.

Idan wani abu ya faru, zan kasance a can, za ku iya gaya mani da kaina a fuskata yadda nake kuskure game da masu haɓakawa.

source: www.habr.com