Mukutanga kwaZvita, ndakaita chikanganiso chakashata — shanduko muhupenyu hwangu semugadziri — ndokujoinha Data Engineering (DE) timu mukati mekambani. Muchikamu chino, ndichagovera zvimwe zvandakaona pamusoro pemwedzi miviri yandanga ndichishanda pachikwata cheDE.
Sei Data Injiniya?
Rwendo rwangu muDE rwakatanga muzhizha ra2019 isu handei ku , uye ipapo ndakasvika pakuvhenekerwa. Ndakatanga kufarira nyaya yacho, ndichidzidza algorithms uye kunyange nezvavo. , uye ipapo ndakafunga nezve nharaunda yekunyorera uye nekukurumidza ndakaona kuti inoshanda mukambani yedu yakagoverwa dhatabhesi.
Saka timu yedu inoita sei chaizvo? Isu, kufanana nevakomana vese vane mafashoni uye gals, tinoda kuve kambani inofambiswa nedata. Uye kuti zviitike, tinoda, zvishoma, kuvaka yakavimbika data rehouse inokwanisa kugadzira chero mishumo iyo kambani inoda. Asi zvinonyanya kukosha, data iri mudura rinofanirwa kuvimbwa. Uyezve, isu tinofanirwa kukwanisa kuvakazve mamiriro ehurongwa pane imwe nguva nenguva tichishandisa iyi data. Zvese izvi zvinoomeswa nenyaya yekuti tinorarama munyika itsva yakashinga yemicroservices, uye pfungwa iyi inoreva kuti sevhisi yega yega inoshandisa diki diki mashandiro ayo, dhatabhesi rayo ibhizinesi rayo, uye rinogona kuidzima zuva nezuva. Nekudaro, isu tinofanirwa kukwanisa kutora uye kugadzirisa mamiriro ebasa.
Kana iwe uchida kufambiswa nedata, tanga wave chiitiko chinofambiswa.
Hazvisi nyore kudaro. Zviitiko zvinouya nenzira dzakasiyana, uye vanogadzira uye mainjiniya edata vanozviona zvakasiyana. Zviitiko inyaya yechinyorwa chakasiyana, saka ini handisi kuzopinda mairi. Kunze kwezvo, chinyorwa chakadaro chakatonyorwa. mumwe Martin Fowler, handisi kumutorera hunhu hwake, ngaavewo ane mukurumbira.
Muchidimbu, pane zvakawanda zvekufunga nezvazvo, uye ndizvo zvinoita kuti ndima iyi inakidze. Zvinongoitika kuti kukambani yedu, Injiniya yeData ine nzvimbo yakakura kwazvo yebasa kupfuura munhu anonyora mapaipi eETL/ELT (kana usingazive zvinorevei izvi zvipfupiso, huya . Pamusoro pekodzero dzekushambadzira kwemamiriro ezvinhu).
Isu tinobatanidzwa mukuvaka kwekuchengetedza, data modelling, data kuchengetedza nyaya, uye, hongu, mapaipi pachawo. Isu tinofanirwawo kuona kuti, kune rimwe divi, kuvepo kwedu hakuna kuremedza kune vanogadzira zvigadzirwa, uye ivo vanovhiringidzwa zvishoma sezvinobvira nezvatinoda pakuita zvinhu zvitsva muhurongwa, nepo, kune rimwe divi, isu tinofanirwa kupa vanoongorora uye timu yeBI data rakarongeka zviri nyore mudura. Ndiwo mararamiro atinoita.
Matambudziko ekuchinja kubva kubudiriro
Pazuva rangu rokutanga chairo pabasa, ndakasangana nezvinetso zvakawanda zvandinoda kugoverana nemi.
1. Chinhu chekutanga chandakaona kwaive kushomeka kwekushandisa uye mamwe maitiro akanaka. Tora kodhi yekuvhara yekuvhara, semuenzaniso. Mukusimudzira, tine zana nemakumi mashanu ekuyedza masisitimu. Kushanda nedata kwakanyanya kuoma. Ehe, isu tinogona kuyedza ETL mapaipi pane bvunzo data, asi isu tinofanirwa kuzviita zvese nemaoko uye nekutsvaga mhinduro kune yega yega kesi. Nekuda kweizvozvo, kuvharwa kwebvunzo kwakanyanya kuipa. Sezvineiwo, kune imwe nhanho yemhinduro muchimiro chekutarisa uye kutema matanda, asi izvi zvinoda kuti isu tiite reactive pane kuita proactive, izvo zvinogumbura uye zvisingatyire.
2. Nyika kubva kune DE maonero akasiyana zvachose kubva kune iyo inoratidzika kune avhareji chigadzirwa chekugadzira (zvechokwadi, muverengi haana kudaro, uye ivo vanotoziva zvose, asi ini handina uye ikozvino ndiri kuiwana). Semugadziri, ndiri kuvaka microservice yangu, ndichiisa data mu [database yesarudzo yako], kuchengeta nyika yangu ipapo, kudzoreredza chimwe chinhu neID, uye zvese zvakanaka. Iyo sevhisi inomhanya, maodha akanganiswa, uye iyo jazz yese. Mumwe munhu anondikumbira kuti nditarise nyika yangu mune imwe sevhisi, saka ini ndichangorasa chiitiko mune imwe RabbitMQ uye ndizvozvo. Uye ndipo patinodzoka kunyaya yechiitiko yakatsanangurwa pamusoro.
Izvo zvinodikanwa nesevhisi pabasa rekushanda hazvishande kwatiri kune data renhoroondo, saka isu tinofanirwa kugadzirisa zvibvumirano zvebasa uye kushanda pamwe nezvikwata zvekusimudzira. Iwe haugone kana kufungidzira kuti mangani maawa atakapedza tichiedza kubvumirana pane izvo Chiitiko Driven chiri mukambani yedu.
3. Unofanira kufunga nemusoro wako. Handisi kuti vanogadzira havafunge (kunyangwe ini ndiri ani kuti nditaurire munhu wese), asi mukuvandudza kwechigadzirwa, iwe kazhinji unotova nemhando yekuvaka, uye unenge uchingofunga nemabasa akasiyana kubva kumashure. Ehe, izvi zvinoda kuronga nekufungisisa, asi inzira inoenderera, uko dambudziko guru ririkungoita kuti zvinhu zviitwe nemazvo uye nemazvo.
Hazvisi nyore kudaro kwatiri, nekuti kutama akasiyana masisitimu zvikamu kubva kune inodziya uye inotonhorera monolith kuenda kusango renyika yemicroservices hakusi nyore. Kana sevhisi yatanga kuburitsa zviitiko, unofanirwa kufunga zvakare pfungwa yekuzadza chengetedzo, nekuti iyo data ikozvino inotaridzika zvakasiyana. Izvi zvinoda kufunga kwakawanda, kwete semugadziri, asi seinjiniya yedata. Zvakajairika kupedza mazuva uine kabhuku nechinyoreso kana chiratidzo pabhodhi chena. Zvakaoma zvikuru; Handidi kufunga; Ndinosarudza kungorova-bang uye kuenda kunogadzira.
4. Zvichida chinhu chinonyanya kukosha ruzivo. Tinoita sei kana tisina ruzivo? Ndiani akati Stack Overflow? Budisa munhu iyeye mumba. Isu tinoenda kunoverenga zvinyorwa, mabhuku emusoro wenyaya, uyezve kune nharaunda inoronga maforamu, kusangana, uye makonferensi. Zvinyorwa zvakanaka, asi zvinosuruvarisa, zvinogona kunge zvisina kukwana. Isu tinoshandisa Cosmos DB mune akati wandei mapurojekiti. Rombo rakanaka kuverenga zvinyorwa zvechigadzirwa ichi. Mabhuku ndiwo ruponeso rwedu chete; rombo rakanaka, dziripo uye dzinogona kuwanikwa. Iwo ane ruzivo rwakawanda rwakakosha, uye iwe unofanirwa kuverenga zvakanyanya uye nguva dzose. Asi nharaunda injodzi.
Zvakaoma kuwana musangano wakakwana kana kusangana mumunda wedu izvozvi. Chokwadi, pane zvakawanda zvekusangana neizwi rekuti "Data," asi kazhinji vanopedzisira vaine ma acronyms asinganzwisisike se "ML" kana "AI." Zvakanaka, hachisi chinhu chedu; tiri kutaura nezve kuvaka matura edatha, kwete kuzviunganidzira isu neural network. Aya mahipsters atora zvese. Izvi zvinoita kuti tishaye nharaunda. Nenzira, kana iwe uri Data Injiniya uye uchiziva nezve chero nharaunda dzakanaka, ndapota ndizivise mune zvakataurwa.
Mhedziso uye chiziviso chemusangano
Saka chii chinonyanya kukosha? Chiitiko changu chekutanga chinondiudza kuti mugadziri wese anogona kubatsirikana nekuona iyo data injiniya shangu. Zvinongotibvumira kuona zvinhu zvakasiyana uye kuti tisashamiswe kana maziso edu achibuda ropa patinoona mabatiro anoita vanogadzira data ravo. Saka, kana kambani yako iine data injiniya, ingotaura navo uye iwe uchadzidza zvakawanda (pamusoro pako).
Uye pakupedzisira, chiziviso. Sezvo isu tisingakwanise kuwana chero kusangana pamusoro wenyaya yedu, takasarudza kugadzira yedu. Chii chakaipa ipapo? Sezvineiwo, tine zvinoshamisa uye shamwari dzedu kubva , avo, sesu, vanonzwa kuti mainjiniya edata ari kuregeredzwa zvisina kunaka.
Ndinoda kutora mukana uno kukoka munhu wese ane hanya kuti auye kumusangano wedu wekutanga wenharaunda, unonzi "DE kana DIE," uchaitika muna Kukadzi 27, 2020, kuhofisi yeDodo Pizza. Details dziripo pa .
Kana chero chinhu chikaitika, ndinenge ndiripo, uye iwe unogona kundiudza pachangu pachangu kuti ndakakanganisa sei nezvevagadziri.
Source: www.habr.com
