Sa sinugdanan sa Disyembre, nakahimo ko og usa ka makamatay nga sayop ug mihimo og kausaban sa akong kinabuhi isip developer ug mibalhin sa Data Engineering (DE) team sulod sa kompanya. Niini nga artikulo akong ipaambit ang pipila ka mga obserbasyon nga akong nahimo sulod sa duha ka bulan nga pagtrabaho sa DE team.
Ngano nga Data Engineering?
Ang akong panaw sa DE nagsugod sa ting-init sa 2019, sa dihang kami adto ta sa , ug didto nakab-ot nako ang kalamdagan. Nagsugod ako nga mahimong interesado sa hilisgutan, pagtuon sa mga algorithm ug bisan bahin niini , ug dayon naghunahuna mahitungod sa sakup sa aplikasyon ug dali nga nahibal-an nga ang praktikal nga aplikasyon sa among kompanya giapod-apod nga mga database.
Unsa man gyud ang gibuhat sa among team? Kami, sama sa tanang uso nga mga lalaki ug babaye, gusto nga mahimong Data Driven Company. Ug aron mahimo kini nga posible, kinahanglan namon nga magtukod labing menos usa ka kasaligan nga pasilidad sa pagtipig, nga magamit sa paghimo sa bisan unsang mga taho nga gikinahanglan sa kompanya. Apan ang labing hinungdanon nga butang mao nga ang datos sa kini nga pagtipig kinahanglan nga kasaligan. Dugang pa, gamit kini nga mga datos, kinahanglan nimo nga mapasig-uli ang kahimtang sa sistema sa oras nga t. Ang tanan nga kini komplikado sa kamatuoran nga kita nagpuyo sa usa ka maisog nga bag-ong kalibutan sa mga microservice, ug kini nga ideolohiya nagpasabot nga ang matag serbisyo nagpatuman sa iyang kaugalingong gamay nga gamit, ang database niini mao ang iyang kaugalingong negosyo, ug kini makapapas niini labing menos kada adlaw, apan sa sa samang higayon kita kinahanglang makadawat ug makaproseso sa kahimtang sa serbisyo.
Kung gusto nimo nga mahimong Data Driven, una mahimong Event Driven
Dili kaayo yano. Lahi ang mga panghitabo, ug lahi ang pagtan-aw sa developer ug data engineer. Ang paghisgot bahin sa mga panghitabo usa ka hilisgutan alang sa usa ka separado nga artikulo, busa dili nako kini hisgotan dinhi. Dugang pa, ang maong artikulo aduna na usa ka Martin Fowler, dili ko kuhaon ang iyang mga pagdayeg, pahimoa usab siya nga bantogan.
Sa kinatibuk-an, adunay daghan nga gihunahuna ug mao nga kini nga lugar madanihon. Nahitabo lang nga sa among kompanya, ang usa ka Data Engineer usa ka labi ka halapad nga lugar sa responsibilidad kaysa usa ka tawo nga nagsulat sa mga pipeline sa ETL / ELT (kung wala nimo nahibal-an kung unsa ang gipasabut niini nga mga abbreviation, adto sa . Ingon nga advertising sa konteksto).
Nag-atubang kami sa arkitektura sa pagtipig, pagmodelo sa datos, mga isyu nga may kalabotan sa seguridad sa datos, ug ang mga pipeline mismo, siyempre. Kinahanglan usab namon nga sigurohon nga, sa usa ka bahin, ang among presensya dili kaayo mabug-at alang sa mga nag-develop sa produkto ug kinahanglan sila nga mabalda kutob sa mahimo sa among mga kinahanglanon kung giputol ang mga bag-ong bahin sa sistema, ug sa pikas bahin, kami kinahanglan nga mahatagan sila nga dali nga gibutang sa mga datos sa pagtipig alang sa mga analista ug grupo sa BI. Ingon niana ang among pagkinabuhi.
Mga kalisud sa dihang mobalhin gikan sa kalamboan
Sa akong unang adlaw sa trabaho, nasugatan nako ang daghang mga kalisdanan nga gusto nakong ipaambit kanimo.
1. Ang una nakong nakita mao ang pagkawala sa tuling ug pipila ka mga praktis. Tagda, pananglitan, ang pagsakup sa code nga adunay mga pagsulay. Kita adunay gatusan ka mga testing frameworks sa kalamboan. Kung nagtrabaho uban ang datos, ang tanan mas komplikado. Oo, mahimo naton sulayan ang mga pipeline sa ETL sa datos sa pagsulay, apan kinahanglan naton buhaton ang tanan nga mano-mano ug mangita mga solusyon alang sa matag piho nga kaso. Ingon usa ka sangputanan, ang pagsakup sa pagsulay labi ka grabe. Maayo na lang, adunay lain nga layer sa feedback sa porma sa pag-monitor ug mga log, apan kini nanginahanglan na kanato nga molihok nga reaktibo imbes nga aktibo, nga makapasuko ug makapahadlok.
2. Ang kalibutan gikan sa usa ka panglantaw sa DE dili sa tanan nga daw sa usa ka ordinaryo nga produkto developer (maayo, siyempre ang magbabasa dili ingon niana, ug siya nahibalo na sa tanan, apan ako wala mahibalo ug karon ako screwing pataas). Isip usa ka developer, naghimo ko sa akong kaugalingon nga microservice, ibutang ang data sa [database nga imong gipili], i-save ang akong estado didto, pagkuha usa ka butang pinaagi sa ID ug kini maayo. Ang serbisyo hinay, ang mga order makalibog, kana ra. Gihangyo nila ako nga pangitaon ang akong estado sa lain nga serbisyo, mao nga magbutang ako usa ka panghitabo sa pipila nga RabbitMQ ug mao na. Ug dinhi mibalik na usab kami sa isyu sa mga panghitabo nga gihulagway sa ibabaw.
Ang gikinahanglan sa serbisyo alang sa operational nga trabaho dili haum kanato alang sa makasaysayanong datos, mao nga ang pangutana sa pag-rework sa mga kontrata sa serbisyo ug suod nga trabaho uban sa mga development team nagsugod. Dili nimo mahunahuna kung pila ka oras ang among pag-uyon: unsa nga klase sa Event Driven siya sa among kompanya.
3. Kinahanglang maghunahuna ka gamit ang imong ulo. Dili, wala ako magpasabut nga ang mga developers wala maghunahuna (bisan kung kinsa ako aron mamulong alang sa tanan), kini ra nga sa pag-uswag sa produkto kanunay ka na adunay usa ka matang sa arkitektura, ug imong giputol ang lainlaing mga shuffle gikan sa backlog. Siyempre, kini nanginahanglan pagplano ug paghunahuna, apan kini ang trabaho sa sapa, diin ang panguna nga problema mao ang paghimo niini nga maayo ug episyente.
Alang kanamo, kini dili kaayo yano tungod kay ang pagbalhin sa lainlaing mga sangkap sa sistema gikan sa usa ka mainit ug komportable nga monolith ngadto sa kalibutan sa ihalas nga microservice jungle dili kaayo yano. Sa diha nga ang serbisyo nagsugod sa pagbugwak sa mga panghitabo, kinahanglan nimo nga hunahunaon pag-usab ang lohika sa pagpuno sa pagtipig, tungod kay ang datos karon lahi na. Dinhi kinahanglan nimo nga maghunahuna pag-ayo ug hingpit, dili na ingon usa ka developer, apan ingon usa ka engineer sa datos. Kini usa ka normal nga istorya kung mogugol ka og mga adlaw nga adunay notebook ug pluma o adunay marker sa pisara. Lisod kaayo, di ko ganahan maghunahuna, ganahan sab ko sa production.
4. Tingali ang labing importante nga butang mao ang impormasyon. Unsa ang atong buhaton kon kita kulang sa kahibalo? Kinsa ang nag-ingon nga stackoverflow? Dad-a kining tawhana sa gawas sa kwarto. Magbasa kami og mga dokumento, libro bahin sa hilisgutan, ug adunay usa usab ka komunidad nga nag-organisar og mga forum, miting ug komperensya. Ang dokumentasyon maayo, apan sa kasubo, kini mahimong dili kompleto. Gigamit namo ang Cosmos DB sa daghang mga proyekto. Good luck sa pagbasa sa dokumentasyon alang niini nga produkto. Ang mga libro mao ra ang kaluwasan; maayo na lang, kini anaa ug makit-an, kini adunay daghang sukaranan nga kahibalo ug kinahanglan nimo nga basahon ang daghang ug kanunay. Apan ang problema kay sa komunidad.
Karon lisud ang pagpangita bisan usa ka igo nga komperensya o panagkita sa among lugar. Dili, siyempre, adunay daghang mga meetup nga adunay pulong nga Data, apan sunod niini nga pulong adunay kasagaran nga katingad-an nga mga minubo sama sa ML o AI. Mao nga, dili kini alang kanamo, naghisgot kami kung giunsa ang pagtukod sa mga pasilidad sa pagtipig, ug dili kung giunsa ang pagpahid sa among kaugalingon sa mga neuron. Gikuha sa kini nga mga hipsters ang tanan. Ingon nga resulta, kita walay komunidad. Pinaagi sa dalan, kung ikaw usa ka Data Engineer ug nahibal-an ang maayong mga komunidad, palihug isulat sa mga komento.
Mga konklusyon ug pahibalo sa panagkita
Unsa ang atong matapos? Ang akong unang kasinatian nagsulti kanako nga ang pagbati sa sapatos sa usa ka data engineer mahimong mapuslanon alang sa matag developer. Gitugotan lang kami nga lain ang pagtan-aw sa mga butang ug dili matingala kung ang among mga mata mapula kung makita namon kung giunsa pagtratar sa mga developer ang ilang datos. Busa, kung adunay usa ka DE sa imong kompanya, pakigsulti lang kini nga mga lalaki, daghan ka nga mahibal-an nga mga bag-ong butang (bahin sa imong kaugalingon).
Ug sa katapusan, ang pahibalo. Tungod kay lisud ang pagpangita og mga panagkita sa among hilisgutan sa adlaw, nakahukom kami nga maghimo sa among kaugalingon. Ngano mas grabe pa ta? Swerte nga kami adunay usa ka talagsaon ug ang among mga higala gikan , kinsa, sama kanamo, mibati nga ang mga inhenyero sa datos dili patas nga gihikawan sa pagtagad.
Tungod niini nga higayon, gidapit nako ang tanan nga nagpakabana sa pag-anhi sa among una nga pagtagbo sa komunidad nga adunay gisaad nga titulo nga "DE o DIE", nga mahitabo sa Pebrero 27.02.2020, XNUMX sa opisina sa Dodo Pizza. Mga detalye sa .
Kung adunay mahitabo, naa ko, mahimo nimo akong isulti sa personal sa akong nawong kung unsa ako sayup bahin sa mga developer.
Source: www.habr.com