Abenduaren hasieran, akats larri bat egin nuen eta garatzaile gisa nire bizitzan inflexio puntu bat egin nuen eta konpainiaren Datuen Ingeniaritza (DE) taldera joan nintzen. Artikulu honetan DE taldean bi hilabetetan egin ditudan ohar batzuk partekatuko ditut.
Zergatik Datu Ingeniaritza?
Nire DErako bidaia 2019ko udan hasi zen, guk goazen , eta hor lortu nuen argitasuna. Gaiaz interesatzen hasi nintzen, algoritmoak aztertzen eta baita horietaz ere , eta gero aplikazio-esparruari buruz pentsatu eta azkar jakin genuen gure enpresan aplikazio praktikoa datu-base banatuak direla.
Zer egiten du zehazki gure taldeak? Guk, modan dauden neska-mutiko guztiek bezala, Datuak bultzatutako enpresa bihurtu nahi dugu. Eta hori posible izan dadin, gutxienez biltegiratze fidagarri bat eraiki behar dugu, enpresak behar dituen txostenak egiteko erabili ahal izateko. Baina garrantzitsuena da biltegiratze honetako datuak fidagarriak izan behar direla. Gainera, datu hauek erabiliz, sistemaren egoera berrezarri ahal izan behar duzu t denboran. Hori guztia konplikatu egiten da mikrozerbitzuen mundu ausart berri batean bizi garelako, eta ideologia horrek esan nahi du zerbitzu bakoitzak bere funtzionalitate txikia inplementatzen duela, bere datu-basea bere negozioa dela, eta gutxienez egunero ezaba dezakeela, baina aldi berean, zerbitzuaren egoera jaso eta tramitatu ahal izan behar dugu.
Datuen gidaritza izan nahi baduzu, lehenik eta behin, bihurtu gertaerak gidatuta
Ez hain sinplea. Gertaerak desberdinak dira, eta garatzaileak eta datu-ingeniariak desberdin ikusten dituzte. Ekitaldiei buruz hitz egitea aparteko artikulu baterako gaia da, beraz, ez naiz hemen sartuko. Horrez gain, horrelako artikulu batek dagoeneko egin du Martin Fowler jakin bati, ez diot erramuak kenduko, egin dadila famatu ere.
Oro har, hausnarketa asko dago eta horregatik da erakargarria eremu hau. Gertatzen da gure enpresan, Datuen Ingeniari bat ETL/ELT kanalizazioak idazten dituen pertsona bat baino askoz ardura eremu zabalagoa dela (laburdura hauek zer esan nahi duten ez badakizu, etorri hona. . Testuinguruko publizitate gisa).
Biltegiratze arkitektura, datuen modelizazioa, datuen segurtasunarekin lotutako gaiak eta kanalizazioak jorratzen ditugu, noski. Era berean, ziurtatu behar dugu, alde batetik, gure presentzia ez dela oso astuna produktuen garatzaileentzat eta gure eskakizunekin ahalik eta gutxien distraitu behar direla sisteman funtzio berriak ebakitzean, eta, bestetik, analistei eta BI taldeei biltegiratze-datuetan eroso jarrita eman behar dizkiete. Horrela bizi gara.
Garapenetik igarotzean zailtasunak
Nire lehenengo lan egunean, zuekin partekatu nahi ditudan hainbat zailtasun aurkitu ditut.
1. Ikusi dudan lehenengo gauza tuling eza eta praktika batzuk izan dira. Hartu, adibidez, testekin kode estaldura. Ehunka proba-esparru ditugu garapenean. Datuekin lan egitean, dena konplikatuagoa da. Bai, proba datuetan ETL kanalizazioak proba ditzakegu, baina eskuz egin behar dugu guztia eta kasu zehatz bakoitzerako irtenbideak bilatu. Ondorioz, probaren estaldura askoz okerragoa da. Zorionez, beste feedback-geruza bat dago jarraipen eta erregistroen moduan, baina honek dagoeneko eskatzen digu erreaktiboki erreakzionatu beharrean, proaktiboki, eta hori amorragarria eta nerbioa da.
2. Mundua DE ikuspegitik ez da batere produktu garatzaile arrunt bati iruditzen zaiona (beno, noski irakurlea ez da horrela, eta dagoeneko dena daki, baina nik ez nekien eta orain izorratzen ari naiz gora). Garatzaile gisa, nire mikrozerbitzu propioa sortzen dut, datuak [zuk aukeratzen duzun datu-basean] jartzen ditut, nire egoera bertan gordetzen dut, IDaren bidez zerbait lortzen dut eta ondo dago. Zerbitzua motela da, eskaerak nahasiak dira, hori da dena. Nire egoera beste zerbitzu batean bilatzeko eskatzen didate, beraz, RabbitMQ batzuetara ekitaldi bat botako dut eta kitto. Eta hemen berriro itzuli ginen goian azaldutako gertaeren gaira.
Zerbitzuak lan operatiborako behar duena ez datorkigu datu historikoetarako, beraz, zerbitzu-kontratuak birlantzeko eta garapen-taldeekin lan estuaren galdera hasten da. Ezin duzu imajinatu ere zenbat ordu behar izan gintuen ados jartzeko: zer nolako Event Driven den gure enpresan.
3. Buruarekin pentsatu behar duzu. Ez, ez dut esan nahi garatzaileek pentsatzen ez dutenik (nahiz eta nor naizen guztion izenean hitz egiteko), produktuen garapenean sarritan arkitekturaren bat duzula jada, eta atzerapenetik nahasketa desberdinak mozten dituzula da. Noski, honek planifikazioa eta hausnarketa eskatzen du, baina korronte lana da, non arazo nagusia ondo eta eraginkortasunez egitea besterik ez den.
Guretzat, ez da hain erraza, sistemaren hainbat osagai monolito epel eta atsegin batetik mikrozerbitzu basatiaren oihanaren mundura transferitzea ez baita hain erraza. Zerbitzua gertaerak botatzen hasten denean, biltegiratzea betetzeko logika birplanteatu behar duzu, datuek itxura ezberdina dutelako orain. Hemen asko eta sakon pentsatu behar duzu, ez garatzaile gisa, datu-ingeniari gisa baizik. Istorio normala da egunak koaderno eta boligrafoarekin edo arbelean errotulagailu batekin pasatzen dituzunean. Oso zaila da, ez zait gustatzen pentsatzea, produkzioa ere maite dut.
4. Beharbada garrantzitsuena informazioa da. Zer egiten dugu ezagutza falta denean? Nork esan du stackoverflow? Atera pertsona hau gelatik. Dokumentuak irakurtzen joaten gara, gaiari buruzko liburuak, eta foroak, topaketak eta hitzaldiak antolatzen dituen komunitate bat ere badago. Dokumentazioa bikaina da, baina, zoritxarrez, osatugabea izan daiteke. Cosmos DB erabiltzen dugu hainbat proiektutan. Zorte on produktu honen dokumentazioa irakurtzen. Liburuak dira salbamen bakarra; zorionez, existitzen dira eta aurki daitezke, oinarrizko ezagutza asko dituzte eta asko eta etengabe irakurri behar da. Baina arazoa komunitatearena da.
Orain zaila da gure inguruan gutxienez hitzaldi edo topaketa egoki bat aurkitzea. Ez, noski, Data hitzarekin topaketa asko daude, baina hitz honen ondoan ML edo AI bezalako laburdura bitxiak egon ohi dira. Beraz, hau ez da guretzat, biltegiratze-instalazioak nola eraikitzeaz ari gara, eta ez neuronekin nola zikintzen dugun. Hipster hauek dena hartu dute. Ondorioz, komunitaterik gabe gaude. Bide batez, Datu Ingeniaria bazara eta komunitate onak ezagutzen badituzu, idatzi iruzkinetan.
Topaketaren ondorioak eta iragarpena
Zerrekin bukatzen dugu? Nire lehen esperientziak esan dit datu-ingeniari baten larruan sentitzea erabilgarria izango dela garatzaile guztientzat. Gauzak beste modu batera begiratzeko aukera ematen digu eta ez harritzeko gure begiak odola hartzen dutenean garatzaileek beren datuak nola tratatzen dituzten ikusten dugunean. Beraz, zure enpresan DE bat badago, hitz egin mutil hauekin, gauza berri asko ikasiko dituzu (zuri buruz).
Eta azkenik, iragarpena. Egunean zehar gure gaiari buruzko topaketak aurkitzea zaila denez, gurea egitea erabaki dugu. Zergatik gaude okerragoak? Zorionez harrigarria dugu eta gure lagunak , zeinek, gu bezala, datu-ingeniariei arreta bidegabeki kentzen dietela sentitzen dute.
Aukera hau aprobetxatuz, gure komunitateko lehen topaketara etortzera gonbidatzen ditut "DE edo DIE" izenburu itxaropentsuarekin, 27.02.2020ko otsailaren XNUMXan Dodo Pizza bulegoan egingo dena. Xehetasunak helbidean .
Zerbait gertatzen bada, han egongo naiz, pertsonalki esan diezazukezue zein oker nagoen garatzaileei buruz.
Iturria: www.habr.com