Fil-bidu ta’ Diċembru, għamilt żball fatali u għamilt bidla f’ħajti bħala żviluppatur u mort fit-tim tal-Inġinerija tad-Data (DE) fi ħdan il-kumpanija. F'dan l-artiklu se naqsam xi osservazzjonijiet li għamilt matul xahrejn ta' xogħol fit-tim DE.
Għaliex l-Inġinerija tad-Data?
Il-vjaġġ tiegħi lejn DE beda fis-sajf tal-2019, meta aħna ejja mmorru , u hemmhekk ksibt il-kjarifika. Bdejt ninteressa ruħi fis-suġġett, nistudja l-algoritmi u anke dwarhom , u mbagħad ħsibt dwar l-ambitu tal-applikazzjoni u malajr sab li l-applikazzjoni prattika fil-kumpanija tagħna hija databases mqassma.
X'jagħmel eżattament it-tim tagħna? Aħna, bħas-subien u l-bniet kollha tal-moda, irridu nsiru Kumpanija Data Driven. U sabiex dan isir possibbli, għandna bżonn mill-inqas nibnu faċilità ta 'ħażna affidabbli, li tista' tintuża biex tibni kwalunkwe rapport li l-kumpanija teħtieġ. Iżda l-iktar ħaġa importanti hija li d-dejta f'din il-ħażna trid tkun fdata. Barra minn hekk, billi tuża din id-dejta, trid tkun tista' tirrestawra l-istat tas-sistema fil-ħin t. Dan kollu huwa kkumplikat mill-fatt li ngħixu f'dinja ġdida kuraġġuża ta 'mikroservizzi, u din l-ideoloġija timplika li kull servizz jimplimenta l-funzjonalità żgħira tiegħu stess, id-database tiegħu huwa n-negozju tiegħu stess, u jista' jħassarha mill-inqas kuljum, iżda fil-ħin. fl-istess ħin irridu nkunu nistgħu nirċievu u nipproċessaw l-istat tas-servizz.
Jekk trid tkun Immexxi mid-Data, l-ewwel issir Immexxi mill-Avvenimenti
Mhux daqshekk sempliċi. L-avvenimenti huma differenti, u l-iżviluppatur u l-inġinier tad-dejta jħarsu lejhom b'mod differenti. Li titkellem dwar l-avvenimenti huwa suġġett għal artiklu separat, għalhekk mhux se nidħol fih hawn. Barra minn hekk, artikolu bħal dan diġà ċertu Martin Fowler, mhux se nieħu r-rand tiegħu, ħallih ukoll isir famuż.
B'mod ġenerali, hemm ħafna x'taħseb u għalhekk din iż-żona hija attraenti. Jiġri li fil-kumpanija tagħna, Inġinier tad-Data huwa qasam ta’ responsabbiltà ħafna usa’ minn sempliċement persuna li tikteb pipelines ETL/ELT (jekk ma tafx xi jfissru dawn l-abbrevjazzjonijiet, ejja għal . Bħala reklamar kuntestwali).
Aħna nittrattaw l-arkitettura tal-ħażna, l-immudellar tad-dejta, kwistjonijiet relatati mas-sigurtà tad-dejta, u l-pipelines infushom, ovvjament. Irridu niżguraw ukoll li, minn naħa, il-preżenza tagħna ma tkunx ta’ piż kbir għall-iżviluppaturi tal-prodotti u jridu jiġu distratti mill-inqas possibbli mill-ħtiġijiet tagħna meta naqtgħu karatteristiċi ġodda fis-sistema, u min-naħa l-oħra, aħna jeħtieġ li jipprovduhom stabbiliti b'mod konvenjenti fid-dejta tal-ħażna għall-analisti u t-tim tal-BI. Hekk ngħixu.
Diffikultajiet fit-tranżizzjoni mill-iżvilupp
Fl-ewwel jum tax-xogħol tiegħi, iltqajt ma’ numru ta’ diffikultajiet li rrid naqsam magħkom.
1. L-ewwel ħaġa li rajt kienet in-nuqqas ta’ tuling u xi prattiċi. Ħu, pereżempju, kopertura tal-kodiċi bit-testijiet. Għandna mijiet ta 'oqfsa ta' ttestjar fl-iżvilupp. Meta taħdem mad-dejta, kollox huwa aktar ikkumplikat. Iva, nistgħu nittestjaw pipelines ETL fuq data tat-test, iżda rridu nagħmlu dan kollu manwalment u nfittxu soluzzjonijiet għal kull każ speċifiku. Bħala riżultat, il-kopertura tat-test hija ħafna agħar. Fortunatament, hemm saff ieħor ta 'feedback fil-forma ta' monitoraġġ u zkuk, iżda dan diġà jeħtieġ li nirreaġixxu b'mod reattiv aktar milli b'mod proattiv, li huwa infuriating u innerving.
2. Id-dinja minn perspettiva DE hija xejn dak li jidher għal żviluppatur ta 'prodott ordinarju (tajjeb, ovvjament il-qarrej mhux hekk, u diġà jaf kollox, imma ma kontx naf u issa qed ngħaqqad it up). Bħala żviluppatur, noħloq il-mikroservizz tiegħi stess, inpoġġi d-dejta f'[database tal-għażla tiegħek], insalva l-istat tiegħi hemmhekk, nikseb xi ħaġa bl-ID u tajjeb. Is-servizz huwa bil-mod, l-ordnijiet huma konfużi, dak kollu. Jitolbuni biex infittex l-istat tiegħi f'servizz ieħor, għalhekk se nitfa' avveniment f'xi RabbitMQ u hekk. U hawn erġajna lura għall-kwistjoni tal-avvenimenti deskritti hawn fuq.
Dak li jeħtieġ is-servizz għal xogħol operattiv ma jixraqx għal dejta storika, għalhekk tibda l-kwistjoni ta 'kuntratti ta' servizz ta 'ħidma mill-ġdid u xogħol mill-qrib ma' timijiet ta 'żvilupp. Lanqas tista’ timmaġina kemm domna biex naqblu: x’tip ta’ Event Driven hu fil-kumpanija tagħna.
3. Trid taħseb b'rasek. Le, ma nfissirx li l-iżviluppaturi ma jaħsbux (għalkemm min jien biex nitkellem għal kulħadd), huwa biss li fl-iżvilupp tal-prodott ħafna drabi diġà għandek xi tip ta 'arkitettura, u taqta' shuffles differenti mill-backlog. Naturalment, dan jeħtieġ ippjanar u ħsieb, iżda dan huwa xogħol stream, fejn il-problema ewlenija hija sempliċement li tagħmel dan tajjeb u effiċjenti.
Għalina, mhuwiex daqshekk sempliċi għaliex it-trasferiment ta 'diversi komponenti tas-sistema minn monolitu sħun u komdu fid-dinja tal-ġungla tal-mikroservizz selvaġġ mhuwiex daqshekk sempliċi. Meta s-servizz jibda jitfa 'avvenimenti, trid terġa' tikkunsidra l-loġika għall-mili tal-ħażna, minħabba li d-dejta issa tidher differenti. Dan huwa fejn għandek bżonn taħseb ħafna u bir-reqqa, mhux aktar bħala żviluppatur, iżda bħala inġinier tad-dejta. Hija storja normali meta tqatta’ ġranet b’notebook u pinna jew b’markatur fuq il-bord. Huwa diffiċli ħafna, ma nħobbx naħseb, inħobb il-produzzjoni wkoll.
4. Forsi l-aktar ħaġa importanti hija l-informazzjoni. X’nagħmlu meta m’għandniex għarfien? Min qal stackoverflow? Oħroġ lil din il-persuna mill-kamra. Immorru naqraw dokumenti, kotba dwar is-suġġett, u hemm ukoll komunità li torganizza fora, laqgħat u konferenzi. Id-dokumentazzjoni hija kbira, iżda sfortunatament, tista' ma tkunx kompluta. Aħna nużaw Cosmos DB f'numru ta 'proġetti. Xorti tajba taqra d-dokumentazzjoni għal dan il-prodott. Il-kotba huma l-unika salvazzjoni; fortunatament, jeżistu u jistgħu jinstabu, fihom ħafna għarfien fundamentali u trid taqra ħafna u kontinwament. Imma l-problema hi tal-komunità.
Issa huwa diffiċli li ssib mill-inqas konferenza jew laqgħa waħda adegwata fiż-żona tagħna. Le, ovvjament, hemm ħafna laqgħat bil-kelma Data, iżda ħdejn din il-kelma ġeneralment ikun hemm abbrevjazzjonijiet strambi bħal ML jew AI. Allura, dan mhux għalina, qed nitkellmu dwar kif nibnu faċilitajiet ta 'ħażna, u mhux kif smear lilna nfusna bin-newroni. Dawn il-hipsters ħadu kollox. Bħala riżultat, aħna mingħajr komunità. Mill-mod, jekk inti Inġinier tad-Data u taf komunitajiet tajbin, jekk jogħġbok ikteb fil-kummenti.
Konklużjonijiet u tħabbira tal-laqgħa
B’xiex nispiċċaw? L-ewwel esperjenza tiegħi tgħidli li tħossok fiż-żraben ta 'inġinier tad-dejta se tkun utli għal kull żviluppatur. Jippermettilna biss li nħarsu lejn l-affarijiet b'mod differenti u ma nibqgħux sorpriżi meta għajnejna jieħdu d-demm meta naraw kif l-iżviluppaturi jittrattaw id-dejta tagħhom. Għalhekk, jekk hemm DE fil-kumpanija tiegħek, kellem lil dawn il-ġuvini, titgħallem ħafna affarijiet ġodda (dwarek innifsek).
U fl-aħħarnett, it-tħabbira. Peress li huwa diffiċli li ssib laqgħat dwar is-suġġett tagħna matul il-ġurnata, iddeċidejna li nagħmlu tagħna. Għaliex aħna agħar? Fortunatament għandna aqwa u sħabna minn , li, bħalna, iħossu li l-inġiniera tad-dejta huma mċaħħda b'mod inġust mill-attenzjoni.
Nieħu din l-opportunità, nistieden lil kull min jimpurtah biex jiġi għall-ewwel laqgħa tal-komunità tagħna bit-titlu promettenti "DE jew DIE", li se ssir fis-27.02.2020 ta' Frar, XNUMX fl-uffiċċju ta' Dodo Pizza. Dettalji fuq .
Jekk jiġri xi ħaġa, inkun hemm, tista 'tgħidli personalment f'wiċċi kemm jien ħażin dwar l-iżviluppaturi.
Sors: www.habr.com