Am Ufank vum Dezember hunn ech e fatale Feeler gemaach an en Wendepunkt a mengem Liewen als Entwéckler gemaach an an d'Daten Engineering (DE) Team bannent der Firma geplënnert. An dësem Artikel wäert ech e puer Observatiounen deelen, déi ech während zwee Méint am DE Team gemaach hunn.
Firwat Data Engineering?
Meng Rees op DE huet am Summer 2019 ugefaang, wéi mir loosst eis goen , an do hunn ech Opklärung erreecht. Ech hunn ugefaang fir dëst Thema ze interesséieren, Algorithmen ze studéieren an och iwwer hinnen , an dunn iwwer den Ëmfang vun der Applikatioun geduecht a séier erausfonnt datt déi praktesch Uwendung an eiser Firma verdeelt Datenbanken ass.
Wat genee mécht eis Equipe? Mir, wéi all fashionable Jongen a Meedercher, wëllen eng Data Driven Company ginn. A fir datt dat méiglech ass, musse mir op d'mannst eng zouverlässeg Lageranlag bauen, déi benotzt ka ginn fir all Berichter ze bauen déi d'Firma brauch. Awer déi wichtegst Saach ass datt d'Donnéeën an dëser Späichere vertrauen musse ginn. Desweideren, benotzt dës Donnéeën, Dir musst fäeg sinn den Zoustand vum System zu Zäit t ze restauréieren. All dëst ass komplizéiert vun der Tatsaach datt mir an enger daperer neier Welt vu Mikroservicer liewen, an dës Ideologie implizéiert datt all Service seng eege kleng Funktionalitéit implementéiert, seng Datebank ass säin eegene Geschäft, an et kann et op d'mannst all Dag läschen, awer um gläichzäiteg musse mir fäeg sinn den Zoustand vum Service opzehuelen an ze veraarbechten.
Wann Dir wëllt Data Driven sinn, gitt als éischt Event Driven
Net esou einfach. Eventer sinn anescht, an den Entwéckler an den Dateingenieur kucken se anescht. Iwwer Eventer schwätzen ass en Thema fir en separaten Artikel, also ginn ech net hei driwwer. Ausserdeem huet esou en Artikel schonn e bestëmmte Martin Fowler, Ech wäert seng Lorbeeren net ewechhuelen, loosst hien och berühmt ginn.
Am Allgemengen gëtt et vill ze denken an dofir ass dës Géigend attraktiv. Et geschitt just datt an eiser Firma en Data Engineer e vill méi breet Verantwortungsberäich ass wéi just eng Persoun déi ETL / ELT Pipelines schreift (wann Dir net wësst wat dës Ofkierzungen bedeiten, kommt op . Als kontextuell Reklammen).
Mir beschäftegen eis mat Späicherarchitektur, Datemodelléierung, Themen am Zesummenhang mat Datesécherheet, an d'Pipelines selwer, natierlech. Mir mussen och dofir suergen, datt op der enger Säit eis Präsenz net ganz ustrengend ass fir d'Produktentwéckler an datt se sou wéineg wéi méiglech vun eisen Ufuerderunge ofgelenkt musse ginn wann se nei Features an de System schneiden, an op der anerer Säit, musse se bequem a Späicherdaten fir Analysten a BI Team ausgeluecht ginn. Esou liewen mir.
Schwieregkeeten beim Iwwergank vun der Entwécklung
Op mengem éischten Dag vun der Aarbecht hunn ech eng Rei Schwieregkeeten konfrontéiert, déi ech mat Iech deele wëll.
1. Déi éischt Saach, déi ech gesinn hunn, war d'Feele vu Tuling an e puer Praktiken. Huelt zum Beispill Code Ofdeckung mat Tester. Mir hunn Honnerte vun Testkader an der Entwécklung. Wann Dir mat Daten schafft, ass alles méi komplizéiert. Jo, mir kënnen ETL Pipelines op Testdaten testen, awer mir mussen alles manuell maachen a no Léisunge fir all spezifesche Fall sichen. Als Resultat ass d'Testofdeckung vill méi schlecht. Glécklecherweis gëtt et eng aner Schicht vu Feedback a Form vun Iwwerwaachung a Logbicher, awer dëst erfuerdert eis scho reaktiv anstatt proaktiv ze reagéieren, wat rosen an nervös ass.
2. D'Welt aus enger DE Perspektiv ass guer net wat et engem gewéinleche Produktentwéckler schéngt (bon, natierlech ass de Lieser net esou, an hie weess schonn alles, awer ech wosst et net an elo schrauwen ech et op). Als Entwéckler erstellen ech mäin eegene Mikroservice, setzen d'Donnéeën an [Datebank vun Ärer Wiel], späichere mäi Staat do, kritt eppes per ID an et ass gutt. De Service ass lues, Uerder sinn duerchernee, dat ass alles. Si froen mech fir mäi Staat an engem anere Service ze sichen, also werfen ech en Event an e puer RabbitMQ an dat ass et. An hei si mir erëm zréck op d'Fro vun den uewe beschriwwenen Evenementer.
Wat de Service brauch fir operationell Aarbecht passt eis net fir historesch Donnéeën, sou datt d'Fro vun der Reworking Service Kontrakter an enker Aarbecht mat Entwécklungsteams fänkt. Dir kënnt Iech net emol virstellen wéivill Stonnen et eis gedauert huet fir eens ze ginn: wéi eng Event Driven hien an eiser Firma ass.
3. Dir musst mam Kapp denken. Neen, ech mengen net datt d'Entwéckler net denken (obwuel wien ech sinn fir jiddereen ze schwätzen), et ass just datt Dir an der Produktentwécklung ganz oft schonn eng Aart vun Architektur hutt, an Dir hutt verschidde Shuffles aus dem Réckstand ofgeschnidden. Natierlech erfuerdert dëst Planung a Gedanken, awer dëst ass Streamaarbecht, wou den Haaptproblem ass et einfach gutt an effizient ze maachen.
Fir eis ass et net sou einfach, well den Transfer vu verschiddene Systemkomponenten aus engem waarme a gemittleche Monolith an d'Welt vum wilde Mikroservice-Dschungel net sou einfach ass. Wann de Service ufänkt Eventer ze spuen, musst Dir d'Logik iwwerdenken fir d'Lagerung ze fëllen, well d'Donnéeën elo anescht ausgesinn. Hei musst Dir vill a grëndlech nodenken, net méi als Entwéckler, mee als Dataingenieur. Et ass eng normal Geschicht wann Dir Deeg mat engem Notizbuch a Pen oder mat engem Marker um Bord verbréngt. Et ass ganz schwéier, ech denken net gär, ech hunn och d'Produktioun gär.
4. Vläicht ass dat wichtegst Informatioun. Wat maache mir wa mir Wëssen feelen? Wien sot Stackoverflow? Huelt dës Persoun aus dem Zëmmer. Mir liesen Dokumenter, Bicher zum Thema, an et gëtt och eng Gemeinschaft déi Foren, Meetups a Konferenzen organiséiert. Dokumentatioun ass super, awer leider kann et onkomplett sinn. Mir benotzen Cosmos DB an enger Rei vu Projeten. Vill Gléck fir d'Dokumentatioun fir dëst Produkt ze liesen. Bicher sinn déi eenzeg Erléisung, glécklecherweis existéieren se a kënne fonnt ginn, si enthalen vill fundamental Wëssen an Dir musst vill a konstant liesen. Awer de Problem ass mat der Gemeinschaft.
Elo ass et schwéier op d'mannst eng adäquat Konferenz oder Meetup an eiser Géigend ze fannen. Nee, natierlech, et gi vill Meetups mam Wuert Data, awer nieft dësem Wuert ginn et normalerweis komesch Ofkierzungen wéi ML oder AI. Also, dëst ass net fir eis, mir schwätzen iwwer wéi mir Späicheranlagen bauen, an net wéi mir eis mat Neuronen verschmieren. Dës Hipster hunn alles iwwerholl. Als Resultat si mir ouni Gemeinschaft. Iwwregens, wann Dir en Data Engineer sidd a gutt Gemeinschafte kennt, schreift w.e.g. an de Kommentarer.
Conclusiounen an Ukënnegung vum Meetup
Wat maache mir um Enn? Meng éischt Erfahrung seet mir, datt d'Gefill an de Schong vun engem Dateingenieur nëtzlech ass fir all Entwéckler. Et erlaabt eis just Saachen anescht ze kucken an net iwwerrascht ze sinn wann eis Ae bluddeg ginn wa mir gesinn wéi d'Entwéckler hir Date behandelen. Also, wann et en DE an Ärer Firma ass, schwätzt just mat dëse Kärelen, Dir léiert vill nei Saachen (iwwer Iech selwer).
An endlech d'Ukënnegung. Well et schwéier ass Meetups iwwer eist Thema während dem Dag ze fannen, hu mir beschloss eis eegen ze maachen. Firwat si mir méi schlëmm? Glécklecherweis hu mir eng erstaunlech an eis Frënn aus , déi, wéi mir, fillen, datt Dateningenieuren ongerecht vun der Opmierksamkeet entzu ginn.
Mat dëser Geleeënheet invitéieren ech jidderee dee sech interesséiert op eisen éischte Gemeinschaftstreff mam verspriechenden Titel "DE or DIE" ze kommen, deen de 27.02.2020. Februar XNUMX am Dodo Pizza Büro stattfënnt. Detailer op .
Wann eppes geschitt, wäert ech do sinn, Dir kënnt mir perséinlech zu mengem Gesiicht soen wéi falsch ech iwwer d'Entwéckler sinn.
Source: will.com