Dina awal Désémber, kuring ngalakukeun kasalahan anu parah sareng ngadamel titik balik dina kahirupan kuring salaku pamekar sareng ngalih ka tim Data Engineering (DE) dina perusahaan. Dina artikel ieu kuring baris babagi sababaraha observasi nu kuring dilakukeun salila dua bulan gawe di tim DE.
Naha Téknik Data?
Perjalanan kuring ka DE dimimitian dina usum panas 2019, nalika urang hayu urang ka , sarta di dinya kuring ngahontal pencerahan. Kuring mimiti jadi kabetot dina topik, diajar algoritma komo ngeunaan eta , lajeng pamikiran ngeunaan wengkuan aplikasi tur gancang manggihan yén aplikasi praktis di parusahaan urang geus disebarkeun basis data.
Naon kahayang tim urang ngalakukeun? Kami, sapertos budak lalaki sareng awéwé modis, hoyong janten Perusahaan Didorong Data. Sareng supados ieu janten mungkin, urang kedah sahenteuna ngawangun fasilitas panyimpen anu dipercaya, anu tiasa dianggo pikeun ngawangun laporan naon waé anu diperyogikeun perusahaan. Tapi anu paling penting nyaéta yén data dina panyimpenan ieu kedah dipercanten. Leuwih ti éta, ngagunakeun data ieu, anjeun kudu bisa mulangkeun kaayaan sistem dina waktu t. Sadaya ieu nyusahkeun ku kanyataan yén urang hirup di dunya microservices anu gagah, sareng ideologi ieu nunjukkeun yén unggal jasa ngalaksanakeun fungsionalitas leutik sorangan, databasena mangrupikeun bisnis sorangan, sareng éta tiasa ngahapus sahenteuna unggal dinten, tapi dina dina waktos anu sami urang kedah tiasa nampi sareng ngolah kaayaan jasa.
Upami anjeun hoyong Data Driven, mimitina janten Event Driven
Teu jadi basajan. Kajadian béda-béda, sareng pamekar sareng insinyur data katingalina béda. Ngawangkong ngeunaan acara téh topik pikeun artikel misah, jadi kuring moal balik kana dieu. Sajaba ti éta, artikel misalna hiji geus a Martin Fowler tangtu, Kuring moal nyokot jauh laurels na, hayu anjeunna ogé jadi kawentar.
Sacara umum, aya seueur anu dipikirkeun sareng éta naha daérah ieu pikaresepeun. Kajadian yén di perusahaan kami, Insinyur Data mangrupikeun tanggung jawab anu langkung ageung tibatan ngan ukur jalma anu nyerat saluran pipa ETL / ELT (upami anjeun henteu terang naon hartosna singkatan ieu, angkat ka . Salaku iklan kontekstual).
Urang nungkulan arsitektur gudang, modeling data, isu nu patali jeung kaamanan data, sarta pipelines sorangan, tangtu. Urang ogé kedah mastikeun yén, di hiji sisi, ayana urang henteu beurat pisan pikeun pamekar produk sareng aranjeunna kedah ngaganggu sakedik-gancang ku syarat urang nalika motong fitur-fitur anyar kana sistem, sareng di sisi anu sanés, urang kudu nyadiakeun aranjeunna merenah diteundeun kaluar dina data gudang pikeun analis jeung tim BI. Éta kumaha urang hirup.
Kasesahan nalika transisi tina pangwangunan
Dina dinten munggaran kuring damel, kuring mendakan sababaraha kasusah anu kuring hoyong bagikeun sareng anjeun.
1. Hal kahiji anu kuring tingali nyaéta henteuna tuling sareng sababaraha prakték. Candak, contona, sinyalna kode sareng tés. Kami ngagaduhan ratusan kerangka tés dina pangwangunan. Nalika damel sareng data, sadayana langkung rumit. Leres, urang tiasa nguji saluran pipa ETL dina data uji, tapi urang kedah ngalakukeun sadayana sacara manual sareng milarian solusi pikeun unggal kasus khusus. Hasilna, sinyalna tés langkung parah. Untungna, aya lapisan eupan balik sejen dina bentuk monitoring sarta log, tapi ieu geus merlukeun urang meta réaktif tinimbang proactively, nu infuriating na unnerving.
2. Dunya tina sudut pandang DE teu pisan naon sigana hiji pamekar produk biasa (ogé, tangtosna, nu maca teu kawas éta, sarta anjeunna geus nyaho sagalana, tapi kuring henteu weruh sarta ayeuna Kuring screwing. éta nepi). Salaku pamekar, abdi nyieun microservice sorangan, nempatkeun data dina [database tina pilihan Anjeun], simpen kaayaan abdi aya, meunang hal ku ID na éta rupa. Palayanan lambat, pesenan ngabingungkeun, éta waé. Aranjeunna naroskeun kuring milarian kaayaan kuring dina jasa anu sanés, janten kuring bakal ngalungkeun acara kana sababaraha RabbitMQ sareng éta. Sareng di dieu urang balik deui ka masalah kajadian anu dijelaskeun di luhur.
Naon anu dibutuhkeun jasa pikeun padamelan operasional henteu cocog sareng kami pikeun data sajarah, janten patarosan ngeunaan ngerjakeun deui kontrak jasa sareng damel caket sareng tim pamekaran dimimitian. Anjeun malah teu bisa ngabayangkeun sabaraha jam waktu nu diperlukeun kami pikeun satuju: jenis Acara Didorong anjeunna di parusahaan urang.
3. Anjeun kudu mikir jeung sirah anjeun. Henteu, kuring henteu hartosna yén pamekar henteu nyangka (sanaos saha waé anu kuring nyarioskeun pikeun sadayana), éta ngan ukur dina pamekaran produk sering pisan anjeun gaduh sababaraha jinis arsitéktur, sareng anjeun motong shuffles anu béda tina backlog. Tangtosna, ieu ngabutuhkeun perencanaan sareng pamikiran, tapi ieu mangrupikeun karya aliran, dimana masalah utama nyaéta ngan ukur ngalakukeunana saé sareng éfisién.
Pikeun urang, teu jadi basajan sabab mindahkeun rupa komponén sistem ti monolith haneut tur cozy kana dunya leuweung microservice liar teu jadi basajan. Nalika jasa dimimitian spewing acara, Anjeun kudu nimbangkeun balik logika pikeun ngeusian gudang, sabab data ayeuna kasampak béda. Ieu dimana anjeun kedah pikir pisan tur tuntas, euweuh deui salaku pamekar, tapi salaku insinyur data. Ieu mangrupikeun carita normal nalika anjeun nyéépkeun dinten-dinten sareng notebook sareng pulpén atanapi nganggo spidol dina papan. Hésé pisan, kuring henteu resep mikir, kuring ogé resep produksi.
4. Panginten anu paling penting nyaéta inpormasi. Naon anu urang laksanakeun nalika urang kurang pangaweruh? Anu ceuk stackoverflow? Candak jalma ieu kaluar ti kamar. Urang buka maca dokumén, buku ngeunaan topik, sarta aya ogé komunitas nu organizes panglawungan, meetups sarta konferensi. Dokuméntasi hébat, tapi hanjakalna, éta tiasa teu lengkep. Kami nganggo Cosmos DB dina sababaraha proyék. Good tuah maca dokuméntasi pikeun produk ieu. Buku mangrupikeun hiji-hijina kasalametan; untungna, aranjeunna aya sareng tiasa dipendakan, aranjeunna ngandung seueur pangaweruh dasar sareng anjeun kedah seueur maca sareng terus-terusan. Tapi masalahna aya di masarakat.
Ayeuna hese milarian sahenteuna hiji konperénsi atanapi pertemuan anu nyukupan di daérah urang. Henteu, tangtosna, aya seueur pertemuan sareng kecap Data, tapi di gigireun kecap ieu biasana aya singketan aneh sapertos ML atanapi AI. Janten, ieu sanés kanggo urang, urang nyarioskeun kumaha ngawangun fasilitas panyimpen, sanés kumaha cara ngagosok diri sareng neuron. hipsters ieu geus nyokot alih sagalana. Hasilna, urang tanpa komunitas. Ku jalan kitu, upami anjeun Insinyur Data sareng terang komunitas anu saé, punten nyerat dina koméntar.
Kacindekan jeung pengumuman tina meetup
Naon anu urang tungtungna? Pangalaman munggaran kuring nyarioskeun yén parasaan dina sapatu insinyur data bakal mangpaat pikeun unggal pamekar. Ieu ngan ngamungkinkeun urang pikeun nempo hal béda jeung teu heran lamun panon urang meunang bloodshot lamun urang ningali kumaha pamekar ngubaran data maranéhanana. Janten, upami aya DE di perusahaan anjeun, ngan ukur ngobrol sareng jalma-jalma ieu, anjeun bakal diajar seueur hal anyar (ngeunaan diri anjeun).
Sarta pamustunganana, pengumuman. Kusabab hese milarian patepang dina topik urang salami siang, urang mutuskeun ngadamel nyalira. Naha urang langkung parah? Kabeneran urang boga endah pisan jeung babaturan urang ti , anu, kawas urang, ngarasa yén insinyur data anu unfairly dicabut perhatian.
Ngalangkungan kasempetan ieu, kuring ngajak sadayana anu paduli pikeun sumping ka rapat komunitas anu munggaran kalayan judul anu dijanjikeun "DE or DIE", anu bakal dilaksanakeun dina 27.02.2020 Pebruari XNUMX di kantor Dodo Pizza. Rincian dina .
Upami aya kajadian, kuring bakal aya, anjeun tiasa ngawartosan kuring pribadi ka raray kuring kumaha salahna ngeunaan pamekar.
sumber: www.habr.com