Tamin'ny fiandohan'ny volana Desambra, nanao fahadisoana mahafaty aho ary nanao kihon-dalana teo amin'ny fiainako amin'ny maha-mpamorona ahy ary nifindra tany amin'ny ekipan'ny Data Engineering (DE) ao anatin'ny orinasa. Ato amin'ity lahatsoratra ity dia hizara fanamarihana vitsivitsy izay nataoko nandritra ny roa volana niasako tao amin'ny ekipan'ny DE aho.
Nahoana ny Data Engineering?
Ny diako tany DE dia nanomboka tamin'ny fahavaratry ny taona 2019, fony izahay andao ho any , ary tao no nahazoako fahazavana. Nanomboka liana tamin'ilay lohahevitra aho, nandalina ny algorithm ary na dia ny momba azy ireo aza , ary avy eo dia nieritreritra momba ny sahan'ny fampiharana ary haingana nahita fa ny fampiharana azo ampiharina ao amin'ny orinasa dia mizara angona.
Inona marina no ataon'ny ekipantsika? Izahay, tahaka ny ankizilahy sy ankizivavy lamaody rehetra, dia maniry ny ho lasa orinasa Data Driven. Ary mba hahatongavana amin'izany dia mila manangana trano fitehirizana azo antoka, fara fahakeliny, izay azo ampiasaina hanamboarana tatitra ilain'ny orinasa. Fa ny tena zava-dehibe dia tsy maintsy atokisana ny angon-drakitra ao amin'io fitahirizana io. Ankoatr'izay, amin'ny fampiasana ireo angon-drakitra ireo dia mila mamerina ny toetry ny rafitra ianao amin'ny fotoana t. Izany rehetra izany dia sarotra noho ny zava-misy fa miaina ao anatin'ny tontolo vaovao be herim-po amin'ny microservices, ary io foto-kevitra io dia midika fa ny serivisy tsirairay dia mampihatra ny fampiasany kely, ny angon-drakitra dia orinasany manokana, ary afaka mamafa izany farafaharatsiny isan'andro, fa amin'ny amin'izay fotoana izay ihany koa dia tsy maintsy afaka mandray sy mikarakara ny toetry ny serivisy isika.
Raha te ho entin'ny angona ianao, dia ho lasa Event Driven aloha
Tsy dia tsotra. Hafa ny hetsika, ary hafa ny fijerin'ny mpamorona sy ny injeniera momba ny data. Lohahevitra ho an'ny lahatsoratra mitokana ny firesahana momba ny hetsika, ka tsy hidirako eto. Ankoatra izany, efa nisy lahatsoratra toy izany Martin Fowler iray, tsy hanaisotra ny lazany aho, avelao ho malaza koa izy.
Amin'ny ankapobeny dia betsaka ny tokony hoeritreretina ka izay no mahasarika ity faritra ity. Mitranga izany fa ao amin'ny orinasanay, ny Injeniera Data dia faritra lehibe kokoa amin'ny andraikitra noho ny olona iray manoratra fantsona ETL / ELT (raha tsy fantatrao ny dikan'ireo fanafohezana ireo dia tongava . Toy ny dokam-barotra contextual).
Miady amin'ny maritrano fitahirizana izahay, ny modelin'ny angona, ny olana mifandraika amin'ny fiarovana ny angon-drakitra, ary ny fantsona mihitsy, mazava ho azy. Mila ataontsika antoka ihany koa fa, amin'ny lafiny iray, ny fisiantsika dia tsy dia mavesatra loatra ho an'ny mpamorona vokatra ary tsy maintsy variana kely araka izay azo atao amin'ny zavatra takinay izy ireo rehefa manapaka ireo endri-javatra vaovao ao amin'ny rafitra, ary amin'ny lafiny iray, izahay Mila manome azy ireo amin'ny alΓ lan'ny angon-drakitra fitahirizana ho an'ny mpandinika sy ny ekipa BI. Izany no fomba iainantsika.
Fahasahiranana rehefa hifindra avy amin'ny fampandrosoana
Tamin'ny andro voalohany niasako dia tojo fahasahiranana maromaro izay tiako hozaraina aminareo.
1. Ny tsy fisian'ny tuling sy ny fanao sasany no hitako voalohany. Raiso, ohatra, ny fandrakofana kaody miaraka amin'ny fitsapana. Manana rafitra fitsapana an-jatony isika amin'ny fampandrosoana. Rehefa miasa miaraka amin'ny angona dia sarotra kokoa ny zava-drehetra. Eny, azontsika atao ny manandrana ny fantsona ETL amin'ny angon-drakitra fitsapana, saingy tsy maintsy ataontsika amin'ny tanana izany rehetra izany ary mitady vahaolana ho an'ny tranga manokana tsirairay. Vokatr'izany dia ratsy kokoa ny fandrakofam-panadinana. Soa ihany fa misy soso-kevitra hafa amin'ny endrika fanaraha-maso sy firaketana an-tsoratra, saingy izany dia mitaky antsika hihetsika amin'ny fomba mavitrika fa tsy amin'ny hetsika, izay mahatezitra sy mahasosotra.
2. Ny tontolo amin'ny fomba fijery DE dia tsy mitovy amin'ny fahitan'ny mpamorona vokatra tsotra (eny, mazava ho azy fa tsy toy izany ny mpamaky, ary efa hainy ny zava-drehetra, fa tsy fantatro ary izao aho mamono azy). Amin'ny maha-mpamorona ahy dia mamorona microservice manokana aho, mametraka ny angon-drakitra ao amin'ny [database amin'ny safidinao], vonjeo ny fanjakako any, mahazo zavatra amin'ny ID ary tsara izany. Miadana ny serivisy, misavoritaka ny baiko, izay ihany. Mangataka ahy izy ireo hitady ny fanjakΓ ko amin'ny serivisy hafa, ka hanipy hetsika ao amin'ny RabbitMQ sasany aho ary dia izay. Ary eto indray dia niverina tamin'ny resaka zava-nitranga voalaza etsy ambony.
Ny zavatra ilain'ny serivisy amin'ny asa fampandehanana dia tsy mifanaraka aminay amin'ny angon-drakitra ara-tantara, noho izany dia manomboka ny fanontaniana momba ny fifanarahana momba ny serivisy sy ny asa akaiky miaraka amin'ny ekipa fampandrosoana. Tsy azonao an-tsaina akory hoe firy ora no nifanarahanay hoe: karazana Event Driven manao ahoana izy ao amin'ny orinasanay.
3. Mila mieritreritra amin'ny lohanao ianao. Tsia, tsy midika akory izany fa tsy mieritreritra ny mpamorona (na dia izaho aza no miteny ho an'ny rehetra), fa amin'ny fampivoarana ny vokatra matetika dia efa manana karazana maritrano ianao, ary nanapaka ny shuffles samihafa avy amin'ny backlog ianao. Mazava ho azy fa mitaky drafitra sy eritreritra izany, fa ity dia asa mivantana, izay ny tena olana dia ny fanaovana izany tsara sy mahomby.
Ho anay, tsy dia tsotra loatra izany satria tsy dia tsotra loatra ny fifindrana ireo singa rafitra isan-karazany avy amin'ny monolith mafana sy malefaka mankany amin'ny tontolon'ny ala microservice. Rehefa manomboka mamoaka hetsika ny serivisy dia mila mandinika indray ny lojika amin'ny famenoana ny fitahirizana ianao, satria tsy mitovy ny angon-drakitra ankehitriny. Eto ianao dia mila mieritreritra be dia be, tsy amin'ny maha-mpamorona azy intsony, fa amin'ny maha-injeniera data. Tantara mahazatra izany rehefa mandany andro miaraka amin'ny kahie sy penina na marika eo amin'ny solaitrabe ianao. Tena sarotra izany, tsy tiako ny mieritreritra, tiako ny famokarana koa.
4. Angamba ny zava-dehibe indrindra dia ny fampahalalana. Inona no ataontsika rehefa tsy ampy fahalalana isika? Iza no niteny hoe stackoverflow? Ento mivoaka ny efitrano io olona io. Mandeha mamaky antontan-taratasy, boky momba ny lohahevitra, ary misy ihany koa ny vondrom-piarahamonina mikarakara forum, fihaonana ary fihaonambe. Tsara ny antontan-taratasy, saingy indrisy fa mety tsy feno. Mampiasa Cosmos DB izahay amin'ny tetikasa maromaro. Mirary soa mamaky ny antontan-taratasy momba ity vokatra ity. Ny boky no hany famonjena, soa ihany fa misy izy ireo ary azo jerena, misy fahalalana fototra be dia be ary mila mamaky be dia be sy tsy tapaka ianao. Ny fiaraha-monina anefa no olana.
Sarotra ankehitriny ny mahita fihaonambe na fihaonana sahaza iray farafahakeliny ao amin'ny faritra misy anay. Tsia, mazava ho azy, be dia be ny fihaonana miaraka amin'ny teny hoe Data, fa eo akaikin'io teny io dia misy fanafohezana hafahafa toa ny ML na AI. Noho izany, tsy ho antsika izany, miresaka momba ny fananganana trano fitehirizana isika, fa tsy ny fomba hanosorana ny tenantsika amin'ny neurons. Ireo hipsters ireo dia naka ny zava-drehetra. Vokany, tsy misy fiaraha-monina isika. Raha ny marina, raha injeniera data ianao ary mahafantatra vondrom-piarahamonina tsara dia manorata ao amin'ny fanehoan-kevitra.
Fehiny sy fanambarana ny fihaonana
Inona no hiafarantsika? Ny traikefako voalohany dia milaza amiko fa ny fahatsapana eo amin'ny toeran'ny injeniera data dia mahasoa ho an'ny mpamorona tsirairay. Mamela antsika hibanjina zavatra amin'ny fomba hafa fotsiny izany ary tsy ho gaga rehefa mivalan-drΓ ny masontsika rehefa mahita ny fomba itondran'ny mpamorona ny angonany. Koa raha misy DE ao amin'ny orinasanao dia resaho fotsiny amin'ireo bandy ireo fa hianatra zava-baovao maro ianao (ny momba anao).
Ary farany, ny fanambarana. Satria sarotra ny mahita fihaonana momba ny lohahevitray mandritra ny andro, dia nanapa-kevitra ny hanao ny anay izahay. Nahoana isika no ratsy kokoa? Soa ihany fa manana mahagaga isika sy ny namantsika avy , izay, toa antsika, dia mahatsapa fa tsy ara-drariny ny fiheverana ireo injeniera momba ny data.
Amin'izao fotoana izao dia manasa ny rehetra izay miahiahy aho mba ho tonga amin'ny fihaonan'ny vondrom-piarahamonina voalohany mitondra ny lohateny hoe "DE na DIE", izay hatao ny 27.02.2020 febroary XNUMX ao amin'ny biraon'ny Dodo Pizza. Ny antsipiriany ao amin'ny .
ΠΡΠ»ΠΈ ΡΡΠΎ, Ρ ΡΠ°ΠΌ Π±ΡΠ΄Ρ, ΡΠΌΠΎΠΆΠ΅ΡΠ΅ ΠΌΠ½Π΅ Π»ΠΈΡΠ½ΠΎ Π² Π»ΠΈΡΠΎ ΡΠΊΠ°Π·Π°ΡΡ, ΠΊΠ°ΠΊ Ρ Π½Π΅ ΠΏΡΠ°Π² Π½Π°ΡΡΡΡ ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊΠΎΠ².
Source: www.habr.com