I le amataga o Tesema, na ou faia ai se mea sese matuia ma faia se suiga i loʻu olaga o se tagata atiae ma siitia atu i le Data Engineering (DE) team i totonu o le kamupani. I lenei tusiga o le a ou faʻasoa atu nisi o faʻamatalaga na ou faia i le lua masina o galue i le DE team.
Aisea Fa'amatalaga Inisinia?
O laʻu malaga i DE na amata i le taumafanafana o le 2019, ina ua matou tatou o i , ma o iina na ou maua ai le malamalama. Na amata ona ou fiafia i le autu, suʻesuʻe algorithms ma e uiga ia i latou , ona mafaufau lea e uiga i le lautele o le talosaga ma vave ona iloa o le aoga aoga i la matou kamupani o loʻo tufatufaina faʻamaumauga.
O le a tonu le mea e fai e le matou 'au? O matou, pei o tama ma teine fa'alelei uma, matou te manana'o e avea ma Kamupani Fa'amaumauga. Ma ina ia mafai ona faia lenei mea, e tatau ona tatou fausia se fale teu oloa faatuatuaina, lea e mafai ona faʻaaogaina e fausia ai soʻo se lipoti e manaʻomia e le kamupani. Ae o le mea pito sili ona taua o faʻamaumauga i totonu o lenei teuina e tatau ona faʻatuatuaina. E le gata i lea, o le faʻaaogaina o nei faʻamatalaga, e tatau ona e toe faʻafoʻisia le tulaga o le faiga i le taimi t. O nei mea uma e faigata ona o le mea moni o loʻo tatou ola i se lalolagi fou totoa o microservices, ma o lenei talitonuga e faʻaalia ai o auaunaga taʻitasi e faʻatinoina ana lava galuega laiti, o lona database o lana lava pisinisi, ma e mafai ona tapeina a itiiti mai i aso uma, ae i le i le taimi lava e tasi e tatau ona mafai ona tatou mauaina ma faʻagasolo le tulaga o le tautua.
Afai e te mana'o e Avea Fa'amatalaga, ia avea muamua ma Mea Fa'atonu
E le faigofie tele. E 'ese'ese mea na tutupu, ma e 'ese'ese le va'aiga a le tagata atia'e ma fa'ainisinia fa'amaumauga. O le talanoa e uiga i mea tutupu o se autu mo se isi tala, o lea o le a ou le alu i ai iinei. E le gata i lea, ua uma ona iai se tala faapena o se tasi o Martin Fowler, ou te le aveesea ana laurel, ia avea foi o ia ma tagata lauiloa.
I se tulaga lautele, e tele naua mea e mafaufau i ai ma o le mea lea e manaia ai lenei vaega. E tupu lava i la matou kamupani, o le Data Engineer o se vaega e sili atu le lautele o le matafaioi nai lo na o se tagata na te tusia laina paipa ETL / ELT (afai e te le iloa le uiga o nei faapuupuuga, sau i . E pei o fa'asalalauga fa'asalalauga).
Matou te feagai ma fale teu oloa, faʻataʻitaʻiga o faʻamatalaga, mataupu e fesoʻotaʻi ma le saogalemu o faʻamaumauga, ma paipa lava latou, ioe. E manaʻomia foʻi ona tatou faʻamautinoa, i le tasi itu, o lo tatou auai e le o se avega mamafa tele mo le au atinaʻe oloa ma e tatau ona faʻalavelaveina i se mea itiiti e mafai ona tatou manaʻomia pe a tipiina foliga fou i totonu o le polokalama, ma i le isi itu, tatou mana'omia le tu'uina atu ma le fa'amalieina o fa'amaumauga mo le au su'esu'e ma le vaega a le BI. O le ala lena tatou te ola ai.
Faigata pe a si'itia mai le atina'e
I loʻu aso muamua o le galuega, sa ou feagai ma le tele o faigata ou te manaʻo e faʻasoa atu ia te oe.
1. O le mea muamua na ou vaʻaia o le leai o se tuling ma nisi faʻataʻitaʻiga. Ave, mo se faʻataʻitaʻiga, faʻapipiʻi tulafono faʻatasi ma suʻega. E faitau selau auivi fa'ata'ita'iga o lo'o atina'e. Pe a galue ma faʻamaumauga, o mea uma e sili atu ona faigata. Ioe, e mafai ona matou faʻataʻitaʻiina paipa ETL i faʻamaumauga o suʻega, ae e tatau ona matou faia uma ma le lima ma suʻe fofo mo mataupu faʻapitoa taʻitasi. O le i'uga, e sili atu le leaga o le inisiua o su'ega. O le mea e lelei ai, o loʻo i ai se isi vaega o faʻamatalaga i le tulaga o le mataʻituina ma ogalaau, ae o lea ua manaʻomia ai ona tatou tali atu ma le faʻaalia nai lo le faʻamalosi, lea e ita ma le faʻafefe.
2. O le lalolagi mai le vaaiga a le DE e le o se mea e foliga mai i se tagata faʻatau oloa masani (ia, o le mea moni e le faʻapea le tagata faitau, ma ua uma ona ia iloa mea uma, ae ou te leʻi iloa ma o lea ua ou faʻafefe. luga). I le avea ai ma se atinaʻe, ou te fatuina laʻu lava microservice, tuʻu faʻamaumauga i totonu [faʻamaumauga o lau filifiliga], faʻasaoina loʻu setete iina, maua se mea ile ID ma e lelei. E telegese le tautua, e fememea’i poloaiga, pau lava lena. Latou te fai mai ia te aʻu e suʻe loʻu setete i se isi auaunaga, o lea o le a ou lafoina se mea na tupu i nisi RabbitMQ ma o le mea lena. Ma o iinei na tatou toe foi atu ai i le mataupu o mea na tutupu o loo faamatalaina i luga.
O mea e manaʻomia e le 'auʻaunaga mo galuega faʻatino e le fetaui ma i matou mo faʻamatalaga faʻasolopito, o lea e amata ai le fesili o le toe faʻaaogaina o konekarate tautua ma galulue vavalalata ma au atinaʻe. E le mafai ona e mafaufauina pe fia itula na matou malilie ai: o le a le ituaiga o Event Driven o ia i la matou kamupani.
3. E tatau ona e mafaufau i lou ulu. Leai, ou te le o fai atu e le mafaufau le au atinaʻe (e ui o ai aʻu e tautala mo tagata uma), ae naʻo le atinaʻeina o oloa i le tele o taimi ua e iai se ituaiga fausaga, ma e te tipi ese shuffles mai le backlog. Ioe, o lenei mea e manaʻomia ai le fuafuaina ma le mafaufau, ae o le galuega tafe lea, lea o le faʻafitauli autu o le faia lelei ma lelei.
Mo i matou, e le faigofie tele ona o le fesiitaiga o vaega eseese o le polokalama mai le mafanafana ma le mafanafana monolith i le lalolagi o le vao microservice vao e le faigofie tele. A amata ona fa'aosoina e le 'au'aunaga mea na tutupu, e tatau ona e toe mafaufau i le fa'atumuina o le teuina, aua o fa'amaumauga ua va'aia nei e ese. O le mea lea e te manaʻomia e mafaufau tele ai ma maeʻaeʻa, e le o se tagata e faʻatupuina, ae o se inisinia faʻamatalaga. O se tala masani pe a e faʻaaluina aso ma se api ma se peni poʻo se maka i luga o le laupapa. E faigata tele, ou te le fiafia e mafaufau, ou te fiafia foi i le gaosiga.
4. Atonu o le mea e sili ona taua o faamatalaga. O le a se mea tatou te faia pe a leai so tatou malamalama? O ai na fai mai stackoverflow? Ave le tagata lea i fafo mai le potu. Matou te o e faitau pepa, tusi i luga o le autu, ma o loʻo i ai foi se faʻalapotopotoga e faʻatulagaina fonotaga, fonotaga ma fonotaga. O faʻamaumauga e lelei tele, ae paga lea, e mafai ona le atoatoa. Matou te faʻaaogaina le Cosmos DB i le tele o poloketi. Manuia le faitau tusi mo lenei oloa. O tusi e na o le pau lea o le faaolataga; o le mea e lelei ai, o loʻo i ai ma e mafai ona maua, o loʻo i ai le tele o malamalama faʻavae ma e tatau ona e faitau tele ma e le aunoa. Ae o le faafitauli o le nuu.
Ua faigata nei ona maua ia le itiiti ifo ma le tasi se konafesi talafeagai po o se feiloaiga i la matou eria. Leai, ioe, e tele feiloaiga ma le upu Data, ae i tafatafa o lenei upu e masani ona i ai faʻapuupuuga uiga ese e pei o ML poʻo AI. O lea la, e le mo i tatou, o loʻo tatou talanoa e uiga i le auala e fausia ai fale teu oloa, ae le o le faʻafefeina o i tatou lava i neu. Ua ave e nei hipsters mea uma. O le taunuuga, ua leai so tatou nuu. I le auala, afai o oe o se Inisinia Faʻamatalaga ma iloa nuʻu lelei, faʻamolemole tusi i faʻamatalaga.
Fa'ai'uga ma fa'asalalauga o le feiloa'iga
O le a le mea tatou te iʻu i ai? O loʻu aafiaga muamua e taʻu mai ai ia te aʻu o le lagona i totonu o seevae o se inisinia faʻamatalaga o le a aoga mo soʻo se atinaʻe. E na'o le fa'atagaina tatou te va'ava'ai i mea e 'ese'ese ma 'aua ne'i fa'ate'ia pe a toto toto o tatou mata pe a tatou va'ai pe fa'afefea ona fa'aogaina e le au atina'e a latou fa'amaumauga. O lea la, afai ei ai se DE i lau kamupani, naʻo le talanoa i nei tama, o le a e aʻoaʻoina le tele o mea fou (e uiga ia te oe lava).
Ma le mea mulimuli, o le faasilasilaga. Talu ai e faigata ona maua ni feiloaiga i la matou autu i le aso, na matou filifili ai e fai a matou lava talanoaga. Aisea ua tatou leaga ai? Ua laki ua tatou maua se mea ofoofogia ma a tatou uo mai , oe, e pei oi matou, e manatu o inisinia faʻamatalaga e le talafeagai ona le amanaiaina.
I le fa'aaogaina o lenei avanoa, ou te vala'aulia ai tagata uma o lo'o naunau e o mai i le matou ulua'i fonotaga fa'alenu'u ma le fa'ailoga folafolaina "DE or DIE", lea o le a faia ia Fepuari 27.02.2020, XNUMX i le Dodo Pizza office. Fa'amatalaga ile .
Afai e tupu se mea, o le a ou i ai iina, e mafai ona e taʻu mai ia te au lava ia i oʻu foliga le sese o aʻu e uiga i le au atiaʻe.
puna: www.habr.com