Talofa tagata uma, o loʻu igoa o Alexander, ma o aʻu o se inisinia Data Quality e siaki faʻamaumauga mo lona tulaga lelei. O lenei tusiga o le a talanoa e uiga i le auala na ou sau ai i lenei mea ma pe aisea na i ai i le 2020 lenei vaega o suʻega na i luga o le tumutumu o se galu.
Tulaga i le lalolagi
O le lalolagi i aso nei o loʻo feagai ma se isi suiga faʻatekonolosi, o le tasi itu o le faʻaogaina o faʻamaumauga faʻaputuina e ituaiga uma o kamupani e faʻalauiloa a latou lava uili o faʻatau, tupe mama ma PR. E foliga mai o le i ai o faʻamaumauga lelei (lelei), faʻapea foʻi ma faiʻai faʻapitoa e mafai ona maua tupe mai ai (faʻaoga saʻo, vaʻavaʻai, fausia faʻataʻitaʻiga aʻoaʻoga masini, ma isi), ua avea ma ki i le manuia mo le tele o aso nei. Afai o le 15-20 tausaga talu ai o kamupani tetele na tele lava ina aʻafia i galuega mamafa ma faʻaputuga faʻamaumauga ma tupe, i aso nei o le tele lea o le toetoe o tagata mafaufau uma.
I lenei tulaga, i le tele o tausaga talu ai, o faitotoa uma na tuʻufaʻatasia mo suʻesuʻega galuega i le salafa o le lalolagi na amata ona faʻatumuina i avanoa mo Data Scientists, talu ai na mautinoa e tagata uma, i le faʻafaigaluegaina o sea tagata tomai faapitoa, o le a mafai ona fausia se supermodel o masini aʻoaʻoga. , vavalo le lumanaʻi ma faia se "quantum leap" mo le kamupani. I le aluga o taimi, na iloa ai e tagata o lenei faiga e toetoe lava a le aoga i soo se mea, talu ai e le o faʻamatalaga uma e pa'ū i lima o ia tagata tomai faapitoa e talafeagai mo faʻataʻitaʻiga aʻoaʻoga.
Ma o talosaga mai Saienitisi Faʻamatalaga na amata: "Tatou faʻatau nisi faʻamatalaga mai nei ma na ...", "E le lava a matou faʻamatalaga ...", "Matou te manaʻomia nisi faʻamatalaga, sili atu le maualuga ..." . Faʻavae i luga o nei talosaga, na amata fausia ai le tele o fegalegaleaiga i le va o kamupani e iai se tasi poʻo se isi seti o faʻamaumauga. E masani lava, o lenei mea e manaʻomia ai le faʻatulagaina faʻapitoa o lenei faiga - faʻafesoʻotaʻi i le puna o faʻamatalaga, downloadina, siaki na faʻapipiʻiina atoa, ma isi. O le numera o ia faiga na amata ona tupu, ma o aso nei ua tatou manaʻomia tele se isi ituaiga o faʻapitoa - Faʻamatalaga Faʻamatalaga Engineers - i latou o le a mataʻituina le tafe o faʻamaumauga i totonu o le faiga (faʻamatalaga pipelines), le lelei o faʻamaumauga i le faʻaogaina ma le gaioiga, ma faia ni faaiuga e uiga i lo latou lava, faʻamaoni ma isi uiga.
O le faʻataʻitaʻiga mo Data Quality engineers na oʻo mai ia i matou mai Amerika, lea, i le lotolotoi o le vevesi o le vaitaimi o le kapitalisme, e leai se tasi ua sauni e leiloa le taua mo faʻamaumauga. O loʻo i lalo ua ou tuʻuina atu faʻamalama mai nofoaga e lua o suʻesuʻega galuega sili ona lauiloa i le US: и - lea e faʻaalia ai faʻamatalaga mai ia Mati 17, 2020 i luga o le numera o avanoa faʻasalalau na maua e faʻaaoga ai upu autu: Data Quality ma Data Scientist.
Saienitisi Faʻamatalaga - 21416 avanoa
Tulaga Fa'amaumauga - 41104 avanoa
Saienitisi Faʻamatalaga - 404 avanoa
Tulaga Fa'amaumauga - 2020 avanoa
E manino lava, o nei matata e matua leai lava se tauvaga o le tasi ma le isi. Faatasi ai ma screenshots, na ou manaʻo e faʻaalia le tulaga o loʻo i ai nei i luga o le maketi o tagata faigaluega e tusa ai ma talosaga mo inisinia Data Quality, o loʻo sili atu ona manaʻomia i le taimi nei nai lo Data Scientists.
Ia Iuni 2019, EPAM, tali atu i manaʻoga o le maketi IT faʻaonaponei, faʻamavaeina Faʻamaumauga Faʻamaumauga i se isi faiga. Enisinia Faʻamaumauga Faʻamaumauga, i le gasologa oa latou galuega i aso uma, faʻatautaia faʻamaumauga, siaki ana amio i tulaga fou ma faiga, mataʻituina le talafeagai o faʻamaumauga, lona lava ma le talafeagai. Faatasi ai ma nei mea uma, i se tulaga aoga, e matua'i tu'uina atu e le au inisinia Fa'amatalaga Tulaga le taimi i su'ega fa'atino masani, AE e matua fa'alagolago lava i le poloketi (O le a ou tu'uina atu se fa'ata'ita'iga i lalo).
O matafaioi a se inisinia Data Quality e le gata i na o siaki masani / siaki otometi mo "nulls, numera ma aofaʻi" i laulau faʻamaumauga, ae manaʻomia se malamalamaga loloto i manaʻoga pisinisi a le tagata faʻatau ma, e tusa ai, le mafai ona suia faʻamatalaga avanoa i totonu. fa'amatalaga pisinisi aoga.
Fa'amatalaga Tulaga Fa'amatalaga
Ina ia mafai ona sili atu le mafaufauina o le matafaioi a sea inisinia, seʻi o tatou vaʻai pe o le a le Data Quality i le teori.
Tulaga lelei - o se tasi o laʻasaga o Faʻamatalaga Faʻamatalaga (se lalolagi atoa o le a matou tuʻuina atu mo oe e te suʻesuʻe ai na o oe) ma e nafa ma le suʻeina o faʻamaumauga e tusa ai ma tulaga nei:
Ou te manatu e leai se mea e manaʻomia e faʻamatalaina ai manatu taʻitasi (i le teori e taʻua i latou o "tulaga faʻamaumauga"), o loʻo faʻamatalaina lelei i le ata. Ae o le faiga o le suʻega lava ia e le faʻaalia ai le kopiina o nei foliga i totonu o suʻega suʻega ma siaki. I Data Quality, pei o soʻo se isi lava ituaiga o suʻega, e manaʻomia, muamua lava, e faʻavae i luga o faʻamaumauga tulaga manaʻomia ua malilie i ai ma tagata auai o le poloketi o loʻo faia filifiliga pisinisi.
Faʻalagolago i le Poloketi Faʻamatalaga Faʻamatalaga, e mafai e se inisinia ona faʻatino galuega eseese: mai se suʻega faʻaautomatika masani ma se iloiloga papaʻu o faʻamaumauga, i se tagata e faʻatautaia le loloto o faʻamatalaga o faʻamaumauga e tusa ai ma tulaga o loʻo i luga.
O se faʻamatalaga auʻiliʻili o le Faʻatonuga o Faʻamaumauga, Tulaga Faʻamaumauga ma faʻagasologa faʻatatau o loʻo faʻamatalaina lelei i totonu o le tusi ua taʻua "DAMA-DMBOK: Fa'amaumauga Fa'atonu Tino o le Poto: Lomiga Lona Lua". Ou te matua fautuaina lenei tusi o se folasaga i lenei autu (o le ae mauaina se sootaga i le faaiuga o le tusiga).
O lo'u talafaasolopito
I le pisinisi IT, na ou galue mai se Junior tester i kamupani oloa i le Lead Data Quality Engineer i le EPAM. Ina ua mavae le tusa ma le lua tausaga o galue o se tagata suʻega, sa ou maua le talitonuga maumaututu na ou faia atoatoa ituaiga uma o suʻega: toe faʻaleleia, galue, faʻalavelave, mautu, saogalemu, UI, ma isi - ma faʻataʻitaʻiina se numera tele o meafaigaluega suʻega, maua. galue i le taimi e tasi i gagana polokalame e tolu: Java, Scala, Python.
I le toe tepa i tua, ua ou malamalama pe aisea na matua eseese ai loʻu seti - sa ou auai i galuega faʻatautaia faʻamaumauga, tetele ma laiti. O le mea lea na aumaia ai aʻu i se lalolagi o le tele o meafaigaluega ma avanoa mo le tuputupu aʻe.
Ina ia talisapaia le tele o meafaigaluega ma avanoa e maua ai le poto ma tomai fou, naʻo le vaʻai i le ata o loʻo i lalo, o loʻo faʻaalia ai le sili ona lauiloa i le lalolagi "Data & AI".
O lenei ituaiga faʻataʻitaʻiga o loʻo tuʻufaʻatasia i tausaga taʻitasi e se tasi o tagata taʻutaʻua faʻatau pisinisi o Matt Turck, o loʻo sau mai le atinaʻeina o polokalama. O iinei i lana blog ma , lea e galue ai o ia o se paaga.
Na ou tuputupu aʻe faʻapolofesa aemaise vave pe a naʻo aʻu le suʻega i luga o le poloketi, poʻo le itiiti ifo i le amataga o le poloketi. O le taimi lava lea e tatau ai ona e nafa ma le faagasologa atoa o suʻega, ma e leai sou avanoa e solomuli ai, naʻo le agai i luma. I le taimi muamua sa taufaafefe, ae o le taimi nei o mea lelei uma o sea suʻega ua manino ia te aʻu:
- E amata ona e fesoʻotaʻi ma le 'au atoa e pei ona leʻi faia muamua, talu ai e leai se sui mo fesoʻotaʻiga: e le o le pule suʻega poʻo le au suʻega.
- O le faatofuina i totonu o le poloketi e matua loloto lava, ma o loʻo ia te oe faʻamatalaga e uiga i vaega uma, i le lautele ma auiliiliga.
- E le va'aia oe e le au atina'e e pei o "le tagata mai su'ega e le iloa le mea o lo'o ia faia," ae o se tutusa e maua mai fa'amanuiaga mata'ina mo le 'au ma ana su'ega fa'aautomatika ma le fa'atalitali o fa'aaliga o lo'o aliali mai i se vaega patino o le oloa.
- O se taunuuga, e sili atu lou lelei, sili atu le agavaa, ma sili atu le manaʻomia.
A o faʻatupulaia le poloketi, i le 100% o mataupu na avea aʻu ma faufautua mo suʻega fou, aʻoaʻoina i latou ma tuʻuina atu le malamalama na ou aʻoaʻoina e aʻu lava ia. I le taimi lava e tasi, e faʻatatau i le poloketi, ou te leʻi mauaina i taimi uma le maualuga maualuga o faʻataʻitaʻiga faʻataʻitaʻiga faʻapitoa mai le pulega ma sa i ai se manaʻoga e aʻoaʻoina i latou i le masini (mo i latou e fiafia i ai) poʻo le faia o meafaigaluega mo le faʻaaogaina i gaoioiga i aso uma (meafaigaluega. mo le faʻatupuina o faʻamaumauga ma faʻapipiʻiina i totonu o le faiga , o se meafaigaluega mo le faʻatinoina o suʻega uta / faʻamautu suʻega "vave", ma isi).
Fa'ata'ita'iga o se galuega fa'apitoa
Ae paga lea, ona o le le faʻaalia o noataga, e le mafai ona ou talanoa auiliili e uiga i galuega faatino na ou galue ai, ae o le a ou tuʻuina atu faʻataʻitaʻiga o galuega masani a le Data Quality Engineer i luga o se tasi o poloketi.
O le autu o le poloketi o le faʻatinoina lea o se faʻavae mo le sauniaina o faʻamatalaga mo aʻoaʻoga faʻataʻitaʻiga aʻoaʻoga masini e faʻavae i luga. O le tagata fa'atau o se kamupani vaila'au tele mai Amerika. I se tulaga fa'apitoa o se fuifui , tula'i i fa'ata'ita'iga, fa'atasi ai ma le tele o microservices ma le fa'avae o le Open Source poloketi a le EPAM - , fa'afetaui i mana'oga o se tagata fa'atau fa'apitoa (lea ua toe fa'afouina le poloketi i totonu ). ETL fa'agasologa sa fa'atulagaina fa'aoga ma siitia faʻamatalaga mai faiga fa'atau i pakete. O le isi, o se ata Docker o se faʻataʻitaʻiga aʻoaʻoga masini na faʻapipiʻiina i luga o le faʻavae, lea na aʻoaʻoina i luga o faʻamatalaga fou ma, faʻaaogaina le REST API interface, na maua ai faʻamatalaga e fiafia i le pisinisi ma foia faʻafitauli faʻapitoa.
I le vaʻaia, o mea uma na foliga mai e pei o lenei:
Sa i ai le tele o suʻega faʻatino i luga o lenei poloketi, ma tuʻuina atu le saoasaoa o le atinaʻeina o foliga ma le manaʻoga e faʻatumauina le saoasaoa o le taamilosaga faʻamalolo (sprints lua-vaiaso), sa tatau ona vave mafaufau e uiga i le faʻaogaina o suʻega o vaega sili ona taua o le. le faiga. O le tele o le Kubernetes-based platform lava ia na ufiufi e autotests na faʻatinoina i totonu + Python, ae sa tatau foʻi ona lagolagoina ma faʻalauteleina. E le gata i lea, mo le faʻaogaina o le tagata faʻatau, na faia ai se GUI e faʻatautaia ai faʻataʻitaʻiga aʻoaʻoga masini ua faʻapipiʻiina i le fuifui, faʻapea foʻi ma le mafai ona faʻamaonia poʻo fea ma poʻo fea e manaʻomia ai faʻamatalaga mo le aʻoaʻoina o faʻataʻitaʻiga. O lenei faʻaopoopoga tele na aʻafia ai le faʻalauteleina o suʻega faʻaogaina otometi, lea na tele na faia e ala i telefoni REST API ma se numera itiiti o suʻega UI faʻaiʻu-2-end. I tafatafa o le ekueta o nei gaioiga uma, na matou faʻatasi ai ma se suʻega tusi lesona na faia se galuega sili ona lelei ma le taliaina o suʻega o oloa faʻatau ma fesoʻotaʻi ma le tagata faʻatau e uiga i le taliaina o le isi faʻasalalauga. E le gata i lea, ona o le taunuu mai o se fomaʻi fou, na mafai ai ona matou faʻamauina a matou galuega ma faʻaopoopo nisi o siaki tusi sili ona taua na faigata ona faʻaogaina vave.
Ma le mea mulimuli, ina ua uma ona matou maua le mautu mai le faʻavae ma le GUI faʻaopoopo i luga, na matou amata fausia laina paipa ETL e faʻaaoga ai Apache Airflow DAGs. O le siakiina o faʻamaumauga faʻapitoa na faia e ala i le tusiaina o Airflow DAGs faʻapitoa e siaki ai faʻamaumauga e faʻatatau i taunuuga o le ETL process. I le avea ai o se vaega o lenei poloketi, matou te laki ma na tuʻuina mai e le tagata faʻatau matou avanoa i seti faʻamaumauga e le o taʻua na matou suʻeina. Na matou siakiina le laina faʻamaumauga i le laina mo le tausisia o ituaiga, o le i ai o faʻamaumauga malepelepe, le aofaʻi o faʻamaumauga i luma ma pe a maeʻa, faʻatusatusaga o suiga na faia e le ETL process mo le faʻapipiʻiina, suiga o igoa koluma, ma isi mea. E le gata i lea, o nei siaki na faʻavasegaina i punaoa faʻamatalaga eseese, mo se faʻataʻitaʻiga, faʻaopoopo i le SalesForce, faʻapea foi i MySQL.
O su'esu'ega mulimuli o fa'amaumauga sa mae'a ona fa'atinoina ile tulaga S3, lea sa teu ai ma sauni e fa'aoga mo a'oa'oga fa'ata'ita'iga a le masini. Ina ia maua faʻamatalaga mai le faila CSV mulimuli o loʻo i luga o le S3 Bucket ma faʻamaonia, na tusia le code e faʻaaoga ai .
Sa iai fo'i se mana'oga mai le tagata fa'atau e teu se vaega o fa'amaumauga i totonu o le S3 Pateni ma se vaega i le isi. E mana'omia fo'i le tusiaina o siaki fa'aopoopo e siaki ai le fa'amaoni o ia fa'avasegaga.
Aafiaga lautele mai isi poloketi
O se faʻataʻitaʻiga o le lisi sili ona lautele o gaioiga a se inisinia Faʻamaumauga:
- Sauni fa'amaumauga o su'ega (le aoga la'ititi la'ititi) e ala i se meafaigaluega otometi.
- Tu'u atu le seti fa'amaumauga ua saunia i le puna muamua ma siaki ua sauni mo le fa'aoga.
- Fa'agasolo faiga ETL mo le fa'agaioiina o se seti o fa'amaumauga mai le fa'aputuga fa'apogai i le fa'amaumauga mulimuli po'o le vaeluagalemu e fa'aaoga ai se seti o fa'atulagaga (pe a mafai, seti fa'amaufa'ailoga e mafai ona fa'atulagaina mo le galuega ETL).
- Fa'amaonia fa'amaumauga o lo'o fa'atinoina e le ETL process mo lona lelei ma le tausisia o mana'oga fa'apisinisi.
I le taimi lava e tasi, o le taulaiga autu o siaki e tatau ona le gata i le mea moni o le tafe o faʻamatalaga i totonu o le faiga, i le mataupu faavae, galue ma ausia le maeʻa (lea o se vaega o suʻega faʻatinoga), ae tele lava ile siakiina ma faʻamaonia faʻamaumauga mo tausisia o manaʻoga faʻamoemoeina, faʻamaonia faʻalavelave ma isi mea.
Meafaigaluega
O se tasi o metotia mo ia faʻatonuga faʻamaumauga e mafai ona avea ma faʻatulagaina o siaki filifili i laʻasaga taʻitasi o le faʻaogaina o faʻamaumauga, o le mea e taʻua o le "faʻamaumauga o faʻamaumauga" i tusitusiga - faʻatonutonuina o faʻamaumauga mai le punavai i le tulaga o le faʻaaogaina mulimuli. O nei ituaiga o siaki e masani ona faʻatinoina e ala i le tusitusi siaki fesili SQL. E manino lava o ia fesili e tatau ona mama pe a mafai ma siaki vaega taʻitasi o faʻamaumauga (metadata laulau, laina avanoa, NULLs, Errors in syntax - isi uiga manaʻomia mo le siakiina).
I le tulaga o suʻega faʻasolosolo, lea e faʻaogaina ai faʻamaumauga ua saunia (e le mafai ona suia, laʻititi laʻititi), e mafai e le autotest code ona teuina faʻataʻitaʻiga saunia mo le siakiina o faʻamatalaga mo le tausisia o le lelei (faʻamatalaga o metadata laulau faʻamoemoeina; laina faʻataʻitaʻiga mea e mafai ona filifilia fa'afuase'i i le taimi o le su'ega, ma isi).
E le gata i lea, i le taimi o suʻega, e tatau ona e tusia faʻataʻitaʻiga o suʻega ETL e faʻaaoga ai faʻavae e pei o Apache Airflow, po'o se mea faigaluega ituaiga ao pusa uliuli , Ma faapena atu ai lava. O lenei tulaga e faʻamalosia ai le inisinia suʻega e faʻatofuina o ia lava i mataupu faavae o le faʻaogaina o meafaigaluega o loʻo i luga ma sili atu ona lelei le faʻatinoina o suʻega faʻatino (mo se faʻataʻitaʻiga, faiga ETL o loʻo i ai i luga o se poloketi) ma faʻaoga e siaki ai faʻamaumauga. Aemaise lava, o Apache Airflow o loʻo i ai ni tagata faʻatautaia saunia mo le galulue faʻatasi ma faʻamaumauga faʻamaumauga lauiloa, mo se faʻataʻitaʻiga . O le faʻataʻitaʻiga sili ona taua o lona faʻaogaina ua uma ona faʻamatalaina , o lea ou te le toe faia ai aʻu lava.
E ese mai i fofo ua saunia, e leai se tasi e faʻasaina oe e faʻatino au lava metotia ma meafaigaluega. O le a le gata ina aoga mo le poloketi, ae faʻapea foʻi mo le Data Quality Engineer lava ia, o ia lea o le a faʻaleleia atili ai ona tomai faʻapitoa ma tomai faʻasologa.
E fa'afefea ona galue i se galuega moni
O se faʻataʻitaʻiga lelei o parakalafa mulimuli e uiga i le "filifiliga faʻamaumauga", ETL ma siaki uma o le faagasologa lea mai se tasi o galuega moni:
O iinei, o faʻamatalaga eseese (faʻalenatura, saunia e matou) ulufale i totonu o le "funnel" o la matou polokalama: aoga, le aoga, fefiloi, ma isi, ona faʻamama ma faʻauʻu i totonu o le teuina, ona latou toe faia lea o se faasologa o suiga. ma o loʻo tuʻuina i totonu o le teuina mulimuli, lea, i le isi itu, auiliiliga, fausiaina o faʻamatalaga faʻatau ma suʻesuʻega mo faʻamatalaga pisinisi o le a faia. I totonu o sea faiga, e aunoa ma le siakiina o le faʻaogaina o faiga ETL, matou te taulaʻi atu i le lelei o faʻamaumauga aʻo leʻi maeʻa suiga, faʻapea foʻi ma le gaioiga i auʻiliʻiliga.
I le aotelega o mea o loʻo i luga, e tusa lava po o fea nofoaga na ou galue ai, i soʻo se mea na ou auai i Faʻamatalaga poloketi na faʻasoaina foliga nei:
- E na'o le masini e mafai ai ona e su'eina nisi o mataupu ma ausia se taamilosaga fa'amalolo e talia e le pisinisi.
- O se suʻega i luga o sea poloketi o se tasi lea o sui sili ona faʻaaloalogia o le 'au, aua e aumaia ai faʻamanuiaga sili i tagata taʻitoʻatasi (faʻavavevave o suʻega, faʻamatalaga lelei mai le Data Scientist, faʻamaonia o faaletonu i le amataga).
- E le afaina pe e te galue i luga o au lava meafaigaluega poʻo luga o ao - o punaoa uma e faʻapipiʻiina i totonu o se fuifui e pei o Hortonworks, Cloudera, Mesos, Kubernetes, ma isi.
- Poloketi e fausia i luga o se faiga microservice, tufatufaina ma fa'atusatusa fa'akomepiuta e fa'atosina.
Ou te fia maitauina pe a faia suʻega i le tulaga o Data Quality, o se tagata suʻesuʻe faʻapitoa e sui lana taulaiga faʻapitoa i le code o le oloa ma meafaigaluega faʻaaogaina.
Fa'ailoga iloga o su'ega Tulaga Tulaga Fa'amaumauga
E le gata i lea, mo aʻu lava, ua ou iloa mea nei (O le a vave ona ou faia se faʻaagaga e matua lautele ma faʻapitoa) uiga faʻapitoa o suʻega i Faʻamaumauga (Big Data) poloketi (faiga) ma isi vaega:
aoga fesoʻotaʻiga
- A'oa'oga: .
- EPAM
- Fautuaina mea mo se enisinia Fa'amatalaga Fa'amatalaga amata:
- Kosi fua ile Stepik: .
- Vasega ile LinkedIn A'oa'oga: .
- Mataupu:
- ;
- ;
- ;
- Vitio:
- ;
- ;
iʻuga
Tulaga lelei ose ta'ita'iga fa'amoemoe talavou tele, ia avea ma se vaega o lona uiga ia avea ma vaega o se amataga. O le taimi lava i le Data Quality, o le a fa'atofuina oe i le tele o fa'aonaponei, fa'atekonolosi mana'omia, ae o le mea e sili ona taua, tele avanoa o le a tatala mo oe e fa'atupuina ma fa'atino ou manatu. O le a mafai ona e faʻaogaina le faʻaauauina o le faʻaleleia atili e le gata i luga o le poloketi, ae faʻapea foʻi mo oe lava, faʻaauau le atinaʻeina o se tagata tomai faapitoa.
puna: www.habr.com