Salama daholo, Alexander no anarako, ary Injeniera momba ny kalitaon'ny data aho izay manamarina ny kalitao. Ity lahatsoratra ity dia hiresaka momba ny fomba nahatongavako tamin'izany ary nahoana tamin'ny taona 2020 no teo amin'ny tendron'ny onja ity faritra nanaovana fitiliana ity.
fironana manerantany
Misedra revolisiona ara-teknolojia iray hafa izao tontolo izao ankehitriny, ny lafiny iray amin'izany dia ny fampiasana angon-drakitra voaangona ataon'ny karazana orinasa rehetra mba hanodinana ny kodiaran'ny varotra, ny tombom-barotra ary ny PR. Toa ny fisian'ny angon-drakitra (kalitao) tsara, ary koa ny atidoha mahay izay afaka mahazo vola avy amin'izy ireo (mihodina tsara, manao sary an-tsaina, manamboatra maodely fianarana milina, sns), no lasa fanalahidin'ny fahombiazana ho an'ny maro ankehitriny. Raha 15-20 taona lasa izay, ny orinasa lehibe dia nirotsaka tamin'ny asa mafy tamin'ny fanangonam-bola sy ny famatsiam-bola, amin'izao fotoana izao dia izao no saika ny olona salama saina.
Amin'io lafiny io, taona vitsivitsy lasa izay, ny vavahadin'ny fikarohana asa rehetra eran'izao tontolo izao dia nanomboka nirohotra tamin'ny fahabangan'ny Data Scientists, satria ny rehetra dia nahazo antoka fa amin'ny fahazoana manam-pahaizana manokana amin'ny mpiasany dia afaka manangana supermodel amin'ny fianarana milina izy ireo, maminavina ny ho avy. ary manao "quantum jump" ho an'ny orinasa. Rehefa nandeha ny fotoana, dia nahatsikaritra ny olona fa io fomba io dia saika tsy miasa, satria lavitra ny angon-drakitra rehetra izay latsaka eo an-tanan'ny manam-pahaizana manokana toy izany dia mety amin'ny fanofanana modely.
Ary nanomboka ny fangatahana avy amin'ny Data Scientists: "Andao isika hividy angona bebe kokoa amin'ireto sy ireto ...", "Tsy ampy ny angona ...", "Mila data bebe kokoa izahay ary tsara kokoa ny kalitao...". Miorina amin'ireo fangatahana ireo, fifandraisana maro no nanomboka natsangana teo amin'ireo orinasa manana angon-drakitra iray na hafa. Mazava ho azy fa nitaky ny fandaminana ara-teknika amin'ity dingana ity izany - ny mifandray amin'ny loharanon-drakitra, misintona azy ireo, manamarina fa feno izy ireo, sns. Nanomboka nitombo ny isan'ireo dingana ireo, ary ankehitriny dia mila karazana hafa isika manampahaizana manokana - Injeniera momba ny kalitaon'ny data - ireo izay hanara-maso ny fikorianan'ny angon-drakitra ao amin'ny rafitra (fantsona data), ny kalitaon'ny data amin'ny fidirana sy ny vokatra, manatsoaka hevitra momba ny fahafenoan'izy ireo, ny fahamendrehany ary ny toetra hafa.
Ny fironana ho an'ny Data Quality an'ny injeniera dia tonga taminay avy any Etazonia, izay ao anatin'ny vanim-potoanan'ny kapitalisma, tsy misy olona vonona ny ho very amin'ny ady ho an'ny angona. Eto ambany aho dia nanome pikantsary avy amin'ny roa amin'ireo tranonkala fikarohana asa malaza indrindra any Etazonia: ΠΈ - izay mampiseho angon-drakitra hatramin'ny 17 martsa 2020 momba ny isan'ireo toerana banga voaray, ho an'ny teny fanalahidy: Data Quality and Data Scientist.
Data Scientists - 21416 toerana banga
Takelaka data 41104
Data Scientists - 404 fahabangan-toerana
Data Quality - fahabangan-toerana 2020
Mazava ho azy fa tsy mifaninana amin'ny lafiny rehetra ireo asa ireo. Miaraka amin'ny pikantsary, tiako fotsiny ny haneho ny zava-misy ankehitriny eo amin'ny tsenan'ny asa amin'ny resaka fangatahana ho an'ny injeniera momba ny kalitaon'ny data, izay ilaina kokoa noho ny Data Scientists ankehitriny.
Tamin'ny Jona 2019, ny EPAM, mamaly ny filan'ny tsenan'ny IT maoderina, dia nanokana ny Data Quality ho fomba fanao manokana. Ny Injeniera momba ny kalitaon'ny data mandritra ny asany andavanandro dia mitantana angon-drakitra, manamarina ny fitondran-tenany amin'ny toe-javatra sy rafitra vaovao, mifehy ny maha-zava-dehibe ny angon-drakitra, ny fahatomombanana ary ny maha-zava-dehibe azy. Miaraka amin'izany rehetra izany, amin'ny heviny azo ampiharina, ny injeniera Data Quality dia manokana fotoana kely amin'ny fitsapana mahazatra mahazatra, NEFA miankina tanteraka amin'ny tetikasa izany (hanome ohatra eto ambany aho).
Ny andraikitry ny Injeniera momba ny kalitaon'ny data dia tsy voafetra amin'ny fanaraha-maso mahazatra amin'ny manual / mandeha ho azy ho an'ny "nulls, counts and sums" ao amin'ny latabatra database, fa mitaky fahatakarana lalina ny filan'ny orinasan'ny mpanjifa ary, araka izany, ny fahafahana manova ny angona misy ho lasa fampahalalana momba ny raharaham-barotra azo ampiasaina.
Data Quality Theory
Mba hahazoana sary an-tsaina tanteraka ny anjara asan'ny injeniera toy izany, andeha hojerentsika hoe inona ny Data Quality amin'ny teoria.
Ny kalitaon'ny angona - iray amin'ireo dingana amin'ny Fitantanana angon-drakitra (izao tontolo izao hatolonay anao ho an'ny fianarana mahaleo tena) ary tompon'andraikitra amin'ny famakafakana angon-drakitra araka ireto fepetra manaraka ireto:
Heveriko fa tsy mendrika ny hamadika ny teboka tsirairay (amin'ny teoria dia antsoina hoe "dimension'ny data") izy ireo, voafaritra tsara amin'ny sary. Saingy ny fizotry ny andrana mihitsy dia tsy midika fa kopia henjana ireo endri-javatra ireo amin'ny tranga fitsapana sy ny fanamarinana azy ireo. Ao amin'ny Data Quality, toy ny amin'ny karazana fitsapana hafa rehetra, ilaina, voalohany indrindra, ny fananganana ny fepetra momba ny kalitaon'ny angona nifanarahana tamin'ireo mpandray anjara amin'ny tetikasa izay mandray fanapahan-kevitra momba ny raharaham-barotra.
Miankina amin'ny tetikasa Data Quality, ny injeniera iray dia afaka manao asa samihafa: manomboka amin'ny tester-automatique mahazatra miaraka amin'ny fanombanana ambany ny kalitaon'ny angona mankany amin'ny olona iray izay manao ny mombamomba azy lalina araka ireo fepetra voalaza etsy ambony.
Famaritana amin'ny antsipiriany momba ny Fitantanana Data, ny kalitaon'ny angona ary ny dingana mifandraika amin'izany dia voafaritra tsara ao anaty boky iray antsoina hoe "DAMA-DMBOK: Fitantanana ny angona momba ny fahalalana: andiany faha-2". Tena manoro hevitra an'ity boky ity aho ho fampidiran-dresaka amin'ity lohahevitra ity (dia hahita rohy mankany amin'izany ianao any amin'ny faran'ny lahatsoratra).
Ilay tantarako
Ao amin'ny indostrian'ny IT, niala tamin'ny Junior QA tao amin'ny orinasa vokatra aho ho amin'ny Lead Data Quality Engineer ao amin'ny EPAM. Taorian'ny roa taona teo ho eo tamin'ny naha-tester ahy, dia nanana faharesen-dahatra mafy aho fa nanao ny karazana fitsapana rehetra: regression, functional, stress, stability, security, UI, sns. - ary nanandrana fitaovana fitiliana marobe, niasa nandritra ny fiteny fandaharana telo: Java, Scala, Python.
Rehefa manao jery todika aho dia azoko ny antony nahatonga ahy ho isan-karazany - nandray anjara tamin'ny tetikasa data aho, na lehibe na kely. Izany no nahatonga ahy ho eo amin'ny tontolon'ny fitaovana sy fahafahana maro ho an'ny fitomboana.
Mba hankasitraka ireo fitaovana isan-karazany sy fahafahana hahazo fahalalana sy fahaiza-manao vaovao, jereo fotsiny ny sary etsy ambany, izay mampiseho ny malaza indrindra amin'izy ireo eo amin'ny tontolon'ny "Data & AI".
Ity karazana fanoharana ity dia novokarin'ny iray amin'ireo kapitalista malaza malaza Matt Turck, teratany amin'ny fampivoarana rindrambaiko. Eto mankany amin'ny bilaoginy ary izay miara-miasa aminy.
Nitombo haingana aho tamin'ny maha-matihanina ahy indrindra raha izaho irery no mpanandrana tamin'ny tetikasa iray, na farafaharatsiny tany am-piandohan'ny tetikasa iray. Amin'izao fotoana izao dia tsy maintsy tompon'andraikitra amin'ny fizotran'ny fitsapana manontolo ianao, ary tsy manana fahafahana hihemotra ianao, fa mandroso ihany. Tamin'ny voalohany dia mampatahotra, fa ankehitriny ny tombony rehetra amin'ny fitsapana toy izany dia miharihary amiko:
- Manomboka mifandray amin'ny ekipa manontolo ianao, tsy toy ny teo aloha, satria tsy misy proxy ho an'ny fifandraisana: na ny mpitantana ny fitsapana na ny mpiara-mianatra.
- Lasa lalina tokoa ny asitrika ao anatin'ilay tetikasa, ary manana fampahalalana momba ny singa rehetra amin'ny ankapobeny sy amin'ny antsipiriany ianao.
- Ny mpamorona dia tsy mihevitra anao ho "lehilahy fitsapana tsy mahalala izay ataony", fa toy ny mitovy, mamokatra sanda tsy mampino ho an'ny ekipa miaraka amin'ny autotest sy ny fiandrasana ny bibikely ao amin'ny node vokatra iray manokana.
- Vokatr'izany dia mahomby kokoa ianao, mahafeno fepetra kokoa, mitaky fangatahana bebe kokoa.
Rehefa nitombo ny tetikasa, tamin'ny 100% amin'ny tranga dia lasa mpanoro hevitra ho an'ireo mpanandrana vaovao tonga tao aho, nampianatra azy ireo ary nampita ny fahalalana izay nianarako. Mandritra izany fotoana izany, miankina amin'ny tetikasa dia tsy nahazo ny ambaratonga ambony indrindra amin'ny manam-pahaizana manokana momba ny fitiliana fiara avy amin'ny fitantanana aho ary ilaina ny mampiofana azy ireo amin'ny automatique (ho an'ireo izay maniry), na mamorona fitaovana ampiasain'izy ireo. amin'ny asa andavanandro (fitaovana hamokatra angon-drakitra sy hampidirana azy ireo ao amin'ny rafitra , fitaovana hanaovana fitiliana enta-mavesatra/fitsapana fitoniana haingana, sns.).
Ohatra amin'ny tetikasa manokana
Indrisy anefa, noho ny adidy tsy fampahafantarana dia tsy afaka miresaka amin'ny antsipiriany momba ireo tetikasa niasako aho, fa hanome ohatra amin'ny asa mahazatra Data Quality Engineer amin'ny iray amin'ireo tetikasa.
Ny tena fototry ny tetikasa dia ny fametrahana sehatra iray hanomanana angona ho an'ny fiofanana mifototra amin'ny maodely fianarana milina. Ny mpanjifa dia orinasa pharmaceutika lehibe avy any Etazonia. Ara-teknika dia cluster izany miakatra ho ohatra, miaraka amin'ny microservices maromaro sy ny tetikasa Open Source fototra avy amin'ny EPAM - , mifanaraka amin'ny filan'ny mpanjifa iray manokana (ankehitriny dia nateraka indray ny tetikasa ). Ny fizotran'ny ETL dia nokarakaraina tamin'ny fampiasana ary nafindra angona avy rafitra mpanjifa in siny. Avy eo, ny sarin'ny docker momba ny maodely fianarana milina dia napetraka teo amin'ny lampihazo, izay nampiofanina momba ny angon-drakitra vaovao ary, tamin'ny fampiasana ny interface REST API, dia namoaka faminaniana izay mahaliana ny orinasa ary namaha olana manokana.
Raha jerena dia toa izao ilay izy:
Be dia be ny fitsapana miasa amin'ity tetikasa ity, ary noho ny hafainganam-pandehan'ny fampivoarana endri-javatra sy ny filΓ na ny fitazonana ny hafainganam-pandehan'ny tsingerin'ny famotsorana (sprints roa herinandro), dia ilaina ny mieritreritra avy hatrany momba ny fitiliana automatique amin'ireo node rafitra manakiana indrindra. . Ny ankamaroan'ny sehatra mifototra amin'ny Kubernetes dia voarakotry ny autotest nampiharina tamin'ny + Python, saingy nila nanohana sy nitarina koa izy ireo. Ho fanampin'izany, ho fanamorana ny mpanjifa, dia noforonina ny GUI hitantana ny maodely fianarana milina napetraka ao amin'ny cluster, ary koa ny fahafahana mamaritra hoe aiza sy aiza no hamindrana angona ho an'ny fanofanana modely. Ity fanampim-panazavana be dia be ity dia nitaky fanitarana ny fisavana miasa mandeha ho azy, izay natao tamin'ny alΓ lan'ny antso REST API sy ny fitsapana UI faran'ny 2 farany. Manodidina ny ekoatera amin'ity hetsika iray manontolo ity, nisy mpanandrana manual iray nanatevin-daharana anay, izay nanao asa lehibe tamin'ny fanandramana fanekena ny dikan-teny vokatra ary nifandray tamin'ny mpanjifa momba ny fanekena ny famoahana manaraka. Fanampin'izany, noho ny fahatongavan'ny manam-pahaizana manokana iray, dia afaka nandrakitra ny asantsika izahay ary nanampy fisavana manual tena manan-danja izay sarotra ny mandeha ho azy avy hatrany.
Ary farany, taorian'ny nahazoanay fitoniana avy amin'ny sehatra sy ny fanampim-panampiana GUI teo amboniny, dia nanomboka nanangana fantsona ETL izahay tamin'ny fampiasana Apache Airflow DAGs. Ny fanaraha-maso kalitao automatique dia natao tamin'ny fanoratana DAG Airflow manokana izay nanamarina ny angon-drakitra mifototra amin'ny vokatry ny fizotran'ny ETL. Ao anatin'ity tetikasa ity, tsara vintana izahay, ary ny mpanjifa dia nanome anay fahafahana miditra amin'ny angon-drakitra tsy fantatra anarana, izay nanaovanay fitiliana. Nojerenay ny andalana angon-drakitra isaky ny andalana ho an'ny fanarahan-dalΓ na, ny fisian'ny angon-drakitra tapaka, ny fitambaran'ny firaketana mialoha sy aorian'ny, ny fampitahana ny fanovana nataon'ny fizotran'ny ETL amin'ny alΓ lan'ny fanangonana, ny fanovana ny anaran'ny tsanganana, sy ny sisa. Ho fanampin'izany, ireo fisavana ireo dia natsangana tamin'ny loharanom-baovao samihafa, ohatra, ankoatry ny SalesForce, ao amin'ny MySQL ihany koa.
Ny fisavana ny kalitaon'ny angona farany dia efa natao teo amin'ny ambaratonga S3, izay nitehirizana azy ireo ary tao anatin'ny fanjakana vonona hampiasaina hanofanana modely fianarana milina. Mba hahazoana angona avy amin'ny rakitra CSV farany hita ao amin'ny S3 Bucket sy hanamarina izany, dia nisy kaody nosoratana tamin'ny fampiasana .
Teo amin'ny ampahany amin'ny mpanjifa ihany koa dia nisy fepetra takiana amin'ny fitahirizana ampahany amin'ny angona ao anaty siny S3 iray, ary ampahany amin'ny iray hafa. Nitaky ny fanoratana fanamarinana fanampiny izay mifehy ny fahamendrehan'ny fanasokajiana toy izany koa izany.
Traikefa ankapobeny amin'ny tetikasa hafa
Ohatra iray amin'ny lisitry ny hetsika ankapobeny indrindra ataon'ny injeniera momba ny kalitaon'ny data:
- ManomΓ na angona fitsapana (tsy manan-kery lehibe kely) amin'ny alalan'ny fitaovana mandeha ho azy.
- Ampidiro ao amin'ny loharano voalohany ny angona voaomana ary jereo ny fahavononany hampiasaina.
- Alefaso ny fizotran'ny ETL amin'ny fanodinana angon-drakitra avy amin'ny fitahirizana loharano mankany amin'ny farany na mpanelanelana amin'ny alΓ lan'ny fandrindrana sasany (raha azo atao, mametraha masontsivana azo amboarina ho an'ny asa ETL).
- Hamarino ny angon-drakitra nokarakarain'ny fizotran'ny ETL noho ny kalitaony sy ny fanarahana ny fepetra takian'ny orinasa.
Mandritra izany fotoana izany, ny tena ifantohan'ny fisavana dia tsy tokony ho amin'ny zava-misy fa ny angon-drakitra mikoriana ao amin'ny rafitra, amin'ny ankapobeny, niasa ary tonga amin'ny farany (izay ampahany amin'ny asa fitiliana), fa amin'ny ankapobeny amin'ny fanamarinana. ary manamarina ny angon-drakitra amin'ny fanarahana ny fepetra andrasana, ny famantarana ny tsy mety sy ny zavatra hafa.
fitaovana
Ny iray amin'ireo teknika ho an'ny fanaraha-maso ny angon-drakitra toy izany dia mety ho fandaminana ny fisavana rojo isaky ny dingana fanodinana angon-drakitra, ilay antsoina hoe "rojo data" ao amin'ny literatiora - fanaraha-maso ny angon-drakitra avy amin'ny loharano mankany amin'ny fampiasana farany. Ny fanamarinana toy izany dia matetika ampiharina amin'ny alΓ lan'ny fanoratana fanamarinana ny fangatahana SQL. Mazava fa ny fanontaniana toy izany dia tokony ho maivana araka izay azo atao ary jereo ny kalitaon'ny angon-drakitra tsirairay (metadata tabilao, tsipika banga, NULLs, Errors in syntax - toetra hafa ilaina hanamarinana).
Amin'ny trangan'ny fitsapana regression, izay mampiasa ny angon-drakitra efa vita (tsy niova, niova kely), ny code autotest dia afaka mitahiry ireo maodely efa vita ho an'ny fanamarinana ny angon-drakitra momba ny fanarahana ny kalitao (famaritana ny metadata latabatra andrasana; voafantina kisendrasendra nandritra ny fitsapana, sns.).
Ary koa, mandritra ny fitsapana dia tsy maintsy manoratra fitsapana ETL ianao amin'ny fampiasana rafitra toy ny Apache Airflow, na fitaovana rahona mainty boaty toy ny , Sy ny sisa. Ity toe-javatra ity dia mahatonga ny injeniera fitsapana hiditra ao amin'ny fitsipiky ny fiasan'ireo fitaovana etsy ambony ary na dia mahomby kokoa aza dia samy manao fitiliana miasa (ohatra, ny fizotran'ny ETL misy amin'ny tetikasa) ary mampiasa azy ireo hanamarina ny angon-drakitra. Indrindra indrindra, Apache Airflow dia manana mpandraharaha efa vonona hiasa amin'ny angon-drakitra famakafakana malaza, ohatra . Ny ohatra fototra indrindra amin'ny fampiasana azy dia efa voasoritra. ka tsy hamerina intsony aho.
Ankoatra ny vahaolana efa vita dia tsy misy mandrara anao hampihatra ny teknika sy ny fitaovanao. Tsy ho an'ny tetikasa ihany izany, fa ho an'ny Injeniera momba ny kalitaon'ny data ihany koa, izay hanatsara ny fomba fijery ara-teknika sy ny fahaiza-manaony.
Ny fomba fiasa amin'ny tetikasa tena izy
Ny fanoharana tsara momba ny andalana farany momba ny "rojo angon-drakitra", ny ETL sy ny fisavana hatraiza hatraiza dia izao dingana manaraka izao avy amin'ny iray amin'ireo tetikasa tena izy:
Eto, ny angon-drakitra samihafa (ara-boajanahary, nomaninay) dia miditra ao amin'ny "funnel" fidirana amin'ny rafitray: manan-kery, tsy manan-kery, mifangaro, sns., Avy eo izy ireo dia voasivana ary miditra ao amin'ny fitahirizana mpanelanelana, avy eo dia andrasan'ny andian-dahatsoratra. fanovana ary apetraka ao amin'ny fitehirizana farany, izay, ho setrin'izany, dia hampiasaina amin'ny famakafakana, fananganana toeram-pivarotana angon-drakitra ary fikatsahana hevitra momba ny raharaham-barotra. Amin'ny rafitra toy izany, izahay, tsy mijery ny asan'ny fizotran'ny ETL, dia mifantoka amin'ny kalitaon'ny angon-drakitra alohan'ny sy aorian'ny fanovana, ary koa amin'ny famoahana ny analytics.
Raha hamintina ireo voalaza etsy ambony ireo, na inona na inona toerana niasako, na aiza na aiza nandraisako anjara tamin'ny tetikasa Data izay natambatra ireto endri-javatra manaraka ireto:
- Amin'ny alΓ lan'ny automatique ihany no azo andrana ny tranga sasany ary ny tsingerin'ny famoahana azo ekena ho an'ny orinasa dia azo tratrarina.
- Ny tester amin'ny tetikasa toy izany dia iray amin'ireo mpikambana hajaina indrindra ao amin'ny ekipa, satria mitondra tombony lehibe ho an'ny mpandray anjara tsirairay (fanafaingana ny fitsapana, angona tsara Data Scientist, fitiliana mialoha ny lesoka).
- Tsy maninona na miasa amin'ny fitaovanao manokana ianao na eny amin'ny rahona - ny loharano rehetra dia atambatra ao anaty cluster toa an'i Hortonworks, Cloudera, Mesos, Kubernetes, sns.
- Ny tetikasa dia miorina amin'ny fomba fiasa microservice, manjaka ny informatika mizara sy mifanitsy.
Marihiko fa rehefa manao fitiliana eo amin'ny sehatry ny Data Quality dia mamindra ny fifantohana amin'ny matihanina amin'ny kaody vokatra sy ny fitaovana ampiasaina ny tester.
Endri-javatra miavaka amin'ny fitiliana ny kalitaon'ny angona
Ho fanampin'izay, ho an'ny tenako, dia nahita ireto manaraka ireto aho (hanao famandrihana avy hatrany aho VERY generalised sy tena subjective) endri-javatra miavaka amin'ny fitsapana amin'ny tetikasa Data (Big Data) (rafitra) sy faritra hafa:
rohy mahasoa
- TeΓ΄ria: .
- EPAM
- Fitaovana atolotra ho an'ny Injeniera momba ny kalitaon'ny data vao manomboka:
- Kilasy maimaimpoana amin'ny Stepik: .
- Course amin'ny fianarana LinkedIn: .
- Lahatsoratra:
- ;
- ;
- ;
- horonan-tsary:
- ;
- ;
famaranana
Ny kalitaon'ny angona dia tari-dalana mampanantena tena tanora, ny ho anisan'izany dia midika hoe anisan'ny fanombohana. Raha vantany vao tafiditra ao amin'ny Data Quality ianao dia hiditra amin'ny teknolojian'ny fitakiana maoderina marobe, fa ny tena zava-dehibe dia hanana fahafahana lehibe hamorona sy hampihatra ny hevitrao ianao. Azonao atao ny mampiasa ny fomba fanatsarana mitohy tsy amin'ny tetikasa ihany, fa ho an'ny tenanao ihany koa, tsy mitsaha-mivoatra amin'ny maha manam-pahaizana manokana.
Source: www.habr.com