Sveiki, mani sauc Aleksandrs, un es esmu datu kvalitÄtes inženieris, kas pÄrbauda datu kvalitÄti. Å ajÄ rakstÄ tiks runÄts par to, kÄ es lÄ«dz tam nonÄcu un kÄpÄc 2020. gadÄ Å”Ä« testÄÅ”anas joma atradÄs uz viļÅa virsotnes.
GlobÄlÄ tendence
MÅ«sdienu pasaule piedzÄ«vo vÄl vienu tehnoloÄ£isku revolÅ«ciju, kuras viens aspekts ir visu veidu uzÅÄmumu uzkrÄto datu izmantoÅ”ana, lai veicinÄtu savu pÄrdoÅ”anas, peļÅas un PR spararatu. Å Ä·iet, ka labu (kvalitatÄ«vu) datu klÄtbÅ«tne, kÄ arÄ« prasmÄ«gas smadzenes, kas var ar tiem pelnÄ«t (pareizi apstrÄdÄt, vizualizÄt, veidot maŔīnmÄcÄ«bas modeļus utt.), daudziem mÅ«sdienÄs ir kļuvuÅ”i par panÄkumu atslÄgu. Ja pirms 15-20 gadiem lielie uzÅÄmumi galvenokÄrt nodarbojÄs ar intensÄ«vu darbu ar datu uzkrÄÅ”anu un monetizÄciju, tad Å”odien tÄ ir gandrÄ«z visu saprÄtÄ«go cilvÄku lieta.
Å ajÄ sakarÄ pirms vairÄkiem gadiem visi darba meklÄÅ”anai veltÄ«tie portÄli visÄ pasaulÄ sÄka piepildÄ«ties ar datu zinÄtnieku vakancÄm, jo āāvisi bija pÄrliecinÄti, ka, pieÅemot darbÄ Å”Ädu speciÄlistu, bÅ«s iespÄjams izveidot maŔīnmÄcÄ«bas supermodeli. , prognozÄt nÄkotni un veikt uzÅÄmuma "kvantu lÄcienu". Laika gaitÄ cilvÄki saprata, ka Ŕī pieeja gandrÄ«z nekur nedarbojas, jo ne visi dati, kas nonÄk Å”Ädu speciÄlistu rokÄs, ir piemÄroti modeļu apmÄcÄ«bai.
Un sÄkÄs datu zinÄtnieku pieprasÄ«jumi: āPirksim vairÄk datu no Å”iem un tiem...ā, āMums nav pietiekami daudz datu...ā, āMums vajag vÄl dažus datus, vÄlams kvalitatÄ«vus...ā . Pamatojoties uz Å”iem pieprasÄ«jumiem, sÄka veidot daudzas mijiedarbÄ«bas starp uzÅÄmumiem, kuriem pieder viena vai otra datu kopa. Protams, tas prasÄ«ja Ŕī procesa tehnisko organizÄÅ”anu - pieslÄgÅ”anos datu avotam, tÄ lejupielÄdi, pÄrbaudi, vai tas ir pilnÄ«bÄ ielÄdÄts utt. Å Ädu procesu skaits sÄka pieaugt, un Å”odien mums ir milzÄ«ga vajadzÄ«ba pÄc cita veida speciÄlisti - Datu kvalitÄtes inženieri - tie, kas uzraudzÄ«tu datu plÅ«smu sistÄmÄ (datu cauruļvados), datu kvalitÄti ievadÄ un izvadÄ un izdarÄ«tu secinÄjumus par to pietiekamÄ«bu, integritÄti un citÄm Ä«paŔībÄm.
Datu kvalitÄtes inženieru tendence pie mums nÄca no ASV, kur niknÄ kapitÄlisma laikmeta vidÅ« neviens nav gatavs zaudÄt cÄ«Åu par datiem. TÄlÄk esmu sniedzis ekrÄnuzÅÄmumus no divÄm populÄrÄkajÄm darba meklÄÅ”anas vietnÄm ASV: Šø ā kurÄ tiek rÄdÄ«ti dati uz 17. gada 2020. martu par saÅemto publicÄto vakanÄu skaitu, izmantojot atslÄgvÄrdus: Data Quality un Data Scientist.
Datu zinÄtnieki ā 21416 vakances
Datu kvalitÄte ā 41104 vakances
Datu zinÄtnieki ā 404 vakances
Datu kvalitÄte ā 2020 vakances
AcÄ«mredzot Ŕīs profesijas savÄ starpÄ nekÄdÄ veidÄ nekonkurÄ. Ar ekrÄnuzÅÄmumiem es tikai gribÄju ilustrÄt paÅ”reizÄjo situÄciju darba tirgÅ« saistÄ«bÄ ar datu kvalitÄtes inženieru pieprasÄ«jumu, no kuriem Å”obrÄ«d ir vajadzÄ«gs daudz vairÄk nekÄ datu zinÄtniekiem.
2019. gada jÅ«nijÄ EPAM, reaÄ£Äjot uz modernÄ IT tirgus vajadzÄ«bÄm, datu kvalitÄti nodalÄ«ja atseviÅ”Ä·Ä praksÄ. Datu kvalitÄtes inženieri savÄ ikdienas darbÄ pÄrvalda datus, pÄrbauda to uzvedÄ«bu jaunos apstÄkļos un sistÄmÄs, uzrauga datu atbilstÄ«bu, pietiekamÄ«bu un atbilstÄ«bu. PraktiskÄ nozÄ«mÄ datu kvalitÄtes inženieri patieÅ”Äm maz laika velta klasiskajai funkcionÄlajai pÄrbaudei, BET tas lielÄ mÄrÄ ir atkarÄ«gs no projekta (zemÄk es sniegÅ”u piemÄru).
Datu kvalitÄtes inženiera pienÄkumi neaprobežojas tikai ar regulÄrÄm manuÄlÄm/automÄtiskÄm pÄrbaudÄm, vai datu bÄzes tabulÄs nav ānulles, skaitÄ«Å”anas un summasā, bet ir nepiecieÅ”ama dziļa izpratne par klienta biznesa vajadzÄ«bÄm un attiecÄ«gi spÄja pÄrveidot pieejamos datus noderÄ«ga biznesa informÄcija.
Datu kvalitÄtes teorija
Lai pilnÄ«gÄk iztÄlotu Å”Äda inženiera lomu, izdomÄsim, kas teorÄtiski ir datu kvalitÄte.
Datu kvalitÄte ā viens no datu pÄrvaldÄ«bas posmiem (visa pasaule, kuru mÄs atstÄsim jums paÅ”iem izpÄtÄ«t) un ir atbildÄ«gs par datu analÄ«zi saskaÅÄ ar Å”Ädiem kritÄrijiem:
Es domÄju, ka nav nepiecieÅ”ams atÅ”ifrÄt katru no punktiem (teorÄtiski tos sauc par "datu dimensijÄm"), tie ir diezgan labi aprakstÄ«ti attÄlÄ. TaÄu pats testÄÅ”anas process nenozÄ«mÄ Å”o funkciju stingru kopÄÅ”anu testa gadÄ«jumos un to pÄrbaudi. Datu kvalitÄtÄ, tÄpat kÄ jebkura cita veida testÄÅ”anÄ, pirmkÄrt, ir jÄbalstÄs uz datu kvalitÄtes prasÄ«bÄm, par kurÄm ir panÄkta vienoÅ”anÄs ar projekta dalÄ«bniekiem, kuri pieÅem biznesa lÄmumus.
AtkarÄ«bÄ no Datu kvalitÄtes projekta inženieris var veikt dažÄdas funkcijas: no parasta automatizÄcijas testÄtÄja ar virspusÄju datu kvalitÄtes novÄrtÄjumu, lÄ«dz personai, kas veic datu padziļinÄtu profilÄÅ”anu pÄc augstÄkminÄtajiem kritÄrijiem.
Ä»oti detalizÄts datu pÄrvaldÄ«bas, datu kvalitÄtes un saistÄ«to procesu apraksts ir labi aprakstÄ«ts grÄmatÄ ar nosaukumu "DAMA-DMBOK: Datu pÄrvaldÄ«bas zinÄÅ”anu kopums: 2. izdevums". Ä»oti iesaku Å”o grÄmatu kÄ ievadu Å”ai tÄmai (saiti uz to atradÄ«siet raksta beigÄs).
Mans stÄsts
IT nozarÄ es strÄdÄju no jaunÄkÄ testÄtÄja produktu uzÅÄmumos lÄ«dz vadoÅ”ajam datu kvalitÄtes inženierim EPAM. PÄc aptuveni diviem testÄtÄja darba gadiem man bija stingra pÄrliecÄ«ba, ka esmu veicis pilnÄ«gi visu veidu testÄÅ”anu: regresijas, funkcionÄlÄs, stresa, stabilitÄtes, droŔības, lietotÄja saskarnes utt. - un izmÄÄ£inÄjis lielu skaitu testÄÅ”anas rÄ«ku, kam bija vienlaikus strÄdÄja trÄ«s programmÄÅ”anas valodÄs: Java, Scala, Python.
Atskatoties atpakaļ, es saprotu, kÄpÄc mans prasmju kopums bija tik daudzveidÄ«gs ā es piedalÄ«jos lielos un mazos uz datiem balstÄ«tos projektos. Tas mani ieveda pasaulÄ, kurÄ ir daudz rÄ«ku un izaugsmes iespÄju.
Lai novÄrtÄtu rÄ«ku daudzveidÄ«bu un iespÄjas jaunu zinÄÅ”anu un prasmju iegÅ«Å”anai, vienkÄrÅ”i apskatiet zemÄk redzamo attÄlu, kurÄ redzami populÄrÄkie no tiem āData & AIā pasaulÄ.
Å Äda veida ilustrÄcijas katru gadu apkopo viens no slavenajiem riska kapitÄlistiem Mets TÄrks, kurÅ” nÄk no programmatÅ«ras izstrÄdes. Å eit uz viÅa emuÄru un , kur viÅÅ” strÄdÄ kÄ partneris.
ÄŖpaÅ”i Ätri profesionÄli izaugu, kad biju vienÄ«gais testÄtÄjs projektÄ vai vismaz projekta sÄkumÄ. TieÅ”i tÄdÄ brÄ«dÄ« tev ir jÄatbild par visu testÄÅ”anas procesu, un tev nav iespÄjas atkÄpties, tikai uz priekÅ”u. SÄkumÄ tas bija biedÄjoÅ”i, bet tagad visas Å”Äda testa priekÅ”rocÄ«bas man ir acÄ«mredzamas:
- JÅ«s sÄkat sazinÄties ar visu komandu kÄ nekad agrÄk, jo saziÅai nav starpniekservera: ne testa vadÄ«tÄjs, ne citi testÄtÄji.
- IedziļinÄÅ”anÄs projektÄ kļūst neticami dziļa, un jums ir informÄcija par visiem komponentiem gan vispÄrÄ«gi, gan detalizÄti.
- IzstrÄdÄtÄji neuzskata jÅ«s par āto puisi no testÄÅ”anas, kurÅ” nezina, ko daraā, bet drÄ«zÄk kÄ lÄ«dzvÄrtÄ«gu, kurÅ” sniedz neticamas priekÅ”rocÄ«bas komandai ar saviem automatizÄtajiem testiem un paredzot kļūdu parÄdÄ«Å”anÄs konkrÄtÄ komponentÄ. produkts.
- RezultÄtÄ jÅ«s esat efektÄ«vÄks, kvalificÄtÄks un pieprasÄ«tÄks.
Projektam augot, 100% gadÄ«jumu kļuvu par mentoru jaunajiem testÄtÄjiem, mÄcot viÅus un nododot tÄlÄk zinÄÅ”anas, ko esmu apguvis pats. TajÄ paÅ”Ä laikÄ, atkarÄ«bÄ no projekta, ne vienmÄr no vadÄ«bas saÅÄmu augstÄkÄ lÄ«meÅa auto testÄÅ”anas speciÄlistus un radÄs nepiecieÅ”amÄ«ba vai nu apmÄcÄ«t viÅus automatizÄcijÄ (interesentiem), vai izveidot rÄ«kus lietoÅ”anai ikdienas darbÄ«bÄs (rÄ«ki datu Ä£enerÄÅ”anai un ielÄdei sistÄmÄ , rÄ«ks slodzes testÄÅ”anas/stabilitÄtes pÄrbaudes veikÅ”anai āÄtriā utt.).
KonkrÄta projekta piemÄrs
DiemžÄl neizpauÅ”anas pienÄkumu dÄļ nevaru sÄ«kÄk pastÄstÄ«t par projektiem, pie kuriem strÄdÄju, bet minÄÅ”u piemÄrus tipiskiem datu kvalitÄtes inženiera uzdevumiem vienÄ no projektiem.
Projekta bÅ«tÄ«ba ir uz tÄs bÄzes ieviest platformu datu sagatavoÅ”anai apmÄcÄ«bu maŔīnmÄcÄ«bas modeļiem. PasÅ«tÄ«tÄjs bija liels farmÄcijas uzÅÄmums no ASV. Tehniski tas bija klasteris , pieaug lÄ«dz gadÄ«jumiem, ar vairÄkiem mikropakalpojumiem un pamatÄ esoÅ”o EPAM atvÄrtÄ koda projektu - , pielÄgota konkrÄta klienta vajadzÄ«bÄm (tagad projekts ir atdzimis ). ETL procesi tika organizÄti, izmantojot un pÄrvietoti dati no klientu sistÄmÄs SpaiÅi. PÄc tam platformÄ tika izvietots maŔīnmÄcÄ«Å”anÄs modeļa Docker attÄls, kas tika apmÄcÄ«ts, izmantojot jaunus datus, un, izmantojot REST API saskarni, radÄ«ja prognozes, kas interesÄja uzÅÄmumu un atrisinÄja konkrÄtas problÄmas.
VizuÄli viss izskatÄ«jÄs apmÄram Å”Ädi:
Å ajÄ projektÄ bija daudz funkcionÄlo testu, un, Åemot vÄrÄ funkciju izstrÄdes Ätrumu un nepiecieÅ”amÄ«bu saglabÄt izlaiÅ”anas cikla tempu (divu nedÄļu sprints), bija nekavÄjoties jÄdomÄ par vissvarÄ«gÄko komponentu testÄÅ”anas automatizÄciju. sistÄma. LielÄkÄ daļa paÅ”as Kubernetes platformas tika aptvÄrta ar automÄtiskajiem testiem, kas tika ieviesti + Python, bet vajadzÄja arÄ« tos atbalstÄ«t un paplaÅ”inÄt. TurklÄt klienta ÄrtÄ«bÄm tika izveidots GUI, lai pÄrvaldÄ«tu klasterÄ« izvietotos maŔīnmÄcÄ«Å”anÄs modeļus, kÄ arÄ« iespÄja norÄdÄ«t, kur un kur ir jÄpÄrsÅ«ta dati modeļu apmÄcÄ«bai. Å is plaÅ”ais papildinÄjums ietvÄra automatizÄtÄs funkcionÄlÄs pÄrbaudes paplaÅ”inÄÅ”anu, kas galvenokÄrt tika veikta, izmantojot REST API izsaukumus un nelielu skaitu 2-end UI testu. Ap visas Ŕīs kustÄ«bas ekvatoru mums pievienojÄs manuÄlais testÄtÄjs, kurÅ” lieliski paveica produktu versiju akcepttestÄÅ”anu un sazinÄÅ”anos ar klientu par nÄkamÄ laidiena pieÅemÅ”anu. TurklÄt, pateicoties jauna speciÄlista ieraÅ”anÄs brÄ«dim, mÄs varÄjÄm dokumentÄt savu darbu un pievienot vairÄkas ļoti svarÄ«gas manuÄlas pÄrbaudes, kuras bija grÅ«ti uzreiz automatizÄt.
Visbeidzot, pÄc platformas un GUI papildinÄjuma stabilitÄtes sasniegÅ”anas, mÄs sÄkÄm veidot ETL cauruļvadus, izmantojot Apache Airflow DAG. AutomatizÄtÄ datu kvalitÄtes pÄrbaude tika veikta, rakstot Ä«paÅ”us Airflow DAG, kas pÄrbaudÄ«ja datus, pamatojoties uz ETL procesa rezultÄtiem. Å Ä« projekta ietvaros mums paveicÄs, un klients mums deva piekļuvi anonimizÄtÄm datu kopÄm, kuras mÄs pÄrbaudÄ«jÄm. MÄs pÄrbaudÄ«jÄm datu rindiÅu pa rindiÅai, lai tie atbilstu tipiem, vai nav bojÄti dati, kopÄjais ierakstu skaits pirms un pÄc, ETL procesa veikto transformÄciju salÄ«dzinÄjums apkopoÅ”anai, kolonnu nosaukumu maiÅa un citas lietas. TurklÄt Ŕīs pÄrbaudes tika mÄrogotas dažÄdiem datu avotiem, piemÄram, papildus SalesForce, arÄ« MySQL.
GalÄ«gÄs datu kvalitÄtes pÄrbaudes tika veiktas jau S3 lÄ«menÄ«, kur tie tika glabÄti un bija gatavi lietoÅ”anai maŔīnmÄcÄ«Å”anÄs modeļu apmÄcÄ«bai. Lai iegÅ«tu datus no galÄ«gÄ CSV faila, kas atrodas S3 segmentÄ, un apstiprinÄtu to, kods tika uzrakstÄ«ts, izmantojot .
TÄpat klients prasÄ«ja daļu datu glabÄt vienÄ S3 spainÄ« un daļu citÄ. Tas arÄ« prasÄ«ja rakstÄ«t papildu pÄrbaudes, lai pÄrbaudÄ«tu Å”Ädas ŔķiroÅ”anas uzticamÄ«bu.
VispÄrÄja pieredze no citiem projektiem
VispÄrÄ«gÄkÄ datu kvalitÄtes inženiera darbÄ«bu saraksta piemÄrs:
- Sagatavojiet testa datus (derÄ«gi nederÄ«gi liels mazs), izmantojot automatizÄtu rÄ«ku.
- AugÅ”upielÄdÄjiet sagatavoto datu kopu sÄkotnÄjÄ avotÄ un pÄrbaudiet, vai tÄ ir gatava lietoÅ”anai.
- Palaidiet ETL procesus datu kopas apstrÄdei no avota krÄtuves uz galÄ«go vai starpkrÄtuvi, izmantojot noteiktu iestatÄ«jumu kopu (ja iespÄjams, iestatiet konfigurÄjamus parametrus ETL uzdevumam).
- PÄrbaudiet ETL procesÄ apstrÄdÄto datu kvalitÄti un atbilstÄ«bu uzÅÄmÄjdarbÄ«bas prasÄ«bÄm.
TajÄ paÅ”Ä laikÄ pÄrbaudÄs galvenÄ uzmanÄ«ba jÄpievÄrÅ” ne tikai tam, vai datu plÅ«sma sistÄmÄ principÄ ir nostrÄdÄjusi un sasniegusi pabeigÅ”anu (kas ir daļa no funkcionÄlÄs testÄÅ”anas), bet galvenokÄrt uz datu pÄrbaudi un apstiprinÄÅ”anu sagaidÄmo prasÄ«bu ievÄroÅ”ana, anomÄliju identificÄÅ”ana un citas lietas.
Darbarīki
Viens no Å”Ädas datu kontroles paÅÄmieniem var bÅ«t Ä·Ädes pÄrbaužu organizÄÅ”ana katrÄ datu apstrÄdes posmÄ, literatÅ«rÄ tÄ sauktÄ ādatu Ä·Ädeā - datu kontrole no avota lÄ«dz gala izmantoÅ”anas vietai. Å Äda veida pÄrbaudes visbiežÄk tiek ieviestas, rakstot pÄrbaudes SQL vaicÄjumus. Ir skaidrs, ka Å”Ädiem vaicÄjumiem ir jÄbÅ«t pÄc iespÄjas vieglÄkiem un jÄpÄrbauda atseviŔķas datu kvalitÄtes daļas (tabulu metadati, tukÅ”as rindas, NULL, Sintakses kļūdas - citi pÄrbaudei nepiecieÅ”amie atribÅ«ti).
Regresijas testÄÅ”anas gadÄ«jumÄ, kurÄ tiek izmantotas gatavas (nemainÄmas, nedaudz mainÄmas) datu kopas, automÄtiskÄs pÄrbaudes kods var uzglabÄt gatavas veidnes datu atbilstÄ«bas kvalitÄtes pÄrbaudei (paredzamo tabulas metadatu apraksti; rindu paraugu objekti, kurus var nejauÅ”i izvÄlÄts testa laikÄ utt.).
TÄpat testÄÅ”anas laikÄ jums ir jÄraksta ETL testa procesi, izmantojot tÄdas sistÄmas kÄ Apache Airflow, vai pat melnÄs kastes mÄkoÅa veida rÄ«ks , Un tÄ tÄlÄk. Å is apstÄklis āāliek testÄÅ”anas inženierim iedziļinÄties iepriekÅ” minÄto rÄ«ku darbÄ«bas principos un vÄl efektÄ«vÄk gan veikt funkcionÄlo testÄÅ”anu (piemÄram, esoÅ”os ETL procesus projektÄ), gan izmantot tos datu pÄrbaudei. Jo Ä«paÅ”i Apache Airflow ir gatavi operatori darbam ar populÄrÄm analÄ«tisko datu bÄzÄm, piemÄram, . VisvienkÄrÅ”Äkais tÄs izmantoÅ”anas piemÄrs jau ir ieskicÄts , tÄpÄc es neatkÄrtoÅ”os.
Ja neskaita jau gatavus risinÄjumus, neviens neaizliedz ieviest savas metodes un rÄ«kus. Tas bÅ«s izdevÄ«gi ne tikai projektam, bet arÄ« paÅ”am datu kvalitÄtes inženierim, kurÅ” tÄdÄjÄdi uzlabos savu tehnisko redzesloku un kodÄÅ”anas prasmes.
KÄ tas darbojas reÄlÄ projektÄ
Labs pÄdÄjo rindkopu piemÄrs par ādatu Ä·Ädiā, ETL un visuresoÅ”Äm pÄrbaudÄm ir Å”Äds process no viena no reÄliem projektiem:
Å eit mÅ«su sistÄmas ievades āpiltuvÄā nonÄk dažÄdi dati (dabiski, mÅ«su sagatavoti): derÄ«gi, nederÄ«gi, sajaukti utt., pÄc tam tie tiek filtrÄti un nonÄk starpkrÄtuvÄ, pÄc tam atkal tiek pakļauti virknei transformÄciju. un tiek ievietoti galÄ«gajÄ krÄtuvÄ, no kuras, savukÄrt, tiks veikta analÄ«ze, datu margu veidoÅ”ana un biznesa ieskatu meklÄÅ”ana. Å ÄdÄ sistÄmÄ, funkcionÄli nepÄrbaudot ETL procesu darbÄ«bu, mÄs koncentrÄjamies uz datu kvalitÄti pirms un pÄc transformÄcijÄm, kÄ arÄ« uz izvadi uz analÄ«zi.
RezumÄjot iepriekÅ” minÄto, neatkarÄ«gi no vietÄm, kur strÄdÄju, visur es piedalÄ«jos datu projektos, kuriem bija Å”Ädas funkcijas:
- Tikai izmantojot automatizÄciju, jÅ«s varat pÄrbaudÄ«t dažus gadÄ«jumus un sasniegt uzÅÄmumam pieÅemamu izlaiÅ”anas ciklu.
- Å Äda projekta testÄtÄjs ir viens no cienÄ«jamÄkajiem komandas locekļiem, jo āākatram dalÄ«bniekam tas sniedz lielu labumu (testÄÅ”anas paÄtrinÄjums, labi dati no Data Scientist, defektu identificÄÅ”ana agrÄ«nÄ stadijÄ).
- Nav svarÄ«gi, vai strÄdÄjat ar savu aparatÅ«ru vai mÄkoÅos ā visi resursi tiek abstrahÄti klasterÄ«, piemÄram, Hortonworks, Cloudera, Mesos, Kubernetes utt.
- Projekti ir balstÄ«ti uz mikropakalpojumu pieeju, dominÄ izkliedÄtÄ un paralÄlÄ skaitļoÅ”ana.
VÄlos atzÄ«mÄt, ka, veicot testÄÅ”anu datu kvalitÄtes jomÄ, testÄÅ”anas speciÄlists pÄrceļ savu profesionÄlo uzmanÄ«bu uz produkta kodu un izmantotajiem rÄ«kiem.
Datu kvalitÄtes pÄrbaudes atŔķirÄ«gÄs iezÄ«mes
TurklÄt sev esmu identificÄjis Å”Ädas (uzreiz izdarÄ«Å”u atrunu, ka tÄs ir Ä»OTI vispÄrinÄtas un tikai subjektÄ«vas) atŔķirÄ«gÄs testÄÅ”anas pazÄ«mes datu (Big Data) projektos (sistÄmÄs) un citÄs jomÄs:
Noderīgas saites
- Teorija: .
- EPAM
- Ieteicamie materiÄli iesÄcÄjam datu kvalitÄtes inženierim:
- Bezmaksas kurss par Stepik: .
- Kurss par LinkedIn mÄcÄ«bÄm: .
- Raksti:
- ;
- ;
- ;
- Video:
- ;
- ;
SecinÄjums
Datu kvalitÄte ir ļoti jauns, daudzsoloÅ”s virziens, kura daļai nozÄ«mÄ bÅ«t daļai no startapa. Nokļūstot datu kvalitÄtÄ, jÅ«s iegremdÄsities daudzÄs modernÄs, pieprasÄ«tÄs tehnoloÄ£ijÄs, bet pats galvenais ā jums pavÄrsies milzÄ«gas iespÄjas Ä£enerÄt un Ä«stenot savas idejas. NepÄrtrauktÄs pilnveides pieeju varÄsi izmantot ne tikai projektÄ, bet arÄ« sev, nepÄrtraukti pilnveidojoties kÄ speciÄlists.
Avots: www.habr.com