Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

Kaabo gbogbo eniyan, orukọ mi ni Alexander, ati pe Mo jẹ ẹlẹrọ Didara Data ti o ṣayẹwo data fun didara rẹ. Nkan yii yoo sọrọ nipa bii MO ṣe wa si eyi ati idi ti ni ọdun 2020 agbegbe idanwo yii wa lori igba igbi.

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

Aṣa agbaye

Aye ode oni n ni iriri iyipada imọ-ẹrọ miiran, apakan kan ninu eyiti o jẹ lilo data ti a kojọpọ nipasẹ gbogbo iru awọn ile-iṣẹ lati ṣe agbega ọkọ ofurufu tiwọn ti tita, awọn ere ati PR. O dabi pe wiwa ti data ti o dara (didara), ati awọn opolo oye ti o le ṣe owo lati ọdọ rẹ (ilana ti o tọ, wiwo, kọ awọn awoṣe ikẹkọ ẹrọ, ati bẹbẹ lọ), ti di bọtini si aṣeyọri fun ọpọlọpọ loni. Ti awọn ọdun 15-20 sẹyin awọn ile-iṣẹ nla ni o ni ipa ninu iṣẹ aladanla pẹlu ikojọpọ data ati monetization, loni eyi ni ọpọlọpọ ti o fẹrẹ to gbogbo eniyan ti o ni oye.

Ni iru eyi, ni ọpọlọpọ ọdun sẹyin, gbogbo awọn ọna abawọle ti a ṣe igbẹhin si wiwa iṣẹ ni ayika agbaye bẹrẹ lati kun fun awọn aye fun Awọn onimo ijinlẹ sayensi data, nitori gbogbo eniyan ni idaniloju pe, ti o gba iru alamọja kan, yoo ṣee ṣe lati kọ supermodel ti ẹkọ ẹrọ. , sọtẹlẹ ọjọ iwaju ati ṣe “fifo kuatomu” fun ile-iṣẹ naa. Ni akoko pupọ, awọn eniyan rii pe ọna yii fẹrẹ ko ṣiṣẹ nibikibi, nitori kii ṣe gbogbo data ti o ṣubu si ọwọ iru awọn alamọja ni o dara fun awọn awoṣe ikẹkọ.

Ati awọn ibeere lati ọdọ Awọn onimọ-jinlẹ Data bẹrẹ: “Jẹ ki a ra data diẹ sii lati iwọnyi ati iyẹn…”, “A ko ni data ti o to…”, “A nilo data diẹ sii, ni pataki ọkan ti o ni agbara giga…” . Da lori awọn ibeere wọnyi, ọpọlọpọ awọn ibaraẹnisọrọ bẹrẹ lati kọ laarin awọn ile-iṣẹ ti o ni ọkan tabi eto data miiran. Nipa ti, eyi nilo eto imọ-ẹrọ ti ilana yii - sisopọ si orisun data, gbigba lati ayelujara, ṣayẹwo pe o ti kojọpọ ni kikun, bbl Nọmba ti iru awọn ilana bẹ bẹrẹ lati dagba, ati loni a ni iwulo nla fun iru miiran. awọn alamọja - Awọn onimọ-ẹrọ Didara Data - awọn ti yoo ṣe atẹle sisan ti data ninu eto (awọn opo gigun ti data), didara data ni titẹ sii ati iṣelọpọ, ati fa awọn ipinnu nipa isunmọ wọn, iduroṣinṣin ati awọn abuda miiran.

Awọn aṣa fun Awọn ẹrọ imọ-ẹrọ Didara Data wa si wa lati AMẸRIKA, nibiti, larin akoko ija ti kapitalisimu, ko si ẹnikan ti o ṣetan lati padanu ogun fun data. Ni isalẹ Mo ti pese awọn sikirinisoti lati meji ninu awọn aaye wiwa iṣẹ olokiki julọ ni AMẸRIKA: www.monster.com и www.dice.com - eyiti o ṣafihan data bi Oṣu Kẹta Ọjọ 17, Ọdun 2020 lori nọmba awọn aye ti a firanṣẹ ti o gba ni lilo awọn koko-ọrọ: Didara data ati Onimọ-jinlẹ data.

www.monster.com

Awọn onimo ijinlẹ sayensi data - 21416 awọn aye
Didara data - 41104 awọn aye

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi
Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

www.dice.com

Data Sayensi - 404 aye
Didara data - awọn aye 2020

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi
Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

O han ni, awọn iṣẹ-iṣẹ wọnyi ko ni idije pẹlu ara wọn. Pẹlu awọn sikirinisoti, Mo kan fẹ lati ṣapejuwe ipo lọwọlọwọ lori ọja iṣẹ ni awọn ofin ti awọn ibeere fun awọn ẹlẹrọ Didara Data, eyiti o nilo pupọ diẹ sii ni bayi ju Awọn onimọ-jinlẹ Data lọ.

Ni Oṣu Karun ọdun 2019, EPAM, ni idahun si awọn iwulo ti ọja IT ode oni, yapa Didara Data sinu adaṣe lọtọ. Awọn onimọ-ẹrọ Didara data, lakoko iṣẹ ojoojumọ wọn, ṣakoso data, ṣayẹwo ihuwasi rẹ ni awọn ipo ati awọn eto tuntun, ṣe abojuto ibaramu ti data naa, to ati ibaramu rẹ. Pẹlu gbogbo eyi, ni ọna ti o wulo, awọn onimọ-ẹrọ Didara Data ya ni akoko diẹ si idanwo iṣẹ ṣiṣe kilasika, Ṣugbọn eyi da lori iṣẹ akanṣe (Emi yoo fun apẹẹrẹ ni isalẹ).

Awọn ojuse ti ẹlẹrọ Didara Data kan ko ni opin nikan si afọwọṣe igbagbogbo / awọn sọwedowo adaṣe fun “asan, awọn iṣiro ati awọn akopọ” ninu awọn tabili data, ṣugbọn nilo oye ti o jinlẹ ti awọn iwulo iṣowo alabara ati, ni ibamu, agbara lati yi data ti o wa pada si wulo owo alaye.

Ilana Didara Data

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

Lati le ni kikun fojuinu ipa ti iru ẹrọ ẹlẹrọ, jẹ ki a ro kini Didara Data jẹ ni imọ-jinlẹ.

Didara Didara - ọkan ninu awọn ipele ti Iṣakoso data (gbogbo agbaye ti a yoo fi silẹ fun ọ lati kawe lori tirẹ) ati pe o ni iduro fun itupalẹ data ni ibamu si awọn ibeere wọnyi:

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi
Mo ro pe ko si ye lati decipher kọọkan ninu awọn ojuami (ni yii ti won ti wa ni a npe ni "data mefa"), ti won ti wa ni oyimbo daradara apejuwe ninu awọn aworan. Ṣugbọn ilana idanwo funrararẹ ko tumọ si didakọ awọn ẹya wọnyi ni muna sinu awọn ọran idanwo ati ṣayẹwo wọn. Ni Didara Data, bi ninu eyikeyi iru idanwo miiran, o jẹ dandan, akọkọ gbogbo, lati kọ lori awọn ibeere didara data ti a gba pẹlu awọn olukopa iṣẹ akanṣe ti o ṣe awọn ipinnu iṣowo.

Ti o da lori iṣẹ akanṣe Didara Data, ẹlẹrọ le ṣe awọn iṣẹ oriṣiriṣi: lati oniwadi adaṣe adaṣe lasan pẹlu igbelewọn elege ti didara data, si eniyan ti o ṣe alaye profaili jinlẹ ti data ni ibamu si awọn ibeere ti o wa loke.

Apejuwe alaye pupọ ti Iṣakoso data, Didara data ati awọn ilana ti o jọmọ jẹ apejuwe daradara ninu iwe ti a pe "DAMA-DMBOK: Ẹgbẹ iṣakoso data: Ẹya keji". Mo ṣeduro iwe giga gaan bi ifihan si koko yii (iwọ yoo wa ọna asopọ si rẹ ni ipari nkan naa).

Itan mi

Ninu ile-iṣẹ IT, Mo ṣiṣẹ ọna mi lati ọdọ oluyẹwo Junior ni awọn ile-iṣẹ ọja si Onimọ-ẹrọ Didara Data Asiwaju ni EPAM. Lẹhin bii ọdun meji ti ṣiṣẹ bi oluyẹwo, Mo ni idalẹjọ ti o duro ṣinṣin pe Mo ti ṣe gbogbo awọn iru idanwo patapata: ipadasẹhin, iṣẹ ṣiṣe, aapọn, iduroṣinṣin, aabo, UI, ati bẹbẹ lọ - ati gbiyanju nọmba nla ti awọn irinṣẹ idanwo, nini nini ṣiṣẹ ni akoko kanna ni awọn ede siseto mẹta: Java, Scala, Python.

Ni wiwo pada, Mo loye idi ti iṣeto ọgbọn mi jẹ oniruuru-Mo ṣe alabapin ninu awọn iṣẹ akanṣe data, nla ati kekere. Eyi ni ohun ti o mu mi wá sinu aye ti ọpọlọpọ awọn irinṣẹ ati awọn anfani fun idagbasoke.

Lati ṣe riri fun ọpọlọpọ awọn irinṣẹ ati awọn anfani lati ni imọ ati imọ tuntun, kan wo aworan ni isalẹ, eyiti o fihan awọn olokiki julọ ni agbaye “Data & AI”.

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi
Iru apejuwe yii ni a ṣe akojọpọ lododun nipasẹ ọkan ninu awọn olokiki kapitalisimu afowopaowo Matt Turck, ti ​​o wa lati idagbasoke sọfitiwia. Nibi ọna asopọ si bulọọgi rẹ ati afowopaowo olu duro, nibiti o ti n ṣiṣẹ bi alabaṣepọ.

Mo ti dagba ni iṣẹ-ṣiṣe paapaa ni kiakia nigbati mo jẹ oluyẹwo nikan lori iṣẹ naa, tabi o kere ju ni ibẹrẹ ti iṣẹ naa. O jẹ ni iru akoko kan ti o ni lati wa ni oniduro fun gbogbo igbeyewo ilana, ati awọn ti o ni ko si anfani lati a padasehin, nikan siwaju. Ni akọkọ o jẹ ẹru, ṣugbọn ni bayi gbogbo awọn anfani ti iru idanwo kan han mi:

  • O bẹrẹ lati ṣe ibasọrọ pẹlu gbogbo ẹgbẹ bii ko ṣe ṣaaju, nitori ko si aṣoju fun ibaraẹnisọrọ: bẹni oluṣakoso idanwo tabi awọn oludanwo ẹlẹgbẹ.
  • Immersion ninu iṣẹ naa di jinlẹ ti iyalẹnu, ati pe o ni alaye nipa gbogbo awọn paati, mejeeji ni gbogbogbo ati ni awọn alaye.
  • Awọn olupilẹṣẹ ko wo ọ bi “eniyan yẹn lati ṣe idanwo ti ko mọ ohun ti o n ṣe,” ṣugbọn dipo bi dọgba ti o ṣe agbejade awọn anfani iyalẹnu fun ẹgbẹ naa pẹlu awọn idanwo adaṣe adaṣe rẹ ati ifojusona ti awọn idun ti o han ni paati kan pato ti ọja.
  • Bi abajade, o munadoko diẹ sii, oṣiṣẹ diẹ sii, ati diẹ sii ni ibeere.

Bi iṣẹ naa ti dagba, ni 100% ti awọn iṣẹlẹ Mo di olutọran fun awọn oludanwo titun, nkọ wọn ati gbigbe lori imọ ti mo ti kọ ara mi. Ni akoko kanna, da lori iṣẹ akanṣe, Emi ko nigbagbogbo gba ipele ti o ga julọ ti awọn alamọja idanwo adaṣe lati iṣakoso ati pe iwulo wa lati boya kọ wọn ni adaṣe (fun awọn ti o nifẹ) tabi ṣẹda awọn irinṣẹ fun lilo ninu awọn iṣẹ ojoojumọ (awọn irinṣẹ). fun ti o npese data ati ikojọpọ wọn sinu awọn eto , a ọpa fun ṣiṣe fifuye igbeyewo / iduroṣinṣin igbeyewo "ni kiakia", ati be be lo).

Apeere ti ise agbese kan pato

Laanu, nitori awọn adehun ti kii ṣe ifihan, Emi ko le sọrọ ni alaye nipa awọn iṣẹ akanṣe lori eyiti Mo ṣiṣẹ, ṣugbọn Emi yoo fun awọn apẹẹrẹ ti awọn iṣẹ-ṣiṣe aṣoju ti Onimọ-ẹrọ Didara Data lori ọkan ninu awọn iṣẹ akanṣe naa.

Koko-ọrọ ti iṣẹ akanṣe ni lati ṣe ipilẹ pẹpẹ kan fun igbaradi data fun awọn awoṣe ikẹkọ ẹrọ ikẹkọ ti o da lori rẹ. Onibara jẹ ile-iṣẹ elegbogi nla kan lati AMẸRIKA. Ni imọ-ẹrọ o jẹ iṣupọ Kubernetes, nyara si Aws EC2 awọn apẹẹrẹ, pẹlu ọpọlọpọ awọn iṣẹ microservices ati iṣẹ akanṣe Open Source ti EPAM - Ẹgbẹ pataki, fara si awọn aini ti kan pato onibara (bayi ise agbese ti a ti atunbi sinu odahu). Awọn ilana ETL ti ṣeto ni lilo Afun Afẹfẹ ati ki o gbe data lati Titaja onibara awọn ọna šiše ni Aws S3 Awọn garawa. Nigbamii ti, aworan Docker kan ti awoṣe ikẹkọ ẹrọ ni a gbe sori pẹpẹ, eyiti o jẹ ikẹkọ lori data tuntun ati, ni lilo wiwo API REST, ṣe awọn asọtẹlẹ ti o nifẹ si iṣowo naa ati yanju awọn iṣoro kan pato.

Ni oju, ohun gbogbo dabi nkan bi eyi:

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi
Ọpọlọpọ awọn idanwo iṣẹ ṣiṣe wa lori iṣẹ akanṣe yii, ati fun iyara ti idagbasoke ẹya ati iwulo lati ṣetọju iyara ti ọna itusilẹ (sprints ọsẹ meji), o jẹ dandan lati ronu lẹsẹkẹsẹ nipa adaṣe adaṣe ti awọn paati pataki julọ ti eto. Pupọ julọ pẹpẹ ti o da lori Kubernetes funrararẹ ni aabo nipasẹ awọn adaṣe adaṣe ti a ṣe imuse ninu Ilana Robot + Python, ṣugbọn o tun jẹ pataki lati ṣe atilẹyin ati faagun wọn. Ni afikun, fun irọrun ti alabara, GUI ti ṣẹda lati ṣakoso awọn awoṣe ikẹkọ ẹrọ ti a fi ranṣẹ si iṣupọ, bakanna bi agbara lati ṣalaye ibiti ati ibiti data nilo lati gbe fun ikẹkọ awọn awoṣe. Ipilẹṣẹ nla yii jẹ imugboroja ti idanwo adaṣe adaṣe, eyiti a ṣe pupọ julọ nipasẹ awọn ipe API REST ati nọmba kekere ti awọn idanwo UI ipari-2-opin. Ni ayika equator ti gbogbo gbigbe yii, a darapọ mọ nipasẹ oluyẹwo afọwọṣe ti o ṣe iṣẹ ti o dara julọ pẹlu idanwo gbigba ti awọn ẹya ọja ati ibaraẹnisọrọ pẹlu alabara nipa gbigba itusilẹ atẹle. Ni afikun, nitori dide ti alamọja tuntun, a ni anfani lati ṣe akosile iṣẹ wa ati ṣafikun ọpọlọpọ awọn sọwedowo afọwọṣe pataki pupọ ti o nira lati ṣe adaṣe lẹsẹkẹsẹ.

Ati nikẹhin, lẹhin ti a ni iduroṣinṣin lati pẹpẹ ati afikun GUI lori rẹ, a bẹrẹ kikọ awọn opo gigun ti ETL ni lilo Apache Airflow DAGs. Ṣiṣayẹwo didara data aifọwọyi ni a ṣe nipasẹ kikọ awọn DAG Airflow pataki ti o ṣayẹwo data ti o da lori awọn abajade ti ilana ETL. Gẹgẹbi apakan ti iṣẹ akanṣe yii, a ni orire ati pe alabara fun wa ni iraye si awọn eto data ailorukọ lori eyiti a ṣe idanwo. A ṣayẹwo laini data nipasẹ laini fun ibamu pẹlu awọn oriṣi, wiwa data fifọ, nọmba lapapọ ti awọn igbasilẹ ṣaaju ati lẹhin, lafiwe ti awọn iyipada ti a ṣe nipasẹ ilana ETL fun apapọ, iyipada awọn orukọ iwe, ati awọn nkan miiran. Ni afikun, awọn sọwedowo wọnyi ni iwọn si awọn orisun data oriṣiriṣi, fun apẹẹrẹ, ni afikun si SalesForce, tun si MySQL.

Awọn sọwedowo didara data ikẹhin ti ṣe tẹlẹ ni ipele S3, nibiti wọn ti fipamọ ati ti ṣetan-lati-lo fun awọn awoṣe ikẹkọ ẹrọ ikẹkọ. Lati gba data lati faili CSV ti o kẹhin ti o wa lori garawa S3 ki o fọwọsi rẹ, koodu ti kọ ni lilo boto3 ibara.

Ibeere tun wa lati ọdọ alabara lati tọju apakan data naa sinu garawa S3 kan ati apakan si omiiran. Eyi tun nilo kikọ awọn sọwedowo afikun lati ṣayẹwo igbẹkẹle ti iru yiyan.

Iriri gbogbogbo lati awọn iṣẹ akanṣe miiran

Apeere ti atokọ gbogbogbo julọ ti awọn iṣẹ ṣiṣe ti ẹlẹrọ Didara Data kan:

  • Mura data idanwo (ti ko tọ ti o tobi kekere) nipasẹ ohun elo adaṣe kan.
  • Ṣe igbasilẹ eto data ti a pese silẹ si orisun atilẹba ati ṣayẹwo pe o ti ṣetan fun lilo.
  • Ṣe ifilọlẹ awọn ilana ETL fun sisẹ data kan lati ibi ipamọ orisun si ipari tabi ibi ipamọ agbedemeji nipa lilo awọn eto kan (ti o ba ṣeeṣe, ṣeto awọn aye atunto fun iṣẹ ETL).
  • Ṣe idaniloju data ti o ṣiṣẹ nipasẹ ilana ETL fun didara rẹ ati ibamu pẹlu awọn ibeere iṣowo.

Ni akoko kanna, idojukọ akọkọ ti awọn sọwedowo yẹ ki o jẹ kii ṣe lori otitọ pe ṣiṣan data ninu eto naa ni, ni ipilẹ, ṣiṣẹ ati ti pari (eyiti o jẹ apakan ti idanwo iṣẹ), ṣugbọn pupọ julọ lori ṣayẹwo ati ijẹrisi data fun ibamu pẹlu awọn ibeere ti a ti ṣe yẹ, idamo anomalies ati awọn ohun miiran.

Awọn irin-iṣẹ

Ọkan ninu awọn imọ-ẹrọ fun iru iṣakoso data le jẹ iṣeto ti awọn sọwedowo pq ni ipele kọọkan ti sisẹ data, eyiti a pe ni “ẹwọn data” ninu awọn iwe - iṣakoso data lati orisun si aaye ti lilo ikẹhin. Awọn iru awọn sọwedowo wọnyi ni igbagbogbo ni imuse nipasẹ ṣiṣe ayẹwo awọn ibeere SQL. O han gbangba pe iru awọn ibeere yẹ ki o jẹ iwuwo bi o ti ṣee ṣe ki o ṣayẹwo awọn ege kọọkan ti didara data (metadata tabili, awọn laini òfo, NULLs, Awọn aṣiṣe ni sintasi - awọn abuda miiran ti o nilo fun ṣiṣe ayẹwo).

Ninu ọran ti idanwo ifasilẹyin, eyiti o nlo awọn ipilẹ data ti a ti ṣetan (aiṣe iyipada, iyipada diẹ), koodu autotest le fipamọ awọn awoṣe ti a ti ṣetan fun ṣiṣe ayẹwo data fun ibamu pẹlu didara (awọn apejuwe ti metadata tabili ti o nireti; awọn ohun apẹẹrẹ awọn ila ti o le jẹ ti a yan laileto lakoko idanwo, ati bẹbẹ lọ).

Paapaa, lakoko idanwo, o ni lati kọ awọn ilana idanwo ETL ni lilo awọn ilana bii Apache Airflow, Agbejade Afun tabi paapaa ọpa iru awọsanma dudu-apoti GCP Dataprep, GCP data sisan Ati bẹbẹ lọ. Ipo yii fi agbara mu ẹlẹrọ idanwo lati fi ararẹ sinu awọn ipilẹ ti iṣẹ ti awọn irinṣẹ ti o wa loke ati paapaa ni imunadoko ni awọn mejeeji ṣe idanwo iṣẹ (fun apẹẹrẹ, awọn ilana ETL ti o wa tẹlẹ lori iṣẹ akanṣe kan) ati lo wọn lati ṣayẹwo data. Ni pataki, Apache Airflow ni awọn oniṣẹ ti o ti ṣetan fun ṣiṣẹ pẹlu awọn apoti isura infomesonu olokiki, fun apẹẹrẹ GCP BigQuery. Apẹẹrẹ ipilẹ julọ ti lilo rẹ ti ṣe ilana tẹlẹ nibi, nitorina Emi kii yoo tun ara mi ṣe.

Yato si awọn solusan ti a ti ṣetan, ko si ẹnikan ti o ṣe idiwọ fun ọ lati ṣe awọn ilana ati awọn irinṣẹ tirẹ. Eyi kii yoo ṣe anfani nikan fun iṣẹ akanṣe naa, ṣugbọn tun fun Onimọ-ẹrọ Didara Data funrararẹ, tani yoo mu ilọsiwaju awọn iwoye imọ-ẹrọ rẹ ati awọn ọgbọn ifaminsi.

Bii o ṣe n ṣiṣẹ lori iṣẹ akanṣe gidi kan

Apejuwe ti o dara ti awọn paragi ti o kẹhin nipa “ẹwọn data”, ETL ati awọn sọwedowo ibi gbogbo jẹ ilana atẹle lati ọkan ninu awọn iṣẹ akanṣe gidi:

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

Nibi, ọpọlọpọ awọn data (nipa ti ara, ti a pese sile nipasẹ wa) tẹ titẹ sii “funnel” ti eto wa: wulo, aiṣedeede, adalu, bbl, lẹhinna wọn ti yo ati pari ni ibi ipamọ agbedemeji, lẹhinna wọn tun faragba lẹsẹsẹ awọn iyipada. ati pe a gbe sinu ibi ipamọ ikẹhin, lati eyiti, lapapọ, awọn atupale, awọn ile-iṣẹ data ile ati wiwa awọn oye iṣowo yoo ṣee ṣe. Ninu iru eto, laisi ṣiṣe ayẹwo iṣẹ ṣiṣe ti awọn ilana ETL, a dojukọ didara data ṣaaju ati lẹhin awọn iyipada, ati lori abajade si awọn itupalẹ.

Lati ṣe akopọ eyi ti o wa loke, laibikita awọn aaye nibiti Mo ti ṣiṣẹ, nibikibi ti Mo ti kopa ninu awọn iṣẹ akanṣe Data ti o pin awọn ẹya wọnyi:

  • Nipasẹ adaṣe nikan o le ṣe idanwo awọn ọran kan ki o ṣaṣeyọri ọmọ itusilẹ itẹwọgba si iṣowo naa.
  • Oluyẹwo lori iru iṣẹ akanṣe kan jẹ ọkan ninu awọn ọmọ ẹgbẹ ti o bọwọ julọ, bi o ṣe mu awọn anfani nla wa si ọkọọkan awọn olukopa (isare ti idanwo, data ti o dara lati ọdọ Onimọ-jinlẹ data, idanimọ awọn abawọn ni awọn ipele ibẹrẹ).
  • Ko ṣe pataki boya o ṣiṣẹ lori ohun elo tirẹ tabi ninu awọn awọsanma - gbogbo awọn orisun ni a fa sinu iṣupọ gẹgẹbi Hortonworks, Cloudera, Mesos, Kubernetes, ati bẹbẹ lọ.
  • Awọn iṣẹ akanṣe ti wa ni itumọ ti lori ọna microservice, pinpin ati iširo ti o jọra bori.

Emi yoo fẹ lati ṣe akiyesi pe nigba ṣiṣe idanwo ni aaye Didara Data, alamọja idanwo kan yi idojukọ ọjọgbọn rẹ si koodu ọja ati awọn irinṣẹ ti a lo.

Awọn ẹya iyasọtọ ti Idanwo Didara Data

Ni afikun, fun ara mi, Mo ti ṣe idanimọ atẹle naa (Emi yoo ṣe ifiṣura lẹsẹkẹsẹ pe wọn jẹ gbogboogbo pupọ ati iyasọtọ ti ara ẹni) awọn ẹya iyasọtọ ti idanwo ni awọn iṣẹ akanṣe Data (Big Data) (awọn eto) ati awọn agbegbe miiran:

Oluyẹwo data nla ati kekere: awọn aṣa, ilana, itan mi

wulo awọn ọna asopọ

  1. Ilana: DAMA-DMBOK: Data Management Ara imo: 2nd Edition.
  2. Ile-iṣẹ ikẹkọ EPAM 
  3. Awọn ohun elo ti a ṣe iṣeduro fun ibẹrẹ ẹlẹrọ Didara Data:
    1. Ẹkọ ọfẹ lori Stepik: Ifihan si awọn apoti isura infomesonu
    2. Ẹkọ lori Ikẹkọ LinkedIn: Awọn ipilẹ Imọ-jinlẹ data: Imọ-ẹrọ Imọ-ẹrọ.
    3. Awọn nkan:
    4. Fidio:

ipari

Didara Didara jẹ itọsọna ti o ni ileri ti ọdọ pupọ, lati jẹ apakan eyiti o tumọ si lati jẹ apakan ti ibẹrẹ kan. Ni ẹẹkan ni Didara Data, iwọ yoo baptisi ni nọmba nla ti igbalode, awọn imọ-ẹrọ ibeere, ṣugbọn pataki julọ, awọn aye nla yoo ṣii fun ọ lati ṣe agbekalẹ ati imuse awọn imọran rẹ. Iwọ yoo ni anfani lati lo ọna ilọsiwaju lemọlemọfún kii ṣe lori iṣẹ akanṣe nikan, ṣugbọn fun ararẹ paapaa ni idagbasoke nigbagbogbo bi alamọja.

orisun: www.habr.com

Fi ọrọìwòye kun