Dia duit gach duine, Alexander is ainm dom, agus is Innealtóir Cáilíochta Sonraí mé a sheiceálann sonraí le haghaidh cáilíochta. Labhróidh an t-alt seo faoi conas a tháinig mé chuige seo agus cén fáth in 2020 go raibh an réimse tástála seo ar suaitheantas toinne.
treocht dhomhanda
Tá réabhlóid teicneolaíochta eile ag dul i bhfeidhm ar domhan an lae inniu, gné amháin de seo ná an úsáid a bhaineann gach cineál cuideachtaí as sonraí carntha chun a rothlú díolacháin féin, brabús agus caidreamh poiblí a chasadh. Dealraíonn sé gurb é infhaighteacht sonraí maithe (cáilíochta), chomh maith le brains sciliúla is féidir airgead a dhéanamh astu (próiseáil i gceart, léirshamhlú, tógáil samhlacha meaisínfhoghlama, etc.), tar éis éirí an eochair do rath do go leor inniu. Más rud é 15-20 bliain ó shin, bhí cuideachtaí móra ag gabháil go príomha d'obair dhian le carnadh sonraí agus a gcuid airgeadú, inniu is é seo an líon daoine beagnach gach duine ciallmhar.
Maidir leis seo, cúpla bliain ó shin, thosaigh na tairseacha cuardaigh poist go léir ar fud an domhain ag cur thar maoil le folúntais Eolaithe Sonraí, toisc go raibh gach duine cinnte, trí speisialtóir den sórt sin a fháil ar a bhfoireann, go bhféadfadh siad supermodel meaisínfhoghlama a thógáil, an todhchaí a thuar. agus "léim chandamach" a dhéanamh don chuideachta. Le himeacht ama, thuig daoine nach n-oibríonn an cur chuige seo beagnach riamh, ós rud é go bhfuil na sonraí go léir a thagann isteach i lámha speisialtóirí den sórt sin oiriúnach do mhúnlaí oiliúna i bhfad.
Agus cuireadh tús le hiarratais ó Eolaithe Sonraí: “Ceannaímid níos mó sonraí uathu seo agus uathu sin…”, “Níl go leor sonraí againn…”, “Tá níos mó sonraí de dhíth orainn agus b’fhearr linn ardcháilíocht…”. Bunaithe ar na hiarratais seo, tosaíodh ar idirghníomhaíochtaí iomadúla a thógáil idir cuideachtaí a bhfuil tacar sonraí amháin nó tacar eile acu. Ar ndóigh, d'éiligh sé seo eagraíocht theicniúil an phróisis seo - chun ceangal leis an bhfoinse sonraí, iad a íoslódáil, seiceáil go bhfuil siad luchtaithe ina n-iomláine, etc. Thosaigh líon na bpróiseas den sórt sin ag fás, agus inniu tá gá ollmhór againn le cineál eile. de speisialtóirí - Innealtóirí Cáilíochta Sonraí - iad siúd a dhéanfadh monatóireacht ar an sreabhadh sonraí sa chóras (píblínte sonraí), cáilíocht na sonraí ag an ionchur agus aschuir, a tharraingeodh conclúidí faoina leordhóthanacht, a sláine agus a saintréithe eile.
Tháinig an treocht maidir le Cáilíocht Sonraí na n-innealtóirí chugainn ó na Stáit Aontaithe Mheiriceá, áit i lár ré raging an chaipitleachais, níl aon duine réidh chun an cath le haghaidh sonraí a chailleadh. Anseo thíos tá scáileáin scáileáin curtha ar fáil agam ó dhá cheann de na suíomhanna cuardaigh fostaíochta is mó tóir i SAM: и - a thaispeánann sonraí amhail an 17 Márta 2020 maidir le líon na bhfolúntas postáilte a fuarthas, do na heochairfhocail: Cáilíocht Sonraí agus Eolaí Sonraí.
Eolaithe Sonraí – 21416 folúntas
Cáilíocht Sonraí – 41104 folúntas
Eolaithe Sonraí – 404 folúntas
Cáilíocht Sonraí - folúntais 2020
Ar ndóigh, ní théann na gairmeacha seo in iomaíocht lena chéile ar bhealach ar bith. Le scáileáin scáileáin, níor theastaigh uaim ach an staid reatha sa mhargadh saothair a léiriú i dtéarmaí iarratais ar innealtóirí Cáilíochta Sonraí, a bhfuil i bhfad níos mó ag teastáil uathu anois ná mar a bhí ag Eolaithe Sonraí.
I mí an Mheithimh 2019, shonraigh EPAM, ag freagairt do riachtanais an mhargaidh TF nua-aimseartha, Cáilíocht Sonraí mar chleachtas ar leith. Déanann Innealtóirí Cáilíochta Sonraí le linn a gcuid oibre laethúil sonraí a bhainistiú, seiceáil a iompraíocht i gcoinníollacha agus córais nua, rialaíonn ábharthacht sonraí, a leordhóthanacht agus a ábharthacht. Leis seo go léir, sa chiall phraiticiúil, ní chaitheann innealtóirí Cáilíochta Sonraí mórán ama ar thástáil fheidhmiúil clasaiceach, ACH braitheann sé go mór ar an tionscadal (tabharfaidh mé sampla thíos).
Níl dualgais Innealtóra Cáilíochta Sonraí teoranta do ghnáthsheiceálacha láimhe/uathoibríocha le haghaidh “nulls, comhaireamh agus suimeanna” i dtáblaí bunachair shonraí, ach teastaíonn tuiscint dhomhain ar riachtanais ghnó an chustaiméara agus, dá réir sin, an cumas na sonraí atá ar fáil a athrú ina sonraí. faisnéis ghnó inúsáidte.
Teoiric Cáilíochta Sonraí
Chun ról innealtóra den sórt sin a shamhlú go hiomlán, déanaimis a dhéanamh amach cad é Cáilíocht Sonraí go teoiriciúil.
Cáilíocht Sonraí - ceann de na céimeanna Bainistíochta Sonraí (an domhan ar fad a fhágfaimid chugat le haghaidh staidéir neamhspleách) agus tá sé freagrach as anailís a dhéanamh ar shonraí de réir na gcritéar seo a leanas:
Sílim nach fiú gach ceann de na pointí a mhíniú (go teoiriciúil tugtar “toisí sonraí”), tá cur síos sách maith orthu sa phictiúr. Ach ní thugann an próiseas tástála féin cóipeáil dhian ar na gnéithe seo isteach i gcásanna tástála agus a bhfíorú. I gCáilíocht Sonraí, mar atá in aon chineál tástála eile, is gá, ar an gcéad dul síos, tógáil ar riachtanais cháilíochta sonraí a comhaontaíodh le rannpháirtithe tionscadail a dhéanann cinntí gnó.
Ag brath ar an tionscadal um Cháilíocht Sonraí, is féidir le hinnealtóir feidhmeanna éagsúla a chomhlíonadh: ó ghnáth-tástálaí-uathoibríoch le measúnú dromchla ar cháilíocht sonraí go duine a dhéanann a phróifíliú domhain de réir na gcritéar thuas.
Tá cur síos an-mhionsonraithe ar Bhainistíocht Sonraí, ar Cháilíocht Sonraí agus ar phróisis ghaolmhara i leabhar ar a dtugtar "DAMA-DMBOK: Comhlacht Faisnéise Bainistíochta Sonraí: 2ú hEagrán". Molaim an leabhar seo go mór mar réamhrá ar an ábhar seo (gheobhaidh tú nasc chuige ag deireadh an ailt).
Mo scéal
Sa tionscal TF, d'imigh mé ó Sóisearach QA i gcuideachtaí táirgí go dtí Príomhinnealtóir Cáilíochta Sonraí ag EPAM. Tar éis thart ar dhá bhliain mar thástálaí, bhí a chiontú go daingean agam go ndearna mé go hiomlán gach cineál tástála: aischéimniú, feidhmiúil, strus, cobhsaíocht, slándáil, UI, etc. - agus bhain mé triail as líon mór uirlisí tástála, tar éis dom a bheith ag obair agus mé i mbun oibre. trí theanga ríomhchlárúcháin: Java, Scala, Python.
Ag breathnú siar, tuigim cén fáth a bhfuil mo fhoireann scileanna chomh éagsúil - bhí mé páirteach i dtionscadail sonraí, idir bheag agus mhór. Is é seo a thug isteach go leor uirlisí agus deiseanna fáis mé isteach sa saol.
Chun meas a bheith agat ar éagsúlacht na n-uirlisí agus na deiseanna chun eolas agus scileanna nua a fháil, níl le déanamh ach breathnú ar an bpictiúr thíos, a thaispeánann an ceann is mó tóir orthu i saol na "Sonraí & AI".
Táirgeann duine de na caipitlithe fiontair aitheanta Matt Turck, arbh as forbairt bogearraí é an léaráid seo gach bliain. Anseo chuig a bhlag agus áit a n-oibríonn sé mar chomhpháirtí.
D'fhás mé go gairmiúil go háirithe go tapa nuair a bhí mé ar an tástálaí amháin ar thionscadal, nó ar a laghad ag tús tionscadail. Is ag an nóiméad seo a chaithfidh tú a bheith freagrach as an bpróiseas tástála ar fad, agus níl aon deis agat cúlú, ach ar aghaidh. Ar dtús bhí sé scanrúil, ach anois is léir dom na buntáistí a bhaineann le tástáil den sórt sin:
- Tosaíonn tú ag cumarsáid leis an bhfoireann ar fad mar nach raibh riamh cheana, ós rud é nach bhfuil aon seachvótálaí ann don chumarsáid: ná bainisteoir na trialach ná na tástálaithe eile.
- Éiríonn an tumoideachas sa tionscadal thar a bheith domhain, agus tá faisnéis agat faoi na comhpháirteanna go léir go ginearálta agus go mion.
- Ní fhéachann forbróirí ort mar “an fear tástála sin nach bhfuil a fhios aige cad atá á dhéanamh aige”, ach mar chomhionann, a tháirgeann luach dochreidte don fhoireann lena chuid uaththástálacha agus a réamh-mheas ar fhabhtanna i nód táirge áirithe.
- Mar thoradh air sin, tá tú níos éifeachtaí, níos cáilithe, níos mó éileamh.
De réir mar a d'fhás an tionscadal, i 100% de na cásanna rinneadh meantóir do thástálaithe nua dom, a tháinig chuige, a mhúin iad agus a chuir ar aghaidh an t-eolas a bhí foghlamtha agam féin. Ag an am céanna, ag brath ar an tionscadal, ní bhfuair mé an leibhéal is airde de speisialtóirí tástála carranna ón mbainistíocht i gcónaí agus bhí gá le hoiliúint a chur orthu in uathoibriú (dóibh siúd ar mian leo), nó uirlisí a chruthú le húsáid acu. i ngníomhaíochtaí laethúla (uirlisí chun sonraí a ghiniúint agus a luchtú isteach sa chóras , uirlis chun tástáil ualaigh/tástáil chobhsaíochta thapa a dhéanamh, etc.).
Sampla de thionscadal ar leith
Ar an drochuair, mar gheall ar oibleagáidí neamhnochta, ní féidir liom labhairt go mion faoi na tionscadail ar oibrigh mé orthu, ach tabharfaidh mé samplaí de thascanna tipiciúil Innealtóra Cáilíochta Sonraí ar cheann de na tionscadail.
Is é croílár an tionscadail ardán a chur i bhfeidhm chun sonraí a ullmhú le haghaidh oiliúna bunaithe ar mhúnlaí meaisínfhoghlama. Cuideachta mhór chógaisíochta ó SAM ba ea an custaiméir. Go teicniúil bhí sé ina bhraisle ag ardú go cásanna, le roinnt micriseirbhísí agus an tionscadal Foinse Oscailte bunúsach ó EPAM - , in oiriúint do riachtanais an chustaiméara ar leith (anois tá an tionscadal curtha isteach arís ). Eagraíodh próisis ETL ag baint úsáide as agus bhog sé sonraí ó córais chustaiméirí i buicéid. Ansin, cuireadh íomhá docker de mhúnla meaisínfhoghlama chuig an ardán, a cuireadh oiliúint ar shonraí úra agus, ag baint úsáide as comhéadan REST API, eisíodh tuar a raibh spéis ag an ngnóthas iontu agus a réitigh fadhbanna sonracha.
Ó thaobh amhairc, d'fhéach sé rud éigin mar seo:
Bhí neart tástála feidhmiúla ar an tionscadal seo, agus i bhfianaise luas na forbartha gné agus an gá atá le luas an timthriall scaoilte a choinneáil (sprints coicíse), b'éigean smaoineamh láithreach ar thástáil uathoibrithe na nóid chórais is tábhachtaí. . Bhí an chuid is mó den ardán Kubernetes-bhunaithe féin clúdaithe ag uathtástálacha a cuireadh i bhfeidhm ar + Python, ach ba ghá iad a thacú agus a leathnú freisin. Ina theannta sin, ar mhaithe le háisiúlacht an chustaiméara, cruthaíodh GUI chun samhlacha meaisínfhoghlama a imscartar chuig an mbraisle a bhainistiú, chomh maith leis an gcumas a shonrú cén áit agus cén áit ar cheart sonraí a aistriú le haghaidh oiliúint mhúnla. Chuimsigh an breisiú fairsing seo leathnú ar sheiceálacha feidhme uathoibrithe, a rinneadh den chuid is mó trí ghlaonna REST API agus líon beag tástálacha UI deireadh 2-deireadh. Timpeall meánchiorcal na gluaiseachta iomláin seo, tháinig tástálaí láimhe isteach linn, a rinne jab iontach le tástáil glactha ar leaganacha táirge agus cumarsáid a dhéanamh leis an gcustaiméir maidir le glacadh leis an gcéad scaoileadh eile. Ina theannta sin, mar gheall ar theacht speisialtóir nua, bhíomar in ann ár gcuid oibre a dhoiciméadú agus roinnt seiceálacha láimhe an-tábhachtacha a chur leis a bhí deacair a uathoibriú láithreach.
Agus ar deireadh, tar éis dúinn cobhsaíocht a bhaint amach ón ardán agus an breiseán GUI os a chionn, thosaigh muid ag tógáil píblínte ETL ag baint úsáide as Apache Airflow DAGs. Rinneadh seiceáil uathoibrithe ar cháilíocht na sonraí trí DAGanna Airflow speisialta a scríobh a sheiceáil na sonraí bunaithe ar thorthaí an phróisis ETL. Mar chuid den tionscadal seo, bhí an t-ádh linn, agus thug an custaiméir rochtain dúinn ar thacair sonraí gan ainm, ar a ndearnamar tástáil. Rinneamar seiceáil ar na sonraí líne ar líne le haghaidh comhlíonadh cineáil, láithreacht sonraí briste, líon iomlán na dtaifead roimh agus tar éis, comparáid idir na claochluithe a rinne an próiseas ETL maidir le comhiomlánú, ag athrú ainmneacha colún, agus mar sin de. Ina theannta sin, rinneadh na seiceálacha seo a scála go foinsí sonraí éagsúla, mar shampla, i dteannta SalesForce, ar MySQL freisin.
Rinneadh na seiceálacha deiridh ar cháilíocht na sonraí cheana féin ag leibhéal S3, áit a raibh siad stóráilte agus i riocht réidh le húsáid chun samhlacha meaisínfhoghlama a thraenáil. Chun sonraí a fháil ón gcomhad CSV deiridh atá suite ar an S3 Bucket agus é a bhailíochtú, scríobhadh cód ag baint úsáide as .
Chomh maith leis sin ar thaobh an chustaiméara bhí ceanglas cuid de na sonraí a stóráil i gceann Buicéad S3, agus cuid eile. D'éiligh sé seo freisin seiceálacha breise a scríobh a rialaíonn iontaofacht sórtála den sórt sin.
Taithí ghinearálaithe ar thionscadail eile
Sampla den liosta gníomhaíochtaí is ginearálta atá ag innealtóir um Cháilíocht Sonraí:
- Ullmhaigh sonraí tástála (neamhbhailí neamhbhailí mór beag) trí uirlis uathoibrithe.
- Lódáil an tacar sonraí ullmhaithe isteach sa bhunfhoinse agus seiceáil a bhfuil sé ullamh lena úsáid.
- Seol próisis ETL chun tacar sonraí a phróiseáil ón stór foinse go dtí an ceann deiridh nó idirmheánach ag baint úsáide as sraith áirithe socruithe (más féidir, socraigh paraiméadair inchumraithe don tasc ETL).
- Na sonraí arna bpróiseáil ag an bpróiseas ETL a fhíorú maidir lena cháilíocht agus a chomhlíonadh le ceanglais ghnó.
Ag an am céanna, ba cheart go mbeadh príomhfhócas na seiceálacha ní hamháin ar an bhfíric gur oibrigh an sreabhadh sonraí sa chóras, i bprionsabal, amach agus gur shroich sé an deireadh (atá mar chuid de thástáil fheidhmiúil), ach den chuid is mó ar sheiceáil. agus sonraí a bhailíochtú maidir le comhlíonadh na gceanglas a bhfuiltear ag súil leo, aimhrialtachtaí agus rudaí eile a shainaithint.
Uirlisí
Ceann de na teicníochtaí le haghaidh rialú sonraí den sórt sin is féidir seiceálacha slabhra a eagrú ag gach céim den phróiseáil sonraí, an "slabhra sonraí" mar a thugtar air sa litríocht - rialú sonraí ón bhfoinse go dtí an pointe úsáide deiridh. Is minic a chuirtear seiceálacha den sórt sin i bhfeidhm trí cheisteanna bailíochtaithe SQL a scríobh. Is léir gur chóir go mbeadh fiosrúcháin den sórt sin chomh héadrom agus is féidir agus go seiceálann siad píosaí aonair de cháilíocht sonraí (meiteashonraí táblaí, línte bána, NULLanna, Earráidí sa chomhréir - tréithe eile a theastaíonn le seiceáil).
I gcás tástála cúlchéimnithe, a úsáideann tacair sonraí réidh-déanta (gan athrú, beagán athraithe), is féidir leis an gcód autotest teimpléid réamhdhéanta a stóráil chun sonraí a sheiceáil chun comhlíonadh cáilíochta a sheiceáil (cur síos ar mheiteashonraí na dtáblaí a bhfuiltear ag súil leo; teaghrán oibiachtaí samplacha is féidir a bheith ann). roghnaithe go randamach le linn na tástála, etc. ).
Chomh maith leis sin, le linn tástála, caithfidh tú próisis tástála ETL a scríobh ag baint úsáide as creataí mar Apache Airflow, nó fiú uirlis scamall dubh-bhosca cosúil le , Agus mar sin de. De bharr na himthosca seo, tumfaidh an t-innealtóir tástála isteach i bprionsabail oibríochta na n-uirlisí thuas agus níos éifeachtaí fós déanann sé tástáil fheidhmiúil (mar shampla, próisis ETL atá sa tionscadal) agus iad a úsáid chun sonraí a sheiceáil. Go háirithe, tá oibreoirí réidh-déanta ag Apache Airflow le bheith ag obair le bunachair shonraí anailíseacha a bhfuil tóir orthu, mar shampla . Tá an sampla is bunúsaí dá úsáid leagtha amach cheana féin. mar sin ní dhéanfaidh mé mé féin arís.
Chomh maith le réitigh réamhdhéanta, ní chuireann aon duine cosc ort do chuid teicnící agus uirlisí a chur i bhfeidhm. Beidh sé seo tairbheach ní hamháin don tionscadal, ach freisin don Innealtóir Cáilíochta Sonraí é féin, a fheabhsóidh a dearcadh teicniúil agus a scileanna códaithe dá réir.
Conas a oibríonn sé ar thionscadal fíor
Léiriú maith ar na hailt deiridh faoi "slabhra sonraí", ETL agus seiceálacha uileláithreach is ea an próiseas seo a leanas ó cheann de na fíorthionscadail:
Anseo, cuireann sonraí éagsúla (go nádúrtha, arna n-ullmhú againn) isteach "tonnadóir" ionchuir ár gcóras: bailí, neamhbhailí, measctha, etc., ansin déantar iad a scagadh agus dul isteach sa stóráil idirmheánach, ansin tá siad ag fanacht arís le sraith de claochluithe agus a chur sa stóráil deiridh , a bheidh, ar a seal , a úsáid le haghaidh Analytics , tógáil margaí sonraí agus cuardach le haghaidh léargais gnó . I gcóras den sórt sin, dírímid, gan obair phróisis ETL a sheiceáil go feidhmiúil, ar cháilíocht na sonraí roimh agus tar éis claochluithe, chomh maith leis an aschur chuig an anailísíocht.
Chun achoimre a dhéanamh ar an méid thuas, beag beann ar na háiteanna inar oibrigh mé, i ngach áit a raibh baint agam le tionscadail Sonraí a chuir na gnéithe seo a leanas le chéile:
- Is trí uathoibriú amháin is féidir roinnt cásanna a thástáil agus is féidir timthriall scaoilte atá inghlactha don ghnóthas a bhaint amach.
- Tá an tástálaí ar thionscadal den sórt sin ar cheann de na baill is mó meas ar an bhfoireann, toisc go dtugann sé buntáistí móra do gach ceann de na rannpháirtithe (luasghéarú ar thástáil, dea-sonraí Eolaí Sonraí, lochtanna a bhrath go luath).
- Is cuma má oibríonn tú ar do chrua-earraí féin nó sna scamaill - déantar na hacmhainní go léir a astarraingt i mbraisle mar Hortonworks, Cloudera, Mesos, Kubernetes, etc.
- Tógtar na tionscadail ar chur chuige micriseirbhíse, agus tá ríomhaireacht dáilte agus comhthreomhar i réim.
Tugaim faoi deara nuair a dhéantar tástáil i réimse na Cáilíochta Sonraí, go n-aistríonn tástálaí a fhócas gairmiúil chuig an gcód táirge agus na huirlisí a úsáidtear.
Sainghnéithe de Thástáil Cáilíochta Sonraí
Ina theannta sin, dom féin, tá na gnéithe seo a leanas aitheanta agam (déanfaidh mé áirithint láithreach AN-ghinearálaithe agus thar a bheith suibiachtúil) gnéithe sainiúla tástála i dtionscadail Sonraí (Sonraí Móra) (córais) agus i réimsí eile:
naisc úsáideacha
- Teoiric: .
- EPAM
- Ábhair a mholtar do thosaitheoirí Innealtóir Cáilíochta Sonraí:
- Cúrsa saor in aisce ar Stepik: .
- Cúrsa ar Fhoghlaim LinkedIn: .
- Ailt:
- ;
- ;
- ;
- Físeán:
- ;
- ;
Conclúid
Cáilíocht Sonraí is treo an-óg gealtach é, agus le bheith mar chuid de ciallaíonn sé a bheith mar chuid de ghnólacht nuathionscanta. Nuair a bheidh tú i gCáilíocht Sonraí, rachaidh tú isteach i líon mór teicneolaíochtaí nua-aimseartha ar a bhfuil éileamh, ach níos tábhachtaí fós, beidh deiseanna ollmhóra agat chun do chuid smaointe a ghiniúint agus a chur i bhfeidhm. Beidh tú in ann an cur chuige maidir le feabhsú leanúnach a úsáid, ní hamháin ar an tionscadal, ach freisin duit féin, ag forbairt go leanúnach mar speisialtóir.
Foinse: will.com