Halo a h-uile duine, is e m ’ainm Alexander, agus tha mi nam Einnseanair Càileachd Dàta a bhios a’ sgrùdadh dàta airson càileachd. Bruidhnidh an artaigil seo air mar a thàinig mi gu seo agus carson ann an 2020 bha an raon deuchainn seo air suaicheantas tonn.
gluasad cruinneil
Tha saoghal an latha an-diugh a’ faighinn eòlas air tionndadh teicneòlach eile, agus is e aon taobh dheth a bhith a’ cleachdadh dàta cruinnichte leis a h-uile seòrsa companaidh gus an cuibhle reic aca fhèin de reic, prothaidean agus PR a shnìomh. Tha e coltach gur e na tha ri fhaighinn de dhàta math (càileachd), a bharrachd air brains sgileil as urrainn airgead a dhèanamh bhuapa (pròiseas ceart, sealladh, togail modalan ionnsachaidh inneal, msaa), air fàs gu bhith na phrìomh dhòigh air soirbheachas dha mòran an-diugh. Nam biodh 15-20 bliadhna air ais, bha companaidhean mòra gu mòr an sàs ann an obair dhian le cruinneachadh dàta agus an airgead aca, an-diugh is e seo tòrr cha mhòr a h-uile duine ciallach.
A thaobh seo, beagan bhliadhnaichean air ais, thòisich a h-uile portal sgrùdaidh obrach air feadh an t-saoghail a ’dol thairis air dreuchdan bàna Luchd-saidheans Dàta, leis gu robh a h-uile duine cinnteach le bhith a’ faighinn a leithid de eòlaiche air an luchd-obrach aca, gum faodadh iad supermodel de ionnsachadh inneal a thogail, ro-innse an àm ri teachd. agus dèan "leum quantum" airson a 'chompanaidh. Thar ùine, thuig daoine nach eil an dòigh-obrach seo cha mhòr a-riamh ag obair, leis gu bheil an dàta gu lèir a tha ann an làmhan eòlaichean mar sin freagarrach airson modalan trèanaidh.
Agus thòisich iarrtasan bho Luchd-saidheans Dàta: “Ceannaichidh sinn barrachd dàta bhuapa agus an fheadhainn sin…”, “Chan eil dàta gu leòr againn…”, “Tha feum againn air barrachd dàta agus is fheàrr leinn càileachd àrd…”. Stèidhichte air na h-iarrtasan sin, thòisich grunn eadar-obrachaidhean air an togail eadar companaidhean aig a bheil sealbh air seata dàta no dhà. Gu nàdarra, dh'fheumadh seo eagrachadh teignigeach a 'phròiseis seo - gus ceangal ris an stòr dàta, an luchdachadh sìos, dèanamh cinnteach gu bheil iad air an luchdachadh gu h-iomlan, msaa. de eòlaichean - innleadairean Càileachd Dàta - an fheadhainn a bhiodh a’ cumail sùil air sruthadh dàta san t-siostam (pìoban dàta), càileachd an dàta aig an cuir a-steach agus an toradh, a’ tighinn gu co-dhùnaidhean mu am iomchaidheachd, ionracas agus feartan eile.
Thàinig an gluasad airson Càileachd Dàta innleadairean thugainn bho na SA, far nach eil duine ann am meadhan àm borb calpachas, deiseil airson am blàr airson dàta a chall. Gu h-ìosal tha mi air seallaidhean-sgrìn a thoirt seachad bho dhà de na làraich rannsachaidh obrach as mòr-chòrdte anns na SA: и - a sheallas dàta mar 17 Màrt 2020 air an àireamh de dhreuchdan bàna a fhuaireadh, airson na prìomh fhaclan: Càileachd Dàta agus Neach-saidheans Dàta.
Luchd-saidheans Dàta - 21416 dreuchdan bàn
Càileachd an dàta - 41104 dreuchdan bàna
Luchd-saidheans dàta - 404 dreuchd bàn
Càileachd Dàta - dreuchdan bàna 2020
Gu dearbh, chan eil na proifeasanan sin a’ farpais ri chèile ann an dòigh sam bith. Le seallaidhean-sgrìn, bha mi dìreach airson an suidheachadh làithreach sa mhargaidh obrach a nochdadh a thaobh iarrtasan airson innleadairean Càileachd Dàta, air a bheil tòrr feum a-nis na luchd-saidheans dàta.
San Ògmhios 2019, chomharraich EPAM, a’ freagairt air feumalachdan a’ mhargaidh IT ùr-nodha, Càileachd Dàta mar chleachdadh air leth. Bidh Einnseanairean Càileachd Dàta nan obair làitheil a’ riaghladh dàta, a’ cumail sùil air a ghiùlan ann an suidheachaidhean agus siostaman ùra, a’ cumail smachd air iomchaidheachd dàta, cho math sa tha e agus iomchaidheachd. Leis a h-uile càil seo, ann an dòigh phractaigeach, chan eil innleadairean Càileachd Dàta dha-rìribh a’ caitheamh mòran ùine airson deuchainn gnìomh clasaigeach, ACH tha e gu mòr an urra ris a’ phròiseact (bheir mi eisimpleir gu h-ìosal).
Chan eil dleastanasan Einnseanair Càileachd Dàta cuingealaichte ri sgrùdaidhean làimhe / fèin-ghluasadach àbhaisteach airson “nulls, cunntadh agus suimean” ann an clàran stòr-dàta, ach feumaidh iad tuigse dhomhainn air feumalachdan gnìomhachais an neach-ceannach agus, a rèir sin, an comas an dàta a tha ri fhaighinn a thionndadh gu bhith na fiosrachadh gnìomhachais a ghabhas cleachdadh.
Teòiridh càileachd dàta
Gus làn shamhla a dhèanamh air àite innleadair mar sin, leig dhuinn a-mach dè a th’ ann an Càileachd Dàta ann an teòiridh.
Càileachd Dàta - aon de na h-ìrean de Riaghladh Dàta (an saoghal gu lèir a dh’ fhàgas sinn dhut airson sgrùdadh neo-eisimeileach) agus tha e an urra ri mion-sgrùdadh dàta a rèir nan slatan-tomhais a leanas:
Tha mi a 'smaoineachadh nach fhiach a bhith a' mìneachadh gach aon de na puingean (ann an teòiridh canar "tomhasan dàta"), tha iad air am mìneachadh gu math san dealbh. Ach chan eil am pròiseas deuchainn fhèin a’ ciallachadh gum bi leth-bhreac teann de na feartan sin ann an cùisean deuchainn agus an dearbhadh. Ann an Càileachd Dàta, mar ann an seòrsa deuchainn sam bith eile, feumar, an toiseach, togail air riatanasan càileachd dàta a chaidh aontachadh le com-pàirtichean pròiseict a bhios a’ dèanamh cho-dhùnaidhean gnìomhachais.
A rèir a’ phròiseict Càileachd Dàta, faodaidh innleadair diofar dhleastanasan a choileanadh: bho neach-deuchainn-automator àbhaisteach le measadh uachdarach air càileachd dàta gu neach a nì am pròifil domhainn a rèir nan slatan-tomhais gu h-àrd.
Tha tuairisgeul fìor mhionaideach air Riaghladh Dàta, Càileachd Dàta agus pròiseasan co-cheangailte air a mhìneachadh gu math ann an leabhar ris an canar "DAMA-DMBOK: Buidheann Eòlais Riaghladh Dàta: 2na deasachadh". Tha mi gu mòr a’ moladh an leabhair seo mar ro-ràdh don chuspair seo (gheibh thu ceangal thuige aig deireadh an artaigil).
Mo sgeulachd
Anns a’ ghnìomhachas IT, tha mi air a dhol bho Junior QA ann an companaidhean toraidh gu Prìomh Einnseanair Càileachd Dàta aig EPAM. Às deidh timcheall air dà bhliadhna mar neach-deuchainn, bha dearbhadh làidir agam gun do rinn mi a h-uile seòrsa deuchainn: ais-tharraing, gnìomh, cuideam, seasmhachd, tèarainteachd, UI, msaa - agus dh’ fheuch mi grunn innealan deuchainn, às deidh dhomh a bhith ag obair fhad ‘s a bha mi ann. trì cànanan prògramaidh: Java, Scala, Python.
A 'coimhead air ais, tha mi a' tuigsinn carson a tha an seata sgilean agam air a bhith cho eadar-mheasgte - tha mi air a bhith an sàs ann am pròiseactan dàta, mòr is beag. Is e seo a thug mi a-steach don t-saoghal le tòrr innealan agus chothroman airson fàs.
Gus meas a thoirt air na diofar innealan agus chothroman airson eòlas agus sgilean ùra fhaighinn, dìreach coimhead air an dealbh gu h-ìosal, a tha a 'sealltainn an fheadhainn as mòr-chòrdte dhiubh ann an saoghal "Dàta & AI".
Tha an seòrsa seo de dhealbh air a thoirt a-mach gach bliadhna le fear den luchd-calpa iomairt ainmeil Matt Turck, a bhuineas do leasachadh bathar-bog. Seo dhan bhlog aige agus far a bheil e ag obair mar chom-pàirtiche.
Dh'fhàs mi gu proifeasanta gu sònraichte luath nuair a bha mi mar an aon neach-dearbhaidh air pròiseact, no co-dhiù aig toiseach pròiseact. Aig an àm seo feumaidh tu a bhith cunntachail airson a’ phròiseas dearbhaidh gu lèir, agus chan eil cothrom agad tilleadh air ais, dìreach air adhart. An toiseach bha e eagallach, ach a-nis tha na buannachdan uile bho dheuchainn mar sin follaiseach dhomh:
- Bidh tu a’ tòiseachadh a’ conaltradh leis an sgioba gu lèir mar nach robh riamh roimhe, leis nach eil neach-ionaid ann airson conaltradh: chan e manaidsear an deuchainn no luchd-dearbhaidh eile.
- Bidh bogadh sa phròiseact a’ fàs uamhasach domhainn, agus tha fiosrachadh agad mu na pàirtean uile san fharsaingeachd agus gu mionaideach.
- Cha bhith luchd-leasachaidh a’ coimhead ort mar “an neach deuchainn sin nach eil eòlach air dè a tha e a’ dèanamh ”, ach mar neach co-ionann, a’ toirt a-mach luach iongantach don sgioba leis na deuchainnean fèin-ghluasadach aige agus an dùil ri bhiteagan ann an nód toraidh sònraichte.
- Mar thoradh air an sin, tha thu nas èifeachdaiche, nas barantaichte, nas motha ann an iarrtas.
Mar a dh’ fhàs am pròiseact, ann an 100% de chùisean thàinig mi gu bhith na thaic-iùlaiche do luchd-dearbhaidh ùra a thàinig thuige, a theagaisg iad agus a thug seachad an eòlas a dh’ ionnsaich mi fhìn. Aig an aon àm, a rèir a 'phròiseict, cha robh mi an-còmhnaidh a' faighinn an ìre as àirde de eòlaichean deuchainn fèin-ghluasadach bhon luchd-stiùiridh agus bha feum air an trèanadh ann an fèin-ghluasad (dhaibhsan a tha ag iarraidh), no innealan a chruthachadh airson an cleachdadh ann an gnìomhan làitheil (innealan airson dàta a ghineadh agus an luchdachadh a-steach don t-siostam, inneal airson deuchainn luchdan / deuchainn seasmhachd luath, msaa).
Eisimpleir de phròiseact sònraichte
Gu mì-fhortanach, air sgàth dleastanasan neo-fhoillseachaidh, chan urrainn dhomh bruidhinn gu mionaideach mu na pròiseactan air an robh mi ag obair, ach bheir mi eisimpleirean de ghnìomhan àbhaisteach Einnseanair Càileachd Dàta air aon de na pròiseactan.
Is e brìgh a’ phròiseict àrd-ùrlar a chuir an gnìomh airson dàta ullachadh airson trèanadh stèidhichte air modalan ionnsachaidh innealan. Bha an neach-ceannach na chompanaidh cungaidh mòr às na SA. Gu teicnigeach b’ e cruinneachadh a bh’ ann ag èirigh gu suidheachaidhean, le grunn meanbh-sheirbheisean agus am pròiseact bunasach Open Source bho EPAM - , air atharrachadh a rèir feumalachdan neach-ceannach sònraichte (a-nis tha am pròiseact air ath-bhreith a-steach ). Chaidh pròiseasan ETL a chuir air dòigh a’ cleachdadh agus ghluais e dàta bho siostaman teachdaiche ann an bucaidean. An uairsin, chaidh ìomhaigh docker de mhodal ionnsachaidh inneal a chuir chun àrd-ùrlar, a chaidh a thrèanadh air dàta ùr agus, a’ cleachdadh eadar-aghaidh REST API, a chuir a-mach ro-innse a bha inntinneach don ghnìomhachas agus a dh’ fhuasgail duilgheadasan sònraichte.
Gu fradharcach, bha e a’ coimhead rudeigin mar seo:
Bha deuchainnean gnìomh gu leòr air a’ phròiseact seo, agus leis cho luath ‘s a bha leasachadh feart agus an fheum air astar a’ chearcall fuasglaidh a chumail suas (sprints dà sheachdain), bha e riatanach smaoineachadh sa bhad mu bhith a’ dèanamh deuchainn fèin-ghluasadach air na nodan siostam as deatamaiche. . Bha a’ mhòr-chuid den àrd-ùrlar stèidhichte ann an Kubernetes fhèin còmhdaichte le autotests air an cur an gnìomh + Python, ach dh'fheumadh iad taic agus leudachadh a thoirt dhaibh cuideachd. A bharrachd air an sin, airson goireasachd an neach-ceannach, chaidh GUI a chruthachadh gus na modalan ionnsachaidh inneal a chaidh a chuir a-steach don bhuidheann a riaghladh, a bharrachd air comas sònrachadh càite agus càite an tèid dàta a ghluasad airson trèanadh modail. Bha an leudachadh farsaing seo a’ toirt a-steach leudachadh air sgrùdaidhean gnìomh fèin-ghluasadach, a chaidh a dhèanamh sa mhòr-chuid tro ghairmean REST API agus àireamh bheag de dheuchainnean UI deireadh-2-deireadh. Timcheall air crios-meadhain a’ ghluasaid slàn seo, thàinig neach-dearbhaidh làimhe còmhla rinn, a rinn obair air leth math le bhith a’ dèanamh deuchainn air dreachan toraidh agus a’ conaltradh ris an neach-ceannach mu bhith a’ gabhail ris an ath fhoillseachadh. A bharrachd air an sin, mar thoradh air eòlaiche ùr a thighinn a-steach, bha e comasach dhuinn ar n-obair a chlàradh agus cuid de sgrùdaidhean làimhe fìor chudromach a chuir ris a bha duilich a dhèanamh fèin-ghluasadach.
Agus mu dheireadh, às deidh dhuinn seasmhachd fhaighinn bhon àrd-ùrlar agus an tuilleadan GUI thairis air, thòisich sinn a’ togail pìoban ETL a’ cleachdadh Apache Airflow DAGs. Chaidh sgrùdadh càileachd dàta fèin-ghluasadach a dhèanamh le bhith a’ sgrìobhadh Airflow DAGs sònraichte a rinn sgrùdadh air an dàta stèidhichte air toraidhean pròiseas ETL. Mar phàirt den phròiseact seo, bha sinn fortanach, agus thug an neach-ceannach cothrom dhuinn air seataichean dàta gun urra, air an do rinn sinn deuchainn. Rinn sinn sgrùdadh air an loidhne dàta a rèir loidhne airson gèilleadh seòrsa, làthaireachd dàta briste, an àireamh iomlan de chlàran ro agus às deidh sin, coimeas eadar na h-atharrachaidhean a rinn pròiseas ETL airson cruinneachadh, ag atharrachadh ainmean colbhan, agus mar sin air adhart. A bharrachd air an sin, chaidh na sgrùdaidhean sin a sgèileadh gu diofar stòran dàta, mar eisimpleir, a bharrachd air SalesForce, cuideachd air MySQL.
Chaidh na sgrùdaidhean càileachd dàta deireannach a dhèanamh mar-thà aig ìre S3, far an robh iad air an stòradh agus ann an staid deiseil airson a bhith a’ trèanadh mhodalan ionnsachaidh innealan. Gus dàta fhaighinn bhon fhaidhle CSV mu dheireadh a tha suidhichte air a’ bhucaid S3 agus a dhearbhadh, chaidh còd a sgrìobhadh a’ cleachdadh .
Cuideachd air taobh an neach-ceannach bha e riatanach pàirt den dàta a stòradh ann an aon bhucaid S3, agus pàirt ann am fear eile. Dh'fheumadh seo cuideachd sgrùdaidhean a bharrachd a sgrìobhadh a chumas smachd air earbsachd a leithid de sheòrsachadh.
Eòlas coitcheann air pròiseactan eile
Eisimpleir den liosta as fharsainge de ghnìomhachd innleadair Càileachd Dàta:
- Ullaich dàta deuchainn (dligheach neo-dhligheach mòr beag) tro inneal fèin-ghluasadach.
- Luchdaich an dàta ullaichte a-steach don stòr thùsail agus dèan cinnteach gu bheil e deiseil airson a chleachdadh.
- Cuir air bhog pròiseasan ETL airson a bhith a’ giullachd seata dàta bhon stòr stòr chun fhear mu dheireadh no eadar-mheadhanach a’ cleachdadh seata sònraichte de shuidheachaidhean (ma ghabhas e dèanamh, suidhich crìochan a ghabhas rèiteachadh airson gnìomh ETL).
- Dearbhaich an dàta air a phròiseasadh le pròiseas ETL airson càileachd agus gèilleadh ri riatanasan gnìomhachais.
Aig an aon àm, bu chòir prìomh fhòcas nan sgrùdaidhean a bhith chan ann a-mhàin air an fhìrinn gun do dh ’obraich an sruth dàta san t-siostam, ann am prionnsapal, agus gun do ràinig e an deireadh (a tha na phàirt de dheuchainn gnìomh), ach airson a’ mhòr-chuid air. a’ sgrùdadh agus a’ dearbhadh dàta airson gèilleadh ris na riatanasan ris a bheil dùil, a’ comharrachadh neo-riaghailteachdan agus rudan eile.
Innealan
Is e aon de na dòighean airson smachd dàta mar sin a bhith a’ cur air dòigh sgrùdaidhean slabhraidh aig gach ìre de ghiollachd dàta, an “sèine dàta” ris an canar anns an litreachas - smachd air dàta bhon stòr chun a’ phuing cleachdaidh deireannach. Mar as trice bithear a’ dèanamh sgrùdaidhean mar seo le bhith a’ sgrìobhadh cheistean dearbhaidh SQL. Tha e soilleir gum bu chòir ceistean mar seo a bhith cho aotrom sa ghabhas agus sùil a thoirt air pìosan fa leth de chàileachd dàta (meata-dàta bùird, loidhnichean bàn, NULLs, Mearachdan ann an co-chòrdadh - buadhan eile a dh’ fheumar gus sgrùdadh a dhèanamh).
A thaobh deuchainn ath-thilleadh, a bhios a’ cleachdadh seataichean dàta deiseil (gun atharrachadh, beagan air atharrachadh), faodaidh an còd autotest teamplaidean deiseil a stòradh airson sgrùdadh dàta airson gèilleadh ri càileachd (tuairisgeul air meata-dàta bùird ris a bheil dùil; nithean sampall sreang a dh’ fhaodar a dhèanamh. air a thaghadh air thuaiream tron deuchainn, msaa).
Cuideachd, rè deuchainn, feumaidh tu pròiseasan deuchainn ETL a sgrìobhadh a’ cleachdadh frèaman leithid Apache Airflow, no eadhon inneal sgòthan bogsa-dubh mar , Agus mar sin air adhart. Tha an suidheachadh seo a’ toirt air an innleadair deuchainn dàibheadh a-steach do phrionnsapalan obrachaidh nan innealan gu h-àrd agus eadhon nas èifeachdaiche an dà chuid a ’dèanamh deuchainn gnìomh (mar eisimpleir, pròiseasan ETL a tha sa phròiseact) agus gan cleachdadh gus dàta a sgrùdadh. Gu sònraichte, tha gnìomhaichean deiseil aig Apache Airflow airson a bhith ag obair le stòran-dàta anailis mòr-chòrdte, mar eisimpleir . Tha an eisimpleir as bunaitiche de a chleachdadh air a mhìneachadh mar-thà. mar sin cha dèan mi mi fhìn a-rithist.
A bharrachd air fuasglaidhean deiseil, chan eil duine a’ toirmeasg dhut na dòighean agus na h-innealan agad a chuir an gnìomh. Bidh seo chan ann a-mhàin buannachdail don phròiseact, ach cuideachd don Einnseanair Càileachd Dàta fhèin, a leasaicheas mar sin a shealladh teicnigeach agus a sgilean còdaidh.
Mar a tha e ag obair air pròiseact fìor
Is e deagh dhealbh de na paragrafan mu dheireadh mu “slabhraidh dàta”, ETL agus sgrùdaidhean uile-làthaireach am pròiseas a leanas bho aon de na fìor phròiseactan:
An seo, bidh dàta eadar-dhealaichte (gu nàdarra, air ullachadh leinn) a’ dol a-steach don “funail” den t-siostam againn: dligheach, neo-dhligheach, measgaichte, msaa, an uairsin bidh iad air an sìoladh agus a’ faighinn a-steach don stòradh eadar-mheadhanach, agus an uairsin bidh sreath de a ’feitheamh riutha a-rithist. cruth-atharrachaidhean agus a chuir anns an stòradh mu dheireadh, a bhios, an uair sin, air a chleachdadh airson anailisean, a’ togail mhargaidhean dàta agus a’ lorg seallaidhean gnìomhachais. Ann an leithid de shiostam, bidh sinn, gun a bhith a’ sgrùdadh obair phròiseasan ETL, a’ cuimseachadh air càileachd dàta ro agus às deidh cruth-atharrachaidhean, a bharrachd air toradh gu anailisean.
Gus geàrr-chunntas a dhèanamh air na tha gu h-àrd, ge bith dè na h-àiteachan far an robh mi ag obair, anns a h-uile àite bha mi an sàs ann am pròiseactan Dàta a thug còmhla na feartan a leanas:
- Is ann dìreach tro fèin-ghluasad as urrainnear cuid de chùisean a dhearbhadh agus cearcall fuasglaidh iomchaidh airson a’ ghnìomhachas a choileanadh.
- Tha an neach-deuchainn air a leithid de phròiseact mar aon de na buill as cliùitiche den sgioba, leis gu bheil e a’ toirt buannachdan mòra dha gach com-pàirtiche (luathachadh deuchainn, deagh dàta Neach-saidheans Dàta, lorg tràth air uireasbhaidhean).
- Chan eil e gu diofar a bheil thu ag obair air a’ bhathar-cruaidh agad fhèin no anns na sgòthan - tha na goireasan uile air an toirt a-steach do bhuidheann mar Hortonworks, Cloudera, Mesos, Kubernetes, msaa.
- Tha pròiseactan air an togail air dòigh-obrach microservice, tha coimpiutaireachd sgaoilte agus co-shìnte ann.
Tha mi a’ toirt fa-near, nuair a bhios e a’ dèanamh deuchainn ann an raon Càileachd Dàta, gum bi neach-deuchainn a’ gluasad am fòcas proifeasanta chun chòd toraidh agus na h-innealan a thathar a’ cleachdadh.
Feartan sònraichte de dheuchainn càileachd dàta
A bharrachd air an sin, dhomh fhìn, tha mi air na leanas a chomharrachadh (nì mi àite glèidhte sa bhad FÌOR coitcheann agus air leth cuspaireil) feartan sònraichte deuchainn ann am pròiseactan Dàta (Dàta Mòr) (siostaman) agus raointean eile:
Ceanglaichean feumail
- Teòiridh: .
- EPAM
- Stuthan air am moladh airson Einnseanair Càileachd Dàta tòiseachaidh:
- Cùrsa Stepik saor an asgaidh. .
- Cùrsa air Ionnsachadh LinkedIn: .
- Artaigilean:
- ;
- ;
- ;
- Bhidio:
- ;
- ;
co-dhùnadh
Càileachd Dàta na stiùir gealltanach glè òg, agus tha a bhith na phàirt dheth a’ ciallachadh a bhith mar phàirt de ghnìomhachas tòiseachaidh. Aon uair ‘s gu bheil thu ann an Càileachd Dàta, thèid thu a-steach do ghrunn theicneòlasan in-iarrtas an latha an-diugh, ach nas cudromaiche, bidh cothroman mòra agad airson do bheachdan a ghineadh agus a bhuileachadh. Bidh e comasach dhut an dòigh-obrach airson leasachadh leantainneach a chleachdadh chan ann a-mhàin air a 'phròiseact, ach cuideachd dhut fhèin, a' sìor leasachadh mar eòlaiche.
Source: www.habr.com