Hi Habr!
Is e dàta an so-mhaoin as luachmhoire aig companaidh. Bidh cha mhòr a h-uile companaidh le fòcas didseatach ag innse seo. Tha e duilich argamaid a dhèanamh le seo: chan eilear a’ cumail aon phrìomh cho-labhairt IT gun a bhith a’ beachdachadh air dòighean-obrach airson a bhith a’ riaghladh, a’ stòradh agus a’ giullachd dàta.
Bidh dàta a 'tighinn thugainn bhon taobh a-muigh, tha e cuideachd air a chruthachadh taobh a-staigh a' chompanaidh, agus ma bhios sinn a 'bruidhinn mu dhàta bho chompanaidh cian-chonaltraidh, an uairsin airson luchd-obrach a-staigh tha seo na stòr fiosrachaidh mun neach-dèiligidh, na h-ùidhean aige, na cleachdaidhean agus an àite. Le pròifil agus sgaradh ceart, tha tairgsean sanasachd nas èifeachdaiche. Ach, ann an cleachdadh, chan eil a h-uile dad cho rosy. Faodaidh an dàta a bhios companaidhean a’ stòradh a bhith seann-fhasanta gun dòchas, gun fheum, ath-aithris, no nach eil fios aig duine sam bith ach a-mhàin cearcall cumhang de luchd-cleachdaidh. ¯_(ツ)_/¯
Ann am facal, feumar dàta a riaghladh gu h-èifeachdach - is ann dìreach an uairsin a thig e gu bhith na mhaoin a bheir fìor bhuannachdan agus prothaid don ghnìomhachas. Gu mì-fhortanach, feumaidh fuasgladh fhaighinn air cùisean stiùireadh dàta faighinn thairis air mòran iom-fhillteachd. Tha iad gu ìre mhòr mar thoradh air an dà chuid an dìleab eachdraidheil ann an cruth “sùthan” de shiostaman agus dìth phròiseasan aonaichte agus dòighean-obrach airson an riaghladh. Ach dè tha e a’ ciallachadh a bhith “air a stiùireadh le dàta”?
Is e seo dìreach a bhios sinn a’ bruidhinn fon ghearradh, a bharrachd air mar a chuidich a’ chruach opensource sinn.
Tha bun-bheachd riaghladh dàta ro-innleachdail Riaghladh Dàta (DG) gu math aithnichte mar-thà ann am margaidh na Ruis, agus tha na h-amasan a choilean gnìomhachas mar thoradh air a bhuileachadh soilleir agus soilleir. Cha robh a’ chompanaidh againn mar eisgeachd agus chuir iad an gnìomh e fhèin a bhith a’ toirt a-steach bun-bheachd riaghladh dàta.
Mar sin càite an tòisich sinn? An toiseach, chruthaich sinn prìomh amasan dhuinn fhìn:
- Cùm an dàta againn ruigsinneach.
- Dèan cinnteach gu bheil cearcall beatha an dàta follaiseach.
- Thoir seachad luchd-cleachdaidh companaidh le dàta cunbhalach, cunbhalach.
- Thoir seachad dàta dearbhte do luchd-cleachdaidh companaidh.
An-diugh, tha dusan inneal clas Riaghladh Dàta air a’ mhargaidh bathar-bog.
Ach às deidh mion-sgrùdadh mionaideach agus sgrùdadh air na fuasglaidhean, chlàraich sinn grunn bheachdan èiginneach dhuinn fhìn:
- Bidh a’ mhòr-chuid de luchd-saothrachaidh a’ tabhann seata farsaing de fhuasglaidhean, a tha dhuinne gun fheum agus a bhios a’ dùblachadh gnìomhachd gnàthach. A bharrachd air an sin, daor a thaobh goireasan, amalachadh a-steach don chruth-tìre IT gnàthach.
- Tha an comas-gnìomh agus an eadar-aghaidh air an dealbhadh airson teicneòlaichean, chan e luchd-cleachdaidh deireannach gnìomhachais.
- Ìre mairsinneachd ìosal de thoraidhean agus dìth buileachadh soirbheachail air margaidh na Ruis.
- Cosgais àrd bathar-bog agus tuilleadh taic.
Thug na slatan-tomhais agus na molaidhean gu h-àrd a thaobh a bhith a’ toirt a-steach bathar-bog an àite bathar-bog airson companaidhean Ruiseanach dearbhadh dhuinn gluasad a dh’ ionnsaigh ar leasachadh fhèin air stac opensource. B’ e an àrd-ùrlar a thagh sinn Django, frèam stòr fosgailte an-asgaidh sgrìobhte ann am Python. Mar sin tha sinn air prìomh mhodalan a chomharrachadh a chuireas ris na h-amasan gu h-àrd:
- Clàr de aithisgean.
- Beag-fhaclair gnìomhachais.
- Modal airson cunntas a thoirt air atharrachaidhean teicnigeach.
- Modal airson cunntas a thoirt air cearcall beatha dàta bhon stòr gu inneal BI.
- Modal smachd càileachd dàta.
Clàr de aithisgean
A rèir toraidhean sgrùdaidhean taobh a-staigh ann an companaidhean mòra, nuair a bhios iad a’ fuasgladh dhuilgheadasan co-cheangailte ri dàta, bidh luchd-obrach a’ caitheamh 40-80% den ùine aca a’ lorg an son. Mar sin, chuir sinn romhainn fiosrachadh fosgailte a dhèanamh mu na h-aithisgean a th’ ann mar-thà a bha rim faighinn roimhe seo a-mhàin do luchd-ceannach. Mar sin, bidh sinn a’ lughdachadh na h-ùine airson aithisgean ùra a chruthachadh agus a’ dèanamh cinnteach à deamocrasaidh dàta.
Tha an clàr aithris air a thighinn gu bhith na aon uinneag aithris airson luchd-cleachdaidh a-staigh bho dhiofar roinnean, roinnean agus roinnean. Bidh e a’ daingneachadh fiosrachadh mu sheirbheisean fiosrachaidh a chaidh a chruthachadh ann an grunn stòran corporra den chompanaidh, agus tha mòran dhiubh ann an Rostelecom.
Ach chan e dìreach liosta thioram de dh’ aithisgean leasaichte a th’ anns a’ chlàr. Airson gach aithisg, bidh sinn a’ toirt seachad am fiosrachadh a tha riatanach airson gum bi an neach-cleachdaidh eòlach air:
- tuairisgeul goirid air an aithisg;
- doimhneachd ruigsinneachd dàta;
- roinn luchd-ceannach;
- inneal lèirsinn;
- ainm an stòraidh corporra;
- riatanasan gnìomhachd gnìomhachais;
- ceangal ris an aithisg;
- ceangal gu iarrtas airson ruigsinneachd;
- inbhe buileachaidh.
Tha mion-sgrùdaidhean ìre cleachdaidh rim faighinn airson aithisgean, agus tha aithisgean air an rangachadh aig mullach an liosta stèidhichte air anailisean log stèidhichte air an àireamh de luchd-cleachdaidh gun samhail. Agus chan e sin e. A bharrachd air na feartan coitcheann, tha sinn cuideachd air tuairisgeul mionaideach a thoirt seachad air co-dhèanamh buadhan nan aithisgean le eisimpleirean de luachan agus dòighean àireamhachaidh. Bheir mion-fhiosrachadh mar seo freagairt don neach-cleachdaidh sa bhad a bheil an aithisg feumail dha no nach eil.
Bha leasachadh a’ mhodail seo na cheum cudromach ann an deamocratachadh dàta agus lughdaich e gu mòr an ùine a bheir e gus am fiosrachadh riatanach a lorg. A bharrachd air a bhith a’ lughdachadh ùine sgrùdaidh, tha an àireamh de dh’ iarrtasan don sgioba taic airson co-chomhairlean a thoirt seachad air a dhol sìos cuideachd. Tha e do-dhèanta gun a bhith mothachail air toradh feumail eile a choilean sinn le bhith a 'leasachadh clàr aonaichte de dh'aithisgean - a' bacadh leasachadh aithisgean dùblaichte airson diofar aonadan structarail.
Beag-fhaclair gnìomhachais
Tha fios agad uile, eadhon taobh a-staigh an aon chompanaidh, gu bheil gnìomhachasan a’ bruidhinn diofar chànanan. Tha, bidh iad a’ cleachdadh na h-aon bhriathran, ach tha iad a’ ciallachadh rudan gu tur eadar-dhealaichte. Tha beag-fhaclair gnìomhachais air a dhealbhadh gus an duilgheadas seo fhuasgladh.
Dhuinne, chan e dìreach leabhar fiosrachaidh a th’ ann am beag-fhaclair gnìomhachais le tuairisgeul air teirmean agus modh-obrach àireamhachaidh. Is e àrainneachd làn-chuimseach a tha seo airson briathrachas a leasachadh, aontachadh agus aontachadh, a’ togail dhàimhean eadar teirmean agus maoin fiosrachaidh eile na companaidh. Mus tèid thu a-steach don fhaclair gnìomhachais, feumaidh teirm a dhol tro gach ìre de chead le luchd-ceannach gnìomhachais agus an ionad càileachd dàta. Is ann dìreach às deidh seo a bhios e ri fhaighinn airson a chleachdadh.
Mar a sgrìobh mi gu h-àrd, is e cho sònraichte ‘s a tha an inneal seo gu bheil e a’ ceadachadh ceanglaichean bho ìre teirm gnìomhachais gu aithisgean cleachdaiche sònraichte anns a bheil e air a chleachdadh, a bharrachd air ìre stuthan stòr-dàta fiosaigeach.
Tha seo comasach tro bhith a’ cleachdadh aithnichearan teirm beag-fhaclair anns an tuairisgeul mionaideach air aithisgean clàraidh agus an tuairisgeul air nithean stòr-dàta fiosaigeach.
An-dràsta, tha còrr air 4000 teirm air am mìneachadh agus air an aontachadh anns a’ Beag-fhaclair. Bidh a chleachdadh a’ sìmpleachadh agus a’ luathachadh làimhseachadh iarrtasan a thig a-steach airson atharrachaidhean ann an siostaman fiosrachaidh na companaidh. Ma tha an comharra riatanach air a chuir an gnìomh mar-thà ann an aithisg sam bith, chì an neach-cleachdaidh sa bhad seata de dh ’aithisgean deiseil far a bheil an comharra seo air a chleachdadh, agus bidh e comasach dhaibh co-dhùnadh mu ath-chleachdadh èifeachdach a’ ghnìomhachd a th ’ann no an atharrachadh as lugha aige, gun a bhith a’ tòiseachadh iarrtasan ùra airson aithisg ùr a leasachadh.
Modal airson cunntas a thoirt air cruth-atharrachaidhean teignigeach agus DataLineage
Dè na modalan sin, tha thu a’ faighneachd? Chan eil e gu leòr dìreach Clàr na h-Aithisg agus Beag-fhaclair a chuir an gnìomh; feumar cuideachd a h-uile teirm gnìomhachais a stèidheachadh air modail an stòr-dàta fiosaigeach. Mar sin, b’ urrainn dhuinn crìoch a chuir air a’ phròiseas airson cearcall beatha dàta a chruthachadh bho shiostaman stòr gu fradharc BI tro gach ìre den taigh-bathair dàta. Ann am faclan eile, tog DataLineage.
Leasaich sinn eadar-aghaidh stèidhichte air an cruth a chaidh a chleachdadh roimhe seo sa chompanaidh airson cunntas a thoirt air riaghailtean agus loidsig cruth-atharrachadh dàta. Tha an aon fhiosrachadh air a chuir a-steach tron eadar-aghaidh mar a bha e roimhe, ach tha mìneachadh an fhacail aithnichear bhon fhaclair gnìomhachais air a thighinn gu bhith riatanach. Seo mar a thogas sinn ceangal eadar na sreathan gnìomhachais agus corporra.
Cò a tha feumach air? Dè bha ceàrr air an t-seann chruth ris an robh thu ag obair airson grunn bhliadhnaichean? Dè an ìre a tha cosgaisean saothair airson riatanasan gineadh air àrdachadh? B’ fheudar dhuinn dèiligeadh ri ceistean mar sin nuair a bhathas a’ buileachadh an inneil. Tha na freagairtean an seo gu math sìmplidh - feumaidh sinn uile seo, oifis dàta ar companaidh agus ar luchd-cleachdaidh.
Gu dearbh, dh'fheumadh an luchd-obrach atharrachadh; an toiseach, dh'adhbhraich seo àrdachadh beag ann an cosgaisean obrach airson ullachadh sgrìobhainnean, ach dh 'fhuasgail sinn a' chùis seo. Tha cleachdadh, comharrachadh agus leasachadh raointean trioblaid air an obair a dhèanamh. Tha sinn air a 'phrìomh rud a choileanadh - tha sinn air càileachd nan riatanasan leasaichte a leasachadh. Raointean èigneachail, leabhraichean fiosrachaidh aonaichte, masgaichean cuir a-steach, sgrùdaidhean togte - thug seo uile cothrom dhut càileachd tuairisgeulan cruth-atharrachaidh a leasachadh gu mòr. Ghluais sinn air falbh bhon chleachdadh a bhith a’ toirt seachad sgriobtaichean mar riatanasan leasachaidh agus eòlas co-roinnte nach robh ri fhaighinn ach leis an sgioba leasachaidh. Bidh an stòr-dàta meata-dàta a chaidh a chruthachadh a’ lughdachadh gu mòr an ùine a dh’ fheumar gus mion-sgrùdadh ath-tharraing a dhèanamh agus a’ toirt seachad comas measadh luath a dhèanamh air buaidh atharrachaidhean air ìre sam bith de chruth-tìre IT (aithisgean taisbeanaidh, co-chruinneachaidhean, stòran).
Dè a dh'fheumas seo a dhèanamh le luchd-cleachdaidh àbhaisteach aithisgean, dè na buannachdan a th 'ann dhaibh? Taing don chomas DataLineage a thogail, bidh ar luchd-cleachdaidh, eadhon an fheadhainn a tha fada bho SQL agus cànanan prògramaidh eile, gu sgiobalta a’ faighinn fiosrachadh mu na stòran agus na nithean air a bheil aithisg shònraichte air a chruthachadh.
Modal smachd càileachd dàta
Chan eil a h-uile dad air an do bhruidhinn sinn gu h-àrd a thaobh dèanamh cinnteach à follaiseachd dàta cudromach gun a bhith a’ tuigsinn gu bheil an dàta a bheir sinn do luchd-cleachdaidh ceart. Is e aon de na modalan cudromach de ar bun-bheachd Riaghladh Dàta am modal smachd càileachd dàta.
Aig an ìre làithreach, is e seo catalog de sgrùdaidhean airson buidhnean taghte. Is e an amas sa bhad airson leasachadh toraidh an liosta de sgrùdaidhean a leudachadh agus amalachadh leis a’ chlàr aithris.
Dè a bheir e agus cò dha? Bidh cothrom aig neach-cleachdaidh deireannach a’ chlàr air fiosrachadh mu na cinn-latha dealbhaichte agus fìor airson ullachadh na h-aithisg, toraidhean sgrùdaidhean crìochnaichte le daineamaigs, agus fiosrachadh mu na stòran a chaidh a luchdachadh a-steach don aithisg.
Dhuinne, is e am modal càileachd dàta a tha ceangailte ris na pròiseasan obrach againn:
- Cruthachadh luath de dhùilean teachdaiche.
- A’ dèanamh cho-dhùnaidhean mu bhith a’ cleachdadh barrachd dàta.
- A’ faighinn seata tòiseachaidh de phuingean trioblaid aig ìrean tòiseachaidh na h-obrach airson leasachadh smachdan càileachd cunbhalach.
Gu dearbh, is iad seo na ciad cheumannan ann a bhith a’ togail pròiseas riaghlaidh dàta làn-chuimseach. Ach tha sinn misneachail gur ann dìreach le bhith a’ dèanamh na h-obrach seo a dh’aona ghnothach, a’ toirt a-steach innealan Riaghladh Dàta gu gnìomhach sa phròiseas obrach, gun toir sinn susbaint fiosrachaidh don luchd-dèiligidh againn, ìre àrd de earbsa anns an dàta, follaiseachd nuair a gheibhear iad agus àrdaichidh sinn astar cur air bhog. comas-gnìomh ùr.
Sgioba DataOffice
Source: www.habr.com