Hei Habr!
Data yw ased mwyaf gwerthfawr cwmni. Mae bron pob cwmni sydd â ffocws digidol yn datgan hyn. Mae’n anodd dadlau â hyn: ni chynhelir un gynhadledd TG fawr heb drafod dulliau o reoli, storio a phrosesu data.
Daw data atom o'r tu allan, mae hefyd yn cael ei gynhyrchu o fewn y cwmni, ac os ydym yn siarad am ddata gan gwmni telathrebu, yna ar gyfer gweithwyr mewnol mae hwn yn storfa o wybodaeth am y cleient, ei ddiddordebau, arferion, a lleoliad. Gyda phroffilio a segmentu priodol, cynigion hysbysebu sydd fwyaf effeithiol. Fodd bynnag, yn ymarferol, nid yw popeth mor rosy. Gall y data y mae cwmnïau'n ei storio fod yn anobeithiol wedi dyddio, yn ddiangen, yn ailadroddus, neu nad yw unrhyw un yn gwybod am ei fodolaeth ac eithrio cylch cul o ddefnyddwyr. ¯_(ツ)_/¯
Mewn gair, mae'n rhaid rheoli data'n effeithiol - dim ond wedyn y daw'n ased sy'n dod â manteision ac elw gwirioneddol i'r busnes. Yn anffodus, mae datrys problemau rheoli data yn gofyn am oresgyn cryn dipyn o gymhlethdodau. Maent yn bennaf oherwydd yr etifeddiaeth hanesyddol ar ffurf “sŵau” systemau a diffyg prosesau a dulliau unedig o'u rheoli. Ond beth mae'n ei olygu i gael eich “gyrru gan ddata”?
Dyma'n union beth y byddwn yn siarad amdano o dan y toriad, yn ogystal â sut y gwnaeth y pentwr ffynhonnell agored ein helpu ni.
Mae'r cysyniad o reoli data strategol Llywodraethu Data (DG) eisoes yn eithaf adnabyddus yn y farchnad Rwsia, ac mae'r nodau a gyflawnir gan fusnes o ganlyniad i'w weithrediad yn glir ac wedi'u datgan yn glir. Nid oedd ein cwmni yn eithriad a gosododd y dasg iddo'i hun o gyflwyno'r cysyniad o reoli data.
Felly ble wnaethon ni ddechrau? I ddechrau, fe wnaethom lunio nodau allweddol i ni ein hunain:
- Cadw ein data yn hygyrch.
- Sicrhau tryloywder cylch bywyd data.
- Darparu data cyson, cyson i ddefnyddwyr cwmni.
- Darparu data wedi'i wirio i ddefnyddwyr cwmni.
Heddiw, mae yna ddwsin o offer dosbarth Llywodraethu Data ar y farchnad feddalwedd.
Ond ar ôl dadansoddiad manwl ac astudiaeth o'r atebion, fe wnaethom gofnodi nifer o sylwadau beirniadol i ni ein hunain:
- Mae'r rhan fwyaf o weithgynhyrchwyr yn cynnig set gynhwysfawr o atebion, sy'n ddiangen i ni ac sy'n dyblygu'r swyddogaethau presennol. Hefyd, yn ddrud o ran adnoddau, integreiddio i'r dirwedd TG gyfredol.
- Mae'r swyddogaeth a'r rhyngwyneb wedi'u cynllunio ar gyfer technolegwyr, nid defnyddwyr terfynol busnes.
- Cyfradd goroesi isel o gynhyrchion a diffyg gweithrediadau llwyddiannus ar y farchnad Rwsia.
- Cost uchel meddalwedd a chymorth pellach.
Roedd y meini prawf a'r argymhellion a leisiwyd uchod ynghylch amnewid meddalwedd mewnforio ar gyfer cwmnïau Rwsia yn ein hargyhoeddi i symud tuag at ein datblygiad ein hunain ar bentwr ffynhonnell agored. Y platfform a ddewiswyd gennym oedd Django, fframwaith ffynhonnell agored am ddim a ysgrifennwyd yn Python. Ac felly rydym wedi nodi modiwlau allweddol a fydd yn cyfrannu at y nodau a nodir uchod:
- Cofrestr adroddiadau.
- Geirfa busnes.
- Modiwl ar gyfer disgrifio trawsnewidiadau technegol.
- Modiwl ar gyfer disgrifio cylch bywyd data o'r ffynhonnell i'r offeryn BI.
- Modiwl rheoli ansawdd data.
Cofrestr adroddiadau
Yn ôl canlyniadau astudiaethau mewnol mewn cwmnïau mawr, wrth ddatrys problemau sy'n ymwneud â data, mae gweithwyr yn treulio 40-80% o'u hamser yn chwilio amdanynt. Felly, gosodasom y dasg i ni ein hunain o wneud gwybodaeth agored am adroddiadau presennol a oedd ar gael yn flaenorol i gwsmeriaid yn unig. Felly, rydym yn lleihau'r amser ar gyfer cynhyrchu adroddiadau newydd ac yn sicrhau democrateiddio data.
Mae'r gofrestr adrodd wedi dod yn un ffenestr adrodd ar gyfer defnyddwyr mewnol o wahanol ranbarthau, adrannau ac isadrannau. Mae'n cydgrynhoi gwybodaeth am wasanaethau gwybodaeth a grëwyd mewn sawl ystorfa gorfforaethol y cwmni, ac mae llawer ohonynt yn Rostelecom.
Ond nid dim ond rhestr sych o adroddiadau datblygedig yw'r gofrestrfa. Ar gyfer pob adroddiad, rydym yn darparu'r wybodaeth angenrheidiol i'r defnyddiwr ymgyfarwyddo ag ef:
- disgrifiad byr o'r adroddiad;
- dyfnder argaeledd data;
- segment cwsmeriaid;
- offeryn delweddu;
- enw'r storfa gorfforaethol;
- gofynion swyddogaethol busnes;
- dolen i'r adroddiad;
- dolen i gais am fynediad;
- statws gweithredu.
Mae dadansoddeg lefel defnydd ar gael ar gyfer adroddiadau, ac mae adroddiadau yn cael eu rhestru ar frig y rhestr yn seiliedig ar ddadansoddeg log yn seiliedig ar nifer y defnyddwyr unigryw. Ac nid dyna ni. Yn ogystal â'r nodweddion cyffredinol, rydym hefyd wedi darparu disgrifiad manwl o gyfansoddiad priodoleddau'r adroddiadau gydag enghreifftiau o werthoedd a dulliau cyfrifo. Mae manylion o'r fath ar unwaith yn rhoi ateb i'r defnyddiwr a yw'r adroddiad yn ddefnyddiol iddo ai peidio.
Roedd datblygiad y modiwl hwn yn gam pwysig yn y broses o ddemocrateiddio data ac wedi lleihau'n sylweddol yr amser y mae'n ei gymryd i ddod o hyd i'r wybodaeth ofynnol. Yn ogystal â lleihau amser chwilio, mae nifer y ceisiadau i'r tîm cymorth i ddarparu ymgynghoriadau hefyd wedi gostwng. Mae'n amhosibl peidio â nodi canlyniad defnyddiol arall a gyflawnwyd gennym trwy ddatblygu cofrestr unedig o adroddiadau - atal datblygiad adroddiadau dyblyg ar gyfer gwahanol unedau strwythurol.
Geirfa busnes
Rydych chi i gyd yn gwybod bod busnesau, hyd yn oed o fewn yr un cwmni, yn siarad ieithoedd gwahanol. Ydyn, maen nhw'n defnyddio'r un termau, ond maen nhw'n golygu pethau hollol wahanol. Mae geirfa busnes wedi'i chynllunio i ddatrys y broblem hon.
I ni, nid cyfeirlyfr gyda disgrifiad o dermau a methodoleg gyfrifo yn unig yw geirfa fusnes. Mae hwn yn amgylchedd cyflawn ar gyfer datblygu, cytuno a chymeradwyo terminoleg, gan feithrin perthnasoedd rhwng telerau ac asedau gwybodaeth eraill y cwmni. Cyn mynd i mewn i'r eirfa fusnes, rhaid i derm fynd trwy bob cam cymeradwyo gyda chwsmeriaid busnes a'r ganolfan ansawdd data. Dim ond ar ôl hyn y daw ar gael i'w ddefnyddio.
Fel yr ysgrifennais uchod, unigrywiaeth yr offeryn hwn yw ei fod yn caniatáu cysylltiadau o lefel term busnes i adroddiadau defnyddwyr penodol y mae'n cael ei ddefnyddio, yn ogystal ag i lefel gwrthrychau cronfa ddata ffisegol.
Gwneir hyn yn bosibl trwy ddefnyddio dynodwyr termau geirfa yn y disgrifiad manwl o adroddiadau cofrestrfa a'r disgrifiad o wrthrychau cronfa ddata ffisegol.
Ar hyn o bryd, mae mwy na 4000 o dermau wedi'u diffinio a'u cytuno yn y Rhestr Termau. Mae ei ddefnydd yn symleiddio ac yn cyflymu prosesu ceisiadau sy'n dod i mewn am newidiadau yn systemau gwybodaeth y cwmni. Os yw'r dangosydd gofynnol eisoes wedi'i weithredu mewn unrhyw adroddiad, yna bydd y defnyddiwr yn gweld set o adroddiadau parod ar unwaith lle mae'r dangosydd hwn yn cael ei ddefnyddio, a bydd yn gallu penderfynu ar ailddefnyddio'r swyddogaethau presennol yn effeithiol neu ei ychydig iawn o addasiad, heb gychwyn. ceisiadau newydd i ddatblygu adroddiad newydd.
Modiwl ar gyfer disgrifio trawsnewidiadau technegol a DataLineage
Beth yw'r modiwlau hyn, rydych chi'n gofyn? Nid yw’n ddigon gweithredu’r Gofrestr Adroddiadau a’r Geirfa yn unig; mae hefyd angen seilio’r holl dermau busnes ar fodel y gronfa ddata ffisegol. Felly, roeddem yn gallu cwblhau'r broses o ffurfio'r cylch bywyd data o systemau ffynhonnell i ddelweddu BI trwy bob haen o'r warws data. Mewn geiriau eraill, adeiladu DataLineage.
Fe wnaethom ddatblygu rhyngwyneb yn seiliedig ar y fformat a ddefnyddiwyd yn flaenorol yn y cwmni ar gyfer disgrifio rheolau a rhesymeg trawsnewid data. Mae'r un wybodaeth yn cael ei mewnbynnu trwy'r rhyngwyneb ag o'r blaen, ond mae diffiniad y term dynodwr o'r rhestr termau busnes wedi dod yn rhagofyniad. Dyma sut rydym yn adeiladu cysylltiad rhwng yr haenau busnes a ffisegol.
Pwy sydd ei angen? Beth oedd o'i le ar yr hen fformat y buoch chi'n gweithio ag ef ers sawl blwyddyn? Faint mae costau llafur ar gyfer gofynion cynhyrchu wedi cynyddu? Bu’n rhaid inni ymdrin â chwestiynau o’r fath wrth roi’r offeryn ar waith. Mae'r atebion yma yn eithaf syml - mae angen hyn arnom ni i gyd, swyddfa ddata ein cwmni a'n defnyddwyr.
Yn wir, roedd yn rhaid i'r gweithwyr addasu; ar y dechrau, arweiniodd hyn at gynnydd bach mewn costau llafur ar gyfer paratoi dogfennau, ond fe wnaethom ddatrys y mater hwn. Mae ymarfer, nodi ac optimeiddio meysydd problemus wedi gwneud eu gwaith. Rydym wedi cyflawni'r prif beth - rydym wedi gwella ansawdd y gofynion datblygedig. Meysydd gorfodol, cyfeirlyfrau unedig, masgiau mewnbwn, gwiriadau adeiledig - roedd hyn i gyd yn ei gwneud hi'n bosibl gwella ansawdd disgrifiadau trawsnewid yn sylweddol. Symudom i ffwrdd o'r arfer o drosglwyddo sgriptiau fel gofynion datblygu a rhannu gwybodaeth a oedd ar gael i'r tîm datblygu yn unig. Mae'r gronfa ddata metadata a gynhyrchir yn lleihau'n sylweddol yr amser sydd ei angen i gynnal dadansoddiad atchweliad ac yn darparu'r gallu i asesu'n gyflym effaith newidiadau ar unrhyw haen o'r dirwedd TG (adroddiadau arddangos, agregau, ffynonellau).
Beth sydd a wnelo hyn â defnyddwyr cyffredin adroddiadau, beth yw'r manteision iddynt? Diolch i'r gallu i adeiladu DataLineage, mae ein defnyddwyr, hyd yn oed y rhai ymhell o SQL ac ieithoedd rhaglennu eraill, yn derbyn gwybodaeth yn gyflym am y ffynonellau a'r gwrthrychau y mae adroddiad penodol yn cael ei gynhyrchu ar eu sail.
Modiwl Rheoli Ansawdd Data
Nid yw popeth y buom yn sôn amdano uchod o ran sicrhau tryloywder data yn bwysig heb ddeall bod y data a roddwn i ddefnyddwyr yn gywir. Un o fodiwlau pwysig ein cysyniad Llywodraethu Data yw'r modiwl rheoli ansawdd data.
Ar hyn o bryd, mae hwn yn gatalog o wiriadau ar gyfer endidau dethol. Y nod uniongyrchol ar gyfer datblygu cynnyrch yw ehangu'r rhestr o wiriadau ac integreiddio â'r gofrestr adrodd.
Beth fydd yn ei roi ac i bwy? Bydd gan ddefnyddiwr terfynol y gofrestrfa fynediad i wybodaeth am ddyddiadau cynlluniedig a gwirioneddol parodrwydd adroddiadau, canlyniadau gwiriadau a gwblhawyd gyda dynameg, a gwybodaeth am y ffynonellau a lwythwyd i mewn i'r adroddiad.
I ni, y modiwl ansawdd data sydd wedi'i integreiddio i'n prosesau gwaith yw:
- Ffurfio disgwyliadau cwsmeriaid yn brydlon.
- Gwneud penderfyniadau ar ddefnydd pellach o ddata.
- Cael set ragarweiniol o bwyntiau problemus yn ystod camau cychwynnol y gwaith ar gyfer datblygu rheolaethau ansawdd rheolaidd.
Wrth gwrs, dyma'r camau cyntaf wrth adeiladu proses rheoli data lawn. Ond rydym yn hyderus mai dim ond trwy wneud y gwaith hwn yn bwrpasol, gan gyflwyno offer Llywodraethu Data yn weithredol i'r broses waith, y byddwn yn darparu cynnwys gwybodaeth i'n cleientiaid, lefel uchel o ymddiriedaeth yn y data, tryloywder yn eu derbyn a chynyddu cyflymder lansio. swyddogaeth newydd.
Tîm Swyddfa Data
Ffynhonnell: hab.com