Hey Habr!
Daneyên pargîdaniyek herî bi nirx e. Hema hema her pargîdaniyek bi baldarî dîjîtal vê yekê diyar dike. Zehmet e ku meriv bi vê yekê re nîqaş bike: ne yek konferansek sereke ya IT-ê bêyî nîqaşkirina nêzîkatiyên ji bo birêvebirin, hilanîn û hilanîna daneyan nayê girtin.
Daneyên ji derve ji me re têne, ew jî di hundurê pargîdaniyê de têne hilberandin, û heke em li ser daneyên pargîdaniyek telekomê biaxivin, wê hingê ji bo karmendên hundurîn ev depoyek agahdariya li ser xerîdar, berjewendî, adet û cîhê wî ye. Bi profîlkirin û dabeşkirina rast re, pêşniyarên reklamê herî bi bandor in. Lêbelê, di pratîkê de, ne her tişt ew qas gul e. Daneyên ku pargîdan hildiberînin dibe ku bêhêvî kevnar, zêde, dubarekirî bin, an hebûna wê ji bilî xeleka teng a bikarhêneran ji kesî re nenas e. ¯_(ツ)_/¯
Bi gotinek, pêdivî ye ku data bi bandor were rêvebirin - tenê wê hingê ew ê bibe sermayek ku berjewendî û berjewendiya rastîn ji karsaziyê re tîne. Mixabin, çareserkirina pirsgirêkên rêveberiya daneyê hewce dike ku gelek tevliheviyan derbas bike. Ew bi giranî hem ji ber mîrateya dîrokî ya bi awayê "zozanên" pergalan û hem jî ji ber nebûna pêvajo û nêzîkatiyên yekgirtî yên rêveberiya wan in. Lê tê çi wateyê ku meriv "danûstandin" be?
Ya ku em ê di binê qutbûnê de li ser bipeyivin ev e, û her weha ka stacka çavkaniya vekirî çawa alîkariya me kir.
Têgeha rêveberiya daneya stratejîk Rêvebiriya Daneyê (DG) jixwe di sûka Rûsyayê de pir baş tê zanîn, û armancên ku ji hêla karsaziyê ve di encama pêkanîna wê de hatine bidestxistin zelal û zelal têne ragihandin. Pargîdaniya me ne îstîsna bû û ji xwe re peywira danasîna têgeha rêveberiya daneyê danî.
Îcar me ji ku dest pê kir? Ji bo destpêkê, me armancên sereke ji bo xwe ava kirin:
- Daneyên me bigihînin.
- Zelalbûna çerxa jiyanê ya daneyê piştrast bikin.
- Bikarhênerên pargîdaniyê bi daneyên hevgirtî, hevgirtî peyda bikin.
- Bikarhênerên pargîdaniyê daneyên verastkirî peyda bikin.
Îro, li ser bazara nermalavê bi dehan amûrên pola Rêvebiriya Daneyê hene.
Lê piştî analîzek berfireh û lêkolîna çareseriyan, me çend şîroveyên rexneyî ji xwe re tomar kir:
- Pir hilberîner komek çareseriyên berfireh pêşkêş dikin, ku ji bo me zêde ye û fonksiyonên heyî dubare dike. Zêdeyî, di warê çavkaniyan de biha, entegrasyona nav perestgeha IT ya heyî.
- Fonksiyon û navbeynkar ji bo teknologan, ne bikarhênerên dawiya karsaziyê têne sêwirandin.
- Rêjeya zindîbûna kêm a hilberan û nebûna pêkanînên serketî li ser bazara rûsî.
- Mesrefa bilind ya nermalavê û piştevaniya bêtir.
Pîvan û pêşnîyarên ku li jor hatine gotin di derbarê cîgirkirina nermalava ji bo pargîdaniyên rûsî de me qanih kir ku em berbi pêşkeftina xwe ya li ser stûnek çavkaniyek vekirî biçin. Platforma ku me hilbijart Django bû, çarçoveyek çavkaniyek belaş û vekirî ku di Python de hatî nivîsandin. Û bi vî awayî me modulên sereke yên ku dê beşdarî armancên ku li jor hatine destnîşan kirin destnîşan kirin:
- Tomarkirina raporan.
- Ferhenga Karsaziyê.
- Modula ji bo danasîna veguherînên teknîkî.
- Modulek ji bo danasîna çerxa jiyana daneyê ji çavkaniyê heya amûra BI.
- Modula kontrolkirina kalîteya daneyê.
Tomarkirina raporan
Li gorî encamên lêkolînên navxweyî yên di pargîdaniyên mezin de, dema ku pirsgirêkên têkildarî daneyê çareser dikin, karmend 40-80% ji dema xwe li wan digerin. Ji ber vê yekê, me ji xwe re peywir da ku em agahdariya vekirî li ser raporên heyî yên ku berê tenê ji xerîdaran re peyda dibûn, çêbikin. Bi vî rengî, em dema çêkirina raporên nû kêm dikin û demokratîkbûna daneyan misoger dikin.
Tomara ragihandinê ji bo bikarhênerên navxweyî yên ji herêm, beş û beşên cihêreng bûye pencereyek ragihandinê. Ew agahdariya li ser karûbarên agahdarî yên ku di gelek depoyên pargîdanî yên pargîdanî de hatine afirandin berhev dike, û gelek ji wan di Rostelecom de hene.
Lê qeyd ne tenê navnîşek hişk a raporên pêşkeftî ye. Ji bo her raporê, em agahdariya pêwîst peyda dikin ku bikarhêner xwe pê nas bike:
- kurteya raporê;
- kûrahiya hebûna daneyê;
- beşa xerîdar;
- amûra dîtinê;
- navê depoya pargîdanî;
- pêdiviyên karûbarê karsaziyê;
- girêdana raporê;
- girêdana serîlêdanê ji bo gihîştinê;
- rewşa pêkanîna.
Analîtîkên asta karanînê ji bo raporan hene, û rapor li ser bingeha analîtîka têketinê li gorî hejmara bikarhênerên bêhempa li serê navnîşê têne rêz kirin. Û ne ew e. Digel taybetmendiyên gelemperî, me di heman demê de bi mînakên nirx û rêbazên hesabkirinê ravekirinek hûrgulî ya pêkhatina taybetmendiya raporan jî peyda kiriye. Bi vî rengî hûrgulî tavilê bersivê dide bikarhêner ka gelo rapor ji bo wî bikêr e an na.
Pêşxistina vê modulê di demokratîzekirina daneyan de gavek girîng bû û dema ku hewce dike ji bo peydakirina agahdariya pêwîst bi girîngî kêm kir. Digel kêmkirina dema lêgerînê, hejmara daxwazên ji tîmê piştgirîyê re ji bo peydakirina şêwirdariyê jî kêm bûye. Ne mimkûn e ku em encamek din a bikêr a ku me bi pêşxistina tomarek yekgirtî ya raporan bi dest xist - nehiştina pêşkeftina raporên dubare yên ji bo yekeyên avahîsaziyê yên cihêreng destnîşan neke.
Ferhenga Karsaziyê
Hûn hemî dizanin ku tewra di hundurê heman pargîdanî de, karsaz bi zimanên cûda diaxivin. Erê, ew heman şertan bikar tînin, lê wateya wan tiştên bi tevahî cûda ne. Ji bo çareserkirina vê pirsgirêkê ferhengokek karsaziyê hatî çêkirin.
Ji bo me, ferhengokek karsaziyê ne tenê pirtûkek referansê ye ku bi ravekirina şert û metodolojiya hesabkirinê re ye. Ev jîngehek bêkêmasî ye ji bo pêşvebirin, pejirandin û pejirandina termînolojiyê, avakirina têkiliyên di navbera şert û malûmatên din ên agahdariya pargîdaniyê de. Berî ku têkevin ferhengoka karsaziyê, termek pêdivî ye ku hemî qonaxên pejirandinê bi xerîdarên karsaziyê û navenda kalîteya daneyê re derbas bibe. Tenê piştî vê yekê ew ji bo karanîna peyda dibe.
Wekî ku min li jor nivîsî, taybetmendiya vê amûrê ev e ku ew rê dide girêdanên ji asta têgînek karsaziyê heya raporên bikarhêner ên taybetî yên ku tê de têne bikar anîn, û her weha heya asta tiştên databasa laşî.
Ev bi karanîna nasnameyên termên ferhengokê di danasîna berfireh a raporên qeydê û danasîna tiştên databasa laşî de pêk tê.
Niha di Ferhengokê de zêdetirî 4000 şert hatine diyarkirin û lihevkirin. Bikaranîna wê pêvajokirina daxwazên hatina ji bo guhertinên di pergalên agahdariya pargîdaniyê de hêsan dike û bilez dike. Ger nîşana pêwîst jixwe di her raporekê de were bicîh kirin, wê hingê bikarhêner dê tavilê komek raporên amade bibînin ku ev nîşana tê bikar anîn, û dê bikaribe bêyî destpêkirina karanîna ji nû ve karanîna bi bandor a fonksiyona heyî an guheztina wê ya hindiktirîn biryar bide. daxwazên nû ji bo pêşxistina raporek nû.
Modula ji bo danasîna veguherînên teknîkî û DataLineage
Ev modul çi ne, hûn dipirsin? Tenê ne bes e ku meriv Tomar û Ferhenga Raporê bicîh bîne; di heman demê de pêdivî ye ku hemî şertên karsaziyê li ser modela databasa laşî were zem kirin. Bi vî rengî, me karîbû pêvajoya avakirina çerxa jiyana daneyê ji pergalên çavkaniyê bigire heya dîtbariya BI-yê di nav hemî qatên depoya daneyê de temam bike. Bi gotinek din, DataLineage ava bikin.
Me navbeynek li ser bingeha forma ku berê di pargîdaniyê de hatî bikar anîn ji bo danasîna qaîdeyên û mantiqa veguherîna daneyê pêşxist. Heman agahdarî wekî berê bi navbeynkarê tê ketin, lê pênasekirina nasnameya termê ji ferhengoka karsaziyê bûye mercek. Bi vî rengî em têkiliyek di navbera karsazî û qatên laşî de ava dikin.
Kî jê re lazim e? Di formata kevn a ku we çend salan pê re xebitî çi xelet bû? Mesrefên kedê yên ji bo hilberîna hewcedariyên çiqas zêde bûne? Em neçar bûn ku di dema pêkanîna amûrê de bi pirsên weha re mijûl bibin. Bersiv li vir pir hêsan in - em hemî hewceyê vê yekê, ofîsa daneya pargîdaniya me û bikarhênerên me ne.
Bi rastî, karmend neçar bûn ku xwe biguncînin; di destpêkê de, ev yek bû sedema zêdebûnek piçûk di lêçûnên kedê de ji bo amadekirina belgeyan, lê me ev pirsgirêk çareser kir. Pratîk, tespîtkirin û xweşbînkirina qadên pirsgirêkê karê xwe kiriye. Me tişta sereke bi dest xist - me kalîteya daxwazên pêşkeftî çêtir kir. Zeviyên mecbûrî, pirtûkên referansa yekbûyî, maskên têketinê, kontrolên çêkirî - van hemî gengaz kir ku bi girîngî qalîteya danasînên veguherînê baştir bike. Em ji pratîka radestkirina senaryoyan wekî hewcedariyên pêşkeftinê û zanîna hevpar a ku tenê ji tîmê pêşkeftinê re peyda bû, dûr ketin. Databasa metadata hatî hilberandin bi girîngî dema ku ji bo pêkanîna analîza regresyonê hewce dike kêm dike û şiyana nirxandina zû bandora guhertinan li ser her qatek perestgeha IT-yê peyda dike (raporên pêşandanê, berhevok, çavkanî).
Çi têkiliya vê bi bikarhênerên asayî yên raporan re heye, ji bo wan çi feydeyên wan hene? Bi saya şiyana avakirina DataLineage, bikarhênerên me, tewra yên ku ji SQL û zimanên din ên bernamekirinê dûr in, zû agahdarî li ser çavkanî û tiştên ku li ser bingeha wan raporek taybetî hatî çêkirin distînin.
Modula Kontrola Kalîteya Daneyê
Her tiştê ku me li jor behs kir di warê dabînkirina zelaliya daneyê de ne girîng e bêyî têgihîştina ku daneyên ku em didin bikarhêneran rast in. Yek ji modulên girîng ên konsepta meya Rêvebiriya Daneyê modula kontrolkirina kalîteya daneyê ye.
Di qonaxa heyî de, ev katalogek kontrolên ji bo saziyên hilbijartî ye. Armanca tavilê ji bo pêşkeftina hilberê berfirehkirina navnîşa kontrolan û entegrebûna bi qeydkirina raporê re ye.
Dê çi û ji kê re bide? Bikarhênerê paşîn ê qeydê dê bigihîje agahdariya li ser tarîxên plansazkirî û rastîn ên amadebûna raporê, encamên kontrolên qedandî yên bi dînamîk, û agahdariya li ser çavkaniyên ku di raporê de hatine barkirin.
Ji bo me, modula kalîteya daneyê ya ku di pêvajoyên xebata me de yekbûyî ye ev e:
- Avakirina bilez a hêviyên xerîdar.
- Li ser karanîna bêtir daneyan biryar girtin.
- Di qonaxên destpêkê yên xebatê de ji bo pêşdebirina kontrolên kalîteyê yên birêkûpêk, berhevokek pêşîn a xalên pirsgirêkê bistînin.
Bê guman, ev gavên yekem in ku di avakirina pêvajoyek rêveberiya daneyê ya bêkêmasî de ne. Lê em pê bawer in ku tenê bi kirina armancdar a vî karî, bi aktîvî danasîna amûrên Rêvebiriya Daneyê di pêvajoya xebatê de, em ê ji muwekîlên xwe re naveroka agahdarî, pêbaweriyek bilind a daneyan, şefafî di wergirtina wan de peyda bikin û leza destpêkirinê zêde bikin. fonksiyona nû.
Tîma DataOffice
Source: www.habr.com