Hlo Habr!
Cov ntaub ntawv yog ib lub tuam txhab muaj txiaj ntsig zoo tshaj plaws. Yuav luag txhua lub tuam txhab nrog lub hom phiaj digital tshaj tawm qhov no. Nws yog ib qho nyuaj rau kev sib cav nrog qhov no: tsis yog ib lub rooj sib tham IT loj uas tsis muaj kev sib tham txog kev tswj hwm, khaws cia thiab ua cov ntaub ntawv.
Cov ntaub ntawv tuaj rau peb los ntawm sab nraud, nws kuj yog tsim nyob rau hauv lub tuam txhab, thiab yog hais tias peb tham txog cov ntaub ntawv los ntawm lub tuam txhab telecom, ces rau cov neeg ua hauj lwm sab hauv no yog ib tug storehouse ntawm cov ntaub ntawv hais txog tus neeg siv, nws nyiam, cwj pwm, thiab qhov chaw. Nrog rau kev tsim nyog profile thiab segmentation, kev tshaj tawm kev tshaj tawm tau zoo tshaj plaws. Txawm li cas los xij, hauv kev xyaum, tsis yog txhua yam yog rosy. Cov ntaub ntawv uas cov tuam txhab khaws cia tej zaum yuav tsis muaj kev cia siab, rov ua dua, rov ua dua, lossis nws lub neej tsis paub txog leej twg tsuas yog lub voj voog nqaim ntawm cov neeg siv. ¯_(ツ)_/¯
Hauv ib lo lus, cov ntaub ntawv yuav tsum tau tswj kom zoo - tsuas yog tom qab ntawd nws yuav dhau los ua khoom vaj khoom tsev uas coj cov txiaj ntsig tiag tiag thiab txiaj ntsig rau kev lag luam. Hmoov tsis zoo, kev daws teeb meem kev tswj cov ntaub ntawv yuav tsum tau kov yeej ntau qhov nyuaj. Lawv feem ntau yog vim ob qho tib si keeb kwm keeb kwm hauv daim ntawv ntawm "zoos" ntawm cov tshuab thiab tsis muaj cov txheej txheem sib koom ua ke thiab txoj hauv kev rau lawv txoj kev tswj hwm. Tab sis nws txhais li cas los ua "cov ntaub ntawv tsav"?
Qhov no yog raws nraim li cas peb yuav tham txog nyob rau hauv qhov kev txiav, nrog rau yuav ua li cas lub opensource pawg pab peb.
Lub tswv yim ntawm kev tswj hwm cov ntaub ntawv muaj tswv yim Cov Kev Tswj Xyuas Cov Ntaub Ntawv (DG) twb paub zoo heev nyob rau hauv Lavxias teb sab kev ua lag luam, thiab cov hom phiaj ua tiav los ntawm kev lag luam vim nws qhov kev siv yog qhov tseeb thiab tshaj tawm. Peb lub tuam txhab tsis muaj kev zam thiab teeb tsa nws tus kheej txoj haujlwm los qhia txog lub tswv yim ntawm kev tswj cov ntaub ntawv.
Yog li ntawd peb pib qhov twg? Pib nrog, peb tsim cov hom phiaj tseem ceeb rau peb tus kheej:
- Khaws peb cov ntaub ntawv siv tau.
- Xyuas kom pom tseeb ntawm cov ntaub ntawv lifecycle.
- Muab cov tuam txhab cov neeg siv nrog cov ntaub ntawv zoo ib yam.
- Muab cov tuam txhab cov neeg siv nrog cov ntaub ntawv pov thawj.
Niaj hnub no, muaj ntau ntau cov ntaub ntawv tswj hwm cov cuab yeej hauv kev lag luam software.
Tab sis tom qab kev soj ntsuam ntxaws thiab kawm txog cov kev daws teeb meem, peb tau sau ntau cov lus tseem ceeb rau peb tus kheej:
- Feem ntau cov tuam ntxhab muab cov txheej txheem kev daws teeb meem, uas rau peb yog redundant thiab duplicates uas twb muaj lawm functionality. Ntxiv rau, kim ntawm cov peev txheej, kev koom ua ke rau hauv IT toj roob hauv pes tam sim no.
- Lub functionality thiab interface yog tsim los rau technologists, tsis ua lag luam kawg cov neeg siv.
- Tsawg ciaj sia taus ntawm cov khoom thiab tsis muaj kev ua tiav ntawm kev ua lag luam hauv Lavxias.
- Tus nqi siab ntawm software thiab kev txhawb nqa ntxiv.
Cov txheej txheem thiab cov lus pom zoo tau hais los saum toj no hais txog kev hloov pauv ntawm software rau cov tuam txhab Lavxias tau ntxias peb kom txav mus rau peb tus kheej txoj kev loj hlob ntawm pawg opensource. Lub platform uas peb xaiv yog Django, lub hauv paus pub dawb thiab qhib qhov chaw sau hauv Python. Thiab yog li peb tau txheeb xyuas cov qauv tseem ceeb uas yuav ua rau cov hom phiaj tau teev tseg saum toj no:
- Sau npe ntawm cov ntaub ntawv.
- Kev lag luam glossary.
- Module piav qhia txog kev hloov pauv.
- Module piav qhia txog cov ntaub ntawv lub neej voj voog ntawm qhov chaw mus rau BI cuab yeej.
- Cov ntaub ntawv zoo tswj module.
Sau npe ntawm cov ntaub ntawv
Raws li cov txiaj ntsig ntawm kev tshawb fawb sab hauv hauv cov tuam txhab loj, thaum daws cov teeb meem ntsig txog cov ntaub ntawv, cov neeg ua haujlwm siv 40-80% ntawm lawv lub sijhawm tshawb nrhiav lawv. Yog li ntawd, peb teem peb tus kheej lub luag haujlwm ntawm kev qhib cov ntaub ntawv hais txog cov ntaub ntawv uas twb muaj lawm uas yav tas los muaj rau cov neeg siv khoom. Yog li, peb txo lub sijhawm tsim cov ntawv tshaj tawm tshiab thiab ua kom muaj kev ywj pheej ntawm cov ntaub ntawv.
Cov ntawv sau npe tau dhau los ua ib lub qhov rais qhia rau cov neeg siv sab hauv los ntawm ntau lub cheeb tsam, chaw ua haujlwm, thiab kev faib tawm. Nws suav nrog cov ntaub ntawv ntawm cov ntaub ntawv kev pabcuam tsim nyob rau hauv ob peb lub chaw khaws ntaub ntawv ntawm lub tuam txhab, thiab muaj ntau ntawm lawv hauv Rostelecom.
Tab sis daim ntawv teev npe tsis yog ib daim ntawv teev npe qhuav ntawm cov ntaub ntawv tsim tawm. Rau txhua daim ntawv tshaj tawm, peb muab cov ntaub ntawv tsim nyog rau cov neeg siv kom paub lawv tus kheej nrog nws:
- Cov lus piav qhia luv luv ntawm tsab ntawv ceeb toom;
- qhov tob ntawm cov ntaub ntawv muaj;
- cov neeg siv khoom ntu;
- kev pom qhov cuab yeej;
- lub npe ntawm lub tuam txhab cia;
- kev ua lag luam kev ua haujlwm;
- txuas rau daim ntawv qhia;
- txuas rau daim ntawv thov nkag;
- kev ua raws li txoj cai.
Kev siv qib tshuaj ntsuam xyuas muaj rau cov ntawv ceeb toom, thiab cov ntawv ceeb toom tau nyob rau saum toj ntawm daim ntawv teev npe raws li kev txheeb xyuas lub cav raws li tus naj npawb ntawm cov neeg siv tshwj xeeb. Thiab qhov ntawd tsis yog nws. Ntxiv nrog rau cov yam ntxwv dav dav, peb kuj tau muab cov lus piav qhia ntxaws ntxaws ntawm cov khoom sib xyaw ntawm cov ntawv ceeb toom nrog cov piv txwv ntawm cov txiaj ntsig thiab cov txheej txheem suav. Xws li kev nthuav dav tam sim no muab cov lus teb rau tus neeg siv seb daim ntawv tshaj tawm puas muaj txiaj ntsig rau nws lossis tsis.
Kev txhim kho ntawm cov qauv no yog ib kauj ruam tseem ceeb hauv kev ywj pheej ntawm cov ntaub ntawv thiab txo lub sijhawm nws yuav siv sij hawm los nrhiav cov ntaub ntawv xav tau. Ntxiv rau kev txo lub sijhawm tshawb nrhiav, tus naj npawb ntawm kev thov rau pab pawg txhawb nqa los muab kev sab laj kuj tau txo. Nws yog tsis yooj yim sua kom tsis nco txog lwm yam txiaj ntsig uas peb tau ua tiav los ntawm kev tsim cov ntawv sau npe sib koom ua ke ntawm cov ntawv ceeb toom - tiv thaiv kev txhim kho cov ntaub ntawv sib npaug rau cov qauv sib txawv.
Kev lag luam glossary
Koj txhua tus paub tias txawm nyob hauv tib lub tuam txhab, cov lag luam hais lus sib txawv. Yog lawm, lawv siv tib lo lus, tab sis lawv txhais tau tias txawv kiag li. Lub lag luam glossary yog tsim los daws qhov teeb meem no.
Rau peb, kev lag luam glossary tsis yog phau ntawv siv nrog cov lus piav qhia ntawm cov ntsiab lus thiab kev suav txheej txheem. Qhov no yog ib puag ncig tag nrho rau kev tsim, pom zoo thiab pom zoo cov ntsiab lus, tsim kev sib raug zoo ntawm cov ntsiab lus thiab lwm yam khoom muaj nqis ntawm lub tuam txhab. Ua ntej nkag mus rau hauv kev lag luam glossary, ib lo lus yuav tsum mus dhau txhua theem ntawm kev pom zoo nrog cov neeg siv khoom lag luam thiab cov ntaub ntawv zoo. Tsuas yog tom qab no nws thiaj li muaj rau siv.
Raws li kuv tau sau saum toj no, qhov tshwj xeeb ntawm cov cuab yeej no yog tias nws tso cai rau kev sib txuas los ntawm qib ntawm lub sijhawm ua lag luam rau cov neeg siv cov ntaub ntawv tshwj xeeb uas nws tau siv, nrog rau qib ntawm cov khoom siv lub cev.
Qhov no yog ua tau los ntawm kev siv cov ntsiab lus glossary identifiers hauv cov ncauj lus kom ntxaws ntawm cov ntawv sau npe thiab cov lus piav qhia ntawm cov khoom siv hauv lub cev.
Tam sim no, ntau dua 4000 nqe lus tau raug txiav txim siab thiab pom zoo nyob rau hauv Glossary. Nws siv tau yooj yim thiab ua kom ceev cov txheej txheem ntawm kev thov tuaj rau kev hloov pauv hauv lub tuam txhab cov ntaub ntawv xov xwm. Yog tias qhov ntsuas yuav tsum tau ua tiav hauv ib daim ntawv tshaj tawm, tom qab ntawd tus neeg siv yuav pom tam sim cov txheej txheem npaj ua tiav qhov twg qhov ntsuas no tau siv, thiab yuav tuaj yeem txiav txim siab txog kev rov siv tau zoo ntawm cov haujlwm uas twb muaj lawm lossis nws qhov kev hloov kho me me, yam tsis tau pib. kev thov tshiab rau kev txhim kho daim ntawv qhia tshiab.
Module piav qhia txog kev hloov pauv thiab DataLineage
Cov modules no yog dab tsi, koj nug? Nws tsis txaus los tsuas yog siv Daim Ntawv Teev Npe Sau Npe thiab Glossary; nws tseem yuav tsum tau ua kom tiav tag nrho cov ntsiab lus lag luam ntawm tus qauv database. Yog li, peb muaj peev xwm ua kom tiav cov txheej txheem ntawm kev tsim cov ntaub ntawv lub neej voj voog los ntawm cov txheej txheem mus rau BI visualization los ntawm tag nrho cov txheej txheem ntawm cov ntaub ntawv warehouse. Hauv lwm lo lus, tsim DataLineage.
Peb tsim ib qho kev sib txuas raws li hom ntawv siv yav dhau los hauv lub tuam txhab los piav qhia txog cov cai thiab cov laj thawj ntawm cov ntaub ntawv hloov pauv. Cov ntaub ntawv tib yam yog nkag mus rau hauv lub interface raws li ua ntej, tab sis lub ntsiab lus ntawm lub sij hawm identifier los ntawm kev lag luam glossary tau dhau los ua qhov yuav tsum tau ua. Qhov no yog li cas peb tsim kev sib txuas ntawm kev lag luam thiab cov txheej txheem lub cev.
Leej twg xav tau nws? Dab tsi yog qhov tsis ncaj ncees lawm ntawm hom qub uas koj ua haujlwm nrog rau ntau xyoo? Ntau npaum li cas tus nqi zog rau kev tsim cov kev xav tau nce? Peb yuav tsum tau nrog cov lus nug no thaum lub sij hawm siv cov cuab yeej. Cov lus teb ntawm no yog qhov yooj yim heev - peb txhua tus xav tau qhov no, peb lub tuam txhab cov ntaub ntawv chaw ua haujlwm thiab peb cov neeg siv.
Tseeb tiag, cov neeg ua haujlwm yuav tsum tau hloov kho; thaum xub thawj, qhov no ua rau me ntsis nce nqi zog rau kev npaj cov ntaub ntawv, tab sis peb tau txheeb xyuas qhov teeb meem no. Xyaum, txheeb xyuas thiab ua kom zoo rau thaj chaw teeb meem tau ua lawv txoj haujlwm. Peb tau ua tiav qhov tseem ceeb - peb tau txhim kho qhov zoo ntawm cov kev cai tsim. Qhov yuav tsum tau ua, cov phau ntawv qhia kev sib koom ua ke, lub qhov ncauj qhov ntswg, kev kuaj xyuas ua ke - tag nrho cov no ua rau nws ua tau kom txhim kho qhov zoo ntawm kev hloov pauv cov lus piav qhia. Peb tau txav deb ntawm qhov kev coj ua ntawm kev xa cov ntawv sau raws li kev xav tau ntawm kev txhim kho thiab sib qhia cov kev paub uas tsuas yog muaj rau pab pawg txhim kho. Cov ntaub ntawv tsim tawm metadata tau txo qis lub sijhawm xav tau los ua qhov kev soj ntsuam rov qab thiab muab lub peev xwm los ntsuas qhov cuam tshuam ntawm kev hloov pauv ntawm txhua txheej ntawm IT toj roob hauv pes (showcase reports, aggregates, sources).
Qhov no yog dab tsi rau cov neeg siv cov ntawv ceeb toom, dab tsi yog qhov zoo rau lawv? Ua tsaug rau lub peev xwm los tsim DataLineage, peb cov neeg siv, txawm tias nyob deb ntawm SQL thiab lwm yam lus programming, tau txais cov ntaub ntawv sai sai txog cov peev txheej thiab cov khoom siv raws li qhov kev tshaj tawm tshwj xeeb raug tsim.
Data Quality Control Module
Txhua yam peb tau tham txog saum toj no hais txog kev ua kom cov ntaub ntawv pob tshab tsis yog qhov tseem ceeb yam tsis muaj kev nkag siab tias cov ntaub ntawv peb muab rau cov neeg siv yog qhov tseeb. Ib qho ntawm cov qauv tseem ceeb ntawm peb lub tswv yim Kev Tswj Xyuas Cov Ntaub Ntawv yog cov ntaub ntawv tswj xyuas qhov zoo.
Nyob rau theem tam sim no, qhov no yog phau ntawv teev npe rau cov chaw xaiv. Lub hom phiaj tam sim no rau kev tsim cov khoom lag luam yog nthuav tawm cov npe ntawm cov tshev thiab koom ua ke nrog cov ntaub ntawv sau npe.
Nws yuav muab dab tsi thiab rau leej twg? Cov neeg siv kawg ntawm kev sau npe yuav nkag mus rau cov ntaub ntawv hais txog cov phiaj xwm thiab cov hnub tim tiag tiag ntawm kev npaj cov ntawv tshaj tawm, cov txiaj ntsig ntawm kev ua tiav cov tshev nrog cov kev hloov pauv, thiab cov ntaub ntawv ntawm cov peev txheej thauj khoom rau hauv daim ntawv tshaj tawm.
Rau peb, cov ntaub ntawv zoo module koom ua ke rau hauv peb cov txheej txheem ua haujlwm yog:
- Kev tsim kom sai ntawm cov neeg siv khoom xav tau.
- Kev txiav txim siab txog kev siv cov ntaub ntawv ntxiv.
- Tau txais cov txheej txheem ua ntej ntawm cov ntsiab lus teeb meem ntawm cov theem pib ntawm kev ua haujlwm rau kev txhim kho kev tswj xyuas kom zoo.
Tau kawg, cov no yog thawj kauj ruam hauv kev tsim cov txheej txheem tswj cov ntaub ntawv tag nrho. Tab sis peb ntseeg siab tias tsuas yog los ntawm lub hom phiaj ua txoj haujlwm no, nquag qhia cov cuab yeej Tswj Xyuas Cov Ntaub Ntawv rau hauv cov txheej txheem ua haujlwm, peb yuav muab peb cov neeg siv khoom nrog cov ntaub ntawv cov ntsiab lus, kev ntseeg siab ntawm cov ntaub ntawv, pob tshab hauv lawv daim ntawv txais nyiaj thiab ua kom nrawm ntawm kev tshaj tawm. tshiab functionality.
DataOffice Team
Tau qhov twg los: www.hab.com