హే హబ్ర్!
డేటా అనేది కంపెనీ యొక్క అత్యంత విలువైన ఆస్తి. డిజిటల్ ఫోకస్ ఉన్న దాదాపు ప్రతి కంపెనీ దీనిని ప్రకటిస్తుంది. దీనితో వాదించడం కష్టం: డేటాను నిర్వహించడం, నిల్వ చేయడం మరియు ప్రాసెస్ చేయడం వంటి విధానాలను చర్చించకుండా ఒక్క ప్రధాన IT సమావేశం నిర్వహించబడదు.
డేటా బయటి నుండి మాకు వస్తుంది, ఇది కంపెనీలో కూడా ఉత్పత్తి చేయబడుతుంది మరియు మేము టెలికాం కంపెనీ నుండి డేటా గురించి మాట్లాడినట్లయితే, అంతర్గత ఉద్యోగుల కోసం ఇది క్లయింట్, అతని ఆసక్తులు, అలవాట్లు మరియు స్థానం గురించి సమాచారం యొక్క స్టోర్హౌస్. సరైన ప్రొఫైలింగ్ మరియు సెగ్మెంటేషన్‌తో, అడ్వర్టైజింగ్ ఆఫర్‌లు అత్యంత ప్రభావవంతంగా ఉంటాయి. అయితే, ఆచరణలో, ప్రతిదీ చాలా రోజీ కాదు. కంపెనీలు నిల్వ చేసే డేటా నిస్సహాయంగా పాతది కావచ్చు, అనవసరమైనది, పునరావృతం కావచ్చు లేదా దాని ఉనికి వినియోగదారుల యొక్క ఇరుకైన సర్కిల్‌కు తప్ప ఎవరికీ తెలియదు. ¯_(ツ)_/¯
ఒక్క మాటలో చెప్పాలంటే, డేటాను సమర్థవంతంగా నిర్వహించాలి - అప్పుడే అది వ్యాపారానికి నిజమైన ప్రయోజనాలు మరియు లాభాలను తెచ్చే ఆస్తిగా మారుతుంది. దురదృష్టవశాత్తూ, డేటా నిర్వహణ సమస్యలను పరిష్కరించడానికి చాలా సంక్లిష్టతలను అధిగమించడం అవసరం. అవి ప్రధానంగా "జంతుప్రదర్శనశాలలు" వ్యవస్థల రూపంలో చారిత్రక వారసత్వం మరియు వాటి నిర్వహణకు ఏకీకృత ప్రక్రియలు మరియు విధానాలు లేకపోవడం. కానీ "డేటా ఆధారితం" అంటే ఏమిటి?
దీని గురించి మనం కట్ కింద మాట్లాడుతాము, అలాగే ఓపెన్ సోర్స్ స్టాక్ మాకు ఎలా సహాయపడింది.
వ్యూహాత్మక డేటా మేనేజ్‌మెంట్ డేటా గవర్నెన్స్ (DG) భావన ఇప్పటికే రష్యన్ మార్కెట్లో బాగా తెలుసు మరియు దాని అమలు ఫలితంగా వ్యాపారం ద్వారా సాధించిన లక్ష్యాలు స్పష్టంగా మరియు స్పష్టంగా ప్రకటించబడ్డాయి. మా కంపెనీ దీనికి మినహాయింపు కాదు మరియు డేటా మేనేజ్‌మెంట్ భావనను పరిచయం చేసే పనిని స్వయంగా సెట్ చేసుకుంది.
కాబట్టి మనం ఎక్కడ ప్రారంభించాము? ప్రారంభించడానికి, మేము మన కోసం కీలక లక్ష్యాలను ఏర్పరచుకున్నాము:
- మా డేటాను అందుబాటులో ఉంచుకోండి.
- డేటా జీవితచక్రం యొక్క పారదర్శకతను నిర్ధారించుకోండి.
- కంపెనీ వినియోగదారులకు స్థిరమైన, స్థిరమైన డేటాను అందించండి.
- ధృవీకరించబడిన డేటాతో కంపెనీ వినియోగదారులకు అందించండి.
నేడు, సాఫ్ట్‌వేర్ మార్కెట్లో డజను డేటా గవర్నెన్స్ క్లాస్ టూల్స్ ఉన్నాయి.
కానీ పరిష్కారాల యొక్క వివరణాత్మక విశ్లేషణ మరియు అధ్యయనం తర్వాత, మేము మా కోసం అనేక క్లిష్టమైన వ్యాఖ్యలను నమోదు చేసాము:
- చాలా మంది తయారీదారులు సమగ్రమైన పరిష్కారాలను అందిస్తారు, ఇది మాకు అనవసరమైనది మరియు ఇప్పటికే ఉన్న కార్యాచరణను నకిలీ చేస్తుంది. అదనంగా, వనరుల పరంగా ఖరీదైనది, ప్రస్తుత IT ల్యాండ్‌స్కేప్‌లో ఏకీకరణ.
- కార్యాచరణ మరియు ఇంటర్‌ఫేస్ సాంకేతిక నిపుణుల కోసం రూపొందించబడ్డాయి, వ్యాపార తుది వినియోగదారుల కోసం కాదు.
- ఉత్పత్తుల యొక్క తక్కువ మనుగడ రేటు మరియు రష్యన్ మార్కెట్లో విజయవంతమైన అమలులు లేకపోవడం.
- సాఫ్ట్‌వేర్ యొక్క అధిక ధర మరియు మరింత మద్దతు.
రష్యన్ కంపెనీల కోసం సాఫ్ట్‌వేర్ యొక్క దిగుమతి ప్రత్యామ్నాయానికి సంబంధించి పైన పేర్కొన్న ప్రమాణాలు మరియు సిఫార్సులు ఓపెన్‌సోర్స్ స్టాక్‌లో మా స్వంత అభివృద్ధి వైపు వెళ్లడానికి మమ్మల్ని ఒప్పించాయి. మేము ఎంచుకున్న ప్లాట్‌ఫారమ్ జాంగో, పైథాన్‌లో వ్రాయబడిన ఉచిత మరియు ఓపెన్ సోర్స్ ఫ్రేమ్‌వర్క్. అందువల్ల పైన పేర్కొన్న లక్ష్యాలకు దోహదపడే కీలక మాడ్యూళ్లను మేము గుర్తించాము:
- నివేదికల రిజిస్టర్.
- వ్యాపార పదకోశం.
- సాంకేతిక పరివర్తనలను వివరించే మాడ్యూల్.
- మూలం నుండి BI సాధనం వరకు డేటా జీవిత చక్రాన్ని వివరించే మాడ్యూల్.
- డేటా నాణ్యత నియంత్రణ మాడ్యూల్.
నివేదికల రిజిస్టర్
పెద్ద కంపెనీలలో అంతర్గత అధ్యయనాల ఫలితాల ప్రకారం, డేటా సంబంధిత సమస్యలను పరిష్కరించేటప్పుడు, ఉద్యోగులు వారి కోసం 40-80% సమయాన్ని వెచ్చిస్తారు. అందువల్ల, కస్టమర్‌లకు మాత్రమే గతంలో అందుబాటులో ఉన్న రిపోర్ట్‌ల గురించి ఓపెన్ ఇన్‌ఫర్మేషన్‌ని రూపొందించే పనిని మేమే సెట్ చేసుకున్నాము. అందువలన, మేము కొత్త నివేదికలను రూపొందించడానికి సమయాన్ని తగ్గిస్తాము మరియు డేటా యొక్క ప్రజాస్వామ్యీకరణను నిర్ధారిస్తాము.
వివిధ ప్రాంతాలు, విభాగాలు మరియు విభాగాల నుండి అంతర్గత వినియోగదారుల కోసం రిపోర్టింగ్ రిజిస్టర్ ఒకే రిపోర్టింగ్ విండోగా మారింది. ఇది సంస్థ యొక్క అనేక కార్పొరేట్ రిపోజిటరీలలో సృష్టించబడిన సమాచార సేవలపై సమాచారాన్ని ఏకీకృతం చేస్తుంది మరియు వాటిలో చాలా Rostelecomలో ఉన్నాయి.
కానీ రిజిస్ట్రీ అభివృద్ధి చెందిన నివేదికల పొడి జాబితా మాత్రమే కాదు. ప్రతి నివేదిక కోసం, వినియోగదారు దానితో తమను తాము పరిచయం చేసుకోవడానికి అవసరమైన సమాచారాన్ని మేము అందిస్తాము:
- నివేదిక యొక్క సంక్షిప్త వివరణ;
- డేటా లభ్యత యొక్క లోతు;
- కస్టమర్ సెగ్మెంట్;
- విజువలైజేషన్ సాధనం;
- కార్పొరేట్ నిల్వ పేరు;
- వ్యాపార క్రియాత్మక అవసరాలు;
- నివేదికకు లింక్;
- యాక్సెస్ కోసం అప్లికేషన్ లింక్;
- అమలు స్థితి.
నివేదికల కోసం వినియోగ స్థాయి విశ్లేషణలు అందుబాటులో ఉన్నాయి మరియు ప్రత్యేక వినియోగదారుల సంఖ్య ఆధారంగా లాగ్ అనలిటిక్స్ ఆధారంగా నివేదికలు జాబితాలో అగ్రస్థానంలో ఉంటాయి. మరియు అది కాదు. సాధారణ లక్షణాలతో పాటు, మేము విలువలు మరియు గణన పద్ధతుల ఉదాహరణలతో నివేదికల లక్షణం కూర్పు యొక్క వివరణాత్మక వర్ణనను కూడా అందించాము. అటువంటి వివరాలు వినియోగదారుకు నివేదిక ఉపయోగకరంగా ఉందో లేదో వెంటనే సమాధానం ఇస్తుంది.
ఈ మాడ్యూల్ అభివృద్ధి డేటా యొక్క ప్రజాస్వామ్యీకరణలో ఒక ముఖ్యమైన దశ మరియు అవసరమైన సమాచారాన్ని కనుగొనడానికి తీసుకునే సమయాన్ని గణనీయంగా తగ్గించింది. శోధన సమయాన్ని తగ్గించడంతో పాటు, సంప్రదింపులను అందించడానికి మద్దతు బృందానికి అభ్యర్థనల సంఖ్య కూడా తగ్గింది. నివేదికల యొక్క ఏకీకృత రిజిస్టర్‌ను అభివృద్ధి చేయడం ద్వారా మేము సాధించిన మరొక ఉపయోగకరమైన ఫలితాన్ని గమనించడం అసాధ్యం - వివిధ నిర్మాణాత్మక యూనిట్ల కోసం నకిలీ నివేదికల అభివృద్ధిని నిరోధించడం.
వ్యాపార పదకోశం
ఒకే కంపెనీలో కూడా వ్యాపారాలు వివిధ భాషలు మాట్లాడతాయని మీకందరికీ తెలుసు. అవును, వారు ఒకే నిబంధనలను ఉపయోగిస్తారు, కానీ అవి పూర్తిగా భిన్నమైన విషయాలను సూచిస్తాయి. ఈ సమస్యను పరిష్కరించడానికి వ్యాపార పదకోశం రూపొందించబడింది.
మాకు, వ్యాపార పదకోశం అనేది నిబంధనలు మరియు గణన పద్దతి యొక్క వివరణతో కూడిన సూచన పుస్తకం మాత్రమే కాదు. ఇది టెర్మినాలజీని అభివృద్ధి చేయడానికి, అంగీకరించడానికి మరియు ఆమోదించడానికి, నిబంధనలు మరియు కంపెనీ యొక్క ఇతర సమాచార ఆస్తుల మధ్య సంబంధాలను నిర్మించడానికి పూర్తి స్థాయి వాతావరణం. వ్యాపార పదకోశంలోకి ప్రవేశించే ముందు, ఒక పదం తప్పనిసరిగా వ్యాపార కస్టమర్‌లు మరియు డేటా నాణ్యతా కేంద్రంతో అన్ని దశల ఆమోదం పొందాలి. దీని తర్వాత మాత్రమే ఇది ఉపయోగం కోసం అందుబాటులోకి వస్తుంది.
నేను పైన వ్రాసినట్లుగా, ఈ సాధనం యొక్క ప్రత్యేకత ఏమిటంటే, ఇది వ్యాపార పదం స్థాయి నుండి అది ఉపయోగించిన నిర్దిష్ట వినియోగదారు నివేదికలకు, అలాగే భౌతిక డేటాబేస్ వస్తువుల స్థాయికి కనెక్షన్‌లను అనుమతిస్తుంది.
రిజిస్ట్రీ నివేదికల వివరణాత్మక వర్ణన మరియు భౌతిక డేటాబేస్ వస్తువుల వివరణలో గ్లాసరీ టర్మ్ ఐడెంటిఫైయర్‌లను ఉపయోగించడం ద్వారా ఇది సాధ్యమవుతుంది.
ప్రస్తుతం, పదకోశంలో 4000 కంటే ఎక్కువ నిబంధనలు నిర్వచించబడ్డాయి మరియు అంగీకరించబడ్డాయి. దీని ఉపయోగం సంస్థ యొక్క సమాచార వ్యవస్థలలో మార్పుల కోసం ఇన్‌కమింగ్ అభ్యర్థనల ప్రాసెసింగ్‌ను సులభతరం చేస్తుంది మరియు వేగవంతం చేస్తుంది. ఏదైనా నివేదికలో అవసరమైన సూచిక ఇప్పటికే అమలు చేయబడితే, వినియోగదారు ఈ సూచికను ఉపయోగించిన రెడీమేడ్ నివేదికల సమితిని వెంటనే చూస్తారు మరియు ప్రారంభించకుండానే, ఇప్పటికే ఉన్న ఫంక్షనాలిటీ యొక్క సమర్థవంతమైన పునర్వినియోగం లేదా దాని కనీస మార్పుపై నిర్ణయం తీసుకోగలరు. కొత్త నివేదిక అభివృద్ధి కోసం కొత్త అభ్యర్థనలు.
సాంకేతిక పరివర్తనలు మరియు DataLineage గురించి వివరించే మాడ్యూల్
ఈ మాడ్యూల్స్ ఏమిటి, మీరు అడగండి? రిపోర్ట్ రిజిస్టర్ మరియు గ్లోసరీని అమలు చేయడం మాత్రమే సరిపోదు; ఫిజికల్ డేటాబేస్ మోడల్‌లో అన్ని వ్యాపార నిబంధనలను గ్రౌండ్ చేయడం కూడా అవసరం. అందువలన, మేము డేటా వేర్‌హౌస్‌లోని అన్ని లేయర్‌ల ద్వారా సోర్స్ సిస్టమ్‌ల నుండి BI విజువలైజేషన్ వరకు డేటా లైఫ్ సైకిల్‌ను రూపొందించే ప్రక్రియను పూర్తి చేయగలిగాము. మరో మాటలో చెప్పాలంటే, DataLineageని రూపొందించండి.
డేటా పరివర్తన యొక్క నియమాలు మరియు లాజిక్‌లను వివరించడానికి కంపెనీలో గతంలో ఉపయోగించిన ఫార్మాట్ ఆధారంగా మేము ఇంటర్‌ఫేస్‌ను అభివృద్ధి చేసాము. అంతకు ముందు వలె అదే సమాచారం ఇంటర్‌ఫేస్ ద్వారా నమోదు చేయబడుతుంది, అయితే వ్యాపార పదకోశం నుండి ఐడెంటిఫైయర్ అనే పదం యొక్క నిర్వచనం ఒక అవసరంగా మారింది. ఈ విధంగా మేము వ్యాపారం మరియు భౌతిక పొరల మధ్య సంబంధాన్ని ఏర్పరుస్తాము.
అది ఎవరికి అవసరం? లేదాఎవరికి అది అవసరం? మీరు చాలా సంవత్సరాలు పనిచేసిన పాత ఫార్మాట్‌లో తప్పు ఏమిటి? ఉత్పాదక అవసరాల కోసం కార్మిక ఖర్చులు ఎంత పెరిగాయి? సాధనం యొక్క అమలు సమయంలో మేము అలాంటి ప్రశ్నలను ఎదుర్కోవలసి వచ్చింది. ఇక్కడ సమాధానాలు చాలా సులభం - మనందరికీ ఇది అవసరం, మా కంపెనీ డేటా ఆఫీస్ మరియు మా వినియోగదారులు.
నిజానికి, ఉద్యోగులు స్వీకరించవలసి వచ్చింది; మొదట, ఇది డాక్యుమెంటేషన్‌ను సిద్ధం చేయడానికి కార్మిక వ్యయాలలో స్వల్ప పెరుగుదలకు దారితీసింది, కానీ మేము ఈ సమస్యను క్రమబద్ధీకరించాము. ప్రాక్టీస్ చేయడం, సమస్య ప్రాంతాలను గుర్తించడం మరియు ఆప్టిమైజ్ చేయడం వారి పనిని పూర్తి చేసింది. మేము ప్రధాన విషయం సాధించాము - మేము అభివృద్ధి చెందిన అవసరాల నాణ్యతను మెరుగుపరిచాము. తప్పనిసరి ఫీల్డ్‌లు, ఏకీకృత రిఫరెన్స్ పుస్తకాలు, ఇన్‌పుట్ మాస్క్‌లు, అంతర్నిర్మిత తనిఖీలు - ఇవన్నీ పరివర్తన వివరణల నాణ్యతను గణనీయంగా మెరుగుపరచడం సాధ్యం చేశాయి. మేము స్క్రిప్ట్‌లను డెవలప్‌మెంట్ అవసరాలుగా అందజేయడం మరియు డెవలప్‌మెంట్ టీమ్‌కు మాత్రమే అందుబాటులో ఉండే జ్ఞానాన్ని పంచుకునే పద్ధతికి దూరంగా ఉన్నాము. ఉత్పత్తి చేయబడిన మెటాడేటా డేటాబేస్ రిగ్రెషన్ విశ్లేషణను నిర్వహించడానికి అవసరమైన సమయాన్ని గణనీయంగా తగ్గిస్తుంది మరియు IT ల్యాండ్‌స్కేప్‌లోని ఏదైనా పొరపై మార్పుల ప్రభావాన్ని త్వరగా అంచనా వేయగల సామర్థ్యాన్ని అందిస్తుంది (షోకేస్ నివేదికలు, కంకరలు, మూలాలు).
నివేదికల యొక్క సాధారణ వినియోగదారులతో దీనికి ఏమి సంబంధం ఉంది, వారికి ప్రయోజనాలు ఏమిటి? DataLineageని నిర్మించగల సామర్థ్యానికి ధన్యవాదాలు, మా వినియోగదారులు, SQL మరియు ఇతర ప్రోగ్రామింగ్ భాషలకు దూరంగా ఉన్నవారు కూడా, నిర్దిష్ట నివేదిక రూపొందించబడిన మూలాధారాలు మరియు వస్తువుల గురించి సమాచారాన్ని త్వరగా స్వీకరిస్తారు.
డేటా నాణ్యత నియంత్రణ మాడ్యూల్
మేము వినియోగదారులకు ఇచ్చే డేటా సరైనదేనని అర్థం చేసుకోకుండా డేటా పారదర్శకతను నిర్ధారించే విషయంలో మేము పైన మాట్లాడిన ప్రతి విషయం ముఖ్యం కాదు. మా డేటా గవర్నెన్స్ కాన్సెప్ట్‌లోని ముఖ్యమైన మాడ్యూళ్లలో ఒకటి డేటా నాణ్యత నియంత్రణ మాడ్యూల్.
ప్రస్తుత దశలో, ఇది ఎంచుకున్న ఎంటిటీల కోసం తనిఖీల కేటలాగ్. ఉత్పత్తి అభివృద్ధి కోసం తక్షణ లక్ష్యం తనిఖీల జాబితాను విస్తరించడం మరియు రిపోర్టింగ్ రిజిస్ట్రీతో ఏకీకృతం చేయడం.
అది ఎవరికి ఏమి ఇస్తుంది? రిజిస్ట్రీ యొక్క తుది వినియోగదారు నివేదిక సంసిద్ధత యొక్క ప్రణాళికాబద్ధమైన మరియు వాస్తవ తేదీలు, డైనమిక్స్‌తో పూర్తి చేసిన తనిఖీల ఫలితాలు మరియు నివేదికలో లోడ్ చేయబడిన మూలాల సమాచారం గురించి సమాచారాన్ని యాక్సెస్ చేయగలరు.
మా కోసం, మా పని ప్రక్రియలలో డేటా నాణ్యత మాడ్యూల్ విలీనం చేయబడింది:
- కస్టమర్ అంచనాల సత్వర నిర్మాణం.
- డేటాను మరింత ఉపయోగించడంపై నిర్ణయాలు తీసుకోవడం.
- సాధారణ నాణ్యత నియంత్రణల అభివృద్ధి కోసం పని యొక్క ప్రారంభ దశలలో సమస్య పాయింట్ల ప్రాథమిక సెట్‌ను పొందడం.
వాస్తవానికి, పూర్తి స్థాయి డేటా నిర్వహణ ప్రక్రియను నిర్మించడంలో ఇవి మొదటి దశలు. కానీ ఈ పనిని ఉద్దేశపూర్వకంగా చేయడం ద్వారా, పని ప్రక్రియలో డేటా గవర్నెన్స్ సాధనాలను చురుకుగా పరిచయం చేయడం ద్వారా మాత్రమే, మేము మా ఖాతాదారులకు సమాచార కంటెంట్, డేటాపై అధిక స్థాయి విశ్వాసం, వారి రసీదులో పారదర్శకత మరియు లాంచ్ వేగాన్ని పెంచుతామని మేము విశ్వసిస్తున్నాము. కొత్త కార్యాచరణ.
డేటా ఆఫీస్ బృందం
మూలం: www.habr.com