ஹே ஹப்ர்!
தரவு ஒரு நிறுவனத்தின் மிகவும் மதிப்புமிக்க சொத்து. டிஜிட்டல் ஃபோகஸ் கொண்ட ஒவ்வொரு நிறுவனமும் இதை அறிவிக்கிறது. இதனுடன் வாதிடுவது கடினம்: தரவை நிர்வகித்தல், சேமித்தல் மற்றும் செயலாக்குவதற்கான அணுகுமுறைகளைப் பற்றி விவாதிக்காமல் ஒரு பெரிய தகவல் தொழில்நுட்ப மாநாடு கூட நடத்தப்படவில்லை.
தரவு வெளியில் இருந்து எங்களிடம் வருகிறது, அது நிறுவனத்திற்குள் உருவாக்கப்படுகிறது, மேலும் ஒரு தொலைத்தொடர்பு நிறுவனத்திலிருந்து தரவைப் பற்றி பேசினால், உள் ஊழியர்களுக்கு இது வாடிக்கையாளர், அவரது ஆர்வங்கள், பழக்கவழக்கங்கள் மற்றும் இருப்பிடம் பற்றிய தகவல்களின் களஞ்சியமாகும். சரியான விவரக்குறிப்பு மற்றும் பிரிப்புடன், விளம்பர சலுகைகள் மிகவும் பயனுள்ளதாக இருக்கும். இருப்பினும், நடைமுறையில், எல்லாம் மிகவும் ரோஸியாக இல்லை. நிறுவனங்கள் சேமிக்கும் தரவு நம்பிக்கையற்ற வகையில் காலாவதியானதாகவோ, தேவையற்றதாகவோ, மீண்டும் மீண்டும் வரக்கூடியதாகவோ இருக்கலாம் அல்லது அதன் இருப்பு பயனர்களின் குறுகிய வட்டத்தைத் தவிர யாருக்கும் தெரியாது. ¯_(ツ)_/¯
ஒரு வார்த்தையில், தரவு திறம்பட நிர்வகிக்கப்பட வேண்டும் - அப்போதுதான் அது வணிகத்திற்கு உண்மையான நன்மைகளையும் லாபத்தையும் தரும் சொத்தாக மாறும். துரதிர்ஷ்டவசமாக, தரவு மேலாண்மை சிக்கல்களைத் தீர்ப்பதற்கு நிறைய சிக்கல்களைக் கடக்க வேண்டும். அவை முக்கியமாக "விலங்கியல் பூங்காக்கள்" அமைப்புகளின் வடிவில் உள்ள வரலாற்று மரபு மற்றும் அவற்றின் நிர்வாகத்திற்கான ஒருங்கிணைந்த செயல்முறைகள் மற்றும் அணுகுமுறைகள் இல்லாததால் உள்ளன. ஆனால் "தரவு இயக்கப்படும்" என்றால் என்ன?
இதைத்தான் நாம் வெட்டின் கீழ் பேசுவோம், அதே போல் ஓப்பன்சோர்ஸ் ஸ்டேக் எங்களுக்கு எவ்வாறு உதவியது.
மூலோபாய தரவு மேலாண்மை தரவு நிர்வாகத்தின் (டிஜி) கருத்து ரஷ்ய சந்தையில் ஏற்கனவே நன்கு அறியப்பட்டிருக்கிறது, மேலும் அதன் செயல்பாட்டின் விளைவாக வணிகத்தால் அடையப்பட்ட இலக்குகள் தெளிவாகவும் தெளிவாகவும் அறிவிக்கப்பட்டுள்ளன. எங்கள் நிறுவனம் விதிவிலக்கல்ல மற்றும் தரவு மேலாண்மை என்ற கருத்தை அறிமுகப்படுத்தும் பணியை அமைத்துக் கொண்டது.
எனவே நாம் எங்கு தொடங்கினோம்? தொடங்குவதற்கு, நாங்கள் நமக்கான முக்கிய இலக்குகளை உருவாக்கினோம்:
- எங்கள் தரவை அணுகக்கூடியதாக வைத்திருங்கள்.
- தரவு வாழ்க்கை சுழற்சியின் வெளிப்படைத்தன்மையை உறுதிப்படுத்தவும்.
- நிறுவன பயனர்களுக்கு நிலையான, நிலையான தரவுகளை வழங்கவும்.
- சரிபார்க்கப்பட்ட தரவை நிறுவன பயனர்களுக்கு வழங்கவும்.
இன்று, மென்பொருள் சந்தையில் ஒரு டஜன் டேட்டா கவர்னன்ஸ் கிளாஸ் கருவிகள் உள்ளன.
ஆனால் தீர்வுகள் பற்றிய விரிவான பகுப்பாய்வு மற்றும் ஆய்வுக்குப் பிறகு, நாங்கள் பல விமர்சனக் கருத்துக்களைப் பதிவு செய்தோம்:
- பெரும்பாலான உற்பத்தியாளர்கள் ஒரு விரிவான தீர்வுகளை வழங்குகிறார்கள், இது எங்களுக்கு தேவையற்றது மற்றும் ஏற்கனவே உள்ள செயல்பாட்டை நகலெடுக்கிறது. கூடுதலாக, வளங்களின் அடிப்படையில் விலை உயர்ந்தது, தற்போதைய தகவல் தொழில்நுட்ப நிலப்பரப்பில் ஒருங்கிணைப்பு.
- செயல்பாடு மற்றும் இடைமுகம் தொழில்நுட்பவியலாளர்களுக்காக வடிவமைக்கப்பட்டுள்ளது, வணிக இறுதி பயனர்களுக்காக அல்ல.
- தயாரிப்புகளின் குறைந்த உயிர்வாழ்வு விகிதம் மற்றும் ரஷ்ய சந்தையில் வெற்றிகரமான செயலாக்கங்களின் பற்றாக்குறை.
- மென்பொருளின் அதிக விலை மற்றும் கூடுதல் ஆதரவு.
ரஷ்ய நிறுவனங்களுக்கான மென்பொருளை மாற்றியமைப்பது தொடர்பாக மேலே கூறப்பட்ட அளவுகோல்கள் மற்றும் பரிந்துரைகள், ஓப்பன்சோர்ஸ் ஸ்டேக்கில் எங்கள் சொந்த வளர்ச்சியை நோக்கிச் செல்ல எங்களை நம்பவைத்தன. நாங்கள் தேர்ந்தெடுத்த தளம் ஜாங்கோ, பைத்தானில் எழுதப்பட்ட இலவச மற்றும் திறந்த மூல கட்டமைப்பாகும். எனவே மேலே கூறப்பட்ட இலக்குகளுக்கு பங்களிக்கும் முக்கிய தொகுதிகளை நாங்கள் அடையாளம் கண்டுள்ளோம்:
- அறிக்கைகளின் பதிவு.
- வணிக சொற்களஞ்சியம்.
- தொழில்நுட்ப மாற்றங்களை விவரிக்கும் தொகுதி.
- மூலத்திலிருந்து BI கருவி வரை தரவு வாழ்க்கைச் சுழற்சியை விவரிக்கும் தொகுதி.
- தரவு தரக் கட்டுப்பாட்டு தொகுதி.
அறிக்கைகளின் பதிவு
பெரிய நிறுவனங்களில் உள்ள உள் ஆய்வுகளின் முடிவுகளின்படி, தரவு தொடர்பான சிக்கல்களைத் தீர்க்கும் போது, பணியாளர்கள் 40-80% நேரத்தைத் தேடுகிறார்கள். எனவே, ஏற்கனவே வாடிக்கையாளர்களுக்கு மட்டுமே கிடைத்த அறிக்கைகளைப் பற்றிய திறந்த தகவலை உருவாக்கும் பணியை நாங்கள் அமைத்துக்கொள்கிறோம். இதனால், புதிய அறிக்கைகளை உருவாக்குவதற்கான நேரத்தைக் குறைத்து, தரவுகளின் ஜனநாயகமயமாக்கலை உறுதிசெய்கிறோம்.
பல்வேறு பிராந்தியங்கள், துறைகள் மற்றும் பிரிவுகளைச் சேர்ந்த உள் பயனர்களுக்கான அறிக்கையிடல் பதிவு ஒற்றை அறிக்கையிடல் சாளரமாக மாறியுள்ளது. இது நிறுவனத்தின் பல கார்ப்பரேட் களஞ்சியங்களில் உருவாக்கப்பட்ட தகவல் சேவைகள் பற்றிய தகவல்களை ஒருங்கிணைக்கிறது, மேலும் அவற்றில் பல Rostelecom இல் உள்ளன.
ஆனால் பதிவேடு என்பது வளர்ந்த அறிக்கைகளின் உலர்ந்த பட்டியல் மட்டுமல்ல. ஒவ்வொரு அறிக்கைக்கும், பயனருக்குத் தேவையான தகவலை நாங்கள் வழங்குகிறோம்:
- அறிக்கையின் சுருக்கமான விளக்கம்;
- தரவு கிடைக்கும் ஆழம்;
- வாடிக்கையாளர் பிரிவு;
- காட்சிப்படுத்தல் கருவி;
- கார்ப்பரேட் சேமிப்பகத்தின் பெயர்;
- வணிக செயல்பாட்டு தேவைகள்;
- அறிக்கைக்கான இணைப்பு;
- அணுகலுக்கான விண்ணப்பத்திற்கான இணைப்பு;
- செயல்படுத்தும் நிலை.
அறிக்கைகளுக்கான பயன்பாட்டு நிலை பகுப்பாய்வுகள் உள்ளன, மேலும் தனிப்பட்ட பயனர்களின் எண்ணிக்கையின் அடிப்படையில் பதிவு பகுப்பாய்வுகளின் அடிப்படையில் அறிக்கைகள் பட்டியலில் முதலிடத்தில் உள்ளன. அதுவும் இல்லை. பொதுவான குணாதிசயங்களுக்கு மேலதிகமாக, மதிப்புகள் மற்றும் கணக்கீட்டு முறைகளின் எடுத்துக்காட்டுகளுடன் அறிக்கைகளின் பண்புக்கூறு கலவையின் விரிவான விளக்கத்தையும் நாங்கள் வழங்கியுள்ளோம். அத்தகைய விவரங்கள் பயனருக்கு அறிக்கை பயனுள்ளதா இல்லையா என்ற பதிலை உடனடியாக வழங்குகிறது.
இந்தத் தொகுதியின் வளர்ச்சியானது தரவுகளின் ஜனநாயகமயமாக்கலில் ஒரு முக்கியமான படியாகும் மற்றும் தேவையான தகவலைக் கண்டறிய எடுக்கும் நேரத்தை கணிசமாகக் குறைத்தது. தேடல் நேரத்தைக் குறைப்பதுடன், ஆலோசனைகளை வழங்குவதற்கான ஆதரவுக் குழுவிற்கான கோரிக்கைகளின் எண்ணிக்கையும் குறைந்துள்ளது. அறிக்கைகளின் ஒருங்கிணைந்த பதிவேட்டை உருவாக்குவதன் மூலம் நாங்கள் அடைந்த மற்றொரு பயனுள்ள முடிவைக் கவனிக்க முடியாது - வெவ்வேறு கட்டமைப்பு அலகுகளுக்கான நகல் அறிக்கைகளை உருவாக்குவதைத் தடுக்கிறது.
வணிக சொற்களஞ்சியம்
ஒரே நிறுவனத்தில் கூட, வணிகங்கள் வெவ்வேறு மொழிகளைப் பேசுகின்றன என்பதை நீங்கள் அனைவரும் அறிவீர்கள். ஆம், அவர்கள் அதே சொற்களைப் பயன்படுத்துகிறார்கள், ஆனால் அவை முற்றிலும் வேறுபட்ட விஷயங்களைக் குறிக்கின்றன. இந்த சிக்கலை தீர்க்க ஒரு வணிக சொற்களஞ்சியம் வடிவமைக்கப்பட்டுள்ளது.
எங்களைப் பொறுத்தவரை, வணிக சொற்களஞ்சியம் என்பது விதிமுறைகள் மற்றும் கணக்கீட்டு முறைகளின் விளக்கத்துடன் கூடிய குறிப்பு புத்தகம் மட்டுமல்ல. இது டெர்மினாலஜிகளை உருவாக்குதல், ஒப்புக்கொள்வது மற்றும் அங்கீகரிப்பது, விதிமுறைகள் மற்றும் நிறுவனத்தின் பிற தகவல் சொத்துக்களுக்கு இடையேயான உறவுகளை உருவாக்குவதற்கான ஒரு முழுமையான சூழலாகும். வணிக சொற்களஞ்சியத்தில் நுழைவதற்கு முன், வணிக வாடிக்கையாளர்கள் மற்றும் தரவுத் தர மையத்தின் ஒப்புதலின் அனைத்து நிலைகளிலும் ஒரு சொல் செல்ல வேண்டும். இதற்குப் பிறகுதான் பயன்பாட்டுக்குக் கிடைக்கும்.
நான் மேலே எழுதியது போல, இந்த கருவியின் தனித்தன்மை என்னவென்றால், இது ஒரு வணிகச் சொல்லின் மட்டத்திலிருந்து அது பயன்படுத்தப்படும் குறிப்பிட்ட பயனர் அறிக்கைகள் மற்றும் இயற்பியல் தரவுத்தள பொருள்களின் நிலைக்கு இணைப்புகளை அனுமதிக்கிறது.
ரெஜிஸ்ட்ரி அறிக்கைகளின் விரிவான விளக்கம் மற்றும் இயற்பியல் தரவுத்தள பொருள்களின் விளக்கத்தில், சொற்களஞ்சியம் கால அடையாளங்காட்டிகளைப் பயன்படுத்துவதன் மூலம் இது சாத்தியமாகும்.
தற்போது, 4000 க்கும் மேற்பட்ட சொற்கள் சொற்களஞ்சியத்தில் வரையறுக்கப்பட்டு ஒப்புக் கொள்ளப்பட்டுள்ளன. அதன் பயன்பாடு நிறுவனத்தின் தகவல் அமைப்புகளில் மாற்றங்களுக்கான உள்வரும் கோரிக்கைகளின் செயலாக்கத்தை எளிதாக்குகிறது மற்றும் வேகப்படுத்துகிறது. எந்தவொரு அறிக்கையிலும் தேவையான காட்டி ஏற்கனவே செயல்படுத்தப்பட்டிருந்தால், இந்த காட்டி பயன்படுத்தப்படும் ஆயத்த அறிக்கைகளின் தொகுப்பை பயனர் உடனடியாகக் காண்பார், மேலும் தற்போதுள்ள செயல்பாட்டை மீண்டும் பயன்படுத்துவதையோ அல்லது அதன் குறைந்தபட்ச மாற்றத்தையோ தொடங்காமலேயே தீர்மானிக்க முடியும். புதிய அறிக்கையை உருவாக்குவதற்கான புதிய கோரிக்கைகள்.
தொழில்நுட்ப மாற்றங்கள் மற்றும் DataLineage விவரிக்கும் தொகுதி
இந்த தொகுதிகள் என்ன, நீங்கள் கேட்கிறீர்களா? அறிக்கைப் பதிவு மற்றும் சொற்களஞ்சியத்தை வெறுமனே செயல்படுத்துவது போதாது; அனைத்து வணிக விதிமுறைகளையும் இயற்பியல் தரவுத்தள மாதிரியில் அடிப்படையாக வைத்திருப்பது அவசியம். எனவே, தரவுக் கிடங்கின் அனைத்து அடுக்குகளிலும் மூல அமைப்புகளிலிருந்து BI காட்சிப்படுத்தல் வரை தரவு வாழ்க்கைச் சுழற்சியை உருவாக்கும் செயல்முறையை எங்களால் முடிக்க முடிந்தது. வேறு வார்த்தைகளில் கூறுவதானால், ஒரு DataLineage உருவாக்கவும்.
தரவு மாற்றத்தின் விதிகள் மற்றும் தர்க்கத்தை விவரிக்க நிறுவனத்தில் முன்பு பயன்படுத்தப்பட்ட வடிவமைப்பின் அடிப்படையில் ஒரு இடைமுகத்தை நாங்கள் உருவாக்கியுள்ளோம். முன்பு போலவே அதே தகவல் இடைமுகத்தின் மூலம் உள்ளிடப்பட்டுள்ளது, ஆனால் வணிக சொற்களஞ்சியத்திலிருந்து அடையாளங்காட்டி என்ற சொல்லின் வரையறை ஒரு முன்நிபந்தனையாகிவிட்டது. வணிகத்திற்கும் உடல் அடுக்குகளுக்கும் இடையே ஒரு தொடர்பை உருவாக்குவது இதுதான்.
யாருக்குத் தேவை? பல ஆண்டுகளாக நீங்கள் பணியாற்றிய பழைய வடிவமைப்பில் என்ன தவறு? தேவைகளை உருவாக்குவதற்கான தொழிலாளர் செலவு எவ்வளவு அதிகரித்துள்ளது? கருவியை செயல்படுத்தும் போது இதுபோன்ற கேள்விகளை நாங்கள் சமாளிக்க வேண்டியிருந்தது. இங்கே பதில்கள் மிகவும் எளிமையானவை - இது அனைவருக்கும் தேவை, எங்கள் நிறுவனத்தின் தரவு அலுவலகம் மற்றும் எங்கள் பயனர்கள்.
உண்மையில், ஊழியர்கள் மாற்றியமைக்க வேண்டியிருந்தது; முதலில், இது ஆவணங்களைத் தயாரிப்பதற்கான தொழிலாளர் செலவுகளில் சிறிது அதிகரிப்புக்கு வழிவகுத்தது, ஆனால் இந்த சிக்கலை நாங்கள் தீர்த்தோம். பயிற்சி, அடையாளம் மற்றும் சிக்கல் பகுதிகளை மேம்படுத்துதல் ஆகியவை தங்கள் வேலையைச் செய்துள்ளன. நாங்கள் முக்கிய விஷயத்தை அடைந்துள்ளோம் - வளர்ந்த தேவைகளின் தரத்தை மேம்படுத்தியுள்ளோம். கட்டாய புலங்கள், ஒருங்கிணைந்த குறிப்பு புத்தகங்கள், உள்ளீட்டு முகமூடிகள், உள்ளமைக்கப்பட்ட காசோலைகள் - இவை அனைத்தும் உருமாற்ற விளக்கங்களின் தரத்தை கணிசமாக மேம்படுத்துவதை சாத்தியமாக்கியது. வளர்ச்சித் தேவைகளாக ஸ்கிரிப்ட்களை ஒப்படைக்கும் நடைமுறையிலிருந்து நாங்கள் விலகி, மேம்பாட்டுக் குழுவிற்கு மட்டுமே இருக்கும் அறிவைப் பகிர்ந்து கொண்டோம். உருவாக்கப்பட்ட மெட்டாடேட்டா தரவுத்தளமானது பின்னடைவு பகுப்பாய்வை மேற்கொள்ள தேவையான நேரத்தை கணிசமாகக் குறைக்கிறது மற்றும் IT நிலப்பரப்பின் எந்த அடுக்கிலும் (காட்சி அறிக்கைகள், திரட்டல்கள், ஆதாரங்கள்) மாற்றங்களின் தாக்கத்தை விரைவாக மதிப்பிடும் திறனை வழங்குகிறது.
அறிக்கைகளின் சாதாரண பயனர்களுக்கும் இதற்கும் என்ன சம்பந்தம், அவர்களுக்கு என்ன நன்மைகள்? DataLineage ஐ உருவாக்கும் திறனுக்கு நன்றி, எங்கள் பயனர்கள், SQL மற்றும் பிற நிரலாக்க மொழிகளிலிருந்து வெகு தொலைவில் உள்ளவர்கள் கூட, ஒரு குறிப்பிட்ட அறிக்கை உருவாக்கப்படும் ஆதாரங்கள் மற்றும் பொருள்கள் பற்றிய தகவல்களை விரைவாகப் பெறுகிறார்கள்.
தரவு தரக் கட்டுப்பாடு தொகுதி
தரவு வெளிப்படைத்தன்மையை உறுதி செய்வதில் மேலே நாம் பேசிய அனைத்தும் பயனர்களுக்கு நாம் கொடுக்கும் தரவு சரியானது என்பதை புரிந்து கொள்ளாமல் முக்கியமல்ல. எங்கள் தரவு ஆளுமைக் கருத்தின் முக்கியமான தொகுதிகளில் ஒன்று தரவுத் தரக் கட்டுப்பாடு தொகுதி ஆகும்.
தற்போதைய நிலையில், இது தேர்ந்தெடுக்கப்பட்ட நிறுவனங்களுக்கான காசோலைகளின் பட்டியல். தயாரிப்பு மேம்பாட்டிற்கான உடனடி இலக்கு காசோலைகளின் பட்டியலை விரிவுபடுத்துவது மற்றும் அறிக்கையிடல் பதிவேட்டுடன் ஒருங்கிணைப்பதாகும்.
அது என்ன, யாருக்கு கொடுக்கும்? பதிவேட்டின் இறுதிப் பயனருக்கு அறிக்கை தயார்நிலையின் திட்டமிடப்பட்ட மற்றும் உண்மையான தேதிகள், டைனமிக்ஸுடன் முடிக்கப்பட்ட காசோலைகளின் முடிவுகள் மற்றும் அறிக்கையில் ஏற்றப்பட்ட ஆதாரங்கள் பற்றிய தகவல்களை அணுக முடியும்.
எங்களைப் பொறுத்தவரை, எங்கள் பணி செயல்முறைகளில் ஒருங்கிணைக்கப்பட்ட தரவு தர தொகுதி:
- வாடிக்கையாளர் எதிர்பார்ப்புகளை உடனடியாக உருவாக்குதல்.
- தரவை மேலும் பயன்படுத்துவதற்கான முடிவுகளை எடுத்தல்.
- வழக்கமான தரக் கட்டுப்பாடுகளின் வளர்ச்சிக்கான வேலையின் ஆரம்ப கட்டங்களில் சிக்கல் புள்ளிகளின் ஆரம்ப தொகுப்பைப் பெறுதல்.
நிச்சயமாக, இவை முழு அளவிலான தரவு மேலாண்மை செயல்முறையை உருவாக்குவதற்கான முதல் படிகள். ஆனால் இந்த வேலையை வேண்டுமென்றே செய்வதன் மூலம் மட்டுமே, தரவு ஆளுமைக் கருவிகளை பணிச் செயல்பாட்டில் தீவிரமாக அறிமுகப்படுத்துவதன் மூலம், எங்கள் வாடிக்கையாளர்களுக்கு தகவல் உள்ளடக்கம், தரவில் அதிக நம்பிக்கை, அவர்களின் ரசீதில் வெளிப்படைத்தன்மை மற்றும் வெளியீட்டின் வேகத்தை அதிகரிப்போம். புதிய செயல்பாடு.
டேட்டா ஆபிஸ் குழு
ஆதாரம்: www.habr.com