தரவு ஆளுமை வீட்டில்

ஹே ஹப்ர்!

தரவு என்பது ஒரு நிறுவனத்தின் மிகவும் மதிப்புமிக்க சொத்து. டிஜிட்டல் சிந்தனை கொண்ட ஒவ்வொரு நிறுவனமும் இதைக் கூறுகிறது. இதை வாதிடுவது கடினம்: இப்போதெல்லாம் ஒரு பெரிய ஐடி மாநாடு கூட தரவை நிர்வகித்தல், சேமித்தல் மற்றும் செயலாக்குவதற்கான அணுகுமுறைகள் பற்றிய விவாதம் இல்லாமல் நடக்காது.

நிறுவனத்திற்கு வெளியில் இருந்து தரவு நமக்கு வருகிறது, மேலும் அது உள்நாட்டிலும் உருவாக்கப்படுகிறது. தொலைத்தொடர்பு நிறுவனங்களைப் பொறுத்தவரை, இது வாடிக்கையாளர்கள், அவர்களின் ஆர்வங்கள், பழக்கவழக்கங்கள் மற்றும் இருப்பிடம் பற்றிய தகவல்களின் புதையல் ஆகும். சரியான விவரக்குறிப்பு மற்றும் பிரிவுடன், விளம்பர சலுகைகள் மிகவும் பயனுள்ளதாக இருக்கும். இருப்பினும், நடைமுறையில், எல்லாம் அவ்வளவு மகிழ்ச்சியாக இல்லை. தரவு நிறுவனங்கள் சேமித்து வைக்கும் இடம் நம்பிக்கையற்ற முறையில் காலாவதியானதாகவோ, தேவையற்றதாகவோ, மீண்டும் மீண்டும் வரக்கூடியதாகவோ இருக்கலாம் அல்லது அதன் இருப்பு ஒரு சிறிய பயனர் வட்டத்தைத் தவிர மற்ற அனைவருக்கும் தெரியாது.

சுருக்கமாக, தரவு திறம்பட நிர்வகிக்கப்பட வேண்டும் - அப்போதுதான் அது வணிகத்திற்கு உண்மையான மதிப்பையும் லாபத்தையும் தரும் ஒரு சொத்தாக மாறும். துரதிர்ஷ்டவசமாக, தரவு மேலாண்மை சிக்கல்களைத் தீர்ப்பதற்கு பல சவால்களை கடக்க வேண்டும். இவை முதன்மையாக அமைப்புகளின் "விலங்கியல் பூங்கா"வின் வரலாற்று மரபு மற்றும் அவற்றை நிர்வகிப்பதற்கான ஒருங்கிணைந்த செயல்முறைகள் மற்றும் அணுகுமுறைகள் இல்லாதது ஆகிய இரண்டின் காரணமாகும். ஆனால் "தரவை நிர்வகித்தல்" என்றால் என்ன?

இதைப் பற்றித்தான் கீழே பேசுவோம், அதே போல் ஓப்பன்சோர்ஸ் ஸ்டேக் நமக்கு எவ்வாறு உதவியது என்பதையும் பார்ப்போம்.

மூலோபாய தரவு ஆளுமை (DG) என்ற கருத்து ஏற்கனவே ரஷ்ய சந்தையில் நன்கு அறியப்பட்டதாகும், மேலும் அதை செயல்படுத்துவதன் மூலம் வணிகங்கள் அடையும் இலக்குகள் தெளிவாகவும் தெளிவாகவும் கூறப்பட்டுள்ளன. எங்கள் நிறுவனமும் விதிவிலக்கல்ல, மேலும் இந்த தரவு ஆளுமை கருத்தை செயல்படுத்தும் பணியைத் தானே அமைத்துக் கொண்டுள்ளது.

சரி, நாம் எங்கிருந்து தொடங்கினோம்? தொடங்குவதற்கு, முக்கிய இலக்குகளை வரையறுத்தோம்:

1. எங்கள் தரவு கிடைப்பதை உறுதி செய்யுங்கள்.
2. தரவு வாழ்க்கைச் சுழற்சியின் வெளிப்படைத்தன்மையை உறுதி செய்யவும்.
3. நிறுவன பயனர்களுக்கு நிலையான, தெளிவற்ற தரவை வழங்கவும்.
4. நிறுவன பயனர்களுக்கு சரிபார்க்கப்பட்ட தரவை வழங்கவும்.

இன்று, மென்பொருள் சந்தையில் சுமார் ஒரு டஜன் டேட்டாகவர்னன்ஸ் வகுப்பு கருவிகள் கிடைக்கின்றன.

இருப்பினும், தீர்வுகளின் விரிவான பகுப்பாய்வு மற்றும் ஆய்வுக்குப் பிறகு, பல முக்கியமான கருத்துகளை நாங்கள் அடையாளம் கண்டோம்:

• பெரும்பாலான விற்பனையாளர்கள் விரிவான தீர்வுகளின் தொகுப்பை வழங்குகிறார்கள், இது எங்களுக்கு தேவையற்றது மற்றும் ஏற்கனவே உள்ள செயல்பாட்டை நகலெடுக்கிறது. மேலும், தற்போதைய ஐடி நிலப்பரப்பில் ஒருங்கிணைப்பு என்பது வளங்கள் மிகுந்ததாகும்.
• செயல்பாடு மற்றும் இடைமுகம் தொழில்நுட்ப வல்லுநர்களுக்காக வடிவமைக்கப்பட்டுள்ளன, இறுதி வணிக பயனர்களுக்காக அல்ல.
• ரஷ்ய சந்தையில் குறைந்த தயாரிப்பு ஏற்றுக்கொள்ளல் மற்றும் வெற்றிகரமான செயல்படுத்தல் இல்லாமை.
• மென்பொருளின் அதிக விலை மற்றும் கூடுதல் ஆதரவு.

ரஷ்ய நிறுவனங்களுக்கான இறக்குமதி மாற்றீட்டிற்கான மேலே குறிப்பிடப்பட்டுள்ள அளவுகோல்கள் மற்றும் பரிந்துரைகள், திறந்த மூல அடுக்கைப் பயன்படுத்தி எங்கள் சொந்த வளர்ச்சியைத் தொடர எங்களை நம்ப வைத்தன. பைத்தானில் எழுதப்பட்ட இலவச மற்றும் திறந்த மூல கட்டமைப்பான Django ஐ எங்கள் தளமாகத் தேர்ந்தெடுத்தோம். எனவே மேலே குறிப்பிடப்பட்டுள்ள இலக்குகளை ஆதரிக்கும் முக்கிய தொகுதிகளை நாங்கள் அடையாளம் கண்டோம்:

1. அறிக்கைகளின் பதிவு.
2. வணிக சொற்களஞ்சியம்.
3. தொழில்நுட்ப மாற்றங்களின் விளக்கத்திற்கான தொகுதி.
4. மூலத்திலிருந்து BI கருவிக்கு தரவு வாழ்க்கைச் சுழற்சியை விவரிப்பதற்கான ஒரு தொகுதி.
5. தரவு தரக் கட்டுப்பாட்டு தொகுதி.

அறிக்கைகளின் பதிவு

பெரிய நிறுவனங்களின் உள் ஆராய்ச்சியின்படி, ஊழியர்கள் தங்கள் நேரத்தில் 40-80% தரவைத் தேடுவதில் தரவு தொடர்பான சிக்கல்களைத் தீர்ப்பதில் செலவிடுகிறார்கள். எனவே, முன்னர் வாடிக்கையாளர்களுக்கு மட்டுமே கிடைக்கக்கூடிய ஏற்கனவே உள்ள அறிக்கைகளை பொதுவில் கிடைக்கச் செய்வதை நாங்கள் இலக்காகக் கொண்டுள்ளோம். இது புதிய அறிக்கைகளை உருவாக்க எடுக்கும் நேரத்தைக் குறைத்து தரவு ஜனநாயகமயமாக்கலை உறுதி செய்கிறது.

பல்வேறு பிராந்தியங்கள், துறைகள் மற்றும் பிரிவுகளைச் சேர்ந்த உள் பயனர்களுக்கு அறிக்கைப் பதிவேடு ஒற்றை அறிக்கையிடல் சாளரமாக மாறியுள்ளது. இது பல நிறுவன களஞ்சியங்களில் உருவாக்கப்பட்ட தகவல் சேவைகள் பற்றிய தகவல்களை ஒருங்கிணைக்கிறது, அவற்றில் பல ரோஸ்டெலெகாம் நிறுவனத்திடம் உள்ளன.

ஆனால் பதிவேடு என்பது வெறும் வளர்ந்த அறிக்கைகளின் பட்டியல் மட்டுமல்ல. ஒவ்வொரு அறிக்கைக்கும், பயனர்கள் அதை சுயாதீனமாக ஆராயத் தேவையான தகவல்களை நாங்கள் வழங்குகிறோம்:

• அறிக்கையின் சுருக்கமான விளக்கம்;
• தரவு கிடைக்கும் தன்மையின் ஆழம்;
• வாடிக்கையாளர் பிரிவு;
• காட்சிப்படுத்தல் கருவி;
• நிறுவன சேமிப்பகத்தின் பெயர்;
• வணிக செயல்பாட்டு தேவைகள்;
• அறிக்கைக்கான இணைப்பு;
• அணுகல் கோரிக்கைக்கான இணைப்பு;
• செயல்படுத்தல் நிலை.

அறிக்கைகள் பயன்பாட்டு பகுப்பாய்வுகளை வழங்குகின்றன, மேலும் அவை தனிப்பட்ட பயனர் எண்ணிக்கையின் அடிப்படையில் பதிவு பகுப்பாய்வுகளின் அடிப்படையில் முதலிடத்தில் தரவரிசைப்படுத்தப்படுகின்றன. அதுமட்டுமல்ல. பொதுவான பண்புகளுக்கு கூடுதலாக, அறிக்கை பண்புக்கூறுகளின் விரிவான விளக்கத்தையும், எடுத்துக்காட்டு மதிப்புகள் மற்றும் கணக்கீட்டு முறைகளையும் நாங்கள் வழங்கியுள்ளோம். இந்த அளவிலான விவரங்கள், அறிக்கை பயனுள்ளதாக உள்ளதா என்பதை பயனர்களுக்கு உடனடியாகத் தெரிவிக்கின்றன.

இந்த தொகுதியின் உருவாக்கம் தரவு ஜனநாயகமயமாக்கலை நோக்கிய ஒரு குறிப்பிடத்தக்க படியாகும், மேலும் தேவையான தகவல்களைக் கண்டறிய எடுக்கும் நேரத்தை கணிசமாகக் குறைத்தது. தேடல் நேரத்தைக் குறைப்பதோடு மட்டுமல்லாமல், ஆதரவுக் குழுவிடமிருந்து ஆலோசனைகளுக்கான கோரிக்கைகளின் எண்ணிக்கையும் குறைந்தது. ஒருங்கிணைந்த அறிக்கை பதிவேட்டை உருவாக்குவதன் மூலம் நாங்கள் அடைந்த மற்றொரு நன்மை பயக்கும் முடிவு, வெவ்வேறு வணிக அலகுகளுக்கான நகல் அறிக்கைகளைத் தடுப்பதாகும்.

வணிக சொற்களஞ்சியம்

ஒரே நிறுவனத்திற்குள் கூட, வணிகங்கள் வெவ்வேறு மொழிகளைப் பேசுகின்றன என்பது உங்கள் அனைவருக்கும் தெரியும். அவர்கள் ஒரே சொற்களைப் பயன்படுத்தினாலும், அவை முற்றிலும் மாறுபட்ட விஷயங்களைக் குறிக்கின்றன. இந்தப் பிரச்சினையைத் தீர்க்க ஒரு வணிகச் சொற்களஞ்சியம் வடிவமைக்கப்பட்டுள்ளது.

எங்களுக்கு, ஒரு வணிக சொற்களஞ்சியம் என்பது சொற்களஞ்சிய விளக்கங்கள் மற்றும் கணக்கீட்டு முறைகளைக் கொண்ட ஒரு குறிப்பு புத்தகத்தை விட அதிகம். இது சொற்களஞ்சியத்தை உருவாக்குதல், ஒருங்கிணைத்தல் மற்றும் அங்கீகரித்தல், அத்துடன் விதிமுறைகள் மற்றும் பிற நிறுவன தகவல் சொத்துக்களுக்கு இடையே தொடர்புகளை உருவாக்குவதற்கான முழுமையான சூழலாகும். வணிக சொற்களஞ்சியத்தில் சேர்க்கப்படுவதற்கு முன்பு, ஒரு சொல் வணிக வாடிக்கையாளர்கள் மற்றும் தரவு தர மையத்தால் அங்கீகரிக்கப்பட்ட அனைத்து நிலைகளையும் கடந்து செல்ல வேண்டும். அப்போதுதான் அது பயன்பாட்டிற்குக் கிடைக்கும்.

நான் மேலே எழுதியது போல, இந்தக் கருவியின் தனித்தன்மை என்னவென்றால், ஒரு வணிகச் சொல்லின் மட்டத்திலிருந்து அது பயன்படுத்தப்படும் குறிப்பிட்ட பயனர் அறிக்கைகள் மற்றும் இயற்பியல் தரவுத்தளப் பொருள்களின் மட்டத்திற்கு இணைப்புகளை நிறுவ இது உங்களை அனுமதிக்கிறது.

பதிவேடு அறிக்கைகளின் விரிவான விளக்கத்திலும், இயற்பியல் தரவுத்தளப் பொருட்களின் விளக்கத்திலும் சொற்களஞ்சிய கால அடையாளங்காட்டிகளைப் பயன்படுத்துவதன் மூலம் இது சாத்தியமானது.

தற்போது, ​​சொற்களஞ்சியத்தில் 4000 க்கும் மேற்பட்ட சொற்கள் வரையறுக்கப்பட்டு ஒப்புக் கொள்ளப்பட்டுள்ளன. இதன் பயன்பாடு நிறுவனத்தின் தகவல் அமைப்புகளில் உள்வரும் மாற்ற கோரிக்கைகளின் செயலாக்கத்தை எளிதாக்குகிறது மற்றும் துரிதப்படுத்துகிறது. ஒரு அறிக்கையில் ஏற்கனவே தேவையான காட்டி செயல்படுத்தப்பட்டிருந்தால், பயனர் உடனடியாக இந்த குறிகாட்டியைப் பயன்படுத்தும் ஆயத்த அறிக்கைகளின் தொகுப்பைக் காண்பார், மேலும் புதிய அறிக்கை மேம்பாட்டிற்கான புதிய கோரிக்கைகளைத் தொடங்காமல், ஏற்கனவே உள்ள செயல்பாட்டை திறம்பட மீண்டும் பயன்படுத்தலாமா அல்லது அதில் குறைந்தபட்ச மாற்றங்களைச் செய்யலாமா என்பதை முடிவு செய்யலாம்.

தொழில்நுட்ப உருமாற்ற விளக்கம் தொகுதி மற்றும் தரவு வரிசை

இந்த தொகுதிகள் என்னவென்று நீங்கள் கேட்கலாம். அறிக்கைப் பதிவேடு மற்றும் சொற்களஞ்சியத்தை செயல்படுத்துவது மட்டும் போதாது; அனைத்து வணிகச் சொற்களையும் இயற்பியல் தரவுத்தள மாதிரியில் நாம் அடித்தளமாகக் கொள்ள வேண்டும். இது தரவுக் கிடங்கின் அனைத்து அடுக்குகளிலும் மூல அமைப்புகள் முதல் BI காட்சிப்படுத்தல் வரை தரவு வாழ்க்கைச் சுழற்சியை உருவாக்கும் செயல்முறையை முடிக்க எங்களுக்கு அனுமதித்தது. வேறு வார்த்தைகளில் கூறுவதானால், நாங்கள் DataLineage ஐ உருவாக்கினோம்.

தரவு மாற்ற விதிகள் மற்றும் தர்க்கத்தை விவரிக்க நிறுவனம் முன்பு பயன்படுத்திய வடிவமைப்பின் அடிப்படையில் ஒரு இடைமுகத்தை நாங்கள் உருவாக்கியுள்ளோம். இடைமுகம் இன்னும் முந்தைய அதே தகவலை ஏற்றுக்கொள்கிறது, ஆனால் வணிக சொற்களஞ்சியத்திலிருந்து ஒரு சொல் அடையாளங்காட்டியை வரையறுப்பது இப்போது கட்டாயமாகும். வணிகத்திற்கும் இயற்பியல் அடுக்குகளுக்கும் இடையில் ஒரு இணைப்பை உருவாக்குவது இதுதான்.

யாருக்கு இது தேவை? பல வருடங்களாக நாம் பயன்படுத்தி வரும் பழைய வடிவமைப்பில் என்ன தவறு? தேவைகளை உருவாக்க எவ்வளவு முயற்சி தேவைப்பட்டது? கருவியை செயல்படுத்தும்போது இந்தக் கேள்விகளை நாங்கள் எதிர்கொண்டோம். பதில்கள் மிகவும் எளிமையானவை: எங்கள் நிறுவனத்தின் தரவு அலுவலகம் மற்றும் எங்கள் பயனர்கள் உட்பட நம் அனைவருக்கும் இது தேவை.

உண்மையில், எங்கள் ஊழியர்கள் மாற்றியமைக்க வேண்டியிருந்தது, இது ஆரம்பத்தில் ஆவணப்படுத்தல் முயற்சியில் சிறிது அதிகரிப்புக்கு வழிவகுத்தது, ஆனால் நாங்கள் இந்த சிக்கலைத் தீர்த்தோம். பயிற்சி, அடையாளம் காணுதல் மற்றும் தடைகளை மேம்படுத்துதல் ஆகியவை அவற்றின் வேலையைச் செய்தன. உருவாக்கப்படும் தேவைகளின் தரத்தை மேம்படுத்துதல் என்ற முக்கிய இலக்கை நாங்கள் அடைந்தோம். கட்டாய புலங்கள், தரப்படுத்தப்பட்ட குறிப்பு புத்தகங்கள், உள்ளீட்டு முகமூடிகள் மற்றும் உள்ளமைக்கப்பட்ட சரிபார்ப்புகள் - இவை அனைத்தும் உருமாற்ற விளக்கங்களின் தரத்தை கணிசமாக மேம்படுத்தின. மேம்பாட்டுத் தேவைகளாகவும், முன்னர் மேம்பாட்டுக் குழுவிற்கு மட்டுமே கிடைத்த பகிரப்பட்ட அறிவாகவும் ஸ்கிரிப்ட்களை ஒப்படைக்கும் நடைமுறையை நாங்கள் கைவிட்டோம். இதன் விளைவாக வரும் மெட்டாடேட்டா தரவுத்தளம் பின்னடைவு பகுப்பாய்விற்குத் தேவையான நேரத்தைக் கணிசமாகக் குறைக்கிறது மற்றும் IT நிலப்பரப்பின் எந்த அடுக்கிலும் (அறிக்கைகள், திரட்டுகள் மற்றும் ஆதாரங்கள்) மாற்றங்களின் தாக்கத்தை விரைவாக மதிப்பிட உதவுகிறது.

வழக்கமான அறிக்கை பயனர்களுக்கு இது என்ன அர்த்தம்? அவர்களுக்கு என்ன நன்மைகள்? DataLineage ஐ உருவாக்கும் திறனுக்கு நன்றி, எங்கள் பயனர்கள், SQL மற்றும் பிற நிரலாக்க மொழிகளைப் பற்றி அறிமுகமில்லாதவர்கள் கூட, ஒரு குறிப்பிட்ட அறிக்கையை உருவாக்கப் பயன்படுத்தப்படும் மூலங்கள் மற்றும் பொருள்கள் பற்றிய தகவல்களை விரைவாகப் பெறுகிறார்கள்.

தரவு தரக் கட்டுப்பாட்டு தொகுதி

பயனர்களுக்கு நாங்கள் வழங்கும் தரவு துல்லியமானது என்பதை உறுதி செய்யாமல், தரவு வெளிப்படைத்தன்மை குறித்து மேலே விவாதித்த அனைத்தும் அர்த்தமற்றவை. எங்கள் தரவு நிர்வாகக் கருத்தின் முக்கிய கூறுகளில் ஒன்று தரவு தரக் கட்டுப்பாட்டு தொகுதி ஆகும்.

தற்போதைய கட்டத்தில், இது தேர்ந்தெடுக்கப்பட்ட நிறுவனங்களுக்கான காசோலைகளின் பட்டியலாகும். காசோலைகளின் பட்டியலை விரிவுபடுத்தி அறிக்கை பதிவேட்டுடன் ஒருங்கிணைப்பதே உடனடி மேம்பாட்டு இலக்காகும்.
இது எதைக் குறிக்கிறது, யாருக்கு? பதிவேட்டின் இறுதிப் பயனருக்கு திட்டமிடப்பட்ட மற்றும் உண்மையான அறிக்கை நிறைவு தேதிகள், முடிக்கப்பட்ட தணிக்கைகளின் முடிவுகள் மற்றும் அவற்றின் இயக்கவியல் மற்றும் அறிக்கையில் ஏற்றப்பட்ட ஆதாரங்கள் பற்றிய தகவல்கள் பற்றிய அணுகல் இருக்கும்.

எங்களைப் பொறுத்தவரை, எங்கள் பணிப்பாய்வுகளில் ஒருங்கிணைக்கப்பட்ட தரவு தர தொகுதி என்பது:

• வாடிக்கையாளர் எதிர்பார்ப்புகளை உடனடியாக உருவாக்குதல்.
• தரவை மேலும் பயன்படுத்துவது குறித்து முடிவுகளை எடுத்தல்.
• வழக்கமான தரக் கட்டுப்பாடுகளை உருவாக்க, வேலையின் ஆரம்ப கட்டங்களில் சிக்கல் புள்ளிகளின் ஆரம்ப தொகுப்பைப் பெறுதல்.

நிச்சயமாக, இவை ஒரு விரிவான தரவு மேலாண்மை செயல்முறையை உருவாக்குவதில் முதல் படிகள். ஆனால் இந்த வேலையில் கவனம் செலுத்துவதன் மூலமும், தரவு நிர்வாகக் கருவிகளை எங்கள் பணிப்பாய்வில் தீவிரமாக ஒருங்கிணைப்பதன் மூலமும் மட்டுமே, எங்கள் வாடிக்கையாளர்களுக்கு தகவல்களை வழங்குவோம், அவர்களின் தரவுகளில் அதிக அளவிலான நம்பிக்கையை ஏற்படுத்துவோம், அதைப் பெறுவதில் வெளிப்படைத்தன்மையை ஏற்படுத்துவோம், மேலும் புதிய செயல்பாட்டின் வெளியீட்டை துரிதப்படுத்துவோம் என்று நாங்கள் உறுதியாக நம்புகிறோம்.

டேட்டாஆபிஸ் குழு

ஆதாரம்: www.habr.com