பகுப்பாய்வு தளங்களில் குறைந்த குறியீட்டின் பயன்பாடு

அன்புள்ள வாசகர்களே, நல்ல நாள்!

அறிவார்ந்த முறையில் ஏற்றப்பட்ட சேவை விநியோக மாதிரி அல்லது தொழில்நுட்ப ரீதியாக சிக்கலான தயாரிப்புகளை உருவாக்குவதை அடிப்படையாகக் கொண்ட எந்தவொரு நிறுவனத்திற்கும் விரைவில் அல்லது பின்னர் தரவுகளை சேகரித்து பகுப்பாய்வு செய்வதற்கான IT தளங்களை உருவாக்கும் பணி எழுகிறது. பகுப்பாய்வு தளங்களை உருவாக்குவது ஒரு சிக்கலான மற்றும் நேரத்தை எடுத்துக்கொள்ளும் பணியாகும். இருப்பினும், எந்தவொரு பணியையும் எளிதாக்கலாம். இந்தக் கட்டுரையில், பகுப்பாய்வுத் தீர்வுகளை உருவாக்க உதவும் குறைந்த-குறியீட்டுக் கருவிகளைப் பயன்படுத்துவதில் எனது அனுபவத்தைப் பகிர்ந்து கொள்ள விரும்புகிறேன். நியோஃப்ளெக்ஸ் நிறுவனத்தின் பிக் டேட்டா சொல்யூஷன்ஸ் திசையில் பல திட்டங்களைச் செயல்படுத்தும் போது இந்த அனுபவம் பெறப்பட்டது. 2005 ஆம் ஆண்டு முதல், நியோஃப்ளெக்ஸின் பிக் டேட்டா சொல்யூஷன்ஸ் திசையானது, தரவுக் கிடங்குகள் மற்றும் ஏரிகளை உருவாக்குதல், தகவல் செயலாக்கத்தின் வேகத்தை மேம்படுத்துதல் மற்றும் தரவுத் தர மேலாண்மைக்கான வழிமுறைகளில் பணிபுரிதல் போன்ற சிக்கல்களைத் தீர்த்து வருகிறது.

பலவீனமான மற்றும்/அல்லது வலுவாக கட்டமைக்கப்பட்ட தரவுகளின் நனவான திரட்சியை யாராலும் தவிர்க்க முடியாது. ஒருவேளை நாம் சிறு வணிகங்களைப் பற்றி பேசினாலும் கூட. எல்லாவற்றிற்கும் மேலாக, ஒரு வணிகத்தை அளவிடும் போது, ​​ஒரு நம்பிக்கைக்குரிய தொழில்முனைவோர் ஒரு விசுவாசத் திட்டத்தை உருவாக்குவதில் சிக்கல்களை எதிர்கொள்வார், விற்பனை புள்ளிகளின் செயல்திறனை பகுப்பாய்வு செய்ய விரும்புவார், இலக்கு விளம்பரம் பற்றி யோசிப்பார், மேலும் அதனுடன் கூடிய தயாரிப்புகளுக்கான தேவையால் குழப்பமடைவார். . முதல் தோராயமாக, பிரச்சனை "முழங்காலில்" தீர்க்கப்படும். ஆனால் வணிகம் வளரும்போது, ​​​​ஒரு பகுப்பாய்வு தளத்திற்கு வருவது இன்னும் தவிர்க்க முடியாதது.

இருப்பினும், தரவு பகுப்பாய்வு பணிகள் "ராக்கெட் அறிவியல்" வகுப்பு சிக்கல்களாக எந்த நிலையில் உருவாகலாம்? ஒருவேளை நாம் உண்மையில் பெரிய தரவு பற்றி பேசும் நேரத்தில்.
ராக்கெட் அறிவியலை எளிதாக்க, யானையை துண்டு துண்டாக சாப்பிடலாம்.

உங்களது பயன்பாடுகள்/சேவைகள்/மைக்ரோ சர்வீஸ்கள் எவ்வளவு தனித்தன்மை வாய்ந்ததாகவும், தன்னாட்சி பெற்றதோ, அவ்வளவு எளிதாக உங்களுக்கும், உங்கள் சக ஊழியர்களுக்கும் மற்றும் முழு வணிகத்திற்கும் யானையை ஜீரணிக்க எளிதாக இருக்கும்.

DevOps குழுக்களின் பொறியியல் நடைமுறைகளின் அடிப்படையில் நிலப்பரப்பை மீண்டும் கட்டியெழுப்பியதன் மூலம், எங்கள் வாடிக்கையாளர்கள் அனைவரும் இந்த போஸ்டுலேட்டுக்கு வந்துள்ளனர்.

ஆனால் ஒரு "தனி, யானை" உணவு கூட, நாம் IT நிலப்பரப்பில் "அதிகப்படியாக" ஒரு நல்ல வாய்ப்பு உள்ளது. இந்த நேரத்தில் நிறுத்துவது, மூச்சை வெளியேற்றுவது மற்றும் பக்கத்தைப் பார்ப்பது மதிப்பு குறைந்த குறியீடு பொறியியல் தளம்.

குறைந்த-குறியீட்டு அமைப்புகளின் UI இடைமுகங்களில் "இழுத்தல்" அம்புகளை நோக்கி குறியீட்டை நேரடியாக எழுதுவதிலிருந்து விலகிச் செல்லும்போது, ​​பல டெவலப்பர்கள் தங்கள் வாழ்க்கையில் முட்டுச்சந்தில் இருக்கும் வாய்ப்பைக் கண்டு பயப்படுகிறார்கள். ஆனால் இயந்திர கருவிகளின் வருகை பொறியாளர்களின் மறைவுக்கு வழிவகுக்கவில்லை, ஆனால் அவர்களின் வேலையை ஒரு புதிய நிலைக்கு கொண்டு வந்தது!

ஏன் என்பதைக் கண்டுபிடிப்போம்.

தளவாடங்கள், தொலைத்தொடர்புத் துறை, ஊடக ஆராய்ச்சி, நிதித் துறை ஆகியவற்றில் தரவு பகுப்பாய்வு எப்போதும் பின்வரும் கேள்விகளுடன் தொடர்புடையது:

• தானியங்கி பகுப்பாய்வு வேகம்;
• முக்கிய தரவு உற்பத்தி ஓட்டத்தை பாதிக்காமல் சோதனைகளை நடத்தும் திறன்;
• தயாரிக்கப்பட்ட தரவுகளின் நம்பகத்தன்மை;
• கண்காணிப்பு மற்றும் பதிப்பை மாற்றவும்;
• தரவு ஆதாரம், தரவு பரம்பரை, CDC;
• உற்பத்தி சூழலுக்கு புதிய அம்சங்களை விரைவாக வழங்குதல்;
• மற்றும் மோசமான: வளர்ச்சி மற்றும் ஆதரவு செலவு.

அதாவது, பொறியியலாளர்கள் அதிக எண்ணிக்கையிலான உயர்-நிலை பணிகளைக் கொண்டுள்ளனர், குறைந்த அளவிலான வளர்ச்சிப் பணிகளில் அவர்களின் நனவைத் தெளிவுபடுத்துவதன் மூலம் மட்டுமே போதுமான செயல்திறனுடன் முடிக்க முடியும்.

டெவலப்பர்கள் ஒரு புதிய நிலைக்கு செல்ல முன்நிபந்தனைகள் வணிகத்தின் பரிணாமம் மற்றும் டிஜிட்டல் மயமாக்கல் ஆகும். டெவலப்பரின் மதிப்பும் மாறுகிறது: வணிகம் தானியங்கு என்ற கருத்துக்களில் தங்களை மூழ்கடிக்கும் டெவலப்பர்களின் குறிப்பிடத்தக்க பற்றாக்குறை உள்ளது.

குறைந்த-நிலை மற்றும் உயர்-நிலை நிரலாக்க மொழிகளுடன் ஒப்புமையை வரைவோம். குறைந்த-நிலை மொழிகளில் இருந்து உயர்நிலை மொழிகளுக்கு மாறுவது என்பது "வன்பொருள் மொழியில் நேரடி உத்தரவுகளை" எழுதுவதிலிருந்து "மக்களின் மொழியில் உத்தரவுகளை" நோக்கி மாற்றுவதாகும். அதாவது, சுருக்கத்தின் சில அடுக்குகளைச் சேர்ப்பது. இந்த வழக்கில், உயர்-நிலை நிரலாக்க மொழிகளிலிருந்து குறைந்த-குறியீட்டு இயங்குதளங்களுக்கு மாறுவது "மக்களின் மொழியில் உள்ள வழிமுறைகள்" என்பதிலிருந்து "வணிக மொழியில் உத்தரவுகளை" நோக்கி மாற்றுவதாகும். இந்த உண்மையால் வருத்தப்பட்ட டெவலப்பர்கள் இருந்தால், அவர்கள் வருத்தப்பட்டிருக்கலாம், ஒருவேளை, ஜாவா ஸ்கிரிப்ட் பிறந்த தருணத்திலிருந்து, இது வரிசை வரிசைப்படுத்தும் செயல்பாடுகளைப் பயன்படுத்துகிறது. இந்த செயல்பாடுகள், நிச்சயமாக, அதே உயர்நிலை நிரலாக்கத்தின் பிற வழிகளில் ஹூட்டின் கீழ் மென்பொருள் செயல்படுத்தலைக் கொண்டுள்ளன.

எனவே, குறைந்த குறியீடு என்பது சுருக்கத்தின் மற்றொரு நிலையின் தோற்றம்.

குறைந்த குறியீட்டைப் பயன்படுத்திய அனுபவம்

குறைந்த குறியீட்டின் தலைப்பு மிகவும் விரிவானது, ஆனால் இப்போது எங்கள் திட்டங்களில் ஒன்றின் உதாரணத்தைப் பயன்படுத்தி "குறைந்த குறியீடு கருத்துகளின்" நடைமுறை பயன்பாட்டைப் பற்றி பேச விரும்புகிறேன்.

நியோஃப்ளெக்ஸின் பிக் டேட்டா சொல்யூஷன்ஸ் பிரிவு வணிகத்தின் நிதித்துறை, தரவுக் கிடங்குகள் மற்றும் ஏரிகளை உருவாக்குதல் மற்றும் பல்வேறு அறிக்கையிடலை தானியங்குபடுத்துதல் ஆகியவற்றில் நிபுணத்துவம் பெற்றது. இந்த இடத்தில், குறைந்த குறியீட்டின் பயன்பாடு நீண்ட காலமாக ஒரு தரமாகிவிட்டது. மற்ற குறைந்த-குறியீட்டு கருவிகளில், ETL செயல்முறைகளை ஒழுங்கமைப்பதற்கான கருவிகளைக் குறிப்பிடலாம்: இன்ஃபர்மேட்டிகா பவர் சென்டர், ஐபிஎம் டேட்டாஸ்டேஜ், பென்டாஹோ தரவு ஒருங்கிணைப்பு. அல்லது ஆரக்கிள் அபெக்ஸ், இது தரவை அணுகுவதற்கும் திருத்துவதற்கும் இடைமுகங்களின் விரைவான வளர்ச்சிக்கான சூழலாக செயல்படுகிறது. இருப்பினும், குறைந்த-குறியீட்டு மேம்பாட்டுக் கருவிகளின் பயன்பாடு எப்போதும் விற்பனையாளரைச் சார்ந்து ஒரு வணிக தொழில்நுட்ப அடுக்கில் அதிக இலக்கு கொண்ட பயன்பாடுகளை உருவாக்குவதை உள்ளடக்குவதில்லை.

குறைந்த-குறியீடு இயங்குதளங்களைப் பயன்படுத்தி, நீங்கள் தரவு ஓட்டங்களின் ஆர்கெஸ்ட்ரேஷனை ஒழுங்கமைக்கலாம், தரவு அறிவியல் தளங்களை உருவாக்கலாம் அல்லது, எடுத்துக்காட்டாக, தரவைச் சரிபார்க்கும் தொகுதிகள்.

குறைந்த-குறியீடு மேம்பாட்டுக் கருவிகளைப் பயன்படுத்துவதில் அனுபவத்தின் பயன்பாட்டு எடுத்துக்காட்டுகளில் ஒன்று, ரஷ்ய ஊடக ஆராய்ச்சி சந்தையில் முன்னணியில் இருக்கும் நியோஃப்ளெக்ஸ் மற்றும் மீடியாஸ்கோப் இடையேயான ஒத்துழைப்பு ஆகும். இந்த நிறுவனத்தின் வணிக நோக்கங்களில் ஒன்று, விளம்பரதாரர்கள், இணைய தளங்கள், தொலைக்காட்சி சேனல்கள், வானொலி நிலையங்கள், விளம்பர முகவர்கள் மற்றும் பிராண்டுகள் விளம்பரங்களை வாங்குவது மற்றும் அவர்களின் சந்தைப்படுத்தல் தகவல்தொடர்புகளை திட்டமிடுவது ஆகியவற்றின் அடிப்படையில் தரவு தயாரிப்பதாகும்.

ஊடக ஆராய்ச்சி என்பது தொழில் நுட்ப ரீதியாக ஏற்றப்பட்ட வணிகப் பகுதி. வீடியோ காட்சிகளை அங்கீகரித்தல், பார்ப்பதை பகுப்பாய்வு செய்யும் சாதனங்களிலிருந்து தரவைச் சேகரித்தல், இணைய வளங்களில் செயல்பாட்டை அளவிடுதல் - இவை அனைத்தும் நிறுவனத்திற்கு ஒரு பெரிய தகவல் தொழில்நுட்ப ஊழியர்களும் பகுப்பாய்வு தீர்வுகளை உருவாக்குவதில் மகத்தான அனுபவமும் இருப்பதைக் குறிக்கிறது. ஆனால் தகவல்களின் அளவு, அதன் ஆதாரங்களின் எண்ணிக்கை மற்றும் பல்வேறு வகைகளின் அதிவேக வளர்ச்சி IT தரவுத் துறையை தொடர்ந்து முன்னேறத் தூண்டுகிறது. ஏற்கனவே செயல்படும் மீடியாஸ்கோப் பகுப்பாய்வு தளத்தை அளவிடுவதற்கான எளிய தீர்வு IT ஊழியர்களை அதிகரிப்பதாகும். ஆனால் மிகவும் பயனுள்ள தீர்வு வளர்ச்சி செயல்முறையை விரைவுபடுத்துவதாகும். இந்த திசையில் செல்லும் படிகளில் ஒன்று குறைந்த குறியீடு இயங்குதளங்களின் பயன்பாடாக இருக்கலாம்.

திட்டம் தொடங்கப்பட்ட நேரத்தில், நிறுவனம் ஏற்கனவே ஒரு செயல்பாட்டு தயாரிப்பு தீர்வு இருந்தது. எவ்வாறாயினும், MSSQL இல் தீர்வைச் செயல்படுத்துவது, வளர்ச்சிக்கான ஏற்றுக்கொள்ளக்கூடிய செலவைப் பராமரிக்கும் அதே வேளையில், அளவிடுதல் செயல்பாட்டிற்கான எதிர்பார்ப்புகளை முழுமையாக பூர்த்தி செய்ய முடியவில்லை.

எங்களுக்கு முன் உள்ள பணி உண்மையிலேயே லட்சியமானது - நியோஃப்ளெக்ஸ் மற்றும் மீடியாஸ்கோப் ஒரு வருடத்திற்குள் ஒரு தொழில்துறை தீர்வை உருவாக்க வேண்டியிருந்தது, தொடக்க தேதியின் முதல் காலாண்டிற்குள் MVP வெளியீட்டிற்கு உட்பட்டது.

ஹடூப் டெக்னாலஜி ஸ்டேக் குறைந்த குறியீடு கம்ப்யூட்டிங் அடிப்படையில் ஒரு புதிய தரவு தளத்தை உருவாக்குவதற்கான அடித்தளமாக தேர்வு செய்யப்பட்டது. பார்க்வெட் கோப்புகளைப் பயன்படுத்தி தரவு சேமிப்பிற்கான தரநிலையாக HDFS மாறியுள்ளது. மேடையில் அமைந்துள்ள தரவை அணுக, ஹைவ் பயன்படுத்தப்பட்டது, இதில் கிடைக்கும் அனைத்து கடை முகப்புகளும் வெளிப்புற அட்டவணைகளின் வடிவத்தில் வழங்கப்படுகின்றன. சேமிப்பகத்தில் தரவை ஏற்றுவது Kafka மற்றும் Apache NiFi ஐப் பயன்படுத்தி செயல்படுத்தப்பட்டது.

இந்த கருத்தில் உள்ள லோவ்-கோட் கருவியானது பகுப்பாய்வு தளத்தை உருவாக்குவதில் மிகவும் உழைப்பு மிகுந்த பணியை மேம்படுத்த பயன்படுத்தப்பட்டது - தரவு கணக்கீடு பணி.

தரவு மேப்பிங்கிற்கான முக்கிய வழிமுறையாக குறைந்த-குறியீட்டு டேட்டாகிராம் கருவி தேர்ந்தெடுக்கப்பட்டது. நியோஃப்ளெக்ஸ் டேட்டாகிராம் மாற்றங்கள் மற்றும் தரவு ஓட்டங்களை உருவாக்குவதற்கான ஒரு கருவியாகும்.
இந்தக் கருவியைப் பயன்படுத்தி, ஸ்கலா குறியீட்டை கைமுறையாக எழுதாமல் செய்யலாம். மாடல் டிரைவன் ஆர்கிடெக்ச்சர் அணுகுமுறையைப் பயன்படுத்தி ஸ்கலா குறியீடு தானாக உருவாக்கப்படுகிறது.

இந்த அணுகுமுறையின் வெளிப்படையான நன்மை வளர்ச்சி செயல்முறையை விரைவுபடுத்துவதாகும். இருப்பினும், வேகத்திற்கு கூடுதலாக, பின்வரும் நன்மைகள் உள்ளன:

• ஆதாரங்கள்/பெறுநர்களின் உள்ளடக்கம் மற்றும் கட்டமைப்பைப் பார்ப்பது;
• தனிப்பட்ட புலங்களுக்கு (பரம்பரை) தரவு ஓட்டம் பொருள்களின் தோற்றத்தைக் கண்டறிதல்;
• இடைநிலை முடிவுகளைப் பார்ப்பதன் மூலம் மாற்றங்களை ஓரளவு செயல்படுத்துதல்;
• மூலக் குறியீட்டை மதிப்பாய்வு செய்தல் மற்றும் செயல்படுத்துவதற்கு முன் அதை சரிசெய்தல்;
• உருமாற்றங்களின் தானியங்கி சரிபார்ப்பு;
• தானியங்கு தரவு பதிவிறக்கம் 1 இல் 1.

மாற்றங்களை உருவாக்குவதற்கான குறைந்த-குறியீடு தீர்வுகளில் நுழைவதற்கான தடை மிகவும் குறைவாக உள்ளது: டெவலப்பர் SQL ஐ அறிந்திருக்க வேண்டும் மற்றும் ETL கருவிகளுடன் பணிபுரிந்த அனுபவம் பெற்றிருக்க வேண்டும். குறியீட்டால் இயக்கப்படும் உருமாற்ற ஜெனரேட்டர்கள் வார்த்தையின் பரந்த பொருளில் ETL கருவிகள் அல்ல என்பது குறிப்பிடத் தக்கது. குறைந்த-குறியீடு கருவிகளுக்கு அவற்றின் சொந்த குறியீடு செயல்படுத்தும் சூழல் இல்லாமல் இருக்கலாம். அதாவது, குறைந்த குறியீட்டு தீர்வை நிறுவுவதற்கு முன்பே, கிளஸ்டரில் இருந்த சூழலில் உருவாக்கப்பட்ட குறியீடு செயல்படுத்தப்படும். மேலும் இது குறைந்த குறியீடு கர்மாவிற்கு மற்றொரு பிளஸ் ஆகும். குறைந்த-குறியீட்டு குழுவிற்கு இணையாக, ஒரு "கிளாசிக்" குழு செயல்பட முடியும் என்பதால், எடுத்துக்காட்டாக, தூய ஸ்கலா குறியீட்டில் செயல்பாட்டை செயல்படுத்துகிறது. உற்பத்தியில் இரு அணிகளிலிருந்தும் மேம்பாடுகளைக் கொண்டுவருவது எளிமையாகவும் தடையற்றதாகவும் இருக்கும்.

குறைந்த குறியீட்டைத் தவிர, குறியீடு இல்லாத தீர்வுகளும் உள்ளன என்பது கவனிக்கத்தக்கது. மற்றும் அவர்களின் மையத்தில், இவை வெவ்வேறு விஷயங்கள். குறைந்த குறியீடு டெவலப்பர் உருவாக்கப்பட்ட குறியீட்டில் மேலும் தலையிட அனுமதிக்கிறது. டேட்டாகிராம் விஷயத்தில், உருவாக்கப்பட்ட ஸ்கலா குறியீட்டைப் பார்க்கவும் திருத்தவும் முடியும்; நோ-கோட் அத்தகைய வாய்ப்பை வழங்காது. இந்த வேறுபாடு தீர்வின் நெகிழ்வுத்தன்மையின் அடிப்படையில் மட்டுமல்லாமல், தரவு பொறியாளர்களின் வேலையில் ஆறுதல் மற்றும் உந்துதல் ஆகியவற்றின் அடிப்படையில் மிகவும் குறிப்பிடத்தக்கதாகும்.

தீர்வு கட்டிடக்கலை

தரவு கணக்கீட்டு செயல்பாட்டை மேம்படுத்துவதற்கான வேகத்தை மேம்படுத்துவதில் சிக்கலைத் தீர்க்க குறைந்த-குறியீட்டு கருவி எவ்வாறு உதவுகிறது என்பதைக் கண்டுபிடிக்க முயற்சிப்போம். முதலில், கணினியின் செயல்பாட்டு கட்டமைப்பைப் பார்ப்போம். இந்த வழக்கில் ஒரு உதாரணம் ஊடக ஆராய்ச்சிக்கான தரவு உற்பத்தி மாதிரி.

எங்கள் விஷயத்தில் தரவு ஆதாரங்கள் மிகவும் பன்முகத்தன்மை கொண்டவை மற்றும் வேறுபட்டவை:

• பீப்பிள் மீட்டர்கள் (டிவி மீட்டர்கள்) என்பது மென்பொருள் மற்றும் வன்பொருள் சாதனங்கள் ஆகும், அவை தொலைக்காட்சி பேனல் பதிலளித்தவர்களிடமிருந்து பயனர் நடத்தையைப் படிக்கின்றன - ஆய்வில் பங்கேற்கும் குடும்பத்தில் யார், எப்போது, ​​எந்த டிவி சேனல் பார்க்கப்பட்டது. வழங்கப்பட்ட தகவல் என்பது மீடியா தொகுப்பு மற்றும் மீடியா தயாரிப்புடன் இணைக்கப்பட்ட ஒளிபரப்பு பார்க்கும் இடைவெளிகளின் ஸ்ட்ரீம் ஆகும். தரவு ஏரியில் ஏற்றப்படும் கட்டத்தில் உள்ள தரவை மக்கள்தொகை பண்புக்கூறுகள், புவியியல், நேர மண்டலம் மற்றும் ஒரு குறிப்பிட்ட ஊடகத் தயாரிப்பின் தொலைக்காட்சிப் பார்வையை பகுப்பாய்வு செய்வதற்குத் தேவையான பிற தகவல்களுடன் வளப்படுத்தலாம். எடுக்கப்பட்ட அளவீடுகள் விளம்பர பிரச்சாரங்களை பகுப்பாய்வு செய்ய அல்லது திட்டமிடவும், பார்வையாளர்களின் செயல்பாடு மற்றும் விருப்பங்களை மதிப்பிடவும் மற்றும் ஒளிபரப்பு நெட்வொர்க்கை தொகுக்கவும் பயன்படுத்தப்படலாம்;
• தொலைக்காட்சி ஒளிபரப்புகளை ஸ்ட்ரீமிங் செய்வதற்கான கண்காணிப்பு அமைப்புகள் மற்றும் இணையத்தில் வீடியோ ஆதார உள்ளடக்கத்தைப் பார்ப்பதை அளவிடுதல் ஆகியவற்றிலிருந்து தரவு வரலாம்;
• தளத்தை மையமாகக் கொண்ட மற்றும் பயனரை மையமாகக் கொண்ட மீட்டர்கள் உட்பட, இணைய சூழலில் அளவிடும் கருவிகள். டேட்டா லேக்கிற்கான தரவு வழங்குநர் ஆராய்ச்சிப் பட்டி உலாவி ஆட்-ஆன் மற்றும் உள்ளமைக்கப்பட்ட VPN உடன் மொபைல் பயன்பாடாக இருக்கலாம்.
• ஆன்லைன் கேள்வித்தாள்களை நிரப்புவதன் முடிவுகள் மற்றும் நிறுவன ஆய்வுகளில் தொலைபேசி நேர்காணல்களின் முடிவுகளை ஒருங்கிணைக்கும் தளங்களிலிருந்தும் தரவு வரலாம்;
• கூட்டாளர் நிறுவனங்களின் பதிவுகளிலிருந்து தகவலைப் பதிவிறக்குவதன் மூலம் தரவு ஏரியின் கூடுதல் செறிவூட்டல் ஏற்படலாம்.

மூல அமைப்புகளிலிருந்து மூலத் தரவின் முதன்மை நிலைகளில் ஏற்றப்படுவதை செயல்படுத்துவது பல்வேறு வழிகளில் ஒழுங்கமைக்கப்படலாம். இந்த நோக்கங்களுக்காக குறைந்த-குறியீடு பயன்படுத்தப்பட்டால், மெட்டாடேட்டாவின் அடிப்படையில் ஸ்கிரிப்ட்களை ஏற்றும் தானியங்கி உருவாக்கம் சாத்தியமாகும். இந்த நிலையில், மேப்பிங்கை இலக்காகக் கொள்ள, மூலத்தை உருவாக்கும் நிலைக்குச் செல்ல வேண்டிய அவசியமில்லை. தானியங்கு ஏற்றுதலைச் செயல்படுத்த, நாம் மூலத்துடன் ஒரு இணைப்பை நிறுவ வேண்டும், பின்னர் ஏற்றப்பட வேண்டிய நிறுவனங்களின் பட்டியலை ஏற்றுதல் இடைமுகத்தில் வரையறுக்க வேண்டும். HDFS இல் உள்ள அடைவு அமைப்பு தானாக உருவாக்கப்படும் மற்றும் மூல அமைப்பில் உள்ள தரவு சேமிப்பக கட்டமைப்பிற்கு ஒத்திருக்கும்.

இருப்பினும், இந்தத் திட்டத்தின் பின்னணியில், மீடியாஸ்கோப் நிறுவனம் ஏற்கனவே நிஃபி + காஃப்கா கலவையைப் பயன்படுத்தி இதேபோன்ற சேவையைத் தயாரிக்கும் வேலையை சுயாதீனமாகத் தொடங்கியுள்ளதால், குறைந்த-குறியீட்டு இயங்குதளத்தின் இந்த அம்சத்தைப் பயன்படுத்த வேண்டாம் என்று முடிவு செய்தோம்.

இந்த கருவிகள் ஒன்றுக்கொன்று மாறக்கூடியவை அல்ல, மாறாக நிரப்பு என்று உடனடியாகக் குறிப்பிடுவது மதிப்பு. Nifi மற்றும் Kafka இரண்டும் நேரடி (Nifi -> Kafka) மற்றும் தலைகீழ் (Kafka -> Nifi) இணைப்பில் வேலை செய்ய முடியும். ஊடக ஆராய்ச்சி தளத்திற்கு, தொகுப்பின் முதல் பதிப்பு பயன்படுத்தப்பட்டது.

எங்கள் விஷயத்தில், NayFi ஆனது மூல அமைப்புகளிலிருந்து பல்வேறு வகையான தரவைச் செயலாக்கி அவற்றை காஃப்கா தரகருக்கு அனுப்ப வேண்டும். இந்த நிலையில், PublishKafka Nifi செயலிகளைப் பயன்படுத்தி ஒரு குறிப்பிட்ட காஃப்கா தலைப்புக்கு செய்திகள் அனுப்பப்பட்டன. இந்த குழாய்களின் ஆர்கெஸ்ட்ரேஷன் மற்றும் பராமரிப்பு ஒரு காட்சி இடைமுகத்தில் மேற்கொள்ளப்படுகிறது. Nifi கருவி மற்றும் Nifi + Kafka கலவையின் பயன்பாடு வளர்ச்சிக்கான குறைந்த-குறியீட்டு அணுகுமுறை என்றும் அழைக்கப்படலாம், இது பிக் டேட்டா தொழில்நுட்பங்களில் நுழைவதற்கு குறைந்த தடையைக் கொண்டுள்ளது மற்றும் பயன்பாட்டு மேம்பாட்டு செயல்முறையை துரிதப்படுத்துகிறது.

திட்ட அமலாக்கத்தின் அடுத்த கட்டம் விரிவான தரவை ஒற்றை சொற்பொருள் அடுக்கு வடிவத்திற்கு கொண்டு வர வேண்டும். ஒரு நிறுவனம் வரலாற்றுப் பண்புகளைக் கொண்டிருந்தால், கேள்விக்குரிய பகிர்வின் சூழலில் கணக்கீடு செய்யப்படுகிறது. நிறுவனம் வரலாற்று ரீதியாக இல்லாவிட்டால், பொருளின் முழு உள்ளடக்கத்தையும் மீண்டும் கணக்கிடுவது விருப்பமாக சாத்தியமாகும், அல்லது இந்த பொருளை மீண்டும் கணக்கிட மறுப்பது (மாற்றங்கள் இல்லாததால்). இந்த கட்டத்தில், அனைத்து நிறுவனங்களுக்கும் விசைகள் உருவாக்கப்படுகின்றன. விசைகள் முதன்மை பொருள்களுடன் தொடர்புடைய Hbase கோப்பகங்களில் சேமிக்கப்படுகின்றன, அவை பகுப்பாய்வு மேடையில் உள்ள விசைகள் மற்றும் மூல அமைப்புகளின் விசைகளுக்கு இடையே ஒரு கடிதப் பரிமாற்றத்தைக் கொண்டுள்ளன. அணு உறுப்புகளின் ஒருங்கிணைப்பு பகுப்பாய்வு தரவுகளின் ஆரம்ப கணக்கீட்டின் முடிவுகளுடன் செறிவூட்டலுடன் சேர்ந்துள்ளது. தரவு கணக்கீட்டிற்கான கட்டமைப்பானது ஸ்பார்க் ஆகும். தரவை ஒற்றை சொற்பொருளுக்குக் கொண்டு வருவதற்கான விவரிக்கப்பட்ட செயல்பாடும் குறைந்த-குறியீட்டு டேட்டாகிராம் கருவியில் இருந்து மேப்பிங்கின் அடிப்படையில் செயல்படுத்தப்பட்டது.

இலக்கு கட்டமைப்பிற்கு வணிகப் பயனர்களுக்கான தரவுகளுக்கான SQL அணுகல் தேவை. இந்த விருப்பத்திற்கு ஹைவ் பயன்படுத்தப்பட்டது. குறைந்த குறியீடு கருவியில் "பதிவு ஹைவ் டேபிள்" விருப்பத்தை இயக்கும் போது, ​​பொருள்கள் தானாகவே ஹைவில் பதிவு செய்யப்படும்.

கணக்கீட்டு ஓட்டம் கட்டுப்பாடு

டேட்டாகிராம் பணிப்பாய்வு வடிவமைப்புகளை உருவாக்குவதற்கான இடைமுகத்தைக் கொண்டுள்ளது. Oozie திட்டமிடலைப் பயன்படுத்தி வரைபடங்களைத் தொடங்கலாம். ஸ்ட்ரீம் டெவலப்பர் இடைமுகத்தில், இணையான, வரிசைமுறை அல்லது செயல்படுத்தல் சார்ந்த தரவு மாற்றங்களுக்கான திட்டங்களை உருவாக்க முடியும். ஷெல் ஸ்கிரிப்டுகள் மற்றும் ஜாவா நிரல்களுக்கான ஆதரவு உள்ளது. Apache Livy சேவையகத்தைப் பயன்படுத்தவும் முடியும். அபிவிருத்தி சூழலில் இருந்து நேரடியாக பயன்பாடுகளை இயக்க Apache Livy பயன்படுகிறது.

நிறுவனம் ஏற்கனவே அதன் சொந்த செயல்முறை ஆர்கெஸ்ட்ரேட்டரைக் கொண்டிருந்தால், ஏற்கனவே உள்ள ஓட்டத்தில் மேப்பிங்கை உட்பொதிக்க REST API ஐப் பயன்படுத்த முடியும். எடுத்துக்காட்டாக, PLSQL மற்றும் Kotlin இல் எழுதப்பட்ட ஆர்கெஸ்ட்ரேட்டர்களில் ஸ்கலாவில் மேப்பிங்கை உட்பொதித்ததில் எங்களுக்கு வெற்றிகரமான அனுபவம் இருந்தது. குறைந்த-குறியீடு கருவியின் REST API ஆனது மேப்பிங் வடிவமைப்பின் அடிப்படையில் இயங்கக்கூடிய ஆண்டை உருவாக்குதல், மேப்பிங்கை அழைப்பது, மேப்பிங்கின் வரிசையை அழைப்பது மற்றும் மேப்பிங்கை இயக்க URL க்கு அளவுருக்களை அனுப்புவது போன்ற செயல்பாடுகளை உள்ளடக்கியது.

Oozie உடன் இணைந்து, காற்றோட்டத்தைப் பயன்படுத்தி கணக்கீட்டு ஓட்டத்தை ஒழுங்கமைக்க முடியும். ஓஸிக்கும் ஏர்ஃப்ளோவுக்கும் இடையிலான ஒப்பீட்டில் நான் நீண்ட காலம் தங்கமாட்டேன், ஆனால் ஊடக ஆராய்ச்சி திட்டத்தில் பணிபுரியும் சூழலில், தேர்வு ஏர்ஃப்ளோவுக்கு ஆதரவாக விழுந்தது என்று வெறுமனே கூறுவேன். இந்த நேரத்தில் முக்கிய வாதங்கள் தயாரிப்பை உருவாக்கும் மிகவும் சுறுசுறுப்பான சமூகம் மற்றும் மிகவும் வளர்ந்த இடைமுகம் + API.

கணக்கீட்டு செயல்முறைகளை விவரிக்க பிரியமான பைத்தானைப் பயன்படுத்துவதால் காற்றோட்டமும் நன்றாக இருக்கிறது. பொதுவாக, பல திறந்த மூல பணிப்பாய்வு மேலாண்மை தளங்கள் இல்லை. செயல்முறைகளின் செயல்பாட்டைத் தொடங்குதல் மற்றும் கண்காணிப்பது (காண்ட் விளக்கப்படம் உட்பட) ஏர்ஃப்ளோவின் கர்மாவுக்கு புள்ளிகளை மட்டுமே சேர்க்கிறது.

குறைந்த-குறியீடு தீர்வு மேப்பிங்கைத் தொடங்குவதற்கான உள்ளமைவு கோப்பு வடிவம் ஸ்பார்க்-சமர்ப்பிப்பாக மாறியுள்ளது. இது இரண்டு காரணங்களுக்காக நடந்தது. முதலில், spark-submit உங்களை கன்சோலில் இருந்து நேரடியாக jar கோப்பை இயக்க அனுமதிக்கிறது. இரண்டாவதாக, இது பணிப்பாய்வுகளை உள்ளமைக்க தேவையான அனைத்து தகவல்களையும் கொண்டிருக்கும் (இது Dag ஐ உருவாக்கும் ஸ்கிரிப்ட்களை எழுதுவதை எளிதாக்குகிறது).
எங்கள் விஷயத்தில் ஏர்ஃப்ளோ பணிப்பாய்வு மிகவும் பொதுவான உறுப்பு SparkSubmitOperator ஆகும்.

SparkSubmitOperator நீங்கள் ஜாடிகளை இயக்க அனுமதிக்கிறது - பேக்கேஜ் செய்யப்பட்ட டேட்டாகிராம் மேப்பிங்ஸ் அவற்றுக்கான முன்-உருவாக்கப்பட்ட உள்ளீட்டு அளவுருக்கள்.

ஒவ்வொரு ஏர்ஃப்ளோ பணியும் தனித்தனி நூலில் இயங்குகிறது மற்றும் பிற பணிகளைப் பற்றி எதுவும் தெரியாது என்பது குறிப்பிடத்தக்கது. எனவே, DummyOperator அல்லது BranchPythonOperator போன்ற கட்டுப்பாட்டு ஆபரேட்டர்களைப் பயன்படுத்தி பணிகளுக்கு இடையிலான தொடர்பு மேற்கொள்ளப்படுகிறது.

ஒன்றாக எடுத்துக்கொண்டால், உள்ளமைவு கோப்புகளின் உலகளாவியமயமாக்கலுடன் இணைந்து டேட்டாகிராம் குறைந்த-குறியீடு தீர்வைப் பயன்படுத்துவது (டாக்கை உருவாக்குதல்) தரவு ஏற்றுதல் ஓட்டங்களை உருவாக்கும் செயல்முறையின் குறிப்பிடத்தக்க முடுக்கம் மற்றும் எளிமைப்படுத்தலுக்கு வழிவகுத்தது.

காட்சிப்படுத்தல் கணக்கீடுகள்

பகுப்பாய்வுத் தரவுகளின் தயாரிப்பில் மிகவும் அறிவுப்பூர்வமாக ஏற்றப்பட்ட நிலை காட்சிப் பெட்டிகளை உருவாக்குவதற்கான படியாக இருக்கலாம். ஆராய்ச்சி நிறுவனத்தின் தரவுக் கணக்கீட்டு ஓட்டங்களில் ஒன்றின் பின்னணியில், இந்த கட்டத்தில், தரவு குறிப்பு ஒளிபரப்பாகக் குறைக்கப்பட்டு, நேர மண்டலங்களுக்கான கணக்குத் திருத்தங்களை எடுத்து, ஒளிபரப்பு கட்டத்துடன் இணைக்கப்படுகிறது. உள்ளூர் ஒளிபரப்பு நெட்வொர்க்கை (உள்ளூர் செய்திகள் மற்றும் விளம்பரம்) சரிசெய்யவும் முடியும். மற்றவற்றுடன், பார்க்கும் இடைவெளிகளின் பகுப்பாய்வின் அடிப்படையில் மீடியா தயாரிப்புகளின் தொடர்ச்சியான பார்வையின் இடைவெளிகளை இந்த படி உடைக்கிறது. உடனடியாக, பார்க்கும் மதிப்புகள் அவற்றின் முக்கியத்துவம் (ஒரு திருத்தம் காரணி கணக்கீடு) பற்றிய தகவல்களின் அடிப்படையில் "எடைக்கப்படுகின்றன".

ஷோகேஸ்களை தயாரிப்பதில் ஒரு தனி படி தரவு சரிபார்ப்பு ஆகும். சரிபார்ப்பு அல்காரிதம் பல கணித அறிவியல் மாதிரிகளைப் பயன்படுத்துவதை உள்ளடக்கியது. இருப்பினும், குறைந்த-குறியீடு இயங்குதளத்தைப் பயன்படுத்துவது, ஒரு சிக்கலான அல்காரிதத்தை பல தனித்தனியான பார்வைக்கு படிக்கக்கூடிய மேப்பிங்களாக உடைக்க உங்களை அனுமதிக்கிறது. ஒவ்வொரு மேப்பிங்கும் ஒரு குறுகிய பணியைச் செய்கிறது. இதன் விளைவாக, இடைநிலை பிழைத்திருத்தம், பதிவு செய்தல் மற்றும் தரவு தயாரிப்பு நிலைகளின் காட்சிப்படுத்தல் ஆகியவை சாத்தியமாகும்.

சரிபார்ப்பு அல்காரிதத்தை பின்வரும் துணை நிலைகளில் தனிமைப்படுத்த முடிவு செய்யப்பட்டது:

• 60 நாட்களுக்கு பிராந்தியத்தில் உள்ள அனைத்து நெட்வொர்க்குகளையும் பார்ப்பதன் மூலம் ஒரு பிராந்தியத்தில் டிவி நெட்வொர்க் பார்க்கும் சார்புகளின் பின்னடைவுகளை உருவாக்குதல்.
• அனைத்து பின்னடைவு புள்ளிகள் மற்றும் கணக்கிடப்பட்ட நாளுக்கான மாணவர் எச்சங்களின் (பின்னடைவு மாதிரியால் கணிக்கப்பட்டவற்றிலிருந்து உண்மையான மதிப்புகளின் விலகல்கள்) கணக்கீடு.
• ஒழுங்கற்ற பிராந்திய-நெட்வொர்க் ஜோடிகளின் தேர்வு, இதில் செட்டில்மென்ட் நாளின் மாணவர் சமநிலை விதிமுறையை மீறுகிறது (செயல்பாட்டு அமைப்புகளால் குறிப்பிடப்பட்டுள்ளது).
• பிராந்தியத்தில் உள்ள நெட்வொர்க்கைப் பார்த்த ஒவ்வொரு பதிலளிப்பவருக்கும் ஒழுங்கற்ற பிராந்திய-டிவி நெட்வொர்க் ஜோடிகளுக்கான திருத்தப்பட்ட மாணவர் எச்சத்தை மீண்டும் கணக்கிடுதல், இந்த பதிலளிப்பவரின் பங்களிப்பை (மாணவியின் எஞ்சிய மாற்றத்தின் அளவு) தீர்மானித்தல். .
• விண்ணப்பதாரர்களைத் தேடுங்கள், யாருடைய விலக்கு ஊதியத்தின் மாணவர் சமநிலையை இயல்பு நிலைக்குக் கொண்டுவருகிறது.

மேலே உள்ள உதாரணம், ஒரு தரவுப் பொறியாளரின் மனதில் ஏற்கனவே அதிகமாக உள்ளது என்ற கருதுகோளை உறுதிப்படுத்துகிறது... மேலும், இது உண்மையில் ஒரு "பொறியாளர்" மற்றும் "குறியீடு செய்பவர்" அல்ல என்றால், குறைந்த குறியீட்டு கருவிகளைப் பயன்படுத்தும் போது அவர் தொழில்முறை சீரழிவு பயம். இறுதியாக பின்வாங்க வேண்டும்.

குறைந்த குறியீடு வேறு என்ன செய்ய முடியும்?

ஸ்கலாவில் குறியீட்டை கைமுறையாக எழுத வேண்டிய அவசியமின்றி தொகுதி மற்றும் ஸ்ட்ரீம் தரவு செயலாக்கத்திற்கான குறைந்த-குறியீட்டு கருவியின் பயன்பாட்டின் நோக்கம் அங்கு முடிவடையவில்லை.

டேட்டாலேக்கின் வளர்ச்சியில் குறைந்த குறியீட்டைப் பயன்படுத்துவது ஏற்கனவே எங்களுக்கு ஒரு தரமாகிவிட்டது. ஹடூப் அடுக்கின் அடிப்படையிலான தீர்வுகள் RDBMS அடிப்படையிலான கிளாசிக் DWHகளின் வளர்ச்சிப் பாதையைப் பின்பற்றுகின்றன என்று நாம் கூறலாம். ஹடூப் ஸ்டேக்கில் உள்ள குறைந்த-குறியீட்டு கருவிகள் தரவு செயலாக்க பணிகள் மற்றும் இறுதி BI இடைமுகங்களை உருவாக்கும் பணி ஆகிய இரண்டையும் தீர்க்க முடியும். மேலும், BI என்பது தரவின் பிரதிநிதித்துவம் மட்டுமல்ல, வணிகப் பயனர்களால் அவற்றைத் திருத்துவதையும் குறிக்கும் என்பதை கவனத்தில் கொள்ள வேண்டும். நிதித் துறைக்கான பகுப்பாய்வு தளங்களை உருவாக்கும்போது இந்த செயல்பாட்டை நாங்கள் அடிக்கடி பயன்படுத்துகிறோம்.

மற்றவற்றுடன், குறைந்த-குறியீடு மற்றும் குறிப்பாக, டேட்டாகிராம் ஆகியவற்றைப் பயன்படுத்தி, தரவு ஸ்ட்ரீம் பொருட்களின் தோற்றத்தை அணுசக்தியுடன் தனிப்பட்ட புலங்கள் (பரம்பரை) வரை கண்காணிப்பதில் சிக்கலைத் தீர்க்க முடியும். இதைச் செய்ய, குறைந்த-குறியீடு கருவியானது அப்பாச்சி அட்லஸ் மற்றும் கிளவுடரா நேவிகேட்டருடன் இடைமுகத்தை செயல்படுத்துகிறது. முக்கியமாக, டெவலப்பர் அட்லஸ் அகராதிகளில் பொருள்களின் தொகுப்பைப் பதிவு செய்ய வேண்டும் மற்றும் வரைபடங்களை உருவாக்கும்போது பதிவுசெய்யப்பட்ட பொருட்களைக் குறிப்பிட வேண்டும். தரவுகளின் தோற்றம் அல்லது பொருள் சார்புகளை பகுப்பாய்வு செய்வதற்கான வழிமுறையானது கணக்கீட்டு வழிமுறைகளில் மேம்பாடுகளைச் செய்ய வேண்டியிருக்கும் போது நிறைய நேரத்தை மிச்சப்படுத்துகிறது. எடுத்துக்காட்டாக, நிதிநிலை அறிக்கைகளைத் தயாரிக்கும் போது, ​​இந்த அம்சம் சட்டமன்ற மாற்றங்களின் காலத்தை மிகவும் வசதியாக வாழ அனுமதிக்கிறது. எல்லாவற்றிற்கும் மேலாக, ஒரு விரிவான அடுக்கின் பொருள்களின் பின்னணியில் உள்ள படிவத்தின் சார்புநிலையை நாம் எவ்வளவு சிறப்பாக புரிந்துகொள்கிறோமோ, அவ்வளவு குறைவாக "திடீர்" குறைபாடுகளை சந்திப்போம் மற்றும் மறுவேலைகளின் எண்ணிக்கையை குறைப்போம்.

தரவு தரம் மற்றும் குறைந்த குறியீடு

மீடியாஸ்கோப் திட்டத்தில் குறைந்த குறியீடு கருவி மூலம் செயல்படுத்தப்பட்ட மற்றொரு பணி தரவு தர வகுப்பு பணி ஆகும். ஆராய்ச்சி நிறுவனத்தின் திட்டத்திற்கான தரவு சரிபார்ப்பு பைப்லைனை செயல்படுத்துவதன் ஒரு தனித்தன்மை, முக்கிய தரவு கணக்கீட்டு ஓட்டத்தின் செயல்திறன் மற்றும் வேகத்தில் தாக்கம் இல்லாதது. சுயாதீன தரவு சரிபார்ப்பு ஓட்டங்களை ஒழுங்கமைக்க, ஏற்கனவே பழக்கமான Apache Airflow பயன்படுத்தப்பட்டது. தரவுத் தயாரிப்பின் ஒவ்வொரு படிநிலையும் தயாரான நிலையில், DQ பைப்லைனின் தனிப் பகுதி இணையாகத் தொடங்கப்பட்டது.

பகுப்பாய்வு தளத்தில் தரவுகளின் தரத்தை அதன் தொடக்க தருணத்திலிருந்து கண்காணிப்பது நல்ல நடைமுறையாகக் கருதப்படுகிறது. மெட்டாடேட்டாவைப் பற்றிய தகவலைக் கொண்டிருப்பதால், தகவல் முதன்மை அடுக்குக்குள் நுழையும் தருணத்திலிருந்து அடிப்படை நிபந்தனைகளுக்கு இணங்குவதைச் சரிபார்க்கலாம் - பூஜ்ய, கட்டுப்பாடுகள், வெளிநாட்டு விசைகள் அல்ல. டேட்டாகிராமில் உள்ள தரவுத் தரக் குடும்பத்தின் தானாக உருவாக்கப்பட்ட மேப்பிங்கின் அடிப்படையில் இந்த செயல்பாடு செயல்படுத்தப்படுகிறது. இந்த வழக்கில் குறியீடு உருவாக்கம் மாதிரி மெட்டாடேட்டாவை அடிப்படையாகக் கொண்டது. மீடியாஸ்கோப் திட்டத்தில், எண்டர்பிரைஸ் ஆர்கிடெக்ட் தயாரிப்பின் மெட்டாடேட்டாவுடன் இடைமுகம் மேற்கொள்ளப்பட்டது.

Enterprise Architect உடன் குறைந்த-குறியீடு கருவியை இணைப்பதன் மூலம், பின்வரும் காசோலைகள் தானாகவே உருவாக்கப்பட்டன:

• "பூஜ்ய அல்ல" மாற்றியமைப்புடன் புலங்களில் "பூஜ்ய" மதிப்புகள் இருப்பதைச் சரிபார்க்கிறது;
• முதன்மை விசையின் நகல்களின் இருப்பை சரிபார்க்கிறது;
• ஒரு நிறுவனத்தின் வெளிநாட்டு விசையை சரிபார்த்தல்;
• புலங்களின் தொகுப்பின் அடிப்படையில் சரத்தின் தனித்துவத்தைச் சரிபார்க்கிறது.

தரவு கிடைக்கும் தன்மை மற்றும் நம்பகத்தன்மையின் மிகவும் சிக்கலான சோதனைகளுக்கு, ஸ்கலா எக்ஸ்பிரஷனுடன் ஒரு மேப்பிங் உருவாக்கப்பட்டது, இது செப்பெலினில் உள்ள ஆய்வாளர்களால் தயாரிக்கப்பட்ட வெளிப்புற ஸ்பார்க் SQL காசோலை குறியீட்டை உள்ளீடாக எடுத்துக்கொள்கிறது.

நிச்சயமாக, காசோலைகளின் தானியங்கி உருவாக்கம் படிப்படியாக அடையப்பட வேண்டும். விவரிக்கப்பட்ட திட்டத்தின் கட்டமைப்பிற்குள், இது பின்வரும் படிகளால் முன்னெடுக்கப்பட்டது:

• DQ செப்பெலின் குறிப்பேடுகளில் செயல்படுத்தப்பட்டது;
• மேப்பிங்கில் கட்டமைக்கப்பட்ட DQ;
• ஒரு தனி நிறுவனத்திற்கான காசோலைகளின் முழு தொகுப்பையும் கொண்ட தனித்தனி பாரிய மேப்பிங் வடிவில் DQ;
• மெட்டாடேட்டா மற்றும் வணிகச் சரிபார்ப்புகள் பற்றிய தகவல்களை உள்ளீடாக ஏற்றுக்கொள்ளும் உலகளாவிய அளவுரு DQ மேப்பிங்.

ஒரு அளவுருவாக்கப்பட்ட காசோலை சேவையை உருவாக்குவதன் முக்கிய நன்மை, உற்பத்தி சூழலுக்கு செயல்பாட்டை வழங்குவதற்கு எடுக்கும் நேரத்தைக் குறைப்பதாகும். புதிய தரச் சோதனைகள், மேம்பாடு மற்றும் சோதனைச் சூழல்கள் மூலம் மறைமுகமாக குறியீட்டை வழங்கும் உன்னதமான வடிவத்தைத் தவிர்க்கலாம்:

• EA இல் மாதிரி மாற்றியமைக்கப்படும் போது அனைத்து மெட்டாடேட்டா சோதனைகளும் தானாகவே உருவாக்கப்படும்;
• தரவு கிடைக்கும் தன்மை சோதனைகள் (ஒரு கட்டத்தில் எந்த தரவின் இருப்பையும் தீர்மானித்தல்) ஒரு கோப்பகத்தின் அடிப்படையில் உருவாக்கப்படும், இது பொருட்களின் சூழலில் அடுத்த தரவுத் தோற்றத்தின் எதிர்பார்க்கப்படும் நேரத்தைச் சேமிக்கிறது;
• வணிகத் தரவு சரிபார்ப்பு சோதனைகள் செப்பெலின் குறிப்பேடுகளில் உள்ள ஆய்வாளர்களால் உருவாக்கப்படுகின்றன. அங்கிருந்து அவை நேரடியாக உற்பத்தி சூழலில் உள்ள DQ தொகுதி அமைவு அட்டவணைகளுக்கு அனுப்பப்படுகின்றன.

ஸ்கிரிப்ட்களை நேரடியாக உற்பத்திக்கு அனுப்புவதால் எந்த ஆபத்தும் இல்லை. ஒரு தொடரியல் பிழையுடன் கூட, அதிகபட்சம் நம்மை அச்சுறுத்தும் ஒரு காசோலை செய்யத் தவறியது, ஏனெனில் தரவு கணக்கீட்டு ஓட்டம் மற்றும் தர சோதனை வெளியீட்டு ஓட்டம் ஆகியவை ஒருவருக்கொருவர் பிரிக்கப்படுகின்றன.

சாராம்சத்தில், DQ சேவை நிரந்தரமாக உற்பத்தி சூழலில் இயங்குகிறது மற்றும் அடுத்த தரவு தோன்றும் தருணத்தில் அதன் வேலையைத் தொடங்க தயாராக உள்ளது.

அதற்கு பதிலாக, ஒரு முடிவுக்கும்

குறைந்த குறியீட்டைப் பயன்படுத்துவதன் நன்மை வெளிப்படையானது. டெவலப்பர்கள் புதிதாக பயன்பாட்டை உருவாக்க வேண்டியதில்லை. மேலும் கூடுதல் பணிகளில் இருந்து விடுவிக்கப்பட்ட ஒரு புரோகிராமர் விரைவாக முடிவுகளைத் தருகிறார். வேகம், தேர்வுமுறை சிக்கல்களைத் தீர்ப்பதற்கு கூடுதல் நேரத்தை விடுவிக்கிறது. எனவே, இந்த விஷயத்தில், நீங்கள் ஒரு சிறந்த மற்றும் வேகமான தீர்வை நம்பலாம்.

நிச்சயமாக, குறைந்த குறியீடு ஒரு சஞ்சீவி அல்ல, மேலும் மந்திரம் தானாகவே நடக்காது:

• குறைந்த-குறியீட்டுத் தொழில் ஒரு "வலுவானதாக" நிலைக்குச் செல்கிறது, இன்னும் சீரான தொழில்துறை தரநிலைகள் இல்லை;
• பல குறைந்த-குறியீடு தீர்வுகள் இலவசம் அல்ல, அவற்றை வாங்குவது ஒரு நனவான படியாக இருக்க வேண்டும், அவற்றைப் பயன்படுத்துவதன் நிதி நன்மைகளில் முழு நம்பிக்கையுடன் செய்யப்பட வேண்டும்;
• பல குறைந்த-குறியீடு தீர்வுகள் எப்போதும் GIT/SVN உடன் நன்றாக வேலை செய்யாது. அல்லது உருவாக்கப்பட்ட குறியீடு மறைக்கப்பட்டிருந்தால் அவை பயன்படுத்த சிரமமாக இருக்கும்;
• கட்டிடக்கலையை விரிவுபடுத்தும் போது, ​​குறைந்த குறியீட்டு தீர்வைச் செம்மைப்படுத்துவது அவசியமாக இருக்கலாம் - இது, குறைந்த குறியீடு தீர்வு வழங்குபவருக்கு "இணைப்பு மற்றும் சார்பு" விளைவைத் தூண்டுகிறது.
• போதுமான அளவிலான பாதுகாப்பு சாத்தியம், ஆனால் இது மிகவும் உழைப்பு மிகுந்த மற்றும் குறைந்த குறியீட்டு அமைப்பு இயந்திரங்களில் செயல்படுத்த கடினமாக உள்ளது. குறைந்த-குறியீட்டு தளங்கள் அவற்றின் பயன்பாட்டிலிருந்து நன்மைகளைத் தேடும் கொள்கையின் அடிப்படையில் மட்டும் தேர்ந்தெடுக்கப்பட வேண்டும். தேர்ந்தெடுக்கும் போது, ​​அணுகல் கட்டுப்பாடு மற்றும் பிரதிநிதித்துவம் / அமைப்பின் முழு ஐடி நிலப்பரப்பின் அளவிற்கு அடையாளத் தரவை அதிகரிப்பதற்கான செயல்பாடுகளின் கிடைக்கும் தன்மை பற்றிய கேள்விகளைக் கேட்பது மதிப்பு.

இருப்பினும், தேர்ந்தெடுக்கப்பட்ட அமைப்பின் அனைத்து குறைபாடுகளும் உங்களுக்குத் தெரிந்திருந்தால், அதன் பயன்பாட்டிலிருந்து கிடைக்கும் நன்மைகள் ஆதிக்கம் செலுத்தும் பெரும்பான்மையில் இருந்தால், அச்சமின்றி சிறிய குறியீட்டிற்குச் செல்லுங்கள். மேலும், அதற்கு மாறுவது தவிர்க்க முடியாதது - எந்த பரிணாமமும் தவிர்க்க முடியாதது போல.

குறைந்த-குறியீடு இயங்குதளத்தில் ஒரு டெவலப்பர் தனது வேலையை இரண்டு டெவலப்பர்களை விட குறைந்த குறியீடு இல்லாமல் வேகமாகச் செய்தால், இது நிறுவனத்திற்கு எல்லா வகையிலும் ஒரு தொடக்கத்தைத் தருகிறது. குறைந்த குறியீடு தீர்வுகளில் நுழைவதற்கான நுழைவு "பாரம்பரிய" தொழில்நுட்பங்களை விட குறைவாக உள்ளது, மேலும் இது பணியாளர் பற்றாக்குறை பிரச்சினையில் சாதகமான விளைவைக் கொண்டுள்ளது. குறைந்த குறியீட்டு கருவிகளைப் பயன்படுத்தும் போது, ​​செயல்பாட்டுக் குழுக்களுக்கு இடையேயான தொடர்புகளை விரைவுபடுத்துவது மற்றும் தரவு அறிவியல் ஆராய்ச்சியின் தேர்ந்தெடுக்கப்பட்ட பாதையின் சரியான தன்மை குறித்து விரைவான முடிவுகளை எடுப்பது சாத்தியமாகும். குறைந்த-நிலை இயங்குதளங்கள் ஒரு நிறுவனத்தின் டிஜிட்டல் மாற்றத்தை உண்டாக்கும்.

உங்களிடம் இறுக்கமான காலக்கெடு, ஏற்றப்பட்ட வணிக தர்க்கம், தொழில்நுட்ப நிபுணத்துவம் இல்லாமை மற்றும் சந்தைக்கு உங்கள் நேரத்தை விரைவுபடுத்த வேண்டும் எனில், குறைந்த குறியீடு உங்கள் தேவைகளைப் பூர்த்தி செய்வதற்கான ஒரு வழியாகும்.

பாரம்பரிய மேம்பாட்டுக் கருவிகளின் முக்கியத்துவத்தை மறுப்பதற்கில்லை, ஆனால் பல சந்தர்ப்பங்களில், குறைந்த குறியீடு தீர்வுகளைப் பயன்படுத்துவது, தீர்க்கப்படும் பணிகளின் செயல்திறனை அதிகரிக்க சிறந்த வழியாகும்.

ஆதாரம்: www.habr.com