டெல்டா: தரவு ஒத்திசைவு மற்றும் செறிவூட்டல் தளம்

விகிதத்தில் புதிய ஓட்டம் தொடங்கும் என்ற எதிர்பார்ப்பில் தரவு பொறியாளர் சுவாரஸ்யமான பொருளின் மொழிபெயர்ப்பை நாங்கள் தயார் செய்துள்ளோம்.

கண்ணோட்டம்

பயன்பாடுகள் பல தரவுக் கடைகளைப் பயன்படுத்தும் மிகவும் பிரபலமான வடிவத்தைப் பற்றி பேசுவோம், அங்கு ஒவ்வொரு கடையும் அதன் சொந்த நோக்கங்களுக்காகப் பயன்படுத்தப்படுகிறது, எடுத்துக்காட்டாக, தரவின் நியமன வடிவத்தை (MySQL, முதலியன) சேமிக்க, மேம்பட்ட தேடல் திறன்களை வழங்கவும் (ElasticSearch, etc.) .), கேச்சிங் (Memcached, முதலியன) மற்றும் பிற. பொதுவாக, பல தரவுக் கடைகளைப் பயன்படுத்தும் போது, ​​அவற்றில் ஒன்று முதன்மைக் கடையாகவும் மற்றவை டெரிவேட்டிவ் ஸ்டோர்களாகவும் செயல்படும். இந்த டேட்டா ஸ்டோர்களை எப்படி ஒத்திசைப்பது என்பதுதான் ஒரே பிரச்சனை.

இரட்டை எழுத்துகள், விநியோகிக்கப்பட்ட பரிவர்த்தனைகள் போன்ற பல கடைகளை ஒத்திசைப்பதில் உள்ள சிக்கலைத் தீர்க்க முயற்சித்த பல்வேறு வடிவங்களைப் பார்த்தோம். இருப்பினும், இந்த அணுகுமுறைகள் நிஜ வாழ்க்கை பயன்பாடு, நம்பகத்தன்மை மற்றும் பராமரிப்பு ஆகியவற்றின் அடிப்படையில் குறிப்பிடத்தக்க வரம்புகளைக் கொண்டுள்ளன. தரவு ஒத்திசைவுக்கு கூடுதலாக, சில பயன்பாடுகள் வெளிப்புற சேவைகளை அழைப்பதன் மூலம் தரவை வளப்படுத்த வேண்டும்.

இந்தப் பிரச்சனைகளைத் தீர்க்க டெல்டா உருவாக்கப்பட்டது. டெல்டா இறுதியில் தரவு ஒத்திசைவு மற்றும் செறிவூட்டலுக்கான நிலையான, நிகழ்வு-உந்துதல் தளத்தை வழங்குகிறது.

தற்போதுள்ள தீர்வுகள்

இரட்டை பதிவு

இரண்டு டேட்டா ஸ்டோர்களை ஒத்திசைவில் வைத்திருக்க, நீங்கள் இரட்டை எழுத்தைப் பயன்படுத்தலாம், இது ஒரு ஸ்டோருக்கு எழுதுகிறது, பின்னர் மற்றொன்றுக்கு உடனடியாக எழுதுகிறது. முதல் பதிவை மீண்டும் முயற்சிக்கலாம், மேலும் பல முயற்சிகள் முடிந்த பிறகு முதல் பதிவு தோல்வியுற்றால் இரண்டாவது நிறுத்தப்படலாம். இருப்பினும், இரண்டாவது ஸ்டோருக்கு எழுதுவது தோல்வியுற்றால், இரண்டு டேட்டா ஸ்டோர்களும் ஒத்திசைவில்லாமல் போகலாம். இந்தச் சிக்கல் பொதுவாக மீட்டெடுப்பு செயல்முறையை உருவாக்குவதன் மூலம் தீர்க்கப்படுகிறது, இது அவ்வப்போது முதல் சேமிப்பகத்திலிருந்து இரண்டாவது இடத்திற்கு தரவை மீண்டும் மாற்றலாம் அல்லது தரவுகளில் வேறுபாடுகள் கண்டறியப்பட்டால் மட்டுமே அவ்வாறு செய்யலாம்.

பிரச்சினைகள்:

மீட்டெடுப்பு செயல்முறையைச் செய்வது ஒரு குறிப்பிட்ட வேலை, அதை மீண்டும் பயன்படுத்த முடியாது. கூடுதலாக, மீட்டெடுப்பு செயல்முறை நடைபெறும் வரை சேமிப்பக இடங்களுக்கிடையேயான தரவு ஒத்திசைக்கப்படாமல் இருக்கும். இரண்டுக்கும் மேற்பட்ட டேட்டா ஸ்டோர்களைப் பயன்படுத்தினால் தீர்வு மிகவும் சிக்கலானதாகிறது. இறுதியாக, மீட்டெடுப்பு செயல்முறை அசல் தரவு மூலத்திற்கு சுமை சேர்க்கலாம்.

பதிவு அட்டவணையை மாற்றவும்

அட்டவணைகளின் தொகுப்பில் மாற்றங்கள் ஏற்படும் போது (பதிவைச் செருகுதல், புதுப்பித்தல் மற்றும் நீக்குதல் போன்றவை), மாற்றப் பதிவுகள் அதே பரிவர்த்தனையின் ஒரு பகுதியாக பதிவு அட்டவணையில் சேர்க்கப்படும். மற்றொரு நூல் அல்லது செயல்முறை பதிவு அட்டவணையில் இருந்து நிகழ்வுகளைக் கோருகிறது மற்றும் அவற்றை ஒன்று அல்லது அதற்கு மேற்பட்ட தரவுக் கடைகளுக்கு எழுதுகிறது, தேவைப்பட்டால், பதிவு அட்டவணையில் இருந்து நிகழ்வுகளை நீக்குகிறது.

பிரச்சினைகள்:

இந்த முறை ஒரு நூலகமாக செயல்படுத்தப்பட வேண்டும், மேலும் அதைப் பயன்படுத்தும் பயன்பாட்டின் குறியீட்டை மாற்றாமல் இருக்க வேண்டும். ஒரு பாலிகிளாட் சூழலில், அத்தகைய நூலகத்தை செயல்படுத்துவது தேவையான எந்த மொழியிலும் இருக்க வேண்டும், ஆனால் மொழிகள் முழுவதும் செயல்பாடு மற்றும் நடத்தையின் நிலைத்தன்மையை உறுதி செய்வது மிகவும் கடினம்.

MySQL போன்ற பரிவர்த்தனை திட்ட மாற்றங்களை [1][2] ஆதரிக்காத கணினிகளில் திட்ட மாற்றங்களைப் பெறுவதில் மற்றொரு சிக்கல் உள்ளது. எனவே, மாற்றத்தை உருவாக்கும் முறை (உதாரணமாக, ஒரு திட்ட மாற்றம்) மற்றும் அதை மாற்ற பதிவு அட்டவணையில் பரிவர்த்தனை முறையில் பதிவு செய்வது எப்போதும் வேலை செய்யாது.

விநியோகிக்கப்பட்ட பரிவர்த்தனைகள்

விநியோகிக்கப்பட்ட பரிவர்த்தனைகள் ஒரு பரிவர்த்தனையை பல பன்முக தரவுக் கடைகளில் பிரிக்கப் பயன்படுத்தப்படலாம், இதனால் செயல்பாடு பயன்படுத்தப்படும் அனைத்து தரவுக் கடைகளுக்கும் உறுதியளிக்கப்படும் அல்லது அவற்றில் எதற்கும் உறுதியளிக்கப்படாது.

பிரச்சினைகள்:

பன்முக தரவுக் கடைகளுக்கு விநியோகிக்கப்பட்ட பரிவர்த்தனைகள் மிகப் பெரிய பிரச்சனை. அவற்றின் இயல்பின்படி, அவர்கள் சம்பந்தப்பட்ட அமைப்புகளின் மிகக் குறைந்த பொது வகுப்பில் மட்டுமே தங்கியிருக்க முடியும். எடுத்துக்காட்டாக, தயாரிப்பு கட்டத்தில் விண்ணப்ப செயல்முறை தோல்வியுற்றால் XA பரிவர்த்தனைகள் செயல்படுத்துவதைத் தடுக்கின்றன. கூடுதலாக, XA ஆனது டெட்லாக் கண்டறிதல் அல்லது நம்பிக்கையான ஒத்திசைவுக் கட்டுப்பாட்டுத் திட்டங்களை ஆதரிக்காது. கூடுதலாக, ElasticSearch போன்ற சில அமைப்புகள் XA அல்லது வேறு எந்த விதமான பரிவர்த்தனை மாதிரியையும் ஆதரிக்காது. எனவே, பல்வேறு தரவு சேமிப்பு தொழில்நுட்பங்களில் எழுதும் அணுவை உறுதி செய்வது பயன்பாடுகளுக்கு மிகவும் சவாலான பணியாக உள்ளது [3].

டெல்டா

தற்போதுள்ள தரவு ஒத்திசைவு தீர்வுகளின் வரம்புகளை நிவர்த்தி செய்யும் வகையில் டெல்டா வடிவமைக்கப்பட்டது மற்றும் பறக்கும் போது தரவு செறிவூட்டலை செயல்படுத்துகிறது. இந்த சிக்கல்கள் அனைத்தையும் அப்ளிகேஷன் டெவலப்பர்களிடமிருந்து விலக்கி வைப்பதே எங்கள் குறிக்கோளாக இருந்தது, இதனால் அவர்கள் வணிகச் செயல்பாட்டைச் செயல்படுத்துவதில் முழுமையாக கவனம் செலுத்த முடியும். அடுத்து நாம் நெட்ஃபிக்ஸ் டெல்டாவிற்கான உண்மையான பயன்பாட்டு வழக்கு "மூவி தேடலை" விவரிப்போம்.

நெட்ஃபிக்ஸ் ஒரு மைக்ரோ சர்வீஸ் கட்டமைப்பை பரவலாகப் பயன்படுத்துகிறது, மேலும் ஒவ்வொரு மைக்ரோ சர்வீஸும் பொதுவாக ஒரு வகையான தரவை வழங்குகிறது. திரைப்படத்தைப் பற்றிய அடிப்படைத் தகவல்கள் மூவி சர்வீஸ் எனப்படும் மைக்ரோ சர்வீஸில் உள்ளன, மேலும் தயாரிப்பாளர்கள், நடிகர்கள், விற்பனையாளர்கள் மற்றும் பல மைக்ரோ சர்வீஸ்கள் (அதாவது டீல் சர்வீஸ், டேலண்ட் சர்வீஸ் மற்றும் வென்டர் சர்வீஸ்) மூலம் நிர்வகிக்கப்படும் தகவல் போன்ற தொடர்புடைய தரவு.
நெட்ஃபிக்ஸ் ஸ்டுடியோவில் உள்ள வணிகப் பயனர்கள் பெரும்பாலும் பல்வேறு திரைப்பட அளவுகோல்களில் தேட வேண்டும், அதனால்தான் அவர்கள் திரைப்படம் தொடர்பான எல்லா தரவையும் தேடுவது மிகவும் முக்கியம்.

டெல்டாவிற்கு முன், திரைப்படத் தரவை அட்டவணைப்படுத்துவதற்கு முன், திரைப்படத் தேடல் குழு பல மைக்ரோ சர்வீசிலிருந்து தரவை இழுக்க வேண்டும். கூடுதலாக, எந்த மாற்றமும் இல்லாவிட்டாலும், பிற மைக்ரோ சர்வீஸிலிருந்து மாற்றங்களைக் கோருவதன் மூலம் தேடல் குறியீட்டை அவ்வப்போது புதுப்பிக்கும் அமைப்பை குழு உருவாக்க வேண்டும். இந்த அமைப்பு விரைவில் சிக்கலானது மற்றும் பராமரிப்பது கடினம்.

படம் 1. டெல்டாவிற்கு வாக்குப்பதிவு அமைப்பு
டெல்டாவைப் பயன்படுத்திய பிறகு, பின்வரும் படத்தில் காட்டப்பட்டுள்ளபடி, நிகழ்வு இயக்கப்படும் அமைப்பாக கணினி எளிமைப்படுத்தப்பட்டது. CDC (Change-Data-Capture) நிகழ்வுகள் டெல்டா-கனெக்டரைப் பயன்படுத்தி கீஸ்டோன் காஃப்கா தலைப்புகளுக்கு அனுப்பப்படுகின்றன. டெல்டா ஸ்ட்ரீம் ப்ராசஸிங் ஃப்ரேம்வொர்க்கைப் பயன்படுத்தி உருவாக்கப்பட்ட டெல்டா அப்ளிகேஷன் (ஃபிளிங்க் அடிப்படையிலானது) ஒரு தலைப்பில் இருந்து CDC நிகழ்வுகளைப் பெறுகிறது, மற்ற மைக்ரோ சர்வீஸ்களை அழைப்பதன் மூலம் அவற்றை வளப்படுத்துகிறது, மேலும் இறுதியாக செறிவூட்டப்பட்ட தரவை Elasticsearch இல் உள்ள தேடல் குறியீட்டிற்கு அனுப்புகிறது. முழு செயல்முறையும் கிட்டத்தட்ட உண்மையான நேரத்தில் நடைபெறுகிறது, அதாவது தரவுக் கிடங்கில் மாற்றங்கள் செய்யப்பட்டவுடன், தேடல் குறியீடுகள் புதுப்பிக்கப்படும்.

படம் 2. டெல்டாவைப் பயன்படுத்தும் தரவுக் குழாய்
பின்வரும் பிரிவுகளில், டெல்டா-கனெக்டரின் செயல்பாட்டை விவரிப்போம், இது சேமிப்பகத்துடன் இணைக்கிறது மற்றும் CDC நிகழ்வுகளை போக்குவரத்து அடுக்குக்கு வெளியிடுகிறது, இது நிகழ்நேர தரவு பரிமாற்ற உள்கட்டமைப்பு ஆகும், இது CDC நிகழ்வுகளை காஃப்கா தலைப்புகளுக்கு வழிநடத்துகிறது. முடிவில், டெல்டா ஸ்ட்ரீம் செயலாக்க கட்டமைப்பைப் பற்றி பேசுவோம், இது பயன்பாட்டு டெவலப்பர்கள் தரவு செயலாக்கம் மற்றும் செறிவூட்டல் தர்க்கத்திற்கு பயன்படுத்தலாம்.

CDC (மாற்றம்-தரவு-பிடிப்பு)

Delta-Connector எனப்படும் CDC சேவையை நாங்கள் உருவாக்கியுள்ளோம், இது டேட்டா ஸ்டோரில் உள்ள உறுதியான மாற்றங்களை நிகழ்நேரத்தில் படம்பிடித்து அவற்றை ஸ்ட்ரீமில் எழுத முடியும். நிகழ் நேர மாற்றங்கள் பரிவர்த்தனை பதிவு மற்றும் சேமிப்பக டம்ப்களில் இருந்து எடுக்கப்படுகின்றன. பரிவர்த்தனை பதிவுகள் பொதுவாக மாற்றங்களின் முழு வரலாற்றையும் சேமிக்காது என்பதால் டம்ப்கள் பயன்படுத்தப்படுகின்றன. மாற்றங்கள் பொதுவாக டெல்டா நிகழ்வுகளாக வரிசைப்படுத்தப்படுகின்றன, எனவே மாற்றம் எங்கிருந்து வருகிறது என்பதைப் பற்றி பெறுநர் கவலைப்பட வேண்டியதில்லை.

Delta-Connector பல கூடுதல் அம்சங்களை ஆதரிக்கிறது:

• காஃப்காவைக் கடந்த தனிப்பயன் வெளியீட்டுத் தரவை எழுதும் திறன்.
• அனைத்து அட்டவணைகள், ஒரு குறிப்பிட்ட அட்டவணை அல்லது குறிப்பிட்ட முதன்மை விசைகளுக்கு எந்த நேரத்திலும் கையேடு டம்ப்களை செயல்படுத்தும் திறன்.
• டம்ப்களை துகள்களாகப் பெறலாம், அதனால் தோல்வி ஏற்பட்டால் மீண்டும் தொடங்க வேண்டிய அவசியமில்லை.
• அட்டவணையில் பூட்டுகளை வைக்க வேண்டிய அவசியமில்லை, தரவுத்தள எழுதும் போக்குவரத்தை எங்கள் சேவையால் ஒருபோதும் தடுக்க முடியாது என்பதை உறுதிப்படுத்த இது மிகவும் முக்கியமானது.
• AWS கிடைக்கும் மண்டலங்களில் தேவையற்ற நிகழ்வுகள் காரணமாக அதிக கிடைக்கும்.

நாங்கள் தற்போது MySQL மற்றும் Postgres ஐ ஆதரிக்கிறோம், இதில் AWS RDS மற்றும் Aurora ஆகியவை அடங்கும். நாங்கள் கசாண்ட்ராவையும் (மல்டி மாஸ்டர்) ஆதரிக்கிறோம். Delta-Connector பற்றிய கூடுதல் விவரங்களை இங்கே காணலாம் வலைப்பதிவு இடுகை.

காஃப்கா மற்றும் போக்குவரத்து அடுக்கு

டெல்டாவின் நிகழ்வு போக்குவரத்து அடுக்கு தளத்தின் செய்தியிடல் சேவையில் கட்டமைக்கப்பட்டுள்ளது கீஸ்டோன்.

வரலாற்று ரீதியாக, நெட்ஃபிக்ஸ் இல் இடுகையிடுவது நீண்ட ஆயுளைக் காட்டிலும் அணுகலுக்காக உகந்ததாக உள்ளது (கீழே காண்க). முந்தைய கட்டுரை) வர்த்தகம் என்பது பல்வேறு விளிம்பு சூழ்நிலைகளில் சாத்தியமான தரகர் தரவு முரண்பாடு ஆகும். உதாரணத்திற்கு, தூய்மையற்ற தலைவர் தேர்தல் பெறுநருக்கு நகல் அல்லது இழந்த நிகழ்வுகளுக்கு பொறுப்பு.

டெல்டாவுடன், CDC நிகழ்வுகளை பெறப்பட்ட கடைகளுக்கு வழங்குவதை உறுதிசெய்ய வலுவான நீடித்த உத்தரவாதங்களை நாங்கள் விரும்புகிறோம். இந்த நோக்கத்திற்காக, சிறப்பாக வடிவமைக்கப்பட்ட காஃப்கா கிளஸ்டரை முதல்-தர பொருளாக முன்மொழிந்தோம். கீழே உள்ள அட்டவணையில் சில தரகர் அமைப்புகளைப் பார்க்கலாம்:

கீஸ்டோன் காஃப்கா கிளஸ்டர்களில், தூய்மையற்ற தலைவர் தேர்தல் பொதுவாக வெளியீட்டாளர் அணுகலை உறுதி செய்வதற்காக சேர்க்கப்படும். ஒரு ஒத்திசைக்கப்படாத பிரதி தலைவராக தேர்ந்தெடுக்கப்பட்டால் இது செய்தி இழப்பை ஏற்படுத்தலாம். புதிய உயர் கிடைக்கும் காஃப்கா கிளஸ்டருக்கு, விருப்பம் தூய்மையற்ற தலைவர் தேர்தல் செய்தி இழப்பைத் தடுக்க முடக்கப்பட்டது.

நாங்களும் அதிகரித்தோம் பிரதி காரணி 2 முதல் 3 வரை மற்றும் குறைந்தபட்ச ஒத்திசைவு பிரதிகள் 1 முதல் 2 வரை. இந்தக் கிளஸ்டருக்கு எழுதும் வெளியீட்டாளர்களுக்கு மற்ற அனைவரிடமிருந்தும் ஏக்ஸ் தேவைப்படுகிறது, இதன் மூலம் 2 பிரதிகளில் 3 பிரதிகள் வெளியீட்டாளர் அனுப்பிய சமீபத்திய செய்திகளைக் கொண்டுள்ளன.

ஒரு தரகர் நிகழ்வு முடிவடையும் போது, ​​ஒரு புதிய நிகழ்வு பழையதை மாற்றும். இருப்பினும், புதிய தரகர் ஒத்திசைக்கப்படாத பிரதிகளைப் பிடிக்க வேண்டும், இதற்கு பல மணிநேரம் ஆகலாம். இந்த சூழ்நிலையில் மீட்பு நேரத்தை குறைக்க, உள்ளூர் தரகர் வட்டுகளுக்கு பதிலாக தொகுதி தரவு சேமிப்பகத்தை (Amazon Elastic Block Store) பயன்படுத்த ஆரம்பித்தோம். ஒரு புதிய நிகழ்வு நிறுத்தப்பட்ட தரகர் நிகழ்வை மாற்றும் போது, ​​அது நிறுத்தப்பட்ட நிகழ்வின் EBS தொகுதியை இணைத்து புதிய செய்திகளைப் பிடிக்கத் தொடங்குகிறது. இந்தச் செயல்முறை பேக்லாக் கிளியரன்ஸ் நேரத்தை மணிநேரத்திலிருந்து நிமிடங்களுக்குக் குறைக்கிறது, ஏனெனில் புதிய நிகழ்வு இனி காலியான நிலையில் இருந்து நகலெடுக்க வேண்டியதில்லை. ஒட்டுமொத்தமாக, தனி சேமிப்பு மற்றும் தரகர் வாழ்க்கைச் சுழற்சிகள் தரகர் மாறுதலின் தாக்கத்தை கணிசமாகக் குறைக்கின்றன.

தரவு விநியோக உத்தரவாதத்தை மேலும் அதிகரிக்க, நாங்கள் பயன்படுத்தினோம் செய்தி கண்காணிப்பு அமைப்பு தீவிர நிலைமைகளின் கீழ் ஏதேனும் செய்தி இழப்பைக் கண்டறிய (உதாரணமாக, பகிர்வு தலைவரில் கடிகார ஒத்திசைவு).

ஸ்ட்ரீம் செயலாக்க கட்டமைப்பு

டெல்டாவின் செயலாக்க அடுக்கு Netflix SPaaS இயங்குதளத்தின் மேல் கட்டப்பட்டுள்ளது, இது Netflix சுற்றுச்சூழல் அமைப்புடன் Apache Flink ஒருங்கிணைப்பை வழங்குகிறது. எங்கள் டைட்டஸ் கொள்கலன் மேலாண்மை தளத்தின் மேல் Flink வேலைகள் மற்றும் ஃபிளிங்க் கிளஸ்டர்களின் ஆர்கெஸ்ட்ரேஷனை நிர்வகிக்கும் பயனர் இடைமுகத்தை இயங்குதளம் வழங்குகிறது. இடைமுகம் வேலை உள்ளமைவுகளையும் நிர்வகிக்கிறது மற்றும் Flink வேலைகளை மீண்டும் தொகுக்காமல் மாறும் வகையில் உள்ளமைவு மாற்றங்களைச் செய்ய பயனர்களை அனுமதிக்கிறது.

Flink மற்றும் SPaaS ஐ அடிப்படையாகக் கொண்ட ஸ்ட்ரீம் செயலாக்க கட்டமைப்பை Delta வழங்குகிறது சிறுகுறிப்பு அடிப்படையிலானது டிஎஸ்எல் (டொமைன் குறிப்பிட்ட மொழி) தொழில்நுட்ப விவரங்களை சுருக்கவும். எடுத்துக்காட்டாக, வெளிப்புற சேவைகளை அழைப்பதன் மூலம் நிகழ்வுகள் செறிவூட்டப்படும் படியை வரையறுக்க, பயனர்கள் பின்வரும் DSL ஐ எழுத வேண்டும், மேலும் கட்டமைப்பானது அதன் அடிப்படையில் ஒரு மாதிரியை உருவாக்கும், இது Flink ஆல் செயல்படுத்தப்படும்.

படம் 3. டெல்டாவில் DSL இல் செறிவூட்டலின் எடுத்துக்காட்டு

செயலாக்க கட்டமைப்பானது கற்றல் வளைவைக் குறைப்பது மட்டுமல்லாமல், பொதுவான செயல்பாட்டுச் சிக்கல்களைத் தீர்ப்பதற்கான துப்பறிதல், திட்டமாக்கல் மற்றும் நெகிழ்வுத்தன்மை மற்றும் நெகிழ்வுத்தன்மை போன்ற பொதுவான ஸ்ட்ரீம் செயலாக்க அம்சங்களையும் வழங்குகிறது.

Delta Stream Processing Framework ஆனது DSL & API மாட்யூல் மற்றும் ரன்டைம் மாட்யூல் ஆகிய இரண்டு முக்கிய தொகுதிகளைக் கொண்டுள்ளது. DSL & API தொகுதி DSL மற்றும் UDF (பயனர்-வரையறுக்கப்பட்ட-செயல்பாடு) APIகளை வழங்குகிறது, இதனால் பயனர்கள் தங்கள் சொந்த செயலாக்க தர்க்கத்தை (வடிகட்டுதல் அல்லது உருமாற்றம் போன்றவை) எழுத முடியும். இயக்க நேர தொகுதியானது டிஎஸ்எல் பாகுபடுத்தியின் செயலாக்கத்தை வழங்குகிறது, இது டிஏஜி மாடல்களில் செயலாக்க படிகளின் உள் பிரதிநிதித்துவத்தை உருவாக்குகிறது. எக்ஸிகியூஷன் கூறு DAG மாதிரிகளை விளக்கி, உண்மையான ஃபிளிங்க் அறிக்கைகளைத் துவக்கி, இறுதியில் Flink பயன்பாட்டை இயக்குகிறது. கட்டமைப்பின் கட்டமைப்பு பின்வரும் படத்தில் விளக்கப்பட்டுள்ளது.

படம் 4. டெல்டா ஸ்ட்ரீம் செயலாக்க கட்டமைப்பு கட்டமைப்பு

இந்த அணுகுமுறை பல நன்மைகளைக் கொண்டுள்ளது:

• Flink அல்லது SPaaS கட்டமைப்பின் பிரத்தியேகங்களை ஆராயாமல் பயனர்கள் தங்கள் வணிக தர்க்கத்தில் கவனம் செலுத்தலாம்.
• பயனர்களுக்கு வெளிப்படையான வகையில் மேம்படுத்தல் செய்யப்படலாம், மேலும் பயனர் குறியீட்டில் (யுடிஎஃப்) எந்த மாற்றமும் தேவையில்லாமல் பிழைகளை சரிசெய்யலாம்.
• டெல்டா பயன்பாட்டு அனுபவம் பயனர்களுக்கு எளிமைப்படுத்தப்பட்டுள்ளது, ஏனெனில் இயங்குதளம் நெகிழ்வுத்தன்மை மற்றும் நெகிழ்வுத்தன்மையை வழங்குகிறது மற்றும் விழிப்பூட்டல்களுக்குப் பயன்படுத்தக்கூடிய பல்வேறு விரிவான அளவீடுகளை சேகரிக்கிறது.

உற்பத்தி பயன்பாடு

டெல்டா ஒரு வருடத்திற்கும் மேலாக தயாரிப்பில் உள்ளது மற்றும் பல நெட்ஃபிக்ஸ் ஸ்டுடியோ பயன்பாடுகளில் முக்கிய பங்கு வகிக்கிறது. தேடல் அட்டவணைப்படுத்தல், தரவு சேமிப்பகம் மற்றும் நிகழ்வு சார்ந்த பணிப்பாய்வுகள் போன்ற பயன்பாட்டு நிகழ்வுகளைச் செயல்படுத்த குழுக்களுக்கு அவர் உதவினார். டெல்டா இயங்குதளத்தின் உயர்மட்ட கட்டிடக்கலை பற்றிய கண்ணோட்டம் கீழே உள்ளது.

படம் 5. டெல்டாவின் உயர்மட்ட கட்டிடக்கலை.

ஒப்புதல்கள்

Netflix இல் டெல்டாவை உருவாக்கி மேம்படுத்துவதில் ஈடுபட்டுள்ள பின்வரும் நபர்களுக்கு நன்றி தெரிவிக்க விரும்புகிறோம்: ஆலன் வாங், சார்லஸ் ஜாவோ, ஜேபின் யூன், ஜோஷ் ஸ்னைடர், கஸ்தூரி சாட்டர்ஜி, மார்க் சோ, ஓலோஃப் ஜோஹன்சன், பியூஷ் கோயல், பிரசாந்த் ராம்தாஸ், ரகுராம் ஒன்டி சீனிவாசன், சந்தீப் குப்தா, ஸ்டீவன் வூ, தரங்கா கமேதிகே, யுன் வாங் மற்றும் ஜென்ஜோங் சூ.

ஆதாரங்கள்

1. dev.mysql.com/doc/refman/5.7/en/implicit-commit.html
2. dev.mysql.com/doc/refman/5.7/en/cannot-roll-back.html
3. மார்ட்டின் க்ளெப்மேன், அலஸ்டர் ஆர். பெரெஸ்ஃபோர்ட், போர்ஜ் ஸ்விங்கன்: ஆன்லைன் நிகழ்வு செயலாக்கம். கம்யூனிஸ்ட். ACM 62(5): 43–49 (2019). DOI: doi.org/10.1145/3312527

இலவச வெபினாருக்கு பதிவு செய்யவும்: "அமேசான் ரெட்ஷிஃப்ட் சேமிப்பகத்திற்கான டேட்டா பில்ட் டூல்."

ஆதாரம்: www.habr.com