டப்பர்வேர்: ஃபேஸ்புக்கின் குபர்னெட்ஸ் கொலையாளி?

Tupperware உடன் எந்த அளவிலும் கிளஸ்டர்களின் திறமையான மற்றும் நம்பகமான மேலாண்மை

இன்று அன்று சிஸ்டம்ஸ்@ஸ்கேல் மாநாடு நாங்கள் Tupperware ஐ அறிமுகப்படுத்தியுள்ளோம், இது எங்கள் கிளஸ்டர் மேலாண்மை அமைப்பாகும், இது எங்களின் அனைத்து சேவைகளையும் இயக்கும் மில்லியன் கணக்கான சர்வர்களில் கொள்கலன்களை ஒழுங்குபடுத்துகிறது. நாங்கள் முதன்முதலில் 2011 இல் டப்பர்வேரைப் பயன்படுத்தினோம், அதன் பிறகு எங்கள் உள்கட்டமைப்பு வளர்ந்தது 1 தரவு மையம் முழுவதும் 15 புவி-விநியோக தரவு மையங்கள். இந்த நேரத்தில், Tupperware இன்னும் நிற்கவில்லை மற்றும் எங்களுடன் வளர்ந்தது. Tupperware எப்படி முதல்-வகுப்பு கிளஸ்டர் நிர்வாகத்தை வழங்குகிறது, இதில் மாநில சேவைகளுக்கான வசதியான ஆதரவு, அனைத்து தரவு மையங்களுக்கும் ஒரு ஒற்றைக் கட்டுப்பாட்டுப் பலகம் மற்றும் உண்மையான நேரத்தில் சேவைகளுக்கு இடையே திறனை விநியோகிக்கும் திறன் ஆகியவை அடங்கும். எங்கள் உள்கட்டமைப்பு வளரும்போது நாங்கள் கற்றுக்கொண்ட பாடங்களையும் பகிர்ந்து கொள்வோம்.

Tupperware பல்வேறு பணிகளைச் செய்கிறது. பயன்பாட்டு டெவலப்பர்கள் பயன்பாடுகளை வழங்கவும் நிர்வகிக்கவும் இதைப் பயன்படுத்துகின்றனர். இது பயன்பாட்டுக் குறியீடு மற்றும் சார்புகளை ஒரு படமாக தொகுத்து, கொள்கலன்களாக சேவையகங்களுக்கு வழங்குகிறது. கன்டெய்னர்கள் ஒரே சர்வரில் உள்ள பயன்பாடுகளுக்கு இடையில் தனிமைப்படுத்தலை வழங்குகின்றன, இதனால் டெவலப்பர்கள் பயன்பாட்டு தர்க்கத்தைக் கையாள்கின்றனர் மற்றும் சேவையகங்களைக் கண்டறிவது அல்லது புதுப்பிப்புகளை நிர்வகிப்பது பற்றி கவலைப்பட வேண்டியதில்லை. Tupperware சேவையகத்தின் செயல்திறனையும் கண்காணிக்கிறது, மேலும் அது தோல்வியைக் கண்டால், அது சிக்கல் சர்வரிலிருந்து கொள்கலன்களை மாற்றுகிறது.

திறன் திட்டமிடல் பொறியாளர்கள், பட்ஜெட் மற்றும் கட்டுப்பாடுகளின் அடிப்படையில் குழுக்களுக்கு சர்வர் திறனை ஒதுக்க Tupperware ஐப் பயன்படுத்துகின்றனர். சர்வர் பயன்பாட்டை மேம்படுத்தவும் இதைப் பயன்படுத்துகின்றனர். டேட்டா சென்டர் ஆபரேட்டர்கள் டேட்டா சென்டர்கள் முழுவதும் கன்டெய்னர்களை சரியாக விநியோகிக்க Tupperware க்கு திரும்புகின்றனர் மற்றும் பராமரிப்பின் போது கொள்கலன்களை நிறுத்த அல்லது நகர்த்துகிறார்கள். இதற்கு நன்றி, சேவையகங்கள், நெட்வொர்க்குகள் மற்றும் உபகரணங்களை பராமரிப்பதற்கு குறைந்தபட்ச மனித தலையீடு தேவைப்படுகிறது.

டப்பர்வேர் கட்டிடக்கலை

Tupperware PRN கட்டமைப்பு எங்கள் தரவு மையங்களின் பகுதிகளில் ஒன்றாகும். இப்பகுதி அருகில் அமைந்துள்ள பல தரவு மைய கட்டிடங்களை (PRN1 மற்றும் PRN2) கொண்டுள்ளது. ஒரே பிராந்தியத்தில் உள்ள அனைத்து சேவையகங்களையும் நிர்வகிக்கும் ஒரு கட்டுப்பாட்டுப் பலகத்தை உருவாக்க நாங்கள் திட்டமிட்டுள்ளோம்.

பயன்பாட்டு டெவலப்பர்கள் Tupperware வேலைகள் வடிவில் சேவைகளை வழங்குகிறார்கள். ஒரு வேலை பல கொள்கலன்களைக் கொண்டுள்ளது, மேலும் அவை அனைத்தும் பொதுவாக ஒரே பயன்பாட்டுக் குறியீட்டை இயக்கும்.

கொள்கலன்களை வழங்குவதற்கும் அவற்றின் வாழ்க்கைச் சுழற்சியை நிர்வகிப்பதற்கும் டப்பர்வேர் பொறுப்பு. இது பல கூறுகளைக் கொண்டுள்ளது:

• Tupperware frontend ஆனது பயனர் இடைமுகம், CLI மற்றும் பிற ஆட்டோமேஷன் கருவிகளுக்கான APIகளை வழங்குகிறது, இதன் மூலம் நீங்கள் Tupperware உடன் தொடர்பு கொள்ளலாம். அவர்கள் முழு உள் கட்டமைப்பையும் Tupperware வேலை உரிமையாளர்களிடமிருந்து மறைக்கிறார்கள்.
• Tupperware Scheduler என்பது கொள்கலன் மற்றும் வேலை வாழ்க்கைச் சுழற்சியை நிர்வகிப்பதற்கான ஒரு கட்டுப்பாட்டுப் பலகமாகும். இது பிராந்திய மற்றும் உலகளாவிய மட்டங்களில் பயன்படுத்தப்படுகிறது, அங்கு பிராந்திய திட்டமிடுபவர் ஒரு பிராந்தியத்தில் சேவையகங்களை நிர்வகிக்கிறார் மற்றும் உலகளாவிய திட்டமிடுபவர் வெவ்வேறு பிராந்தியங்களின் சேவையகங்களை நிர்வகிக்கிறார். திட்டமிடுபவர் துகள்களாகப் பிரிக்கப்பட்டுள்ளார், மேலும் ஒவ்வொரு ஷார்டும் வேலைகளின் தொகுப்பை நிர்வகிக்கிறது.
• Tupperware's Scheduler Proxy, உள் ஷார்டிங்கை மறைத்து, Tupperware பயனர்களுக்கு வசதியான ஒற்றைப் பலக கண்ணாடியை வழங்குகிறது.
• டப்பர்வேர் ஒதுக்குபவர் சர்வர்களுக்கு கொள்கலன்களை ஒதுக்குகிறார். அட்டவணையாளர் கொள்கலன்களை நிறுத்துதல், தொடங்குதல், புதுப்பித்தல் மற்றும் தோல்வியுற்றல் ஆகியவற்றைக் கையாளுகிறார். தற்போது, ​​ஒரு ஒதுக்கீட்டாளர் முழு பிராந்தியத்தையும் துண்டுகளாகப் பிரிக்காமல் நிர்வகிக்க முடியும். (சொற்களில் உள்ள வேறுபாட்டைக் கவனியுங்கள். எடுத்துக்காட்டாக, Tupperware இல் உள்ள திட்டமிடல் கட்டுப்பாட்டுப் பலகத்திற்கு ஒத்திருக்கிறது. Kubernetes, மற்றும் டப்பர்வேர் ஒதுக்கீடு செய்பவர் குபெர்னெட்ஸில் திட்டமிடுபவர் என்று அழைக்கப்படுகிறது.)
• ரிசோர்ஸ் புரோக்கர், சர்வர் மற்றும் சேவை நிகழ்வுகளுக்கான உண்மையின் மூலத்தை சேமித்து வைக்கிறார். ஒவ்வொரு தரவு மையத்திற்கும் ஒரு ஆதார தரகரை நாங்கள் இயக்குகிறோம், மேலும் அது அந்த தரவு மையத்தில் உள்ள சர்வர்கள் பற்றிய அனைத்து தகவல்களையும் சேமிக்கிறது. வள தரகர் மற்றும் திறன் மேலாண்மை அமைப்பு அல்லது வள வழங்கல் அமைப்பு, எந்த ஷெட்யூலர் டெலிவரி எந்த சர்வரை கட்டுப்படுத்துகிறது என்பதை மாறும் வகையில் தீர்மானிக்கிறது. சுகாதாரச் சோதனைச் சேவையானது சேவையகங்களைக் கண்காணித்து, அவற்றின் ஆரோக்கியத்தைப் பற்றிய தரவை ஆதார தரகரில் சேமிக்கிறது. ஒரு சேவையகத்திற்கு சிக்கல்கள் இருந்தால் அல்லது பராமரிப்பு தேவைப்பட்டால், ஆதார தரகர், ஒதுக்கீட்டாளர் மற்றும் அட்டவணையாளரிடம் கொள்கலன்களை நிறுத்த அல்லது மற்ற சேவையகங்களுக்கு நகர்த்தச் சொல்கிறார்.
• டப்பர்வேர் ஏஜென்ட் என்பது ஒவ்வொரு சர்வரிலும் இயங்கும் டீமான் ஆகும், அது கொள்கலன்களைத் தயாரித்து அகற்றுகிறது. பயன்பாடுகள் ஒரு கொள்கலனுக்குள் இயங்குகின்றன, இது அவர்களுக்கு அதிக தனிமைப்படுத்தல் மற்றும் இனப்பெருக்கம் ஆகியவற்றை வழங்குகிறது. அன்று கடந்த ஆண்டு சிஸ்டம்ஸ் @ஸ்கேல் மாநாடு படங்கள், btrfs, cgroupv2 மற்றும் systemd ஆகியவற்றைப் பயன்படுத்தி தனிப்பட்ட Tupperware கொள்கலன்கள் எவ்வாறு உருவாக்கப்படுகின்றன என்பதை நாங்கள் ஏற்கனவே விவரித்துள்ளோம்.

Tupperware இன் தனித்துவமான அம்சங்கள்

டப்பர்வேர் குபெர்னெட்ஸ் மற்றும் போன்ற பிற கிளஸ்டர் மேலாண்மை அமைப்புகளுக்கு பல வழிகளில் ஒத்திருக்கிறது மெசோஸ், ஆனால் வேறுபாடுகள் உள்ளன:

• மாநில சேவைகளுக்கான உள்ளமைக்கப்பட்ட ஆதரவு.
• வெவ்வேறு தரவு மையங்களில் உள்ள சர்வர்களுக்கான ஒற்றைக் கட்டுப்பாட்டுப் பலகம், உள்நோக்கம், கிளஸ்டர்களை நீக்குதல் மற்றும் பராமரிப்பு ஆகியவற்றின் அடிப்படையில் கொள்கலன்களின் விநியோகத்தை தானியக்கமாக்குகிறது.
• பெரிதாக்குவதற்கான கட்டுப்பாட்டுப் பலகத்தின் தெளிவான பிரிவு.
• எலாஸ்டிக் கம்ப்யூட்டிங் சேவைகளுக்கு இடையே உண்மையான நேரத்தில் சக்தியை விநியோகிக்க உங்களை அனுமதிக்கிறது.

உலகளாவிய பகிரப்பட்ட சர்வர் ஃப்ளீட் முழுவதும் பல்வேறு நிலையற்ற மற்றும் நிலையான பயன்பாடுகளை ஆதரிக்க இந்த அருமையான அம்சங்களை நாங்கள் உருவாக்கினோம்.

மாநில சேவைகளுக்கான உள்ளமைக்கப்பட்ட ஆதரவு.

ஃபேஸ்புக், இன்ஸ்டாகிராம், மெசஞ்சர் மற்றும் வாட்ஸ்அப்பிற்கான நிலையான தயாரிப்புத் தரவைச் சேமிக்கும் பல்வேறு முக்கியமான நிலைசார் சேவைகளை டப்பர்வேர் இயக்குகிறது. இவை முக்கிய மதிப்பு ஜோடிகளின் பெரிய கடைகளாக இருக்கலாம் (எ.கா. ZippyDB) மற்றும் தரவுக் களஞ்சியங்களைக் கண்காணித்தல் (எடுத்துக்காட்டாக, ODS கொரில்லா и ஸ்கூபா) நிலையான சேவைகளை பராமரிப்பது எளிதானது அல்ல, ஏனெனில் கொள்கலன்களின் விநியோகம் நெட்வொர்க் செயலிழப்புகள் அல்லது மின் தடைகள் உட்பட பெரிய அளவிலான இடையூறுகளைத் தாங்கும் என்பதை கணினி உறுதி செய்ய வேண்டும். தவறான டொமைன்கள் முழுவதும் கொள்கலன்களை விநியோகிப்பது போன்ற வழக்கமான நுட்பங்கள் நிலையற்ற சேவைகளுக்கு நன்றாக வேலை செய்யும் போது, ​​மாநில சேவைகளுக்கு கூடுதல் ஆதரவு தேவை.

எடுத்துக்காட்டாக, ஒரு சேவையக செயலிழப்பு ஒரு தரவுத்தள பிரதி கிடைக்காமல் போனால், 50 தொகுப்பில் இருந்து 10 சேவையகங்களில் உள்ள கோர்களை புதுப்பிக்கும் தானியங்கி பராமரிப்பை இயக்க வேண்டுமா? சூழ்நிலையைப் பொறுத்தது. இந்த 50 சேவையகங்களில் ஒன்றில் அதே தரவுத்தளத்தின் மற்றொரு பிரதி இருந்தால், ஒரே நேரத்தில் 2 பிரதிகளை இழக்காமல் காத்திருப்பது நல்லது. சிஸ்டம் பராமரிப்பு மற்றும் செயல்திறன் பற்றிய முடிவுகளை மாறும் வகையில் எடுக்க, உள் தரவு நகலெடுப்பு மற்றும் ஒவ்வொரு நிலையான சேவையின் வேலை வாய்ப்பு தர்க்கம் பற்றிய தகவல் எங்களுக்குத் தேவை.

TaskControl இடைமுகமானது, தரவு கிடைக்கும் தன்மையைப் பாதிக்கும் முடிவுகளில் தாக்கத்தை ஏற்படுத்த மாநில சேவைகளை அனுமதிக்கிறது. இந்த இடைமுகத்தைப் பயன்படுத்தி, கொள்கலன் செயல்பாடுகள் (மறுதொடக்கம், புதுப்பித்தல், இடம்பெயர்வு, பராமரிப்பு) பற்றி திட்டமிடுபவர் வெளிப்புற பயன்பாடுகளுக்குத் தெரிவிக்கிறார். ஒவ்வொரு செயலையும் செய்யும்போது Tupperware பாதுகாப்பானது என்று சொல்லும் ஒரு கன்ட்ரோலரை ஒரு மாநில சேவை செயல்படுத்துகிறது, மேலும் இந்த செயல்பாடுகள் தற்காலிகமாக மாற்றப்படலாம் அல்லது தாமதப்படுத்தப்படலாம். மேலே உள்ள எடுத்துக்காட்டில், டேட்டாபேஸ் கன்ட்ரோலர் Tupperware ஐ 49 சர்வர்களில் 50 ஐ அப்டேட் செய்யும்படி சொல்லலாம், ஆனால் ஒரு குறிப்பிட்ட சர்வரை (X) இப்போதைக்கு விட்டுவிடலாம். இதன் விளைவாக, கர்னல் புதுப்பிப்பு காலம் கடந்து, தரவுத்தளத்தால் இன்னும் சிக்கல் நிறைந்த பிரதியை மீட்டெடுக்க முடியவில்லை என்றால், Tupperware X சேவையகத்தைப் புதுப்பிக்கும்.

Tupperware இல் உள்ள பல மாநில சேவைகள் TaskControl ஐ நேரடியாகப் பயன்படுத்துவதில்லை, மாறாக Facebook இல் நிலையான சேவைகளை உருவாக்குவதற்கான பொதுவான தளமான ShardManager மூலம். டப்பர்வேர் மூலம், டேட்டா சென்டர்கள் முழுவதும் கன்டெய்னர்கள் எவ்வாறு விநியோகிக்கப்பட வேண்டும் என்பதற்கான தங்கள் நோக்கத்தை டெவலப்பர்கள் குறிப்பிடலாம். ஷார்ட்மேனேஜர் மூலம், டெவலப்பர்கள் டேட்டா ஷார்ட்களை கன்டெய்னர்கள் முழுவதும் எவ்வாறு விநியோகிக்க வேண்டும் என்பதற்கான தங்கள் நோக்கத்தைக் குறிப்பிடுகின்றனர். ShardManager அதன் பயன்பாடுகளின் தரவு இடம் மற்றும் நகலெடுப்பு பற்றி அறிந்திருக்கிறது மற்றும் நேரடி பயன்பாட்டு ஈடுபாடு இல்லாமல் கொள்கலன் செயல்பாடுகளை திட்டமிட TaskControl இடைமுகம் மூலம் Tupperware உடன் தொடர்பு கொள்கிறது. இந்த ஒருங்கிணைப்பு மாநில சேவைகளின் நிர்வாகத்தை பெரிதும் எளிதாக்குகிறது, ஆனால் TaskControl அதிக திறன் கொண்டது. எடுத்துக்காட்டாக, எங்கள் விரிவான வலை அடுக்கு நிலையற்றது மற்றும் கொள்கலன்கள் முழுவதும் புதுப்பிப்புகளின் விகிதத்தை மாறும் வகையில் சரிசெய்ய TaskControl ஐப் பயன்படுத்துகிறது. இறுதியில் வலை அடுக்கு பல மென்பொருள் வெளியீடுகளை விரைவாக முடிக்க வல்லது கிடைப்பதில் சமரசம் செய்யாமல் ஒரு நாளைக்கு.

தரவு மையங்களில் சர்வர்களை நிர்வகித்தல்

2011 இல் டப்பர்வேர் முதன்முதலில் தொடங்கப்பட்டபோது, ​​​​ஒவ்வொரு சர்வர் கிளஸ்டரும் தனித்தனி அட்டவணையாளரால் நிர்வகிக்கப்பட்டது. அப்போது, ​​ஃபேஸ்புக் கிளஸ்டர் என்பது ஒரு நெட்வொர்க் சுவிட்சுடன் இணைக்கப்பட்ட சர்வர் ரேக்குகளின் குழுவாகும், மேலும் தரவு மையம் பல கிளஸ்டர்களைக் கொண்டிருந்தது. திட்டமிடுபவர் ஒரு கிளஸ்டரில் மட்டுமே சேவையகங்களை நிர்வகிக்க முடியும், அதாவது வேலை பல கிளஸ்டர்களில் பரவ முடியாது. எங்கள் உள்கட்டமைப்பு வளர்ந்தது, நாங்கள் பெருகிய முறையில் கிளஸ்டர்களை எழுதினோம். Tupperware ஆனது பணிநீக்கம் செய்யப்பட்ட கிளஸ்டரிலிருந்து மற்ற கிளஸ்டர்களுக்கு மாற்றமின்றி பணியை நகர்த்த முடியாது என்பதால், அதற்கு நிறைய முயற்சி மற்றும் பயன்பாட்டு உருவாக்குநர்கள் மற்றும் தரவு மைய ஆபரேட்டர்கள் இடையே கவனமாக ஒருங்கிணைப்பு தேவைப்பட்டது. பணிநீக்கம் செய்யும் நடைமுறைகள் காரணமாக பல மாதங்களாக சேவையகங்கள் செயலற்ற நிலையில் இருந்தபோது இந்த செயல்முறையானது வளங்களை வீணாக்கியது.

கிளஸ்டர் பணிநீக்கம் சிக்கலை தீர்க்க மற்றும் பிற வகையான பராமரிப்பு பணிகளை ஒருங்கிணைக்க ஒரு ஆதார தரகரை உருவாக்கினோம். ஆதார தரகர் ஒரு சேவையகத்துடன் தொடர்புடைய அனைத்து இயற்பியல் தகவல்களையும் கண்காணித்து, ஒவ்வொரு சேவையகத்தையும் எந்த திட்டமிடுபவர் கட்டுப்படுத்துகிறார் என்பதை மாறும் வகையில் தீர்மானிக்கிறார். டைனமிக் முறையில் சர்வர்களை ஷெட்யூலர்களுடன் இணைப்பது, வெவ்வேறு தரவு மையங்களில் உள்ள சர்வர்களை நிர்வகிக்க திட்டமிடலை அனுமதிக்கிறது. Tupperware வேலையானது இனி ஒரு கிளஸ்டருக்கு மட்டும் வரம்பிடப்படுவதில்லை என்பதால், Tupperware பயனர்கள் தவறான டொமைன்கள் முழுவதும் கொள்கலன்களை எவ்வாறு விநியோகிக்க வேண்டும் என்பதைக் குறிப்பிடலாம். எடுத்துக்காட்டாக, ஒரு டெவலப்பர் குறிப்பிட்ட கிடைக்கும் மண்டலங்களைக் குறிப்பிடாமல் தனது நோக்கத்தை அறிவிக்கலாம் (சொல்லுங்கள்: "PRN பகுதியில் உள்ள 2 தவறான டொமைன்களில் எனது வேலையை இயக்கு"). கிளஸ்டர் அல்லது சேவை நீக்கப்பட்டாலும், இந்த நோக்கத்தை செயல்படுத்துவதற்கு Tupperware பொருத்தமான சேவையகங்களைக் கண்டுபிடிக்கும்.

முழு உலகளாவிய அமைப்பை ஆதரிக்க அளவிடக்கூடியது

வரலாற்று ரீதியாக, எங்கள் உள்கட்டமைப்பு தனிப்பட்ட குழுக்களுக்காக நூற்றுக்கணக்கான பிரத்யேக சர்வர் பூல்களாக பிரிக்கப்பட்டுள்ளது. துண்டு துண்டாக மற்றும் தரநிலைகள் இல்லாததால், எங்களுக்கு அதிக செயல்பாட்டு செலவுகள் இருந்தன, மேலும் செயலற்ற சேவையகங்களை மீண்டும் பயன்படுத்துவது மிகவும் கடினமாக இருந்தது. கடந்த ஆண்டு மாநாட்டில் அமைப்புகள் @ அளவுகோல் நாங்கள் வழங்கினோம் ஒரு சேவையாக உள்கட்டமைப்பு (IaaS), இது எங்கள் உள்கட்டமைப்பை ஒரு பெரிய ஒற்றை சர்வர் பூங்காவாக இணைக்க வேண்டும். ஆனால் ஒரு சர்வர் பூங்கா அதன் சொந்த சிரமங்களைக் கொண்டுள்ளது. இது சில தேவைகளை பூர்த்தி செய்ய வேண்டும்:

• அளவீடல். ஒவ்வொரு பிராந்தியத்திலும் தரவு மையங்களைச் சேர்த்ததால் எங்கள் உள்கட்டமைப்பு வளர்ந்தது. சேவையகங்கள் சிறியதாகவும் அதிக ஆற்றல் திறன் கொண்டதாகவும் மாறியுள்ளன, எனவே ஒவ்வொரு பிராந்தியத்திலும் இன்னும் பல உள்ளன. இதன் விளைவாக, ஒவ்வொரு பிராந்தியத்திலும் உள்ள நூறாயிரக்கணக்கான சேவையகங்களில் இயங்கக்கூடிய கொள்கலன்களின் எண்ணிக்கையை ஒரு பிராந்தியத்திற்கு ஒரு திட்டமிடுபவர் கையாள முடியாது.
• நம்பகத்தன்மை. திட்டமிடுபவரை அந்த அளவுக்கு அதிகரிக்க முடிந்தாலும், திட்டமிடுபவரின் பெரிய நோக்கம் பிழைகளின் அதிக ஆபத்து உள்ளது மற்றும் கொள்கலன்களின் முழுப் பகுதியும் நிர்வகிக்க முடியாததாகிவிடும்.
• தவறு சகிப்புத்தன்மை. ஒரு பெரிய உள்கட்டமைப்பு தோல்வி ஏற்பட்டால் (உதாரணமாக, நெட்வொர்க் செயலிழப்பு அல்லது மின்வெட்டு காரணமாக திட்டமிடலை இயக்கும் சேவையகங்கள் தோல்வியடைகின்றன), எதிர்மறையான விளைவுகள் பிராந்தியத்தில் உள்ள சேவையகங்களின் ஒரு பகுதியை மட்டுமே பாதிக்கும்.
• பயன்பாட்டின் வசதி. நீங்கள் ஒரு பிராந்தியத்திற்கு பல சுயாதீன திட்டமிடல்களை இயக்க வேண்டும் என்று தோன்றலாம். ஆனால் ஒரு வசதியான கண்ணோட்டத்தில், ஒரு பிராந்தியத்தின் பகிரப்பட்ட குளத்தில் நுழைவதற்கான ஒரு புள்ளியானது திறன் மற்றும் வேலைகளை நிர்வகிப்பதை எளிதாக்குகிறது.

ஒரு பெரிய பகிர்ந்த குளத்தை பராமரிப்பதில் உள்ள சிக்கல்களைத் தீர்க்க, அட்டவணையை துண்டுகளாகப் பிரித்தோம். ஒவ்வொரு ஷெட்யூலர் ஷார்டும் பிராந்தியத்தில் அதன் சொந்த வேலைகளை நிர்வகிக்கிறது, மேலும் இது திட்டமிடலுடன் தொடர்புடைய ஆபத்தை குறைக்கிறது. பகிரப்பட்ட குளம் வளரும்போது, ​​மேலும் திட்டமிடல் துண்டுகளைச் சேர்க்கலாம். Tupperware பயனர்களுக்கு, ஷார்ட்ஸ் மற்றும் ஷெட்யூலர் ப்ராக்ஸிகள் ஒரு கண்ட்ரோல் பேனல் போல் இருக்கும். பணிகளைத் திட்டமிடும் ஒரு சில துண்டுகளுடன் அவர்கள் வேலை செய்ய வேண்டியதில்லை. நெட்வொர்க் டோபோலஜியின்படி பகிரப்பட்ட சர்வர்களின் தொகுப்பை நிலையான முறையில் பிரிக்காமல் கட்டுப்பாட்டுப் பலகம் பிரிக்கப்பட்டபோது, ​​நாங்கள் முன்பு பயன்படுத்திய கிளஸ்டர் ஷெட்யூலர்களிலிருந்து ஷெட்யூலர் ஷார்டுகள் அடிப்படையில் வேறுபட்டவை.

எலாஸ்டிக் கம்ப்யூட்டிங் மூலம் பயன்பாட்டுத் திறனை மேம்படுத்தவும்

எங்கள் உள்கட்டமைப்பு எவ்வளவு பெரிதாக இருக்கிறதோ, அவ்வளவு முக்கியமானது, உள்கட்டமைப்பு செலவுகளை மேம்படுத்தவும், சுமைகளைக் குறைக்கவும் எங்கள் சர்வர்களை திறமையாகப் பயன்படுத்துவது. சேவையக பயன்பாட்டின் செயல்திறனை அதிகரிக்க இரண்டு வழிகள் உள்ளன:

• எலாஸ்டிக் கம்ப்யூட்டிங் - அமைதியான நேரங்களில் ஆன்லைன் சேவைகளை குறைத்து, மெஷின் லேர்னிங் மற்றும் MapReduce வேலைகள் போன்ற ஆஃப்லைன் பணிச்சுமைகளுக்கு இலவச சேவையகங்களைப் பயன்படுத்தவும்.
• ஓவர்லோடிங் - ஆன்லைன் சேவைகள் மற்றும் தொகுதி பணிச்சுமைகளை ஒரே சேவையகங்களில் வைக்கவும், இதனால் தொகுதி பணிச்சுமைகள் குறைந்த முன்னுரிமையில் இயங்கும்.

எங்கள் தரவு மையங்களில் உள்ள இடையூறு சக்தி பயன்பாடு. எனவே, அதிக செயலாக்க ஆற்றலை வழங்கும் சிறிய, ஆற்றல் திறன் கொண்ட சர்வர்களை நாங்கள் விரும்புகிறோம். துரதிர்ஷ்டவசமாக, சிறிய CPU மற்றும் நினைவகம் கொண்ட சிறிய சேவையகங்களில், ஓவர்லோடிங் குறைவான செயல்திறன் கொண்டது. நிச்சயமாக, சிறிய செயலி வளங்களையும் நினைவகத்தையும் பயன்படுத்தும் ஒரு சிறிய ஆற்றல்-திறனுள்ள சர்வரில் சிறிய சேவைகளின் பல கொள்கலன்களை வைக்கலாம், ஆனால் பெரிய சேவைகள் இந்த சூழ்நிலையில் குறைந்த செயல்திறனைக் கொண்டிருக்கும். எனவே, எங்கள் பெரிய சேவைகளின் டெவலப்பர்கள் முழு சேவையகங்களையும் பயன்படுத்தும் வகையில் அவற்றை மேம்படுத்துமாறு அறிவுறுத்துகிறோம்.


அடிப்படையில், எலாஸ்டிக் கம்ப்யூட்டிங்கைப் பயன்படுத்தி பயன்பாட்டுத் திறனை மேம்படுத்துகிறோம். செய்தி ஊட்டம், செய்தியிடல் அம்சம் மற்றும் முன்-இறுதி வலை அடுக்கு போன்ற பல முக்கிய சேவைகள் நாளின் நேரத்தைப் பொறுத்து மாறுபடும். அமைதியான நேரங்களில் ஆன்லைன் சேவைகளை வேண்டுமென்றே குறைக்கிறோம் மற்றும் இயந்திர கற்றல் மற்றும் MapReduce வேலைகள் போன்ற ஆஃப்லைன் பணிச்சுமைகளுக்கு இலவச சேவையகங்களைப் பயன்படுத்துகிறோம்.

முழு சேவையகங்களையும் மீள் திறன் அலகுகளாக வழங்குவதே சிறந்தது என்பதை அனுபவத்திலிருந்து நாங்கள் அறிவோம், ஏனெனில் பெரிய சேவைகள் பெரிய நன்கொடையாளர்கள் மற்றும் மீள் திறன் கொண்ட முக்கிய நுகர்வோர் மற்றும் முழு சேவையகங்களையும் பயன்படுத்த உகந்ததாக இருக்கும். அமைதியான நேரங்களில் ஆன்லைன் சேவையிலிருந்து சர்வர் விடுவிக்கப்படும் போது, ​​ரிசோர்ஸ் புரோக்கர், சர்வரை ஆஃப்லைன் பணிச்சுமையை இயக்க திட்டமிடுபவருக்கு குத்தகைக்கு விடுகிறார். ஆன்லைன் சேவை உச்ச சுமையை அனுபவித்தால், வள தரகர் கடன் வாங்கிய சேவையகத்தை விரைவாக நினைவுபடுத்தி, திட்டமிடலுடன் சேர்ந்து அதை ஆன்லைன் சேவைக்கு திருப்பி விடுவார்.

கற்றுக்கொண்ட பாடங்கள் மற்றும் எதிர்காலத்திற்கான திட்டங்கள்

கடந்த 8 ஆண்டுகளாக, ஃபேஸ்புக்கின் வேகமான வளர்ச்சியைத் தக்கவைக்க, நாங்கள் Tupperware ஐ உருவாக்கி வருகிறோம். நாங்கள் கற்றுக்கொண்டவற்றைப் பகிர்கிறோம், மேலும் வேகமாக வளர்ந்து வரும் உள்கட்டமைப்புகளை நிர்வகிக்க இது மற்றவர்களுக்கு உதவும் என்று நம்புகிறோம்:

• கட்டுப்பாட்டுப் பலகத்திற்கும் அது நிர்வகிக்கும் சேவையகங்களுக்கும் இடையே நெகிழ்வான இணைப்பை அமைக்கவும். இந்த நெகிழ்வுத்தன்மையானது கட்டுப்பாட்டுப் பலகத்தை வெவ்வேறு தரவு மையங்களில் உள்ள சேவையகங்களை நிர்வகிக்க அனுமதிக்கிறது, க்ளஸ்டர்களின் பணிநீக்கம் மற்றும் பராமரிப்பை தானியக்கமாக்க உதவுகிறது மற்றும் மீள் கணினியைப் பயன்படுத்தி மாறும் திறன் ஒதுக்கீட்டை செயல்படுத்துகிறது.
• பிராந்தியத்தில் ஒரு கட்டுப்பாட்டுப் பலகத்துடன், பணிகளுடன் பணிபுரிவது மிகவும் வசதியானது மற்றும் பெரிய பகிரப்பட்ட சர்வர் கடற்படையை நிர்வகிப்பது எளிதாகிறது. அளவு அல்லது தவறு சகிப்புத்தன்மை காரணங்களுக்காக அதன் உள் அமைப்பு பிரிக்கப்பட்டிருந்தாலும், கட்டுப்பாட்டுப் பலகம் ஒரு நுழைவுப் புள்ளியை பராமரிக்கிறது என்பதை நினைவில் கொள்ளவும்.
• செருகுநிரல் மாதிரியைப் பயன்படுத்தி, கட்டுப்பாட்டுப் பலகம் வரவிருக்கும் கொள்கலன் செயல்பாடுகளின் வெளிப்புற பயன்பாடுகளுக்குத் தெரிவிக்கலாம். மேலும், நிலையான சேவைகள் கொள்கலன் நிர்வாகத்தைத் தனிப்பயனாக்க செருகுநிரல் இடைமுகத்தைப் பயன்படுத்தலாம். இந்தச் செருகுநிரல் மாதிரியுடன், கட்டுப்பாட்டுப் பலகமானது பல்வேறு நிலைசார்ந்த சேவைகளை திறம்படச் செய்யும் போது எளிமையை வழங்குகிறது.
• எலாஸ்டிக் கம்ப்யூட்டிங், தொகுதி வேலைகள், இயந்திர கற்றல் மற்றும் பிற அவசரமற்ற சேவைகளுக்கான நன்கொடையாளர் சேவைகளிலிருந்து முழு சேவையகங்களையும் அகற்றுவது, சிறிய, ஆற்றல்-திறனுள்ள சேவையகங்களின் செயல்திறனை மேம்படுத்துவதற்கான உகந்த வழியாகும்.

இப்போதுதான் செயல்படுத்தத் தொடங்குகிறோம் ஒற்றை உலகளாவிய பகிரப்பட்ட சர்வர் கடற்படை. தற்போது எங்கள் சேவையகங்களில் 20% பகிரப்பட்ட தொகுப்பில் உள்ளன. 100% அடைய, பகிரப்பட்ட சேமிப்பகக் குளத்தை பராமரித்தல், தானியங்கு பராமரிப்பு, குறுக்கு-குத்தகைதாரர் தேவைகளை நிர்வகித்தல், சேவையக பயன்பாட்டை மேம்படுத்துதல் மற்றும் இயந்திர கற்றல் பணிச்சுமைகளுக்கான ஆதரவை மேம்படுத்துதல் உள்ளிட்ட பல சிக்கல்கள் தீர்க்கப்பட வேண்டும். இந்த சவால்களை எதிர்கொள்ளவும், எங்கள் வெற்றிகளைப் பகிர்ந்து கொள்ளவும் நாங்கள் காத்திருக்க முடியாது.

ஆதாரம்: www.habr.com