குறிப்பு. மொழிபெயர்: Dailymotion என்பது உலகின் மிகப்பெரிய வீடியோ ஹோஸ்டிங் சேவைகளில் ஒன்றாகும், எனவே குறிப்பிடத்தக்க குபெர்னெட்ஸ் பயனர். இந்த உள்ளடக்கத்தில், சிஸ்டம் ஆர்க்கிடெக்ட் டேவிட் டான்செஸ், K8s அடிப்படையிலான நிறுவனத்தின் உற்பத்தித் தளத்தை உருவாக்கும் முடிவுகளைப் பகிர்ந்துள்ளார், இது GKE இல் கிளவுட் நிறுவலுடன் தொடங்கி ஒரு கலப்பின தீர்வாக முடிந்தது, இது சிறந்த பதிலளிப்பு நேரங்கள் மற்றும் உள்கட்டமைப்பு செலவுகளில் சேமிப்பை அனுமதித்தது.
கோர் API ஐ மீண்டும் உருவாக்க முடிவு செய்தல் மூன்று ஆண்டுகளுக்கு முன்பு, பயன்பாடுகளை ஹோஸ்ட் செய்வதற்கும் அதை எளிதாக்குவதற்கும் மிகவும் திறமையான வழியை உருவாக்க விரும்பினோம் . இந்த நோக்கத்திற்காக, நாங்கள் ஒரு கொள்கலன் ஆர்கெஸ்ட்ரேஷன் தளத்தைப் பயன்படுத்த முடிவு செய்தோம் மற்றும் இயற்கையாகவே குபெர்னெட்ஸைத் தேர்ந்தெடுத்தோம்.
குபெர்னெட்ஸின் அடிப்படையில் உங்கள் சொந்த தளத்தை உருவாக்குவது ஏன் மதிப்புக்குரியது?
Google Cloud ஐப் பயன்படுத்தி எந்த நேரத்திலும் தயாரிப்பு நிலை API
கோடை 2016
மூன்று ஆண்டுகளுக்கு முன்பு, உடனடியாக டெய்லிமோஷன் வாங்கப்பட்டது , எங்கள் பொறியியல் குழுக்கள் ஒரு உலகளாவிய இலக்கில் கவனம் செலுத்துகின்றன: முற்றிலும் புதிய டெய்லிமோஷன் தயாரிப்பை உருவாக்குதல்.
கொள்கலன்கள், ஆர்கெஸ்ட்ரேஷன் தீர்வுகள் மற்றும் எங்களின் கடந்தகால அனுபவங்கள் பற்றிய எங்கள் பகுப்பாய்வு ஆகியவற்றின் அடிப்படையில், குபெர்னெட்ஸ் சரியான தேர்வு என்று நாங்கள் உறுதியாக நம்புகிறோம். சில டெவலப்பர்கள் ஏற்கனவே அடிப்படைக் கருத்துகளைப் பற்றிய புரிதலைக் கொண்டிருந்தனர் மற்றும் அதை எவ்வாறு பயன்படுத்துவது என்பதை அறிந்திருந்தனர், இது உள்கட்டமைப்பு மாற்றத்திற்கு ஒரு பெரிய நன்மையாக இருந்தது.
உள்கட்டமைப்புக் கண்ணோட்டத்தில், புதிய வகையான கிளவுட்-நேட்டிவ் பயன்பாடுகளை ஹோஸ்ட் செய்ய சக்திவாய்ந்த மற்றும் நெகிழ்வான அமைப்பு தேவைப்பட்டது. நாங்கள் எங்கள் பயணத்தின் தொடக்கத்தில் மேகக்கூட்டத்தில் தங்கியிருப்பதைத் தேர்ந்தெடுத்தோம், அதனால் மன அமைதியுடன் மிகவும் வலுவான வளாகத்தை உருவாக்க முடியும். Google Kubernetes Engine ஐப் பயன்படுத்தி எங்கள் பயன்பாடுகளை வரிசைப்படுத்த முடிவு செய்தோம், இருப்பினும் விரைவில் அல்லது பின்னர் நாங்கள் எங்கள் சொந்த தரவு மையங்களுக்குச் சென்று ஒரு கலப்பின உத்தியைப் பயன்படுத்துவோம் என்று எங்களுக்குத் தெரியும்.
நீங்கள் ஏன் GKE ஐ தேர்வு செய்தீர்கள்?
முக்கியமாக தொழில்நுட்ப காரணங்களுக்காக இந்தத் தேர்வை மேற்கொண்டோம். கூடுதலாக, நிறுவனத்தின் வணிகத் தேவைகளைப் பூர்த்தி செய்யும் உள்கட்டமைப்பை விரைவாக வழங்குவது அவசியம். புவியியல் விநியோகம், அளவிடுதல் மற்றும் தவறு சகிப்புத்தன்மை போன்ற பயன்பாடுகளை ஹோஸ்டிங் செய்வதற்கான சில தேவைகள் எங்களிடம் இருந்தன.
டெய்லிமோஷனில் GKE கிளஸ்டர்கள்
Dailymotion என்பது உலகம் முழுவதும் கிடைக்கக்கூடிய ஒரு வீடியோ பிளாட்ஃபார்ம் என்பதால், காத்திருப்பு நேரத்தைக் குறைப்பதன் மூலம் சேவையின் தரத்தை மேம்படுத்த விரும்புகிறோம். (தாமதம்). முன்பு பாரிஸில் மட்டுமே கிடைத்தது, இது துணைக்கு உகந்ததாக இருந்தது. நான் ஐரோப்பாவில் மட்டுமல்ல, ஆசியா மற்றும் அமெரிக்காவிலும் பயன்பாடுகளை ஹோஸ்ட் செய்ய விரும்பினேன்.
தாமதத்திற்கான இந்த உணர்திறன், தளத்தின் நெட்வொர்க் கட்டமைப்பில் தீவிரமான வேலைகளைச் செய்ய வேண்டும். பெரும்பாலான கிளவுட் சேவைகள் ஒவ்வொரு பிராந்தியத்திலும் உங்களின் சொந்த நெட்வொர்க்கை உருவாக்கி, பின்னர் அவற்றை VPN அல்லது சில நிர்வகிக்கப்பட்ட சேவைகள் மூலம் இணைக்கும்படி கட்டாயப்படுத்தினாலும், Google Cloud ஆனது அனைத்து Google பிராந்தியங்களையும் உள்ளடக்கிய ஒரு முழு ரூட்டபிள் ஒற்றை நெட்வொர்க்கை உருவாக்க உங்களை அனுமதித்தது. அமைப்பின் செயல்பாடு மற்றும் செயல்திறன் அடிப்படையில் இது ஒரு பெரிய பிளஸ் ஆகும்.
கூடுதலாக, நெட்வொர்க் சேவைகள் மற்றும் Google Cloud இலிருந்து ஏற்ற பேலன்சர்கள் சிறந்த வேலையைச் செய்கின்றன. ஒவ்வொரு பிராந்தியத்திலிருந்தும் தன்னிச்சையான பொது ஐபி முகவரிகளைப் பயன்படுத்த அவை உங்களை அனுமதிக்கின்றன, மேலும் அற்புதமான BGP நெறிமுறை மீதமுள்ளவற்றைக் கவனித்துக்கொள்கிறது (அதாவது பயனர்களை அருகிலுள்ள கிளஸ்டருக்கு திருப்பி விடுவது). வெளிப்படையாக, தோல்வி ஏற்பட்டால், எந்தவொரு மனித தலையீடும் இல்லாமல் போக்குவரத்து தானாகவே மற்றொரு பகுதிக்கு செல்லும்.
Google சுமை சமநிலையை கண்காணித்தல்
எங்கள் இயங்குதளமும் GPUகளை அதிகம் பயன்படுத்துகிறது. கூபெர்னெட்ஸ் கிளஸ்டர்களில் நேரடியாக அவற்றைப் பயன்படுத்த Google Cloud உங்களை அனுமதிக்கிறது.
அந்த நேரத்தில், உள்கட்டமைப்பு குழு முதன்மையாக இயற்பியல் சேவையகங்களில் பயன்படுத்தப்பட்ட மரபு அடுக்கில் கவனம் செலுத்தியது. அதனால்தான் நிர்வகிக்கப்பட்ட சேவையைப் பயன்படுத்தி (குபெர்னெட்டஸ் மாஸ்டர்கள் உட்பட) எங்கள் தேவைகளைப் பூர்த்திசெய்தது மற்றும் உள்ளூர் கிளஸ்டர்களுடன் பணிபுரிய குழுக்களுக்கு பயிற்சி அளிக்க அனுமதித்தது.
இதன் விளைவாக, வேலை தொடங்கிய 6 மாதங்களுக்குப் பிறகு, Google கிளவுட் உள்கட்டமைப்பில் உற்பத்தி போக்குவரத்தைப் பெறத் தொடங்கினோம்.
இருப்பினும், பல நன்மைகள் இருந்தபோதிலும், கிளவுட் வழங்குனருடன் பணிபுரிவது சில செலவுகளுடன் தொடர்புடையது, இது சுமையைப் பொறுத்து அதிகரிக்கும். அதனால்தான் நாங்கள் பயன்படுத்திய ஒவ்வொரு நிர்வகிக்கப்பட்ட சேவையையும் கவனமாக பகுப்பாய்வு செய்தோம், எதிர்காலத்தில் அவற்றைச் செயல்படுத்துவோம் என்று நம்புகிறோம். உண்மையில், உள்ளூர் கிளஸ்டர்களை செயல்படுத்துவது 2016 இன் இறுதியில் தொடங்கியது மற்றும் அதே நேரத்தில் கலப்பின மூலோபாயம் தொடங்கப்பட்டது.
உள்ளூர் கொள்கலன் ஆர்கெஸ்ட்ரேஷன் தளமான டெய்லிமோஷனின் துவக்கம்
இலையுதிர் காலம் 2016
முழு ஸ்டாக்கும் உற்பத்திக்கு தயாராக இருந்த நிலையில், API இல் வேலை செய்யுங்கள் , பிராந்திய குழுக்களில் கவனம் செலுத்த வேண்டிய நேரம் இது.
அந்த நேரத்தில், பயனர்கள் ஒவ்வொரு மாதமும் 3 பில்லியனுக்கும் அதிகமான வீடியோக்களைப் பார்க்கிறார்கள். நிச்சயமாக, பல ஆண்டுகளாக எங்களுடைய சொந்த விரிவான உள்ளடக்க டெலிவரி நெட்வொர்க் உள்ளது. இந்தச் சூழலைப் பயன்படுத்தி, தற்போதுள்ள தரவு மையங்களில் குபெர்னெட்டஸ் கிளஸ்டர்களைப் பயன்படுத்த விரும்புகிறோம்.
டெய்லிமோஷனின் உள்கட்டமைப்பு ஆறு தரவு மையங்களில் 2,5 ஆயிரத்துக்கும் மேற்பட்ட சேவையகங்களைக் கொண்டிருந்தது. அவை அனைத்தும் சால்ட்ஸ்டாக்கைப் பயன்படுத்தி கட்டமைக்கப்பட்டுள்ளன. மாஸ்டர் மற்றும் தொழிலாளி முனைகளை உருவாக்குவதற்கு தேவையான அனைத்து சமையல் குறிப்புகளையும், அத்துடன் ஒரு etcd கிளஸ்டரையும் தயாரிக்கத் தொடங்கினோம்.
நெட்வொர்க் பகுதி
எங்கள் நெட்வொர்க் முற்றிலும் திசைதிருப்பப்பட்டுள்ளது. ஒவ்வொரு சேவையகமும் Exabgp ஐப் பயன்படுத்தி நெட்வொர்க்கில் அதன் ஐபியை விளம்பரப்படுத்துகிறது. நாங்கள் பல பிணைய செருகுநிரல்களை ஒப்பிட்டுப் பார்த்தோம், எல்லாத் தேவைகளையும் பூர்த்தி செய்த ஒரே ஒன்று (பயன்படுத்தப்பட்ட L3 அணுகுமுறையின் காரணமாக) . இது ஏற்கனவே உள்ள நெட்வொர்க் உள்கட்டமைப்பு மாதிரியுடன் சரியாக பொருந்துகிறது.
கிடைக்கக்கூடிய அனைத்து உள்கட்டமைப்பு கூறுகளையும் நாங்கள் பயன்படுத்த விரும்புவதால், முதலில் நாம் செய்ய வேண்டியது, எங்கள் வீட்டில் வளர்க்கப்பட்ட நெட்வொர்க் பயன்பாட்டைக் கண்டுபிடிப்பதாகும் (அனைத்து சேவையகங்களிலும் பயன்படுத்தப்படுகிறது): குபெர்னெட்ஸ் நோட்களுடன் பிணையத்தில் ஐபி முகவரி வரம்புகளை விளம்பரப்படுத்த இதைப் பயன்படுத்தவும். பாட்களுக்கு IP முகவரிகளை ஒதுக்க காலிகோவை நாங்கள் அனுமதித்தோம், ஆனால் பிணைய உபகரணங்களில் BGP அமர்வுகளுக்கு அதைப் பயன்படுத்தவில்லை. உண்மையில், ரூட்டிங் Exabgp ஆல் கையாளப்படுகிறது, இது காலிகோ பயன்படுத்தும் சப்நெட்களை விளம்பரப்படுத்துகிறது. இது உள் நெட்வொர்க்கிலிருந்து (குறிப்பாக லோட் பேலன்ஸர்களிடமிருந்து) எந்த பாட்களையும் அடைய அனுமதிக்கிறது.
நுழைவு போக்குவரத்தை நாங்கள் எவ்வாறு நிர்வகிக்கிறோம்
உள்வரும் கோரிக்கைகளை விரும்பிய சேவைக்கு திருப்பிவிட, குபெர்னெட்ஸ் இன்க்ரஸ் ஆதாரங்களுடன் ஒருங்கிணைக்கப்பட்டதன் காரணமாக இங்க்ரஸ் கன்ட்ரோலரைப் பயன்படுத்த முடிவு செய்யப்பட்டது.
மூன்று ஆண்டுகளுக்கு முன்பு, nginx-ingress-controller மிகவும் முதிர்ந்த கட்டுப்படுத்தியாக இருந்தது: Nginx நீண்ட காலமாக இருந்தது மற்றும் அதன் நிலைத்தன்மை மற்றும் செயல்திறனுக்காக அறியப்பட்டது.
எங்கள் அமைப்பில், கன்ட்ரோலர்களை பிரத்யேக 10-ஜிகாபிட் பிளேடு சர்வர்களில் வைக்க முடிவு செய்தோம். ஒவ்வொரு கட்டுப்படுத்தியும் தொடர்புடைய கிளஸ்டரின் kube-apiserver இறுதிப் புள்ளியுடன் இணைக்கப்பட்டுள்ளது. இந்த சேவையகங்கள் பொது அல்லது தனிப்பட்ட ஐபி முகவரிகளை விளம்பரப்படுத்த Exabgp ஐப் பயன்படுத்துகின்றன. NodePort போன்ற சேவையைப் பயன்படுத்தாமல், அனைத்து போக்குவரத்தையும் நேரடியாக காய்களுக்குச் செலுத்த, இந்த கன்ட்ரோலர்களிடமிருந்து BGPஐப் பயன்படுத்த எங்கள் நெட்வொர்க் டோபாலஜி அனுமதிக்கிறது. இந்த அணுகுமுறை முனைகளுக்கு இடையில் கிடைமட்ட போக்குவரத்தைத் தவிர்க்க உதவுகிறது மற்றும் செயல்திறனை மேம்படுத்துகிறது.
இணையத்திலிருந்து காய்களுக்கு போக்குவரத்து இயக்கம்
இப்போது எங்கள் கலப்பின தளத்தை நாங்கள் புரிந்து கொண்டுள்ளோம், போக்குவரத்து இடம்பெயர்வு செயல்முறையை ஆழமாக ஆராயலாம்.
Google Cloud இலிருந்து Dailymotion உள்கட்டமைப்பிற்கு டிராஃபிக்கை நகர்த்துதல்
இலையுதிர் காலம் 2018
ஏறக்குறைய இரண்டு வருட கட்டிடம், சோதனை மற்றும் ட்யூனிங்கிற்குப் பிறகு, சில ட்ராஃபிக்கை ஏற்றுக்கொள்ள முழு குபெர்னெட்ஸ் ஸ்டாக் தயாராக உள்ளது.
தற்போதைய ரூட்டிங் உத்தி மிகவும் எளிமையானது, ஆனால் தேவைகளைப் பூர்த்தி செய்ய போதுமானது. பொது IPகள் (Google Cloud மற்றும் Dailymotion இல்) கூடுதலாக, AWS Route 53 கொள்கைகளை அமைக்கவும், பயனர்களை நாங்கள் விரும்பும் கிளஸ்டருக்கு திருப்பி விடவும் பயன்படுகிறது.
வழி 53 ஐப் பயன்படுத்தி ரூட்டிங் கொள்கைக்கான எடுத்துக்காட்டு
அனைத்து கிளஸ்டர்களிலும் ஒரே ஐபியைப் பகிர்வதால் Google Cloud மூலம் இது எளிதானது மற்றும் பயனர் அருகிலுள்ள GKE கிளஸ்டருக்குத் திருப்பி விடப்படுவார். எங்கள் கிளஸ்டர்களுக்கு தொழில்நுட்பம் வேறுபட்டது, ஏனெனில் அவற்றின் ஐபிகள் வேறுபட்டவை.
இடம்பெயர்வின் போது, பிராந்திய கோரிக்கைகளை பொருத்தமான கிளஸ்டர்களுக்கு திருப்பிவிட முயன்றோம் மற்றும் இந்த அணுகுமுறையின் நன்மைகளை மதிப்பீடு செய்தோம்.
எங்கள் GKE கிளஸ்டர்கள் தனிப்பயன் அளவீடுகளைப் பயன்படுத்தி தானியங்கு அளவீடு செய்ய உள்ளமைக்கப்பட்டுள்ளதால், அவை உள்வரும் போக்குவரத்தின் அடிப்படையில் மேலே/கீழே அளவிடப்படுகின்றன.
சாதாரண பயன்முறையில், அனைத்து பிராந்திய போக்குவரத்தும் உள்ளூர் கிளஸ்டருக்கு அனுப்பப்படுகிறது, மேலும் சிக்கல்கள் ஏற்பட்டால் GKE ஒரு இருப்புநிலையாக செயல்படுகிறது (சுகாதார சோதனைகள் பாதை 53 மூலம் மேற்கொள்ளப்படுகின்றன).
...
எதிர்காலத்தில், பயனர்களுக்கான அணுகலைத் தொடர்ந்து மேம்படுத்தும் ஒரு தன்னாட்சி ஹைப்ரிட் உத்தியை அடைய ரூட்டிங் கொள்கைகளை முழுமையாக தானியக்கமாக்க விரும்புகிறோம். பிளஸ் பக்கத்தில், கிளவுட் செலவுகள் கணிசமாகக் குறைக்கப்பட்டுள்ளன மற்றும் API மறுமொழி நேரங்களும் குறைக்கப்பட்டுள்ளன. இதன் விளைவாக வரும் கிளவுட் இயங்குதளத்தை நாங்கள் நம்புகிறோம், மேலும் தேவைப்பட்டால் அதற்கு அதிக ட்ராஃபிக்கை திருப்பிவிட தயாராக இருக்கிறோம்.
மொழிபெயர்ப்பாளரிடமிருந்து பி.எஸ்
குபெர்னெட்டஸைப் பற்றிய மற்றொரு சமீபத்திய டெய்லிமோஷன் இடுகையிலும் நீங்கள் ஆர்வமாக இருக்கலாம். பல குபெர்னெட்ஸ் கிளஸ்டர்களில் ஹெல்முடன் பயன்பாடுகளை வரிசைப்படுத்துவதற்கு இது அர்ப்பணிக்கப்பட்டுள்ளது மற்றும் சுமார் ஒரு மாதத்திற்கு முன்பு.
எங்கள் வலைப்பதிவிலும் படிக்கவும்:
- «".
- «";
- «";
- «";
- «";
- «";
- «";
- «";
- «";
- «";
- «".
ஆதாரம்: www.habr.com