Pinterest वर kubernetes प्लॅटफॉर्म तयार करणे

गेल्या काही वर्षांत, Pinterest च्या 300 दशलक्ष वापरकर्त्यांनी 200 अब्ज पेक्षा जास्त बोर्डवर 4 अब्ज पेक्षा जास्त पिन तयार केल्या आहेत. वापरकर्त्यांच्या या फौजेला आणि मोठ्या सामग्रीचा आधार देण्यासाठी, पोर्टलने हजारो सेवा विकसित केल्या आहेत, ज्यामध्ये काही CPUs द्वारे हाताळल्या जाऊ शकतात अशा मायक्रो सर्व्हिसेसपासून ते व्हर्च्युअल मशीनच्या संपूर्ण ताफ्यावर चालणाऱ्या विशाल मोनोलिथ्सपर्यंत. आणि मग तो क्षण आला जेव्हा कंपनीची नजर k8s वर गेली. Pinterest वर “क्यूब” चांगले का दिसले? आमच्या अलीकडील लेखाच्या भाषांतरावरून तुम्ही याबद्दल शिकाल ब्लॉग Pinterest अभियांत्रिकी.

तर, लाखो वापरकर्ते आणि शेकडो अब्जावधी पिन. वापरकर्त्यांच्या या फौजेला आणि विशाल सामग्री बेसची सेवा देण्यासाठी, आम्ही काही CPUs द्वारे हाताळल्या जाऊ शकणार्‍या मायक्रो सर्व्हिसेसपासून ते व्हर्च्युअल मशीनच्या संपूर्ण फ्लीट्सवर चालणार्‍या विशाल मोनोलिथपर्यंत हजारो सेवा विकसित केल्या आहेत. याव्यतिरिक्त, आमच्याकडे विविध फ्रेमवर्क आहेत ज्यांना CPU, मेमरी किंवा I/O प्रवेशाची देखील आवश्यकता असू शकते.

या साधनसंग्रहालयाची देखभाल करताना, विकास कार्यसंघाला अनेक आव्हानांचा सामना करावा लागतो:

• अभियंत्यांना उत्पादन वातावरण चालवण्याचा एकसमान मार्ग नाही. स्टेटलेस सेवा, स्टेटफुल सेवा आणि सक्रिय विकास अंतर्गत प्रकल्प पूर्णपणे भिन्न तंत्रज्ञान स्टॅकवर आधारित आहेत. यामुळे अभियंत्यांसाठी संपूर्ण प्रशिक्षण अभ्यासक्रम तयार करण्यात आला आणि आमच्या पायाभूत सुविधा कार्यसंघाचे काम गंभीरपणे गुंतागुंतीचे झाले.
• व्हर्च्युअल मशीन्सचा स्वतःचा ताफा असलेले डेव्हलपर अंतर्गत प्रशासकांवर मोठा भार निर्माण करतात. परिणामी, ओएस किंवा एएमआय अपडेट करण्यासारख्या सोप्या ऑपरेशन्सला आठवडे आणि महिने लागतात. यामुळे अगदी रोजच्या परिस्थितीत कामाचा ताण वाढतो.
• विद्यमान उपायांच्या शीर्षस्थानी जागतिक पायाभूत सुविधा व्यवस्थापन साधने तयार करण्यात अडचणी. व्हर्च्युअल मशीनचे मालक शोधणे सोपे नाही या वस्तुस्थितीमुळे परिस्थिती आणखी गुंतागुंतीची आहे. म्हणजेच, ही क्षमता आमच्या पायाभूत सुविधांच्या इतर भागांमध्ये ऑपरेट करण्यासाठी सुरक्षितपणे काढली जाऊ शकते की नाही हे आम्हाला माहित नाही.

कंटेनर ऑर्केस्ट्रेशन सिस्टम वर्कलोड मॅनेजमेंट एकत्र करण्याचा एक मार्ग आहे. ते वाढीव विकासाची गती आणि पायाभूत सुविधांचे व्यवस्थापन सुलभ करण्यासाठी दरवाजे उघडतात, कारण प्रकल्पातील सर्व संसाधने एका केंद्रीकृत प्रणालीद्वारे व्यवस्थापित केली जातात.

आकृती 1: पायाभूत सुविधांची प्राधान्ये (विश्वसनीयता, विकासक उत्पादकता आणि कार्यक्षमता).

Pinterest वरील क्लाउड मॅनेजमेंट प्लॅटफॉर्म टीमने 8 मध्ये K2017s शोधले. 2017 च्या पहिल्या सहामाहीपर्यंत, आम्ही API आणि आमच्या सर्व वेब सर्व्हरसह आमच्या बहुतांश उत्पादन क्षमतांचे दस्तऐवजीकरण केले होते. त्यानंतर, आम्ही कंटेनर सोल्यूशन्स ऑर्केस्ट्रेट करण्यासाठी, क्लस्टर तयार करण्यासाठी आणि त्यांच्यासोबत काम करण्यासाठी विविध प्रणालींचे सखोल मूल्यांकन केले. 2017 च्या शेवटी, आम्ही Kubernetes वापरण्याचे ठरवले. हे खूप लवचिक आणि विकसक समुदायामध्ये मोठ्या प्रमाणावर समर्थित होते.

आजपर्यंत, आम्ही कॉप्सवर आधारित आमची स्वतःची क्लस्टर बूट साधने तयार केली आहेत आणि नेटवर्किंग, सुरक्षा, मेट्रिक्स, लॉगिंग, ओळख व्यवस्थापन आणि रहदारी यांसारखे विद्यमान पायाभूत घटक कुबर्नेट्समध्ये स्थलांतरित केले आहेत. आम्ही आमच्या संसाधनासाठी वर्कलोड मॉडेलिंग प्रणाली देखील लागू केली आहे, ज्याची जटिलता विकासकांपासून लपलेली आहे. आता आम्ही क्लस्टरची स्थिरता सुनिश्चित करण्यावर, ते स्केल करण्यावर आणि नवीन क्लायंटला जोडण्यावर लक्ष केंद्रित केले आहे.

कुबर्नेट्स: पिंटरेस्ट मार्ग

आमच्या अभियंत्यांना आवडेल असे व्यासपीठ म्हणून Pinterest च्या स्केलवर Kubernetes सह प्रारंभ करणे अनेक आव्हाने घेऊन आले.

एक मोठी कंपनी म्हणून आम्ही पायाभूत सुविधांमध्ये मोठ्या प्रमाणात गुंतवणूक केली आहे. उदाहरणांमध्ये सुरक्षा साधने समाविष्ट आहेत जी प्रमाणपत्र प्रक्रिया आणि की वितरण, वाहतूक नियंत्रण घटक, सेवा शोध प्रणाली, दृश्यमानता घटक आणि लॉग आणि मेट्रिक्स डिस्पॅच घटक हाताळतात. हे सर्व एका कारणास्तव गोळा केले गेले: आम्ही चाचणी आणि त्रुटीच्या सामान्य मार्गाने गेलो आणि म्हणूनच आम्हाला नवीन प्लॅटफॉर्मवर जुने चाक पुन्हा शोधण्याऐवजी कुबर्नेट्सवरील नवीन पायाभूत सुविधांमध्ये ही सर्व उपकरणे समाकलित करायची होती. या दृष्टीकोनाने एकूणच स्थलांतर सुलभ केले, कारण सर्व अनुप्रयोग समर्थन आधीपासूनच अस्तित्वात आहे आणि सुरवातीपासून तयार करण्याची आवश्यकता नाही.

दुसरीकडे, कुबर्नेट्समधील लोड अंदाज मॉडेल (जसे की उपयोजन, नोकऱ्या आणि डेमन सेट) आमच्या प्रकल्पासाठी पुरेसे नाहीत. या उपयोगिता समस्या कुबर्नेट्समध्ये जाण्यासाठी मोठे अडथळे आहेत. उदाहरणार्थ, आम्ही सेवा विकसकांनी गहाळ किंवा चुकीच्या लॉगिन सेटिंग्जबद्दल तक्रार केल्याचे ऐकले आहे. आम्हाला टेम्प्लेट इंजिनचा चुकीचा वापर देखील आढळला, जेव्हा शेकडो प्रती समान तपशील आणि कार्यासह तयार केल्या गेल्या, ज्यामुळे भयानक डीबगिंग समस्या उद्भवल्या.

एकाच क्लस्टरमध्ये वेगवेगळ्या आवृत्त्या राखणे देखील खूप कठीण होते. तुम्हाला एकाच रनटाइम वातावरणाच्या अनेक आवृत्त्यांमध्ये, त्यांच्या सर्व समस्या, बग आणि अद्यतनांसह एकाच वेळी कार्य करण्याची आवश्यकता असल्यास ग्राहक समर्थनाच्या जटिलतेची कल्पना करा.

Pinterest वापरकर्ता गुणधर्म आणि नियंत्रक

आमच्या अभियंत्यांना Kubernetes कार्यान्वित करणे सोपे करण्यासाठी आणि आमच्या पायाभूत सुविधा सुलभ करण्यासाठी आणि वेगवान करण्यासाठी, आम्ही आमच्या स्वतःच्या सानुकूल संसाधन व्याख्या (CRDs) विकसित केल्या आहेत.

CRDs खालील कार्यक्षमता प्रदान करतात:

1. भिन्न मूळ कुबर्नेट्स संसाधने एकत्र करणे जेणेकरून ते एकल वर्कलोड म्हणून कार्य करतात. उदाहरणार्थ, PinterestService संसाधनामध्ये उपयोजन, लॉगिन सेवा आणि कॉन्फिगरेशन नकाशा समाविष्ट आहे. हे विकासकांना DNS सेट करण्याबद्दल काळजी करण्याची परवानगी देते.
2. आवश्यक अनुप्रयोग समर्थन लागू करा. वापरकर्त्याने त्यांच्या व्यावसायिक तर्कानुसार फक्त कंटेनर तपशीलावर लक्ष केंद्रित करणे आवश्यक आहे, तर CRD नियंत्रक सर्व आवश्यक इनिट कंटेनर्स, पर्यावरण व्हेरिएबल्स आणि पॉड तपशील लागू करतो. हे डेव्हलपरसाठी मूलभूतपणे भिन्न पातळीचे आराम प्रदान करते.
3. CRD नियंत्रक मूळ संसाधनांचे जीवनचक्र देखील व्यवस्थापित करतात आणि डीबग उपलब्धता सुधारतात. यामध्ये इच्छित आणि वास्तविक वैशिष्ट्यांचा ताळमेळ साधणे, CRD स्थिती अद्यतनित करणे आणि इव्हेंट लॉग राखणे आणि बरेच काही समाविष्ट आहे. CRD शिवाय, विकसकांना एकाधिक संसाधने व्यवस्थापित करण्यास भाग पाडले जाईल, ज्यामुळे केवळ त्रुटीची शक्यता वाढेल.

आमच्या कंट्रोलरद्वारे व्यवस्थापित केलेल्या PinterestService आणि अंतर्गत संसाधनाचे येथे एक उदाहरण आहे:

जसे तुम्ही वर पाहू शकता, सानुकूल कंटेनरला समर्थन देण्यासाठी आम्हाला सुरक्षा, दृश्यमानता आणि नेटवर्क रहदारी प्रदान करण्यासाठी एक इनिट कंटेनर आणि अनेक अॅड-ऑन एकत्र करणे आवश्यक आहे. याव्यतिरिक्त, आम्ही कॉन्फिगरेशन नकाशा टेम्पलेट तयार केले आणि बॅच जॉबसाठी PVC टेम्पलेट्ससाठी समर्थन लागू केले, तसेच ओळख, संसाधनांचा वापर आणि कचरा संकलनाचा मागोवा घेण्यासाठी अनेक पर्यावरणीय चलांचा मागोवा घेतला.

विकासकांना या कॉन्फिगरेशन फाइल्स CRD समर्थनाशिवाय हाताने लिहायच्या असतील याची कल्पना करणे कठिण आहे, पुढे कॉन्फिगरेशन्सची देखभाल आणि डीबग करू द्या.

अनुप्रयोग उपयोजन कार्यप्रवाह

कुबर्नेट्स क्लस्टरवर Pinterest सानुकूल संसाधन कसे उपयोजित करायचे ते वरील प्रतिमा दर्शवते:

1. विकासक CLI आणि वापरकर्ता इंटरफेसद्वारे आमच्या Kubernetes क्लस्टरशी संवाद साधतात.
2. CLI/UI टूल्स आर्टिफॅक्टरीमधून वर्कफ्लो कॉन्फिगरेशन YAML फाइल्स आणि इतर बिल्ड गुणधर्म (समान आवृत्ती आयडी) पुनर्प्राप्त करतात आणि नंतर त्यांना जॉब सबमिशन सेवेकडे सबमिट करतात. ही पायरी हे सुनिश्चित करते की केवळ उत्पादन आवृत्त्या क्लस्टरमध्ये वितरित केल्या जातात.
3. JSS हे कुबर्नेट्ससह विविध प्लॅटफॉर्मसाठी एक प्रवेशद्वार आहे. येथे वापरकर्त्याचे प्रमाणीकरण केले जाते, कोटा जारी केला जातो आणि आमच्या CRD चे कॉन्फिगरेशन अंशतः तपासले जाते.
4. JSS बाजूला CRD तपासल्यानंतर, माहिती k8s प्लॅटफॉर्म API वर पाठवली जाते.
5. आमचा CRD कंट्रोलर सर्व वापरकर्ता संसाधनांवरील कार्यक्रमांचे निरीक्षण करतो. हे CRs चे मूळ k8s संसाधनांमध्ये रूपांतर करते, आवश्यक मॉड्यूल जोडते, योग्य पर्यावरण व्हेरिएबल्स सेट करते आणि कंटेनरीकृत वापरकर्ता अनुप्रयोगांना पुरेसा पायाभूत सुविधा उपलब्ध आहे याची खात्री करण्यासाठी इतर समर्थन कार्य करते.
6. CRD कंट्रोलर नंतर प्राप्त केलेला डेटा कुबर्नेट्स API कडे पाठवतो जेणेकरून शेड्युलरद्वारे त्यावर प्रक्रिया केली जाऊ शकते आणि उत्पादनात ठेवले जाऊ शकते.

शेरा: डिप्लॉयमेंटचा हा पूर्व-रिलीझ कार्य प्रवाह नवीन k8s प्लॅटफॉर्मच्या पहिल्या वापरकर्त्यांसाठी तयार केला गेला. आम्ही सध्या आमच्या नवीन CI/CD सह पूर्णपणे एकत्रित होण्यासाठी ही प्रक्रिया परिष्कृत करण्याच्या प्रक्रियेत आहोत. याचा अर्थ असा आहे की आम्ही तुम्हाला कुबर्नेट्सशी संबंधित सर्व काही सांगू शकत नाही. आम्ही आमचा अनुभव आणि या दिशेने कार्यसंघाची प्रगती आमच्या पुढील ब्लॉग पोस्ट, “Pinterest साठी CI/CD प्लॅटफॉर्म तयार करणे” मध्ये शेअर करण्यास उत्सुक आहोत.

विशेष संसाधनांचे प्रकार

Pinterest च्या विशिष्ट गरजांच्या आधारावर, आम्ही विविध कार्यप्रवाहांना अनुसरून खालील CRDs विकसित केले आहेत:

• PinterestService ही स्टेटलेस सेवा आहेत जी बर्याच काळापासून चालू आहेत. आमच्या अनेक मुख्य प्रणाली अशा सेवांच्या संचावर आधारित आहेत.
• PinterestJobSet मॉडेल पूर्ण सायकल बॅच जॉब. Pinterest वर एक सामान्य परिस्थिती अशी आहे की इतर समान प्रक्रियांचा विचार न करता, एकापेक्षा जास्त नोकर्‍या समान कंटेनर चालवतात.
• PinterestCronJob लहान नियतकालिक भारांच्या संयोगाने मोठ्या प्रमाणावर वापरले जाते. सुरक्षा, रहदारी, लॉग आणि मेट्रिक्ससाठी जबाबदार असलेल्या Pinterest समर्थन यंत्रणेसह नेटिव्ह क्रॉन कामासाठी हे रॅपर आहे.
• PinterestDaemon मध्ये इन्फ्रास्ट्रक्चर डेमन समाविष्ट आहे. आम्ही आमच्या क्लस्टरमध्ये अधिक समर्थन जोडत असताना हे कुटुंब वाढतच जात आहे.
• PinterestTrainingJob Tensorflow आणि Pytorch प्रक्रियांपर्यंत विस्तारित आहे, इतर सर्व CRD प्रमाणेच रनटाइम समर्थन प्रदान करते. Pinterest सक्रियपणे Tensorflow आणि इतर मशीन लर्निंग सिस्टीम वापरत असल्याने, आम्हाला त्यांच्याभोवती स्वतंत्र CRD तयार करण्याचे कारण होते.

आम्ही PinterestStatefulSet वर देखील काम करत आहोत, जे लवकरच डेटा वेअरहाऊस आणि इतर स्टेटफुल सिस्टमसाठी स्वीकारले जाईल.

रनटाइम समर्थन

कुबर्नेट्सवर अॅप्लिकेशन पॉड चालते तेव्हा, त्याला स्वतःची ओळख पटवण्यासाठी आपोआप प्रमाणपत्र मिळते. हे प्रमाणपत्र गुप्त स्टोरेजमध्ये प्रवेश करण्यासाठी किंवा mTLS द्वारे इतर सेवांशी संवाद साधण्यासाठी वापरले जाते. दरम्यान, कंटेनर इनिट कॉन्फिग्युरेटर आणि डिमन कंटेनराइज्ड ऍप्लिकेशन चालवण्यापूर्वी सर्व आवश्यक अवलंबन डाउनलोड करतील. सर्व काही तयार झाल्यावर, ट्रॅफिक साइडकार आणि डेमन मॉड्यूलचा IP पत्ता आमच्या झूकीपरकडे नोंदवतील जेणेकरून क्लायंट ते शोधू शकतील. हे सर्व कार्य करेल कारण अनुप्रयोग लाँच करण्यापूर्वी नेटवर्क मॉड्यूल कॉन्फिगर केले होते.

वरील वर्कलोड्ससाठी रनटाइम समर्थनाची विशिष्ट उदाहरणे आहेत. इतर प्रकारच्या वर्कलोड्ससाठी थोड्या वेगळ्या समर्थनाची आवश्यकता असू शकते, परंतु ते सर्व पॉड-लेव्हल साइडकार, नोड-लेव्हल किंवा व्हर्च्युअल मशीन-लेव्हल डेमनच्या स्वरूपात येतात. आम्ही हे सुनिश्चित करतो की हे सर्व व्यवस्थापन पायाभूत सुविधांमध्ये तैनात केले गेले आहे आणि सर्व अनुप्रयोगांमध्ये सुसंगत आहे, जे शेवटी तांत्रिक कार्य आणि ग्राहक समर्थनाच्या दृष्टीने ओझे कमी करते.

चाचणी आणि QA

आम्ही विद्यमान Kubernetes चाचणी पायाभूत सुविधांच्या शीर्षस्थानी एंड-टू-एंड चाचणी पाइपलाइन तयार केली आहे. या चाचण्या आमच्या सर्व क्लस्टरवर लागू होतात. उत्पादन क्लस्टरचा भाग होण्यापूर्वी आमची पाइपलाइन अनेक पुनरावृत्तींमधून गेली.

चाचणी प्रणालींव्यतिरिक्त, आमच्याकडे मॉनिटरिंग आणि अलर्ट सिस्टम आहेत जे सिस्टम घटकांच्या स्थितीचे, संसाधनांचा वापर आणि इतर महत्त्वपूर्ण निर्देशकांचे सतत निरीक्षण करतात, जेव्हा मानवी हस्तक्षेप आवश्यक असेल तेव्हाच आम्हाला सूचित करतात.

विकल्प

म्युटेशन ऍक्सेस कंट्रोलर आणि टेम्प्लेट सिस्टीम यासारख्या सानुकूल संसाधनांसाठी आम्ही काही पर्याय पाहिले. तथापि, ते सर्व महत्त्वपूर्ण ऑपरेशनल आव्हानांसह येतात, म्हणून आम्ही CRD मार्ग निवडला.

म्युटेशनल अॅडमिशन कंट्रोलरचा वापर साइडकार, पर्यावरण व्हेरिएबल्स आणि इतर रनटाइम सपोर्ट सादर करण्यासाठी केला गेला. तथापि, त्याला विविध समस्यांचा सामना करावा लागला, जसे की संसाधन बंधन आणि जीवनचक्र व्यवस्थापन, जेथे अशा समस्या CRD मध्ये उद्भवत नाहीत.

टीप: हेल्म चार्ट सारख्या टेम्प्लेट सिस्टमचा वापर समान कॉन्फिगरेशनसह ऍप्लिकेशन्स चालविण्यासाठी मोठ्या प्रमाणावर केला जातो. तथापि, आमचे कार्य अनुप्रयोग टेम्पलेट वापरून व्यवस्थापित करण्यासाठी खूप वैविध्यपूर्ण आहेत. तसेच सतत तैनाती दरम्यान टेम्पलेट्स वापरताना बर्याच त्रुटी असतील.

आगामी काम

आम्ही सध्या आमच्या सर्व क्लस्टरमध्ये मिश्रित भार हाताळत आहोत. विविध प्रकारच्या आणि आकारांच्या अशा प्रक्रियांना समर्थन देण्यासाठी, आम्ही खालील क्षेत्रांमध्ये कार्य करतो:

• क्लस्टर्सचा संग्रह स्केलेबिलिटी आणि स्थिरतेसाठी वेगवेगळ्या क्लस्टरमध्ये मोठ्या ऍप्लिकेशन्सचे वितरण करतो.
• ऍप्लिकेशन कनेक्टिव्हिटी आणि SLAs तयार करण्यासाठी क्लस्टर स्थिरता, स्केलेबिलिटी आणि दृश्यमानता सुनिश्चित करणे.
• संसाधने आणि कोटा व्यवस्थापित करणे जेणेकरुन अनुप्रयोग एकमेकांशी विरोधाभास होणार नाहीत आणि क्लस्टरचे प्रमाण आमच्या भागावर नियंत्रित केले जाईल.
• Kubernetes वर ऍप्लिकेशनला सपोर्ट आणि डिप्लॉय करण्यासाठी एक नवीन CI/CD प्लॅटफॉर्म.

स्त्रोत: www.habr.com