डंप सम्मेलन | ग्रेप 'बैकएंड|डिवोप्स'

पिछले सप्ताह मैं येकातेरिनबर्ग में DUMP IT सम्मेलन (https://dump-ekb.ru/) में गया था और मैं आपको बताना चाहता हूं कि बैकएंड और डेवॉप्स अनुभागों में क्या चर्चा हुई, और क्या क्षेत्रीय आईटी सम्मेलन ध्यान देने योग्य हैं।

सर्वरलेस के बारे में एविल मार्टियंस से निकोले सेवरचकोव

आखिर वहां क्या था?

कुल मिलाकर, सम्मेलन में 8 खंड थे: बैकएंड, फ्रंटएंड, मोबाइल, परीक्षण और क्यूए, डेवॉप्स, डिज़ाइन, विज्ञान और प्रबंधन।

वैसे, सबसे बड़े हॉल विज्ञान और प्रबंधन में हैं)) प्रत्येक ~350 लोगों के लिए। बैकएंड और फ्रंटएंड ज्यादा छोटे नहीं हैं। डेवॉप्स कमरा सबसे छोटा, लेकिन सक्रिय था।

मैंने डेवॉप्स और बैकएंड अनुभागों में रिपोर्टें सुनीं और वक्ताओं के साथ थोड़ी बातचीत की। मैं सम्मेलन में शामिल विषयों पर बात करना और इन अनुभागों की समीक्षा करना चाहूंगा।

एसकेबी-कॉन्टूर, डेटाआर्ट, एविल मार्टियंस, एकाटेरिनबर्ग वेब स्टूडियो फ्लैग, मिरो (रियलटाइमबोर्ड) के प्रतिनिधियों ने डेवॉप्स और बैकएंड अनुभागों में बात की। सीआई/सीडी, कतार सेवाओं के साथ काम करना, लॉगिंग; सर्वर रहित विषयों और गो में पोस्टग्रेएसक्यूएल के साथ काम करने वाले विषयों को अच्छी तरह से कवर किया गया था।

एविटो, टिंकॉफ, यांडेक्स, जेटस्टाइल, मेगफॉन, एके बार्स बैंक की भी रिपोर्टें थीं, लेकिन मेरे पास उनमें शारीरिक रूप से शामिल होने का समय नहीं था (रिपोर्ट की वीडियो रिकॉर्डिंग और स्लाइड अभी तक उपलब्ध नहीं हैं, वे उन्हें 2 सप्ताह के भीतर पोस्ट करने का वादा करते हैं) डंप-ekb.ru पर)।

डेवोप्स अनुभाग

आश्चर्य की बात यह थी कि यह अनुभाग लगभग 50 सीटों वाले सबसे छोटे हॉल में आयोजित किया गया था। लोग गलियारे में भी खड़े थे :) मैं आपको उन रिपोर्टों के बारे में बताऊंगा जिन्हें मैं सुनने में कामयाब रहा।

इलास्टिक का वजन एक पेटाबाइट है

यह अनुभाग कोंटूर में इलास्टिक्स खोज के बारे में व्लादिमीर लिल (एसकेबी-कोंटूर) की एक रिपोर्ट के साथ शुरू हुआ। उनके पास काफी बड़ा और भरा हुआ इलास्टिक है (~800 टीबी डेटा, अतिरेक को ध्यान में रखते हुए ~1.3 पेटाबाइट)। सभी कोंटूर सेवाओं के लिए इलास्टिक्स खोज एकल है, इसमें 2 क्लस्टर (7 और 9 सर्वरों में से) शामिल हैं, और यह इतना महत्वपूर्ण है कि कोंटूर में एक विशेष इलास्टिक्स खोज इंजीनियर है (वास्तव में, व्लादिमीर स्वयं)।

व्लादिमीर ने इलास्टिक्स खोज के लाभों और इससे आने वाली समस्याओं पर भी अपने विचार साझा किए।

लाभ:

• सभी लॉग एक ही स्थान पर हैं, उन तक आसान पहुंच है
• एक वर्ष के लिए लॉग संग्रहीत करना और उनका आसानी से विश्लेषण करना
• लॉग के साथ काम करने की उच्च गति
• बॉक्स से बाहर शानदार डेटा विज़ुअलाइज़ेशन

समस्याओं:

• संदेश दलाल एक होना चाहिए (कोंटूर के लिए इसकी भूमिका काफ्का द्वारा निभाई गई है)
• इलास्टिक्स खोज क्यूरेटर के साथ काम करने की विशेषताएं (क्यूरेटर में नियमित कार्यों से समय-समय पर उच्च भार बनाया गया)
• कोई अंतर्निहित प्राधिकरण नहीं (केवल अलग, काफी बड़ी धनराशि के लिए, या उत्पादन के लिए तत्परता की अलग-अलग डिग्री के खुले स्रोत प्लगइन के रूप में)

इलास्टिक्स खोज के लिए ओपन डिस्ट्रो के बारे में केवल सकारात्मक समीक्षाएं थीं :) प्राधिकरण का वही मुद्दा वहां हल कर दिया गया है।

पेटाबाइट कहाँ से आता है?उनके नोड्स में 12*8 Tb SATA + 2*2 Tb SSD वाले सर्वर शामिल हैं। केवल हॉट कैश (हॉट स्टोरेज) के लिए SATA, SSD पर कोल्ड स्टोरेज।
7+9 सर्वर, (7+9) * 12 * 8 = 1536 टीबी।
स्थान का एक भाग आरक्षित है, अतिरेक आदि के लिए अलग रखा गया है।
लगभग 90 एप्लिकेशन के लॉग इलास्टिक्स खोज को भेजे जाते हैं, जिसमें कोंटूर, एल्बा आदि की सभी रिपोर्टिंग सेवाएं शामिल हैं।

सर्वर रहित पर विकास की विशेषताएं

इसके बाद सर्वरलेस के बारे में डेटाआर्ट से रुस्लान सेर्किन की एक रिपोर्ट है।

रुस्लान ने इस बारे में बात की कि सामान्य तौर पर सर्वर रहित दृष्टिकोण के साथ विकास क्या है और इसकी विशेषताएं क्या हैं।

सर्वरलेस विकास का एक दृष्टिकोण है जिसमें डेवलपर्स किसी भी तरह से बुनियादी ढांचे को नहीं छूते हैं। उदाहरण - AWS लैम्ब्डा सर्वरलेस, Kubeless.io (कुबेरनेट्स के अंदर सर्वरलेस), Google क्लाउड फ़ंक्शंस।

एक आदर्श सर्वर रहित एप्लिकेशन केवल एक फ़ंक्शन है जो एक विशेष एपीआई गेटवे के माध्यम से सर्वर रहित प्रदाता को अनुरोध भेजता है। एक आदर्श माइक्रोसर्विस, जबकि AWS लैम्ब्डा बड़ी संख्या में आधुनिक प्रोग्रामिंग भाषाओं का भी समर्थन करता है। क्लाउड प्रदाताओं के मामले में बुनियादी ढांचे को बनाए रखने और तैनात करने की लागत शून्य हो जाती है, छोटे अनुप्रयोगों का समर्थन करना भी बहुत सस्ता होगा (एडब्ल्यूएस लैम्ब्डा - $ 0.2 / 1 मिलियन सरल अनुरोध)।

ऐसी प्रणाली की स्केलेबिलिटी लगभग आदर्श है - क्लाउड प्रदाता स्वयं इसका ख्याल रखता है, कुबेरनेट्स क्लस्टर के भीतर क्यूबलेस स्केल स्वचालित रूप से होता है।

इसके नुकसान भी हैं:

• बड़े अनुप्रयोगों को विकसित करना अधिक कठिन होता जा रहा है
• प्रोफ़ाइलिंग अनुप्रयोगों में कठिनाई होती है (केवल लॉग आपके लिए उपलब्ध हैं, लेकिन सामान्य अर्थों में प्रोफ़ाइलिंग नहीं)
• कोई संस्करण नहीं

सच कहूँ तो, मैंने कुछ साल पहले सर्वरलेस के बारे में सुना था, लेकिन इन सभी वर्षों में मुझे यह स्पष्ट नहीं था कि इसका सही तरीके से उपयोग कैसे किया जाए। रुस्लान की रिपोर्ट के बाद, समझ सामने आई और बैकएंड अनुभाग से निकोलाई सेवरचकोव (ईविल मार्टियंस) की रिपोर्ट के बाद इसे समेकित किया गया। यह व्यर्थ नहीं था कि मैं सम्मेलन में गया :)

सीआई गरीबों के लिए है, या क्या वेब स्टूडियो के लिए अपना खुद का सीआई लिखना उचित है?

येकातेरिनबर्ग के फ्लैग वेब स्टूडियो के प्रमुख मिखाइल रेडियोनोव ने स्व-लिखित सीआई/सीडी के बारे में बात की।

उनका स्टूडियो "मैनुअल सीआई/सीडी" (एसएसएच के माध्यम से सर्वर में लॉग इन करें, गिट पुल करें, दिन में 100 बार दोहराएं) से जेनकिंस और एक स्व-लिखित टूल में चला गया है जो आपको कोड की निगरानी करने और पुल्किन्स नामक रिलीज़ करने की अनुमति देता है। .

जेनकींस ने काम क्यों नहीं किया? यह डिफ़ॉल्ट रूप से पर्याप्त लचीलापन प्रदान नहीं करता था और इसे अनुकूलित करना बहुत कठिन था।

"ध्वज" लारवेल (PHP ढांचे) में विकसित होता है। सीआई/सीडी सर्वर विकसित करते समय, मिखाइल और उनके सहयोगियों ने लारवेल के टेलीस्कोप और एनवॉय नामक अंतर्निहित तंत्र का उपयोग किया। परिणाम PHP में एक सर्वर है (कृपया ध्यान दें) जो आने वाले वेबहुक अनुरोधों को संसाधित करता है, फ्रंटएंड और बैकएंड का निर्माण कर सकता है, विभिन्न सर्वरों पर तैनात कर सकता है और स्लैक को रिपोर्ट कर सकता है।

फिर, नीले/हरे रंग की तैनाती करने में सक्षम होने और डेव-स्टेज-प्रोड वातावरण में समान सेटिंग्स रखने के लिए, उन्होंने डॉकर पर स्विच किया। फायदे वही रहे, पर्यावरण को समरूप बनाने और निर्बाध तैनाती की संभावनाएं जोड़ी गईं, और इसके साथ सही ढंग से काम करने के लिए डॉकर को सीखने की आवश्यकता भी जोड़ी गई।

प्रोजेक्ट Github पर है

हमने सर्वर रिलीज़ रोलबैक की संख्या को 99% तक कैसे कम किया

Devops अनुभाग में अंतिम रिपोर्ट Miro.com (पूर्व में RealTimeBoard) के लीड डेवॉप्स इंजीनियर विक्टर एरेमचेंको की थी।

रियलटाइमबोर्ड, मिरो टीम का प्रमुख उत्पाद, एक अखंड जावा एप्लिकेशन पर आधारित है। बिना डाउनटाइम के इसे एकत्रित करना, परीक्षण करना और तैनात करना एक कठिन कार्य है। इस मामले में, कोड के ऐसे संस्करण को तैनात करना महत्वपूर्ण है ताकि इसे वापस रोल न करना पड़े (यह एक भारी मोनोलिथ है)।

एक ऐसी प्रणाली बनाने की राह पर जो आपको ऐसा करने की अनुमति देती है, मिरो एक ऐसे रास्ते से गुजरा जिसमें वास्तुकला पर काम करना, इस्तेमाल किए गए उपकरण (एटलसियन बैम्बू, एन्सिबल, आदि) और टीमों की संरचना पर काम करना शामिल था (अब उनके पास है) एक समर्पित Devops टीम + विभिन्न प्रोफाइल के डेवलपर्स से कई अलग स्क्रम टीमें)।

रास्ता कठिन और कांटेदार निकला, और विक्टर ने संचित दर्द और आशावाद को साझा किया जो यहीं समाप्त नहीं हुआ।

प्रश्न पूछने पर एक किताब जीती

बैकएंड अनुभाग

मैं 2 रिपोर्टों में भाग लेने में कामयाब रहा - निकोले सेवरचकोव (ईविल मार्टियंस) से, सर्वरलेस के बारे में भी, और टेलीमेट्री के बारे में ग्रिगोरी कोशेलेव (कोंटूर कंपनी) से।

मात्र नश्वर लोगों के लिए सर्वर रहित

यदि रुस्लान सिर्किन ने सर्वरलेस क्या है, इसके बारे में बात की, तो निकोले ने सर्वरलेस का उपयोग करके सरल एप्लिकेशन दिखाए, और उन विवरणों के बारे में बात की जो एडब्ल्यूएस लैम्ब्डा में अनुप्रयोगों की लागत और गति को प्रभावित करते हैं।

एक दिलचस्प विवरण: न्यूनतम भुगतान वाला तत्व 128 एमबी मेमोरी और 100 एमएस सीपीयू है, इसकी कीमत $0,000000208 है। इसके अलावा, प्रति माह 1 मिलियन ऐसे अनुरोध निःशुल्क हैं।

निकोलाई के कुछ कार्य अक्सर 100 एमएस की सीमा से अधिक हो जाते थे (मुख्य एप्लिकेशन रूबी में लिखा गया था), इसलिए उन्हें गो में फिर से लिखने से उत्कृष्ट बचत हुई।

वोस्तोक हरक्यूलिस - टेलीमेट्री को फिर से महान बनाएं!

टेलीमेट्री के बारे में ग्रिगोरी कोशेलेव (कोंटूर कंपनी) से बैकएंड अनुभाग की नवीनतम रिपोर्ट। टेलीमेट्री का अर्थ है लॉग, मेट्रिक्स, एप्लिकेशन ट्रेस।

इस उद्देश्य के लिए, कंटूर जीथब पर पोस्ट किए गए स्व-लिखित टूल का उपयोग करता है। रिपोर्ट से उपकरण - हरक्यूलिस, github.com/vostok/hercules, का उपयोग टेलीमेट्री डेटा वितरित करने के लिए किया जाता है।

डेवॉप्स अनुभाग में व्लादिमीर लीला की रिपोर्ट में इलास्टिक्स खोज में लॉग के भंडारण और प्रसंस्करण पर चर्चा की गई है, लेकिन अभी भी कई हजारों उपकरणों और अनुप्रयोगों से लॉग वितरित करने का कार्य है, और वोस्तोक हरक्यूलिस जैसे उपकरण उन्हें हल करते हैं।

सर्किट ने कई लोगों को ज्ञात पथ का अनुसरण किया - रैबिटएमक्यू से अपाचे काफ्का तक, लेकिन सब कुछ इतना सरल नहीं है)) उन्हें सर्किट में ज़ूकीपर, कैसेंड्रा और ग्रेफाइट को जोड़ना पड़ा। मैं इस रिपोर्ट पर जानकारी का पूरी तरह से खुलासा नहीं करूंगा (मेरी प्रोफ़ाइल नहीं), यदि आप रुचि रखते हैं, तो आप सम्मेलन वेबसाइट पर स्लाइड और वीडियो की प्रतीक्षा कर सकते हैं।

इसकी तुलना अन्य सम्मेलनों से कैसे की जाती है?

मैं इसकी तुलना मॉस्को और सेंट पीटर्सबर्ग के सम्मेलनों से नहीं कर सकता, मैं इसकी तुलना उरल्स के अन्य आयोजनों और समारा में 404फेस्ट से कर सकता हूं।

DAMP 8 खंडों में आयोजित किया जाता है, यह यूराल सम्मेलनों के लिए एक रिकॉर्ड है। बहुत बड़े विज्ञान और प्रबंधन अनुभाग, यह भी असामान्य है। येकातेरिनबर्ग में दर्शक काफी संरचित हैं - शहर में यांडेक्स, कोंटूर, टिंकॉफ के लिए बड़े विकास विभाग हैं, और यह रिपोर्ट पर अपनी छाप छोड़ता है।

एक और दिलचस्प बात यह है कि कई कंपनियों के सम्मेलन में एक साथ 3-4 वक्ता होते हैं (यह कोंटूर, एविल मार्टियंस, टिंकॉफ के मामले में था)। उनमें से कई प्रायोजक थे, लेकिन रिपोर्ट दूसरों के बराबर हैं, ये विज्ञापन रिपोर्ट नहीं हैं।

जाओ या मत जाओ? यदि आप उरल्स में या उसके आस-पास रहते हैं, तो आपके पास अवसर है और आप विषयों में रुचि रखते हैं - हाँ, बिल्कुल। यदि आप लंबी यात्रा के बारे में सोच रहे हैं, तो मैं पिछले वर्षों की रिपोर्टों और वीडियो रिपोर्टों के विषयों को देखूंगा www.youtube.com/user/videoitpeople/videos और एक निर्णय लिया.
क्षेत्रों में सम्मेलनों का एक अन्य लाभ, एक नियम के रूप में, यह है कि रिपोर्ट के बाद वक्ता के साथ संवाद करना आसान होता है; ऐसे संचार के लिए आवेदक कम होते हैं।

डंप और येकातेरिनबर्ग को धन्यवाद! )

स्रोत: www.habr.com