19 हाइड्रा सिर। कार्यक्रम की शानदार झलक

11-12 जुलाई को सेंट पीटर्सबर्ग में एक सम्मेलन आयोजित किया जाएगा हीड्रासमानांतर और वितरित प्रणालियों के विकास के लिए समर्पित। हाइड्रा के बारे में बात यह है कि यह विज्ञान और अभ्यास के चौराहे पर एक बड़े कार्यक्रम में शीर्ष वैज्ञानिकों (जो आमतौर पर केवल विदेशी वैज्ञानिक सम्मेलनों में पाए जाते हैं) और जाने-माने अभ्यास करने वाले इंजीनियरों को जोड़ती है।

हाल के वर्षों में हाइड्रा हमारे सबसे महत्वपूर्ण सम्मेलनों में से एक है। यह बहुत गंभीर तैयारी, वक्ताओं और रिपोर्टों के चयन से पहले था। इसके बारे में पिछले हफ्ते habrointerview निकला JUG.ru समूह के निदेशक एलेक्सी फेडोरोव के साथ (23डेरेवो).

हम पहले ही बता दिया तीन महत्वपूर्ण प्रतिभागियों के बारे में, वितरित प्रणालियों के सिद्धांत के संस्थापक - लेस्ली लामपोर्ट, मौरिस हेर्लिही और माइकल स्कॉट। यह पूरे कार्यक्रम के बारे में और बात करने का समय है!

अभिप्रेरण

यदि आप प्रोग्रामिंग कर रहे हैं, तो एक या दूसरे तरीके से आप मल्टीथ्रेडिंग और वितरित कंप्यूटिंग से निपट रहे हैं। प्रासंगिक क्षेत्रों के विशेषज्ञ सीधे उनके साथ काम करते हैं, लेकिन स्पष्ट रूप से, वितरण हमें हर जगह से देखता है: किसी भी मल्टी-कोर कंप्यूटर या वितरित सेवा में, कुछ ऐसा होता है जो समानांतर में गणना करता है।

कई सम्मेलन हैं जो अनुप्रयोग प्रोग्रामिंग के कुछ पहलुओं को कवर करते हैं। स्पेक्ट्रम के दूसरी तरफ, हमारे पास विशेष वैज्ञानिक स्कूल हैं, व्याख्यान के प्रारूप में, बड़ी मात्रा में जटिल सिद्धांत का खुलासा करते हैं। उदाहरण के लिए, सेंट पीटर्सबर्ग में हाइड्रा के समानांतर, एसपीटीडीसी स्कूल. हाइड्रा सम्मेलन में, हमने कठोर अभ्यास, और विज्ञान, और उनके चौराहे पर मौजूद हर चीज को एक साथ लाने की कोशिश की।

इसके बारे में सोचें: हम एक अद्भुत समय में रहते हैं जहां आप विज्ञान और इंजीनियरिंग के क्षेत्र के संस्थापकों से मिल सकते हैं, जिसमें हम लाइव लगे हुए हैं। भौतिक विज्ञानी न्यूटन या आइंस्टीन से नहीं मिलेंगे - ट्रेन निकल चुकी है। लेकिन जिन लोगों ने वितरित प्रणालियों के सिद्धांत की नींव रखी, लोकप्रिय प्रोग्रामिंग भाषाओं का आविष्कार किया और पहली बार काम करने वाले प्रोटोटाइप में यह सब शामिल किया, वे अभी भी हमारे बगल में रहते हैं। इन लोगों ने आधे रास्ते में ही अपनी नौकरी नहीं छोड़ी है, वर्तमान में विश्व प्रसिद्ध विश्वविद्यालयों और कंपनियों में वास्तविक दुनिया के कार्य कर रहे हैं, और आज के ज्ञान और अनुभव के सबसे बड़े स्रोत हैं।

दूसरी ओर, उनसे मिलने का अवसर आमतौर पर विशुद्ध रूप से सैद्धांतिक रहता है: हममें से कुछ रोचेस्टर के कुछ विश्वविद्यालय में लगातार सार्वजनिक कार्यक्रमों की निगरानी कर सकते हैं ताकि बाद में संयुक्त राज्य अमेरिका और माइकल स्कॉट द्वारा एक व्याख्यान में वापस आ सकें। सामान्य रूप से हाइड्रा के सभी सदस्यों का दौरा करना एक छोटा सा सौभाग्य होगा, इसके अलावा व्यतीत समय के रसातल (हालांकि यह एक दिलचस्प खोज की तरह लगता है)।

दूसरी ओर, हमारे पास बहुत से शीर्ष इंजीनियर हैं जो अभी वितरित प्रणालियों की वास्तविक समस्याओं पर काम कर रहे हैं, और उनके पास निश्चित रूप से बताने के लिए कुछ है। लेकिन यहाँ समस्या है - वे работаютऔर उनका समय कीमती है। हां, यदि आप Microsoft, Google या JetBrains के कर्मचारी हैं, तो किसी आंतरिक कार्यक्रम में जाने-माने वक्ताओं में से किसी एक से मिलने की संभावना नाटकीय रूप से बढ़ जाती है, लेकिन सामान्य तौर पर - नहीं, यह हर दिन नहीं होता है।

इस तरह, हाइड्रा सम्मेलन एक महत्वपूर्ण कार्य को पूरा करता है जो हम में से अधिकांश अपने दम पर नहीं कर सकते - एक जगह और एक समय में, उन लोगों को एक साथ लाता है जिनके विचार या संचार आपके जीवन को बदल सकते हैं। मैं मानता हूं कि सभी को वितरित सिस्टम, कुछ जटिल मूलभूत चीजों की जरूरत नहीं है। आप अपने शेष जीवन के लिए PHP में CRUD प्रोग्राम कर सकते हैं और पूरी तरह से खुश रह सकते हैं। लेकिन किसे इसकी जरूरत है - यह आपका मौका है।

हैबे पर हाइड्रा सम्मेलन की पहली घोषणा के बाद से काफी समय बीत चुका है। इस समय के दौरान, बहुत काम किया गया है - और अब, हमारे पास लगभग सभी रिपोर्ट्स की एक सूची है। कोई सुस्त सिंगल-थ्रेडेड एल्गोरिदम नहीं, केवल शुद्ध वितरित हार्डकोर! आइए सामान्य शब्दों के साथ समाप्त करें, और देखें कि अब हमारे पास क्या है।

कीनोट्स

कीनोट सम्मेलन के दिनों को शुरू और समाप्त करते हैं। आम तौर पर उद्घाटन मुख्य वक्ता का उद्देश्य सम्मेलन की सामान्य भावना और दिशा निर्धारित करना है। समापन कीनोट एक रेखा खींचता है और बताता है कि हम सम्मेलन के दिनों के दौरान अर्जित ज्ञान और कौशल के साथ कैसे रह सकते हैं। शुरुआत और अंत: जो सबसे अच्छा याद किया जाता है, और सामान्य तौर पर, उसका मूल्य बढ़ जाता है।

क्लिफ क्लिक- H2O ने K/V एल्गोरिथम वितरित किया

क्लिफ जावा दुनिया में एक किंवदंती है। 90 के दशक के अंत में, पीएचडी थीसिस के लिए उन्होंने एक पेपर लिखा था "संयोजन विश्लेषण, संयोजन अनुकूलन", जो कुछ समय बाद HotSpot JVM Server Compiler का आधार बन गया। दो साल बाद, वह पहले से ही जेवीएम पर सन माइक्रोसिस्टम्स में काम कर रहे थे और उन्होंने पूरी दुनिया को दिखाया कि जेआईटी को अस्तित्व का अधिकार है। यह पूरी कहानी है कि क्लिफ क्लिक से जावा सबसे तेज आधुनिक रनटाइम में से एक है, जिसमें सबसे स्मार्ट और सबसे तेज अनुकूलन है। शुरुआत में यह माना जाता था कि अगर किसी स्टैटिक कंपाइलर के पास कुछ उपलब्ध है, तो आप उसे जिट करने की कोशिश भी नहीं कर सकते। क्लिफ और टीम के काम के लिए धन्यवाद, डिफ़ॉल्ट रूप से JIT संकलन के विचार से सभी नई भाषाएँ बनाई जाने लगीं। बेशक, यह किसी एक व्यक्ति का काम नहीं था, लेकिन क्लिफ ने इसमें बहुत महत्वपूर्ण भूमिका निभाई।

शुरूआती कीनोट में, क्लिफ अपने अन्य उपक्रमों के बारे में बात करेंगे - H20, औद्योगिक अनुप्रयोगों के लिए वितरित और स्केलेबल मशीन लर्निंग के लिए एक इन-मेमोरी प्लेटफॉर्म। अधिक सटीक रूप से, इसके अंदर कुंजी-मूल्य जोड़े के वितरित भंडारण के बारे में। यह एक बहुत तेज़ भंडारण है जिसमें बहुत सारी दिलचस्प विशेषताएं हैं (सटीक सूची में है विवरण) जो बड़े डेटा स्ट्रीमिंग के गणित में समान समाधानों के उपयोग की अनुमति देता है।

एक और बात जो क्लिफ देगा वह है अज़ुल हार्डवेयर ट्रांजैक्शनल मेमोरी अनुभव. उनकी जीवनी का एक और हिस्सा दस साल है Azul में काम करता है, जहां उन्होंने अज़ुल हार्डवेयर और टेक्नोलॉजी स्टैक में बहुत सी चीजों को अपडेट और बेहतर किया: जेआईटी कंपाइलर्स, रनटाइम, थ्रेड मॉडल, एरर हैंडलिंग, स्टैक मैनिपुलेशन, हार्डवेयर इंटरप्ट्स, क्लास लोडिंग, इत्यादि - ठीक है, आपको मिलता है विचार।

सबसे दिलचस्प हिस्सा तब शुरू हुआ जब उन्होंने बड़े व्यवसाय के लिए हार्डवेयर बनाया - जावा चलाने के लिए एक सुपर कंप्यूटर। यह काफी नवीन चीज थी, विशेष रूप से जावा के लिए तैयार की गई, जिसकी विशेष आवश्यकताएं हैं - कम-विराम कचरा संग्रह के लिए पढ़ने के लिए मेमोरी बाधाएं, सीमा जांच के साथ सरणी, वर्चुअल कॉल ... सबसे अच्छी तकनीकों में से एक हार्डवेयर लेनदेन मेमोरी है। 1 कोर में से किसी का भी पूरा L864 ट्रांजैक्शनल राइट में भाग ले सकता है, जो जावा में लॉक के साथ काम करने के लिए विशेष रूप से महत्वपूर्ण है (सिंक्रोनाइज़्ड ब्लॉक समानांतर में काम कर सकते हैं, जब तक कि कोई वास्तविक मेमोरी संघर्ष न हो)। लेकिन सुंदर विचार कठोर वास्तविकता के खिलाफ दुर्घटनाग्रस्त हो गया - और इस रिपोर्ट में क्लिफ आपको बताएगा कि एचटीएम और एसटीएम बहु-थ्रेडेड कंप्यूटिंग की व्यावहारिक जरूरतों के लिए उपयुक्त क्यों नहीं हैं।

माइकल स्कॉट- दोहरी डेटा संरचनाएं

माइकल स्कॉट - रोचेस्टर विश्वविद्यालय में कंप्यूटर विज्ञान के प्रोफेसर, जिनके साथ भाग्य ने उन्हें जोड़ा 34 साल के लिए पहले से ही, और विस्कॉन्सिन-मैडिसन के अपने मूल विश्वविद्यालय में, पांच साल के लिए डीन थे। वह समानांतर और वितरित प्रोग्रामिंग और भाषा डिजाइन के क्षेत्र में अनुसंधान में लगे हुए हैं और छात्रों को यह सिखाते हैं।

पूरी दुनिया माइकल को पाठ्यपुस्तक की बदौलत जानती है "प्रोग्रामिंग भाषा व्यावहारिक", जिसका नवीनतम संस्करण अपेक्षाकृत हाल ही में - 2015 में प्रकाशित हुआ था। उसकी नौकरी "साझा-मेमोरी मल्टीप्रोसेसरों पर स्केलेबल सिंक्रोनाइज़ेशन के लिए एल्गोरिदम" मैं प्राप्त दिज्क्स्ट्रा पुरस्कार वितरित कंप्यूटिंग के क्षेत्र में सबसे प्रसिद्ध में से एक के रूप में और खुलेआम झूठ बोलता है रोचेस्टर ऑनलाइन लाइब्रेरी विश्वविद्यालय में। आप उन्हें उसी माइकल-स्कॉट एल्गोरिथम के लेखक के रूप में भी जान सकते हैं "सरल, तेज, और व्यावहारिक गैर-अवरुद्ध और समवर्ती कतार एल्गोरिदम को अवरुद्ध करना".

जावा दुनिया के लिए, यह एक विशेष मामला है: डौग ली के साथ मिलकर, उन्होंने उन गैर-अवरुद्ध एल्गोरिदम और सिंक्रोनस कतारों को विकसित किया, जिन पर जावा पुस्तकालय चलते हैं। यह "दोहरी डेटा संरचनाएं" मुख्य बात होगी - जावा एसई 6 में इन संरचनाओं की शुरूआत ने हमें प्रदर्शन में 10 गुना सुधार करने की अनुमति दी java.util.concurrent.ThreadPoolExecutor. यदि आप पहले से रुचि रखते हैं कि ये "दोहरी डेटा संरचनाएं" क्या हैं, तो वहां है संबंधित कार्य.

मौरिस हर्लिही- ब्लॉकचैन और वितरित कंप्यूटिंग का भविष्य

मौरिस हर्लिही - दो दिज्क्स्त्र पुरस्कारों के विजेता। पहला काम के लिए है "प्रतीक्षा-मुक्त तुल्यकालन" (ब्राउन यूनिवर्सिटी), और दूसरा, हाल ही में - "ट्रांजेक्शनल मेमोरी: लॉक-फ्री डेटा स्ट्रक्चर्स के लिए आर्किटेक्चरल सपोर्ट" (वर्जीनिया टेक यूनिवर्सिटी)। दिज्क्स्ट्रा पुरस्कार उन कार्यों के लिए दिया जाता है जिनका महत्व और प्रभाव कम से कम दस वर्षों के लिए ध्यान देने योग्य है, और यह स्पष्ट है कि मौरिस क्षेत्र के सबसे प्रसिद्ध विशेषज्ञों में से एक हैं। वह वर्तमान में ब्राउन यूनिवर्सिटी में प्रोफेसर हैं और उनके पास उपलब्धियों का एक पैरा-लंबा रिकॉर्ड है।

इस क्लोजिंग कीनोट में, मौरिस वितरित कंप्यूटिंग के क्लासिक्स के दृष्टिकोण से ब्लॉकचैन वितरित सिस्टम के सिद्धांत और अभ्यास के बारे में बात करेंगे और यह कैसे कई संबंधित समस्याओं को सरल करता है। यह रिपोर्ट विशेष रूप से सम्मेलन के विषय पर है - खनन प्रचार के बारे में बिल्कुल नहीं, बल्कि इस बारे में कि कैसे हमारे ज्ञान को विभिन्न प्रकार के कार्यों के संबंध में आश्चर्यजनक प्रभावी ढंग से और उचित रूप से उपयोग किया जा सकता है।

जुलाई 2017 में, मौरिस पहले ही एसपीटीडीसी स्कूल में रूस आ चुके हैं, उन्होंने JUG.ru मीटअप में भाग लिया, और रिकॉर्डिंग को YouTube पर देखा जा सकता है:

मुख्य कार्यक्रम

फिर कार्यक्रम में शामिल रिपोर्टों की संक्षिप्त समीक्षा होगी। कुछ रिपोर्टों का यहाँ विस्तार से वर्णन किया गया है, कुछ का संक्षेप में। लंबे विवरण मुख्य रूप से अंग्रेजी-भाषा की रिपोर्ट के लिए गए थे, जिसमें वैज्ञानिक कागजात, विकिपीडिया पर शर्तों और इसी तरह के लिंक की आवश्यकता होती है। पूरी सूची हो सकती है सम्मेलन की वेबसाइट पर देखें. साइट पर सूची को अद्यतन और पूरक किया जाएगा।

लेस्ली लामपोर्ट- क्यू एंड ए

लेस्ली लामपोर्ट वितरित कंप्यूटिंग के अग्रणी लेखक हैं। कंडोम "लैम्पपोर्ट टीएक्स" के लिए खड़ा है। यह वह था जिसने पहली बार 1979 में अवधारणा पेश की थी सुसंगत संगति, और उनका लेख "मल्टीप्रोसेसर कंप्यूटर कैसे बनाएं जो मल्टीप्रोसेस प्रोग्राम को सही तरीके से निष्पादित करता है" दिज्क्स्ट्रा पुरस्कार प्राप्त किया।

यह प्रारूप के संदर्भ में कार्यक्रम का सबसे असामान्य हिस्सा है, क्योंकि यह एक रिपोर्ट भी नहीं है, बल्कि एक प्रश्नोत्तर सत्र है। जब दर्शकों का एक महत्वपूर्ण हिस्सा पहले से ही लामपोर्ट के सिद्धांत, उनके अपने लेखों और रिपोर्टों पर आधारित सभी प्रकार के कार्यों से परिचित है (या परिचित हो सकता है), तो यह अधिक महत्वपूर्ण है कि सभी उपलब्ध समय को प्रत्यक्ष संचार पर खर्च किया जाए।

विचार सरल है - आप YouTube पर दो रिपोर्ट देखते हैं: "प्रोग्रामिंग कोडिंग से अधिक होना चाहिए" и "यदि आप कोई प्रोग्राम नहीं लिख रहे हैं, तो प्रोग्रामिंग भाषा का प्रयोग न करें" और कम से कम एक प्रश्न और लेस्ली के उत्तर तैयार करें।

इन दो वीडियो में से पहला हमारे पास पहले ही आ चुका है बकवास में बदल गया. यदि आपके पास वीडियो देखने के लिए एक घंटे का समय नहीं है, तो आप इसे जल्दी से पाठ के रूप में पढ़ सकते हैं।

नोट: यूट्यूब पर लेस्ली लामपोर्ट के साथ और भी कई वीडियो हैं। उदाहरण के लिए, एक उत्कृष्ट है टीएलए+ कोर्स. इस पूरे पाठ्यक्रम का एक ऑफ़लाइन संस्करण पर उपलब्ध है लेखक का होम पेज, और YouTube पर उसने इसे मोबाइल उपकरणों पर अधिक सुविधाजनक देखने के लिए डाला।

मार्टिन क्लेपमैन - वितरित सहयोग के लिए उपयोगकर्ता उपकरणों में डेटा सिंक करना

मार्टिन क्लेपमैन सीआरडीटी और औपचारिक एल्गोरिथम सत्यापन पर काम कर रहे कैम्ब्रिज विश्वविद्यालय में एक शोधकर्ता हैं। मार्टिन की किताब "डेटा-गहन अनुप्रयोगों को डिजाइन करना"2017 में प्रकाशित, बहुत सफल साबित हुआ और डेटा स्टोरेज और प्रोसेसिंग के क्षेत्र में बेस्टसेलर सूची में हिट हुआ। केविन स्कॉट, माइक्रोसॉफ्ट में सीटीओ एक बार कहा गया था: “यह पुस्तक डिज़ाइन इंजीनियरों के लिए अनिवार्य होनी चाहिए। यह एक दुर्लभ संसाधन है जो डेवलपर्स को डेटा इन्फ्रास्ट्रक्चर और सिस्टम को स्मार्ट तरीके से डिजाइन और कार्यान्वित करने में मदद करने के लिए सिद्धांत और व्यवहार को जोड़ता है। काफ्का और सीटीओ कंफ्लुएंट के निर्माता जे क्रेप्स ने भी कुछ ऐसा ही कहा था।

अकादमिक अनुसंधान में जाने से पहले, मार्टिन ने उद्योग में काम किया और दो सफल स्टार्टअप्स की सह-स्थापना की:

• आपके ईमेल संपर्कों के सामाजिक प्रोफ़ाइल को प्रदर्शित करने के लिए समर्पित रैपॉर्टिव, जिसे लिंक्डइन ने 2012 में खरीदा था;
• गो टेस्ट इट, एक बहु-ब्राउज़र स्वचालित वेबसाइट चेकर जिसे रेडगेट ने 2009 में खरीदा था।

सामान्य तौर पर, हालांकि मार्टिन हमारे कीनोटर्स की तुलना में कम जाने जाते हैं, वे पहले से ही वितरित कंप्यूटिंग के विकास और उद्योग दोनों में कुछ योगदान करने में सक्षम हैं।

इस बातचीत में, मार्टिन अपने अकादमिक शोध के करीब के विषय पर बात करेंगे। Google डॉक्स और सह-लेखन दस्तावेज़ों के लिए समान सोफ़ा में, "सह-लेखन" का अर्थ एक प्रतिकृति कार्य है: प्रत्येक उपयोगकर्ता के पास एक साझा दस्तावेज़ की अपनी प्रतिकृति होती है, जिसे वे तब संशोधित करते हैं, और सभी परिवर्तन बाकी लोगों को नेटवर्क पर भेजे जाते हैं प्रतिभागियों की। दस्तावेज़ों में ऑफ़लाइन परिवर्तनों के परिणामस्वरूप अन्य प्रतिभागियों के संबंध में अस्थायी दस्तावेज़ असंगतता होती है, और पुन: सिंक्रनाइज़ेशन के लिए संघर्ष प्रबंधन की आवश्यकता होती है। इसके लिए ही हैं संघर्ष-मुक्त प्रतिकृति डेटा प्रकार (CRDT), वास्तव में, एक बिल्कुल नई चीज है, जिसका सार केवल 2011 में तैयार किया गया था। यह चर्चा चर्चा करती है कि सीआरडीटी दुनिया में तब से क्या हुआ है, नवीनतम विकास क्या हैं, सामान्य रूप से स्थानीय-प्रथम अनुप्रयोगों के निर्माण के दृष्टिकोण और एक ओपन सोर्स लाइब्रेरी के उपयोग पर चर्चा करता है। ऑटोमर्ज विशेष रूप से।

अगले हफ्ते हम मार्टिन के साथ हैबे पर एक बड़ा साक्षात्कार प्रकाशित करेंगे, यह दिलचस्प होगा।

पेड्रो रामलहेते - प्रतीक्षा-मुक्त डेटा संरचनाएँ और प्रतीक्षा-मुक्त लेनदेन

पेड्रो सिस्को में काम करता है और पिछले दस वर्षों से समांतर एल्गोरिदम विकसित कर रहा है, जिसमें सिंक्रनाइज़ेशन तंत्र, लॉक-फ्री और प्रतीक्षा-मुक्त डेटा संरचनाएं शामिल हैं, और इस विषय पर आप जो कुछ भी सोच सकते हैं। उनके वर्तमान अनुसंधान और इंजीनियरिंग हित यूनिवर्सल कंस्ट्रक्शन, सॉफ्टवेयर ट्रांजैक्शनल मेमोरी, परसिस्टेंट मेमोरी और इसी तरह की तकनीकों पर केंद्रित हैं ताकि सही, स्केलेबल और दोष-सहिष्णु अनुप्रयोगों को सक्षम किया जा सके। और वे एक ऐसे ब्लॉग के लेखक भी हैं जो संकीर्ण दायरे में व्यापक रूप से जाना जाता है संगामिति शैतान.

अधिकांश मल्टी-थ्रेडेड एप्लिकेशन अब समानांतर डेटा संरचनाओं पर चलते हैं, अभिनेताओं के बीच संदेश कतारों का उपयोग करने से लेकर की-वैल्यू स्टोर्स में अनुक्रमित डेटा संरचनाओं तक। वे कई वर्षों से जावा JDK में सफलतापूर्वक काम कर रहे हैं, और उन्हें धीरे-धीरे C ++ में जोड़ा जा रहा है।

समांतर डेटा संरचना को लागू करने का सबसे आसान तरीका एक धारावाहिक (एकल-थ्रेडेड) कार्यान्वयन है जिसमें विधियों को म्यूटेक्स द्वारा संरक्षित किया जाता है। यह किसी भी जून के लिए उपलब्ध है, लेकिन इसमें स्पष्ट स्केलिंग और प्रदर्शन के मुद्दे हैं। साथ ही, लॉक-फ्री और प्रतीक्षा-मुक्त डेटा संरचनाएं न केवल त्रुटियों को बेहतर ढंग से संभालती हैं, बल्कि एक बेहतर प्रदर्शन प्रोफ़ाइल भी रखती हैं - हालांकि, उनके विकास के लिए एक विशिष्ट उपयोग के मामले में गहन विशेषज्ञता और अनुकूलन की आवश्यकता होती है। कोड की एक गलत लाइन सब कुछ तोड़ने के लिए काफी है।

यह कैसे सुनिश्चित करें कि एक गैर-विशेषज्ञ भी ऐसी डेटा संरचनाओं को डिज़ाइन और कार्यान्वित कर सकता है? यह ज्ञात है कि किसी भी अनुक्रमिक एल्गोरिदम को या तो थ्रेड-सुरक्षित बनाया जा सकता है यूनिवर्सल डिजाइन, या लेन-देन स्मृति। एक के लिए, वे इस समस्या को हल करने के लिए प्रवेश सीमा को कम कर सकते हैं। हालाँकि, दोनों समाधान अक्षम कार्यान्वयन की ओर ले जाते हैं। पेड्रो इस बारे में बात करेंगे कि कैसे वे इन निर्माणों को अधिक कुशल बनाने में कामयाब रहे और कैसे उनका उपयोग उनके एल्गोरिदम के लिए किया जा सकता है।

हेइडी हॉवर्ड- वितरित आम सहमति को मुक्त करना

हेइडी हावर्ड, मार्टिन की तरह, कैम्ब्रिज विश्वविद्यालय में एक वितरित सिस्टम शोधकर्ता हैं। उनकी विशेषज्ञता निरंतरता, दोष सहिष्णुता, प्रदर्शन और वितरित आम सहमति है। वह पैक्सोस एल्गोरिथम नामक अपने सामान्यीकरण के लिए सबसे अच्छी तरह से जानी जाती है लचीले पैक्सो.

कि स्मरण करो Paxos - अविश्वसनीय कंप्यूटरों के एक नेटवर्क में आम सहमति की समस्या को हल करने के लिए प्रोटोकॉल का एक परिवार, जो लेस्ली लैमपोर्ट के काम पर आधारित थे। इस प्रकार, हमारे कुछ वक्ता मूल रूप से हमारे अन्य वक्ताओं द्वारा प्रस्तावित कार्यों पर काम कर रहे हैं - और यह अद्भुत है।

कई मेजबानों के बीच आम सहमति खोजने की क्षमता - संबोधित करने, नेता चयन, अवरोधन या समन्वय के लिए - आज के वितरित सिस्टम में एक मौलिक मुद्दा है। Paxos अब आम सहमति की समस्याओं को हल करने का मुख्य तरीका है, और विभिन्न व्यावहारिक आवश्यकताओं के लिए एल्गोरिथ्म का विस्तार और अनुकूलन करने के लिए इसके आसपास बहुत सारे शोध हैं।

इस रिपोर्ट में, हम Paxos के सैद्धांतिक आधार पर फिर से विचार करेंगे, प्रारंभिक आवश्यकताओं को आराम देंगे और एल्गोरिथ्म को सामान्य करेंगे। हम देखेंगे कि पैक्सोस, वास्तव में, आम सहमति के दृष्टिकोणों की एक विशाल श्रृंखला के बीच केवल एक विकल्प है, और यह कि स्पेक्ट्रम पर अन्य बिंदु भी अच्छी वितरित प्रणाली के निर्माण के लिए काफी उपयोगी हैं।

एलेक्स पेट्रोव - क्षणिक प्रतिकृति और सस्ते कोरम के साथ अपनी भंडारण लागत कम करें

एलेक्स एक डेटाबेस और स्टोरेज विशेषज्ञ है और इससे भी महत्वपूर्ण बात यह है कि एक कमिटर है कैसांद्रा. वह वर्तमान में O'Reilly के साथ डेटाबेस इंटर्नल्स बुक पर काम कर रहा है।

के साथ सिस्टम के लिए आखिरकार संगति (रूसी शब्दावली में - "अंततः सुसंगत"), एक नोड क्रैश या नेटवर्क विभाजन के बाद, निम्नलिखित दुविधा को हल करने की आवश्यकता है: या तो अनुरोधों को पूरा करना जारी रखें, निरंतरता का त्याग करें, या उन्हें निष्पादित करने से इनकार करें और उपलब्धता का त्याग करें। ऐसी प्रणाली में, कोरम, नोड्स के अतिव्यापी उपसमुच्चय और यह सुनिश्चित करना कि कम से कम एक नोड में सबसे हालिया मूल्य शामिल है, एक अच्छा बढ़त समाधान हो सकता है। सबसे हाल के मूल्यों के साथ प्रतिक्रिया जारी रखते हुए विफलताओं और कुछ नोड्स से कनेक्शन के नुकसान से बचना संभव है।

हालाँकि, हर चीज़ की अपनी कीमत होती है। एक कोरम प्रतिकृति योजना का मतलब भंडारण की बढ़ी हुई लागत है: यह सुनिश्चित करने के लिए कि कोई समस्या होने पर पर्याप्त प्रतियां उपलब्ध हों, आपको एक बार में कई नोड्स पर अनावश्यक डेटा स्टोर करना होगा। यह पता चला है कि आप सभी प्रतिकृतियों पर सभी डेटा संग्रहीत नहीं कर सकते। यदि आप डेटा को केवल नोड्स के एक हिस्से पर रखते हैं, और विफलता प्रबंधन परिदृश्यों के लिए विशेष नोड्स (क्षणिक प्रतिकृति) का उपयोग करते हैं, तो आप भंडारण पर लोड को कम कर सकते हैं।

रिपोर्ट के दौरान, हम विचार करेंगे गवाह प्रतिकृतियां, प्रतिकृति योजना में उपयोग किया जाता है नापनेवाला и मेगास्टोर, और अपाचे कैसेंड्रा में नामों के तहत इस अवधारणा का कार्यान्वयन क्षणिक प्रतिकृति और सस्ता कोरम.

दिमित्री व्याकोव - गोरोटीन उजागर

दिमित्री Google में एक डेवलपर है जो C/C++ और Go डायनेमिक टेस्टिंग पर काम कर रहा है - Linux कर्नेल के लिए पता/मेमोरी/ThreadSanitizer और इसी तरह के टूल। उन्होंने गो के लिए एक स्केलेबल गोरोटीन शेड्यूलर, एक नेटवर्क पोलर और एक समानांतर कचरा संग्राहक का योगदान दिया है। वह मल्टीथ्रेडिंग के विशेषज्ञ हैं, एक दर्जन नए नॉन-ब्लॉकिंग एल्गोरिदम के लेखक हैं और इसके मालिक हैं ब्लैक बेल्ट इंटेल।

अब थोड़ा रिपोर्ट के बारे में ही। गो भाषा में गोरोइन (हल्के धागे) और चैनल (फीफो कतार) के रूप में मल्टीथ्रेडिंग के लिए मूल समर्थन है। इन तंत्रों के लिए धन्यवाद, उपयोगकर्ताओं के लिए आधुनिक मल्टीथ्रेडेड एप्लिकेशन लिखना बहुत आसान और सुखद है, और यह जादू जैसा दिखता है। जैसा कि हम समझते हैं, यहां कोई जादू नहीं है। इस रिपोर्ट में, दिमित्री गो अनुसूचक की पेचीदगियों में तल्लीन होगी और इस "जादू" को लागू करने के रहस्यों को दिखाएगी। सबसे पहले, वह अनुसूचक के मुख्य घटकों का अवलोकन करेगा कि यह कैसे काम करता है। अगला, हम कुछ पहलुओं पर करीब से नज़र डालेंगे, जैसे कि पार्किंग / अनपार्किंग रणनीति और ब्लॉकिंग सिस्टम कॉल्स को हैंडल करना। अंत में, दिमित्री अनुसूचक में संभावित सुधारों के बारे में थोड़ी बात करेगी।

दिमित्री बुगैचेंको - संभाव्य स्केच और अधिक के साथ त्वरित वितरित ग्राफ़ विश्लेषण

दिमित्री ने विश्वविद्यालय और वैज्ञानिक समुदाय से संपर्क खोए बिना लगभग 9 वर्षों तक आउटसोर्सिंग में काम किया। Odnoklassniki में बिग डेटा विश्लेषण उनके लिए सैद्धांतिक प्रशिक्षण और वैज्ञानिक नींव को वास्तविक, इन-डिमांड उत्पादों के विकास के साथ संयोजित करने का एक अनूठा अवसर था।

वितरित ग्राफ़ विश्लेषण एक कठिन कार्य रहा है और बना हुआ है: जब पड़ोसी शीर्ष के कनेक्शन के बारे में जानकारी प्राप्त करना आवश्यक हो जाता है, तो डेटा को अक्सर मशीनों के बीच स्थानांतरित करना पड़ता है, जिससे निष्पादन समय में वृद्धि होती है और नेटवर्क पर लोड होता है। आधारभूत संरचना। इस वार्ता में, हम देखेंगे कि कैसे आप संभाव्य डेटा संरचनाओं या सामाजिक नेटवर्क में मित्रता ग्राफ की समरूपता जैसे तथ्यों का उपयोग करके प्रसंस्करण की एक महत्वपूर्ण गति प्राप्त कर सकते हैं। यह सब अपाचे स्पार्क कोड उदाहरणों के साथ सचित्र है।

डेनिस रिस्तसोव - क्षणिक प्रतिकृति और सस्ते कोरम के साथ अपनी भंडारण लागत कम करें

डेनिस - डेवलपर कॉसमॉस डीबी, निरंतरता मॉडल सत्यापन, आम सहमति एल्गोरिदम और वितरित लेनदेन में विशेषज्ञ। अब वह Microsoft में काम करता है, और इससे पहले वह Amazon और Yandex में वितरित सिस्टम में लगा हुआ था।

इस रिपोर्ट में, हम पिछले कुछ वर्षों में आविष्कार किए गए वितरित लेनदेन प्रोटोकॉल से परिचित होंगे, जो सशर्त अद्यतन (तुलना और सेट) का समर्थन करने वाले किसी भी डेटा स्टोर के शीर्ष पर ग्राहक पक्ष पर लागू किया जा सकता है। लब्बोलुआब यह है कि जीवन दो-चरण की प्रतिबद्धता के साथ समाप्त नहीं होता है, लेनदेन को किसी भी डेटाबेस के शीर्ष पर जोड़ा जा सकता है - आवेदन स्तर पर, लेकिन विभिन्न प्रोटोकॉल (2PC, Percolator, RAMP) में अलग-अलग ट्रेडऑफ़ होते हैं और हमें नहीं दिए जाते हैं मुक्त करने के लिए।

एलेक्सी ज़िनोविएव - सभी एमएल एल्गोरिदम एक वितरित स्वर्ग में समाप्त नहीं होते हैं

एलेक्सी (ज़ेलेस्लॉ) हमारे लंबे समय से अध्यक्ष हैं और अन्य सम्मेलनों में कार्यक्रम समितियों के सदस्य हैं। EPAM सिस्टम्स में एक अभ्यास प्रशिक्षक, और 2012 से Hadoop / Spark और अन्य बिगडेटा के मित्र हैं।

इस वार्ता में, एलेक्सी अपाचे स्पार्क एमएल, अपाचे महाउट, अपाचे फ्लिंक एमएल और अपाचे इग्नाइट एमएल बनाने के अपने अनुभव के आधार पर वितरित निष्पादन के लिए शास्त्रीय मशीन लर्निंग एल्गोरिदम को अपनाने की समस्याओं के बारे में बात करेंगे। एलेक्सी इन रूपरेखाओं में वितरित एमएल एल्गोरिदम के कार्यान्वयन के बारे में भी बात करेंगे।

और अंत में, यैंडेक्स से यैंडेक्स डेटाबेस के बारे में दो रिपोर्टें।

व्लादिस्लाव कुज़नेत्सोव - यैंडेक्स डेटाबेस - हम दोष सहिष्णुता कैसे प्रदान करते हैं

व्लादिस्लाव वितरित मंच समूह में यांडेक्स में एक डेवलपर है। यैंडेक्स डेटाबेस एक क्षैतिज रूप से स्केलेबल, भू-वितरित, दोष-सहिष्णु DBMS है जो डिस्क, सर्वर, रैक और डेटा केंद्रों की विफलताओं को स्थिरता से समझौता किए बिना सामना कर सकता है। दोष सहिष्णुता सुनिश्चित करने के लिए, एक मालिकाना वितरित सर्वसम्मति एल्गोरिथ्म का उपयोग किया जाता है, साथ ही साथ कई तकनीकी समाधान भी, जिन पर रिपोर्ट में विस्तार से चर्चा की गई है। रिपोर्ट DBMS डेवलपर्स और DBMS पर आधारित एप्लाइड सॉल्यूशंस के डेवलपर्स दोनों के लिए रुचि की हो सकती है।

शिमोन चेचेरिंडा - YDB में वितरित लेनदेन

Semyon YDB स्थापना के बहु-किरायेदार उपयोग की संभावना पर काम कर रहे यैंडेक्स में वितरित प्लेटफ़ॉर्म समूह में एक डेवलपर है।

यैंडेक्स डेटाबेस को ओएलटीपी प्रश्नों के लिए डिज़ाइन किया गया है और एक लेनदेन प्रणाली के लिए एसीआईडी ​​​​आवश्यकताओं को पूरा करता है। रिपोर्ट में, हम YDB ट्रांजेक्शनल सिस्टम में अंतर्निहित ट्रांजैक्शन शेड्यूलिंग एल्गोरिथम पर विचार करेंगे। आइए विश्लेषण करें कि कौन सी संस्थाएँ लेन-देन में भाग लेती हैं, जो लेन-देन के लिए एक वैश्विक आदेश प्रदान करती हैं, लेन-देन की परमाणुता, विश्वसनीयता और सख्त अलगाव स्तर कैसे प्राप्त होते हैं। एक सामान्य कार्य के उदाहरण का उपयोग करते हुए, दो-चरण की प्रतिबद्धता और नियतात्मक लेनदेन का उपयोग करके लेनदेन के कार्यान्वयन पर विचार करें। आइए उनके मतभेदों पर चर्चा करें।

आगे क्या है?

सम्मेलन का कार्यक्रम नई रिपोर्टों से भरा हुआ है। विशेष रूप से, हम से एक रिपोर्ट की अपेक्षा करते हैं निकिता कोवल (ndkoval) जेटब्रेन से और ओलेग अनास्तासिव (m0nstermind) सहपाठियों से। निकिता कोटलिन टीम में कोरटाइन के लिए एल्गोरिदम पर काम करती है, और ओलेग ओडनोकलास्निकी प्लेटफॉर्म में हाई-लोड सिस्टम के लिए आर्किटेक्चर और समाधान विकसित करता है। इसके अलावा, उम्मीदवारों के साथ 1 और सशर्त खाली स्लॉट है, जिसके लिए कार्यक्रम समिति अभी काम कर रही है।

हाइड्रा सम्मेलन 11-12 जुलाई को सेंट पीटर्सबर्ग में होगा। टिकट हो सकता है आधिकारिक वेबसाइट पर खरीदें. ऑनलाइन टिकटों की उपलब्धता पर ध्यान दें - अगर किसी कारण से आप इन दिनों सेंट पीटर्सबर्ग नहीं जा सकते हैं।

हाइड्रा में मिलते हैं!

स्रोत: www.habr.com