19 हाइड्रा हेडहरू। कार्यक्रमको उत्कृष्ट अवलोकन

एक सम्मेलन सेन्ट पीटर्सबर्ग मा जुलाई 11-12 मा हुनेछ हाइड्रा, समानान्तर र वितरण प्रणाली को विकास को लागी समर्पित। हाइड्राको चाल यो हो कि यसले कूल वैज्ञानिकहरू (जो सामान्यतया विदेशी वैज्ञानिक सम्मेलनहरूमा मात्र फेला पार्न सकिन्छ) र प्रसिद्ध अभ्यास गर्ने इन्जिनियरहरूलाई विज्ञान र अभ्यासको मिलनमा एउटा ठूलो कार्यक्रममा एकताबद्ध गर्दछ।

हाइड्रा विगत केही वर्षहरूमा हाम्रो सबैभन्दा महत्त्वपूर्ण सम्मेलनहरू मध्ये एक हो। यो धेरै गम्भीर तयारी, वक्ता चयन र रिपोर्ट द्वारा अघि थियो। यसबारे गत साता habro अन्तर्वार्ता बाहिर आयो JUG.ru समूहका निर्देशक, एलेक्सी फेडोरोभ (23 derevo).

हामी पहिले नै भनिएको छ लगभग तीन महत्त्वपूर्ण सहभागीहरू, वितरण प्रणालीको सिद्धान्तका संस्थापकहरू - लेस्ली लैमपोर्ट, मौरिस हेरलिही र माइकल स्कट। यो सम्पूर्ण कार्यक्रमको बारेमा थप विवरणमा कुरा गर्ने समय हो!

प्रेरणा

यदि तपाइँ प्रोग्रामिङमा संलग्न हुनुहुन्छ भने, त्यसपछि तपाइँ एक वा अर्को तरिकाले मल्टिथ्रेडिङ र वितरित कम्प्युटिङसँग व्यवहार गर्दै हुनुहुन्छ। सान्दर्भिक क्षेत्रहरूमा विशेषज्ञहरूले तिनीहरूसँग प्रत्यक्ष रूपमा काम गर्छन्, तर स्पष्ट रूपमा, वितरणले हामीलाई सबै ठाउँबाट हेरिरहेको छ: कुनै पनि बहु-कोर कम्प्युटर वा वितरित सेवाहरूमा समानान्तर रूपमा गणना गर्ने कामहरू छन्।

त्यहाँ धेरै सम्मेलनहरू छन् जुन अनुप्रयोग प्रोग्रामिंगका विभिन्न पक्षहरूलाई समेट्छ। स्पेक्ट्रमको अर्को छेउमा, हामीसँग विशेष वैज्ञानिक विद्यालयहरू छन् जसले व्याख्यानको ढाँचामा जटिल सिद्धान्तको विशाल मात्रा प्रकट गर्दछ। उदाहरण को लागी, सेन्ट पीटर्सबर्ग मा Hydra संग समानांतर मा छ SPTDC स्कूल. हाइड्रा सम्मेलनमा, हामीले कठोर अभ्यास, विज्ञान, र सबै कुरालाई तिनीहरूको छेउमा ल्याउने प्रयास गर्यौं।

यस बारे सोच्नुहोस्: हामी एक अचम्मको समयमा बाँचिरहेका छौं जब तपाईले अध्ययन गर्ने विज्ञान र इन्जिनियरिङको क्षेत्रका संस्थापकहरूलाई व्यक्तिगत रूपमा भेट्न सक्नुहुन्छ। भौतिकशास्त्रीहरूले न्युटन वा आइन्स्टाइनलाई भेट्ने छैनन् - ट्रेन छोडेको छ। तर हाम्रो छेउमा अझै पनि बाँचिरहेका छन् जसले वितरण प्रणालीको सिद्धान्तको आधारहरू सिर्जना गरे, लोकप्रिय प्रोग्रामिङ भाषाहरू आविष्कार गरे, र पहिलो पटक काम गर्ने प्रोटोटाइपहरूमा यी सबैलाई मूर्त रूप दिए। यी व्यक्तिहरूले आफ्नो जागिर आधा बाटोमा छोडेका छैनन्, तिनीहरू अहिले विश्व प्रसिद्ध विश्वविद्यालयहरू र कम्पनीहरूमा दबाबका मुद्दाहरूमा काम गरिरहेका छन्, र आज ज्ञान र अनुभवको सबैभन्दा ठूलो स्रोत हो।

अर्कोतर्फ, उनीहरूलाई भेट्ने अवसर सामान्यतया विशुद्ध सैद्धान्तिक रहन्छ: हामीमध्ये थोरैले रोचेस्टर विश्वविद्यालयमा सार्वजनिक कार्यक्रमहरूको निरन्तर निगरानी गर्न सक्छौं, र त्यसपछि संयुक्त राज्य अमेरिका र माइकल स्कटसँग व्याख्यानको लागि हतारिन्छौं। हाइड्राका सबै सदस्यहरूलाई भ्रमण गर्दा एक सानो भाग्य खर्च हुनेछ, खेर गएको समयको अथाह गणना नगरी (यद्यपि यो एक रोचक खोज जस्तो लाग्दछ)।

अर्कोतर्फ, हामीसँग धेरै शीर्ष ईन्जिनियरहरू छन् जसले अहिले वितरण प्रणालीहरूमा समस्याहरू थिच्न काम गरिरहेका छन्, र उनीहरूसँग निश्चित रूपमा भन्नको लागि धेरै छ। तर यहाँ समस्या छ - तिनीहरू काम गर्दैछन्र तिनीहरूको समय मूल्यवान छ। हो, यदि तपाईं माइक्रोसफ्ट, गुगल वा जेटब्रेन्सका कर्मचारी हुनुहुन्छ भने, आन्तरिक कार्यक्रममा प्रख्यात वक्ताहरू मध्ये एकलाई भेट्ने सम्भावना तीव्र रूपमा बढ्छ, तर सामान्यतया, होइन, यो हरेक दिन हुँदैन।

यसरी, हाइड्रा सम्मेलनले एउटा महत्त्वपूर्ण कार्य पूरा गर्दछ जुन हामी मध्ये धेरैले आफैले गर्न सक्दैनौं - एक ठाउँमा र एकै समयमा, यसले मानिसहरूलाई एकसाथ ल्याउँछ जसको विचार वा अन्तरक्रियाले तपाईंको जीवन परिवर्तन गर्न सक्छ। म स्वीकार्छु कि सबैलाई वितरण प्रणाली वा केहि जटिल आधारभूत चीजहरू आवश्यक पर्दैन। तपाईं आफ्नो बाँकी जीवनको लागि PHP मा CRUD हरू प्रोग्राम गर्न सक्नुहुन्छ र पूर्ण रूपमा खुसी रहन सक्नुहुन्छ। तर जसलाई यो चाहिन्छ, यो तपाइँको मौका हो।

हाब्रेमा हाइड्रा सम्मेलनको पहिलो घोषणा भएको धेरै समय बितिसकेको छ। यस समयमा, धेरै काम गरिएको छ - र अब हामीसँग लगभग सबै रिपोर्टहरूको सूची छ। कुनै सुस्त एकल-थ्रेडेड एल्गोरिदमहरू छैनन्, केवल शुद्ध वितरित हार्डकोर! सामान्य शब्दहरूसँग समाप्त गरौं र अब हाम्रो हातमा के छ हेरौं।

मुख्य नोटहरू

मुख्य नोटहरू सम्मेलनका दिनहरू सुरु र अन्त्य हुन्छन्। सामान्यतया उद्घाटनको मुख्य बिन्दु सम्मेलनको सामान्य भावना र दिशा सेट गर्नु हो। समापन कीनोटले एउटा रेखा कोर्छ र सम्मेलनको क्रममा हासिल गरेको ज्ञान र सीपहरूद्वारा हामी कसरी बाँच्न सक्छौं भनेर वर्णन गर्दछ। शुरुवात र अन्त्य: के राम्रो सम्झिन्छ, र सामान्यतया, बढेको छ।

क्लिफ क्लिक H2O ले K/V एल्गोरिथ्म वितरित गर्यो

क्लिफ जाभा संसारमा एक पौराणिक कथा हो। ९० को दशकको उत्तरार्धमा, आफ्नो पीएचडी थीसिसको लागि, उनले शीर्षकको एउटा पेपर लेखे "विश्लेषण संयोजन, अनुकूलन संयोजन", जुन केहि समय पछि हटस्पट JVM सर्भर कम्पाइलरको लागि आधार बन्यो। दुई वर्ष पछि, उसले पहिले नै JVM मा Sun Microsystems मा काम गरिरहेको थियो र JIT को अस्तित्वको अधिकार छ भनेर सम्पूर्ण संसारलाई देखायो। यो सम्पूर्ण कथा कसरी जाभा सबैभन्दा छिटो आधुनिक रनटाइमहरू मध्ये एक हो स्मार्ट र सब भन्दा छिटो अप्टिमाइजेसनहरू क्लिफ क्लिकबाट आएको हो। सुरुमा, यो विश्वास गरिएको थियो कि यदि केहि स्थिर कम्पाइलरमा पहुँचयोग्य छ भने, तपाईंले यसलाई जित्न प्रयास गर्नुपर्दैन। क्लिफ र टोलीको कामको लागि धन्यवाद, सबै नयाँ भाषाहरू पूर्वनिर्धारित रूपमा JIT संकलनको विचारको साथ सिर्जना गर्न थाले। निस्सन्देह, यो एक व्यक्तिको काम थिएन, तर क्लिफले यसमा धेरै महत्त्वपूर्ण भूमिका खेले।

उद्घाटन कीनोटमा, क्लिफले आफ्नो अर्को प्रयासको बारेमा कुरा गर्नेछन् - H20, औद्योगिक अनुप्रयोगहरूको लागि वितरित र स्केलेबल मेसिन लर्निंगको लागि इन-मेमोरी प्लेटफर्म। वा थप स्पष्ट रूपमा, यसको भित्र कुञ्जी-मान जोडीहरूको वितरित भण्डारणको बारेमा। यो धेरै चाखलाग्दो गुणहरूको साथ एक धेरै छिटो भण्डारण हो (सही सूचीमा छ विवरण), जसले ठूलो डाटा स्ट्रिमिङको गणितमा समान समाधानहरू प्रयोग गर्न अनुमति दिन्छ।

अर्को रिपोर्ट जुन क्लिफले दिनेछ - Azul हार्डवेयर लेनदेन मेमोरी अनुभव। उनको जीवनी को अर्को भाग - दस वर्ष Azul मा काम गर्नुहुन्छ, जहाँ उसले Azul हार्डवेयर र टेक्नोलोजी स्ट्याकमा धेरै चीजहरू अद्यावधिक र सुधार गर्यो: JIT कम्पाइलरहरू, रनटाइम, थ्रेड मोडेल, त्रुटि ह्यान्डलिंग, स्ट्याक ह्यान्डलिंग, हार्डवेयर अवरोधहरू, क्लास लोडिङ, र यस्तै र यस्तै अन्य - राम्रो, तपाईंले प्राप्त गर्नुभयो। विचार।

सबैभन्दा चाखलाग्दो भाग सुरु भयो जब तिनीहरूले ठूलो व्यापारको लागि हार्डवेयर बनाए - जाभा चलाउनको लागि एक सुपर कम्प्युटर। यो एक बरु अभिनव कुरा थियो, जाभाको लागि विशेष रूपमा तयार गरिएको, जसमा विशेष आवश्यकताहरू छन् - कम-पज फोहोर सङ्कलनका लागि मेमोरी बाधाहरू पढ्नुहोस्, सीमा जाँचको साथ एरेहरू, भर्चुअल कलहरू... उत्कृष्ट प्रविधिहरू मध्ये एक हार्डवेयर लेनदेन मेमोरी हो। कुनै पनि 1 कोरको सम्पूर्ण L864 लेनदेन लेखनमा भाग लिन सक्छ, जुन जाभामा लकहरूसँग काम गर्नको लागि विशेष गरी महत्त्वपूर्ण छ (सिंक्रोनाइज्ड ब्लकहरूले समानान्तर रूपमा काम गर्न सक्छन् जबसम्म त्यहाँ कुनै वास्तविक मेमोरी विवाद छैन)। तर सुन्दर विचार कठोर वास्तविकता द्वारा कुचिएको थियो - र यस कुराकानीमा क्लिफले तपाईलाई बताउनेछ किन HTM र STM बहु-थ्रेडेड कम्प्युटिङको व्यावहारिक आवश्यकताहरूको लागि धेरै उपयुक्त छैनन्।

माइकल स्कट - दोहोरो डाटा संरचना

माइकल स्कट - रोचेस्टर विश्वविद्यालयमा कम्प्युटर विज्ञानका प्रोफेसर, जससँग भाग्यले उहाँलाई जोडेको थियो पहिले नै 34 वर्ष पुरानो, र आफ्नो घर विस्कन्सिन-म्याडिसन विश्वविद्यालयमा, उहाँ पाँच वर्षको लागि डीन हुनुहुन्थ्यो। उहाँले विद्यार्थीहरूलाई समानान्तर र वितरित प्रोग्रामिङ र भाषा डिजाइनको बारेमा अनुसन्धान र सिकाउनुहुन्छ।

पाठ्यपुस्तकका कारण माइकललाई सारा संसारले चिन्छ "प्रोग्रामिङ भाषा व्यावहारिकता", जसको नवीनतम संस्करण अपेक्षाकृत हालै प्रकाशित भएको थियो - 2015 मा। उसको काम "साझा-मेमोरी मल्टिप्रोसेसरहरूमा स्केलेबल सिंक्रोनाइजेसनको लागि एल्गोरिदमहरू" प्राप्त भयो Dijkstra पुरस्कार वितरित कम्प्युटिङ को क्षेत्र मा सबै भन्दा प्रसिद्ध मध्ये एक को रूपमा र खुलेआम झुट बोलेको रोचेस्टर विश्वविद्यालय अनलाइन पुस्तकालय मा। तपाईले उहाँलाई माइकल-स्कट एल्गोरिथ्मको लेखकको रूपमा पनि चिन्न सक्नुहुन्छ "सरल, छिटो, र व्यावहारिक गैर-ब्लकिङ र ब्लकिङ समवर्ती लाम एल्गोरिदमहरू".

जाभा संसारको लागि, यो एक विशेष मामला हो: डग लीसँग मिलेर, उनले नन-ब्लकिङ एल्गोरिदमहरू र जाभा पुस्तकालयहरूले काम गर्ने सिंक्रोनस लाइनहरू विकास गरे। यो "दोहोरो डेटा संरचनाहरू" कीनोटको बारेमा के हुनेछ - Java SE 6 मा यी संरचनाहरूको परिचयले प्रदर्शनमा १० गुणा सुधार गरेको छ। java.util.concurrent.ThreadPoolExecutor। यदि तपाइँ पहिले नै सोच्दै हुनुहुन्छ कि यी "दोहोरो डाटा संरचना" के हो, तब यसको बारेमा जानकारी छ सम्बन्धित काम.

मौरिस हेरलिही - Blockchains र वितरित कम्प्युटिङ को भविष्य

मौरिस हेरलिही - दुई Dijkstra पुरस्कार विजेता। पहिलो कामको लागि हो "प्रतीक्षा-मुक्त सिंक्रोनाइजेसन" (ब्राउन युनिभर्सिटी), र दोस्रो, हालसालै - "ट्रान्जेक्शनल मेमोरी: लक-मुक्त डाटा संरचनाहरूको लागि वास्तु समर्थन" (भर्जिनिया टेक विश्वविद्यालय)। Dijkstra पुरस्कार कम्तिमा दस वर्ष देखि देखिने काम को महत्व र प्रभाव को मान्यता दिन्छ, र मौरिस स्पष्ट रूप मा क्षेत्र मा सबै भन्दा प्रसिद्ध विशेषज्ञहरु मध्ये एक हो। उहाँ हाल ब्राउन विश्वविद्यालयमा प्रोफेसरको रूपमा काम गर्नुहुन्छ र उपलब्धिहरूको अनुच्छेद-लामो सूची छ।

यस समापन कीनोटमा, मौरिसले वितरित कम्प्युटिङको क्लासिक्सको दृष्टिकोणबाट ब्लकचेन वितरित प्रणालीहरूको सिद्धान्त र अभ्यासको बारेमा कुरा गर्नेछन् र यसले कसरी धेरै सम्बन्धित समस्याहरूलाई सरल बनाउँछ। यो सम्मेलनको विषयमा विशेष रूपमा एउटा रिपोर्ट हो - खनन हाइपको बारेमा होइन, तर हाम्रो ज्ञानलाई विभिन्न कार्यहरूको सम्बन्धमा कसरी अचम्मको प्रभावकारी र उचित रूपमा प्रयोग गर्न सकिन्छ भन्ने बारे।

जुलाई 2017 मा, मौरिस पहिले नै SPTDC स्कूलमा भाग लिन रूस आएका थिए, JUG.ru बैठकमा भाग लिइन्, र रेकर्डिङ YouTube मा हेर्न सकिन्छ:

मुख्य कार्यक्रम

त्यसपछि कार्यक्रममा समावेश गरिएका प्रतिवेदनहरूको संक्षिप्त अवलोकन हुनेछ। केही रिपोर्टहरू यहाँ विस्तृत रूपमा वर्णन गरिएको छ, अरूहरू थप संक्षिप्त रूपमा। लामो विवरणहरू मुख्यतया अङ्ग्रेजी-भाषा रिपोर्टहरूमा गएका थिए जसमा वैज्ञानिक कागजातहरू, विकिपिडियामा सर्तहरू, र यस्तै अन्य लिङ्कहरू आवश्यक पर्दछ। पूर्ण सूची उपलब्ध छ सम्मेलन वेबसाइटमा हेर्नुहोस्। वेबसाइटमा सूची अद्यावधिक र पूरक हुनेछ।

लेस्ली लामपोर्ट - प्रश्नोत्तर

Leslie Lamport वितरित कम्प्युटिङ मा सेमिनल काम को लेखक हो। "LaTeX" "Lamport TeX" को लागि खडा छ। उनले नै पहिलो पटक सन् १९७९ मा यो अवधारणा ल्याएका थिए क्रमिक स्थिरता, र उनको लेख "कसरी मल्टिप्रोसेसर कम्प्युटर बनाउने जसले मल्टिप्रोसेस प्रोग्रामहरू सही रूपमा कार्यान्वयन गर्दछ" Dijkstra पुरस्कार प्राप्त गरे।

यो ढाँचामा कार्यक्रमको सबैभन्दा असामान्य भाग हो, किनभने यो रिपोर्ट पनि होइन, तर प्रश्न र उत्तर सत्र हो। जब श्रोताहरूको एक महत्त्वपूर्ण भाग पहिले नै परिचित छ (वा परिचित हुन सक्छ) "Lamport's सिद्धान्त", उहाँका आफ्नै लेख र रिपोर्टहरूमा आधारित सबै प्रकारका कामहरू, प्रत्यक्ष सञ्चारमा सबै उपलब्ध समय खर्च गर्न महत्त्वपूर्ण छ।

विचार सरल छ - तपाईंले YouTube मा दुई रिपोर्टहरू हेर्नुहुन्छ: "प्रोग्रामिङ कोडिङ भन्दा बढी हुनुपर्छ" и "यदि तपाइँ प्रोग्राम लेख्नुहुन्न भने, प्रोग्रामिङ भाषा प्रयोग नगर्नुहोस्" र कम्तिमा एउटा प्रश्न तयार गर्नुहोस्, र लेस्ली जवाफ दिनुहोस्।

यी दुई मध्ये पहिलो भिडियो हामीसँग पहिले नै छ हब्रो लेखमा परिणत भयो। यदि तपाइँसँग भिडियो हेर्नको लागि एक घण्टा समय छैन भने, तपाइँ यसलाई द्रुत रूपमा पाठ फारममा पढ्न सक्नुहुन्छ।

नोट: YouTube मा धेरै धेरै Leslie Lamport भिडियोहरू छन्। उदाहरण को लागी, त्यहाँ एक उत्कृष्ट छ TLA+ पाठ्यक्रम। यस सम्पूर्ण पाठ्यक्रमको अफलाइन संस्करण यहाँ उपलब्ध छ लेखकको गृह पृष्ठ, र उनले मोबाइल उपकरणहरूमा सजिलो हेर्नको लागि YouTube मा अपलोड गरे।

मार्टिन क्लेपम्यान - वितरित सहयोगको लागि प्रयोगकर्ता उपकरणहरूमा डेटा सिंक गर्दै

मार्टिन क्लेपम्यान क्याम्ब्रिज विश्वविद्यालयमा CRDT र एल्गोरिदमको औपचारिक प्रमाणीकरणमा काम गर्ने अनुसन्धानकर्ता हुन्। मार्टिनको पुस्तक "डेटा-गहन अनुप्रयोगहरू डिजाइन गर्दै", 2017 मा प्रकाशित, धेरै सफल साबित भयो र यसलाई डाटा भण्डारण र प्रशोधन को क्षेत्र मा बेस्टसेलर सूची मा बनायो। केभिन स्कट, माइक्रोसफ्टमा CTO, एक पटक भने: “यो पुस्तक सफ्टवेयर इन्जिनियरहरूको लागि अनिवार्य हुनुपर्छ। यो एक दुर्लभ स्रोत हो जसले विकासकर्ताहरूलाई पूर्वाधार र डेटा प्रणालीहरूको डिजाइन र कार्यान्वयनमा स्मार्ट मद्दत गर्न सिद्धान्त र अभ्यासलाई जोड्दछ। काफ्काका निर्माता र कन्फ्लुएन्टका सीटीओ, जे क्रेप्सले पनि यस्तै कुरा भनेका छन्।

अकादमिक अनुसन्धानमा जानु अघि, मार्टिनले उद्योगमा काम गरे र दुई सफल स्टार्ट-अपहरूको सह-स्थापना गरे:

• रिपोर्टिभ, तपाईंको इमेलबाट सम्पर्कहरूको सामाजिक प्रोफाइल प्रदर्शन गर्न समर्पित, जुन LinkedIn 2012 मा किनेको थियो;
• Go Test It, विभिन्न ब्राउजरहरूमा स्वचालित रूपमा वेबसाइटहरू परीक्षण गर्ने सेवा, जुन RedGate ले 2009 मा किनेको थियो।

सामान्यतया, मार्टिन, हाम्रो मुख्य नोटहरू भन्दा कम प्रसिद्ध भए पनि, पहिले नै वितरित कम्प्युटिङ र उद्योगको विकासमा केही योगदान गर्न सक्षम भएको छ।

यस कुराकानीमा, मार्टिनले आफ्नो शैक्षिक अनुसन्धानको नजिकको विषयको बारेमा कुरा गर्नेछन्। गुगल कागजात र समान कागजात सह-सम्पादन सोफाहरूमा, "सहयोगी सम्पादन" ले प्रतिकृति कार्यलाई बुझाउँछ: प्रत्येक प्रयोगकर्तासँग साझा कागजातको आफ्नै प्रतिकृति हुन्छ, जसलाई उनीहरूले परिमार्जन गर्छन्, र सबै परिवर्तनहरू नेटवर्कमा बाँकी रहेकाहरूलाई पठाइन्छ। सहभागीहरू। कागजातहरू अफलाइनमा परिवर्तनहरूले अन्य सहभागीहरूको सम्बन्धमा कागजातको अस्थायी असंगतता निम्त्याउँछ, र पुन: सिंक्रोनाइजेसनलाई द्वन्द्व ह्यान्डलिंग आवश्यक पर्दछ। ठ्याक्कै त्यसको लागि तिनीहरू अवस्थित छन् द्वन्द्वरहित प्रतिकृति डेटा प्रकारहरू (CRDT), वास्तवमा, एकदम नयाँ कुरा हो, जसको सार 2011 मा मात्र बनाइएको थियो। यो वार्ताले CRDT को संसारमा त्यसबेलादेखि के भयो, सबैभन्दा भर्खरको प्रगतिहरू के हो, सामान्यतया स्थानीय-पहिलो अनुप्रयोगहरू सिर्जना गर्ने दृष्टिकोण र खुला स्रोत पुस्तकालयको प्रयोगको बारेमा छलफल गर्दछ। अटोमर्ज खासमा।

अर्को हप्ता हामी Habré मा मार्टिन संग एक लामो अन्तर्वार्ता प्रकाशित गर्नेछौं, यो रोचक हुनेछ।

पेड्रो रामल्हेटे - प्रतीक्षा-मुक्त डेटा संरचनाहरू र प्रतीक्षा-रहित लेनदेनहरू

Pedro Cisco मा काम गर्दछ र गत दश वर्षदेखि समानान्तर एल्गोरिदमहरू विकास गर्दै आएको छ, सिङ्क्रोनाइजेसन मेकानिजमहरू, लक-फ्री र पर्ख-रहित डेटा संरचनाहरू र तपाईंले यस विषयमा कल्पना गर्न सक्ने सबै कुराहरू सहित। उनको हालको अनुसन्धान र इन्जिनियरिङ रुचिहरू विश्वव्यापी निर्माण, सफ्टवेयर लेनदेन मेमोरी, पर्सिस्टेन्ट मेमोरी र यस्तै प्रविधिहरूमा केन्द्रित छन् जसले सही, स्केलेबल र गल्ती-सहिष्णु अनुप्रयोगहरू सक्षम गर्दछ। उहाँ साँघुरो सर्कलहरूमा व्यापक रूपमा परिचित ब्लगको लेखक पनि हुनुहुन्छ Concurrency Freaks.

धेरैजसो मल्टिथ्रेड गरिएका एप्लिकेसनहरू अब समानान्तर डेटा संरचनाहरूमा चल्छन्, अभिनेताहरू बीचको सन्देश लाइनहरूको प्रयोगदेखि लिएर कुञ्जी-मान स्टोरहरूमा अनुक्रमित डेटा संरचनाहरूमा। तिनीहरू धेरै वर्षदेखि Java JDK मा सफलतापूर्वक काम गर्दैछन्, र तिनीहरू बिस्तारै C++ मा थपिँदैछन्।

समानान्तर डेटा संरचना लागू गर्ने सबैभन्दा सरल तरिका अनुक्रमिक (एकल-थ्रेडेड) कार्यान्वयन हो जसमा विधिहरू म्यूटेक्सहरूद्वारा सुरक्षित हुन्छन्। यो जुनसुकै जुनमा पहुँचयोग्य छ, तर स्केलिंग र प्रदर्शनसँग स्पष्ट समस्याहरू छन्। एकै समयमा, लक-फ्री र पर्ख-रहित डेटा संरचनाहरूले त्रुटिहरूसँग राम्रोसँग सामना मात्र गर्दैन, तर राम्रो प्रदर्शन प्रोफाइल पनि छ - यद्यपि, तिनीहरूको विकासको लागि गहिरो विशेषज्ञता र विशेष अनुप्रयोगमा अनुकूलन आवश्यक छ। कोडको एक गलत लाइन सबै कुरा तोड्न पर्याप्त छ।

हामी यसलाई कसरी बनाउन सक्छौं ताकि एक गैर-विज्ञले पनि त्यस्ता डाटा संरचनाहरू डिजाइन र कार्यान्वयन गर्न सकून्? यो ज्ञात छ कि कुनै पनि क्रमिक एल्गोरिथ्म या त प्रयोग गरेर थ्रेड सुरक्षित बनाउन सकिन्छ विश्वव्यापी डिजाइन, वा लेनदेन मेमोरी। एउटा कुराको लागि, तिनीहरूले यो समस्या समाधान गर्न प्रवेशमा अवरोध कम गर्न सक्छन्। यद्यपि, दुवै समाधानहरू सामान्यतया अप्रभावी कार्यान्वयनको नेतृत्व गर्छन्। पेड्रोले उनीहरूले यी डिजाइनहरूलाई अझ प्रभावकारी बनाउन कसरी प्रबन्ध गरे र तपाइँ तिनीहरूलाई तपाइँको एल्गोरिदमहरूको लागि कसरी प्रयोग गर्न सक्नुहुन्छ भन्ने बारे कुरा गर्नेछन्।

हेइडी हावर्ड - मुक्ति वितरित सहमति

हेइडी होवार्ड, मार्टिन जस्तै, क्याम्ब्रिज विश्वविद्यालयमा वितरण प्रणाली अनुसन्धानकर्ता हुन्। उनको विशेषताहरू स्थिरता, दोष सहिष्णुता, प्रदर्शन र वितरित सहमति हो। उनी पाक्सोस एल्गोरिथ्म भनिने उनको सामान्यीकरणको लागि राम्रोसँग परिचित छिन् लचिलो Paxos.

याद पाक्सोस लेस्ली ल्याम्पोर्टको काममा आधारित अविश्वसनीय कम्प्युटरहरूको नेटवर्कमा सहमतिको समस्या समाधान गर्ने प्रोटोकलहरूको परिवार हो। यसरी, हाम्रा केही वक्ताहरूले समस्याहरूमा काम गरिरहेका छन् जुन मूल रूपमा हाम्रा अन्य वक्ताहरूले प्रस्ताव गरेका थिए - र यो अद्भुत छ।

धेरै होस्टहरू बीच सहमति खोज्ने क्षमता - सम्बोधन, नेता चयन, अवरोध, वा समन्वय - आधुनिक वितरण प्रणालीहरूमा एक आधारभूत मुद्दा हो। Paxos अब सहमति समस्याहरू समाधान गर्ने मुख्य तरिका हो, र विभिन्न व्यावहारिक आवश्यकताहरूको लागि एल्गोरिदम विस्तार र अनुकूलन गर्न यसको वरिपरि धेरै अनुसन्धान भइरहेको छ।

यस कुराकानीमा, हामी पाक्सोसको सैद्धान्तिक आधारलाई पुन: अवलोकन गर्नेछौं, मौलिक आवश्यकताहरूलाई आराम गर्दै र एल्गोरिदमलाई सामान्यीकरण गर्दै। हामी देख्नेछौं कि Paxos अनिवार्य रूपमा सहमतिको दृष्टिकोणको विशाल दायराको बीचमा एउटा मात्र विकल्प हो, र स्पेक्ट्रममा अन्य बिन्दुहरू पनि राम्रो वितरण प्रणालीहरू निर्माण गर्न धेरै उपयोगी छन्।

एलेक्स पेट्रोभ - क्षणिक प्रतिकृति र सस्तो कोरम संग आफ्नो भण्डारण लागत घटाउनुहोस्

एलेक्स एक डाटाबेस र भण्डारण प्रणाली विशेषज्ञ हो, र हाम्रो लागि अझ महत्त्वपूर्ण कुरा, एक प्रतिबद्धकर्ता Cassandra। उहाँ हाल O'Reilly सँग एउटा पुस्तक, डाटाबेस इन्टरनलमा काम गर्दै हुनुहुन्छ।

संग प्रणाली को लागी अन्तिम स्थिरता (रूसी शब्दावलीमा - "अन्तिम स्थिरता"), नोड क्र्यास वा नेटवर्क विभाजन पछि, तपाईंले निम्न दुविधा समाधान गर्न आवश्यक छ: या त अनुरोधहरू कार्यान्वयन गर्न जारी राख्नुहोस्, स्थिरता त्याग गर्दै, वा तिनीहरूलाई कार्यान्वयन गर्न अस्वीकार गर्नुहोस् र उपलब्धता त्याग गर्नुहोस्। यस्तो प्रणालीमा, कोरमहरू, नोडहरूको ओभरल्यापिंग सबसेटहरू र कम्तिमा एउटा नोडमा सबैभन्दा भर्खरको मान समावेश छ भनी सुनिश्चित गर्नु, राम्रो किनारा समाधान हुन सक्छ। तपाईं असफलताहरू र केही नोडहरूमा जडानको हानिबाट बच्न सक्नुहुन्छ जबकि अझै नयाँ मानहरूसँग प्रतिक्रिया दिँदै हुनुहुन्छ।

यद्यपि, सबै कुराको यसको मूल्य छ। कोरम प्रतिकृति योजना भनेको बढ्दो भण्डारण लागत हो: अनावश्यक डेटा एकै पटक धेरै नोडहरूमा भण्डारण गरिनु पर्छ कि समस्या हुँदा पर्याप्त प्रतिलिपिहरू उपलब्ध छन् भनेर सुनिश्चित गर्न। यो बाहिर जान्छ कि तपाईंले सबै प्रतिकृतिहरूमा सबै डाटा भण्डारण गर्नुपर्दैन। यदि तपाईंले नोडहरूको भागमा मात्र डाटा भण्डार गर्नुभयो भने, र विफलता ह्यान्डलिङ परिदृश्यहरूको लागि विशेष नोडहरू (ट्रान्जिएन्ट प्रतिकृति) प्रयोग गर्नुहुन्छ भने तपाईंले भण्डारणमा लोड घटाउन सक्नुहुन्छ।

रिपोर्टको क्रममा हामी विचार गर्नेछौं साक्षी प्रतिकृतिहरू, मा प्रयोग गरिएको प्रतिकृति योजना स्प्यानर и मेगास्टोर, र Apache Cassandra मा यो अवधारणा को कार्यान्वयन भनिन्छ क्षणिक प्रतिकृति र सस्तो कोरम.

दिमित्री Vyukov - गोराउटिनहरू पर्दाफास

दिमित्री Google मा C/C++ र Go - Address/Memory/ThreadSanitizer, र Linux कर्नेलका लागि समान उपकरणहरूको लागि गतिशील परीक्षणमा काम गर्ने विकासकर्ता हो। Go मा स्केलेबल गोराउटिन शेड्युलर, नेटवर्क पोलर र समानान्तर फोहोर संकलनकर्तामा योगदान गरियो। उहाँ मल्टिथ्रेडिङमा विशेषज्ञ हुनुहुन्छ, दर्जनौं नयाँ गैर-ब्लकिङ एल्गोरिदमका लेखक हुनुहुन्छ र कालो पेटी इंटेल।

अब थोरै प्रतिवेदनको बारेमा। Go भाषामा गोराउटिनहरू (लाइट थ्रेडहरू) र च्यानलहरू (FIFO लामहरू) को रूपमा मल्टिथ्रेडिङको लागि नेटिभ समर्थन छ। यी संयन्त्रहरूले प्रयोगकर्ताहरूलाई आधुनिक बहु-थ्रेडेड अनुप्रयोगहरू लेख्न धेरै सजिलो र रमाइलो बनाउँदछ, र यो जादू जस्तो देखिन्छ। हामीले बुझेझैं, यहाँ कुनै जादू छैन। यस कुराकानीमा, दिमित्रीले गो शेड्युलरको जटिलताहरूमा खोजी गर्नेछन् र यो "जादू" लागू गर्ने रहस्यहरू देखाउनेछन्। पहिले, उसले अनुसूचकको मुख्य भागहरूको एक सिंहावलोकन दिनेछ र यसले कसरी काम गर्छ भनेर बताउनेछ। अर्को, हामी पार्किङ/अनपार्किङ रणनीति र ब्लकिङ सिस्टम कलहरू ह्यान्डल गर्ने जस्ता व्यक्तिगत पक्षहरूलाई नजिकबाट हेर्नेछौं। अन्तमा, दिमित्रीले अनुसूचकमा सम्भावित सुधारहरूको बारेमा थोरै कुरा गर्नेछन्।

दिमित्री बुगाइचेन्को - सम्भावित स्केचहरू र थपको साथ वितरित ग्राफ विश्लेषणको गति बढाउनुहोस्

दिमित्रीले विश्वविद्यालय र वैज्ञानिक समुदायसँग सम्पर्क नगुमाई लगभग 9 वर्षसम्म आउटसोर्सिङमा काम गरे। Odnoklassniki मा ठूलो डेटा विश्लेषण उहाँको लागि वास्तविक, मा-माग उत्पादनहरु को विकास संग सैद्धांतिक प्रशिक्षण र वैज्ञानिक आधार को संयोजन गर्न को लागी एक अद्वितीय अवसर बन्यो।

वितरित ग्राफ विश्लेषण एक कठिन कार्य भएको छ र रहन्छ: जब छिमेकी भेर्टेक्सको जडानहरूको बारेमा जानकारी प्राप्त गर्न आवश्यक हुन्छ, डाटा प्राय: मेसिनहरू बीच स्थानान्तरण गर्नुपर्दछ, जसले नेटवर्क पूर्वाधारमा कार्यान्वयन समय र लोड बढाउँछ। यस कुराकानीमा, हामी तपाइँ कसरी सम्भाव्य डेटा संरचना वा सामाजिक सञ्जालमा मित्रता ग्राफको सममिति जस्ता तथ्यहरू प्रयोग गरेर महत्त्वपूर्ण प्रशोधन गति प्राप्त गर्न सक्नुहुन्छ भनेर देख्नेछौं। यो सबै Apache Spark मा कोड उदाहरणहरु संग चित्रण गरिएको छ।

डेनिस Rystsov - क्षणिक प्रतिकृति र सस्तो कोरम संग आफ्नो भण्डारण लागत घटाउनुहोस्

डेनिस - विकासकर्ता Cosmos DB, स्थिरता मोडेलहरू, सहमति एल्गोरिदमहरू, र वितरित लेनदेनहरू जाँच गर्ने विशेषज्ञ। उहाँ हाल माइक्रोसफ्टमा काम गर्नुहुन्छ, र त्यो भन्दा पहिले उहाँले Amazon र Yandex मा वितरित प्रणालीहरूमा काम गर्नुभयो।

यस कुराकानीमा, हामी विगत केही वर्षहरूमा आविष्कार गरिएका वितरित लेनदेन प्रोटोकलहरूमा एक नजर राख्नेछौं, जुन सशर्त अद्यावधिक (तुलना र सेट) लाई समर्थन गर्ने कुनै पनि डाटा स्टोरको शीर्षमा ग्राहक पक्षमा लागू गर्न सकिन्छ। मुख्य कुरा यो हो कि जीवन दुई-चरण प्रतिबद्धता संग समाप्त हुँदैन, लेनदेन कुनै पनि डाटाबेस को शीर्ष मा थप्न सकिन्छ - आवेदन स्तर मा, तर विभिन्न प्रोटोकल (2PC, Percolator, RAMP) फरक ट्रेडअफ छ र हामीलाई दिइएको छैन। सित्तैमा।

एलेक्सी जिनोभिएभ - सबै ML एल्गोरिदमहरूले यसलाई वितरित स्वर्गमा बनाउँदैनन्

एलेक्सी (zaleslaw) लामो समयदेखि वक्ता र अन्य सम्मेलनहरूमा कार्यक्रम समितिहरूको सदस्य हुनुहुन्छ। EPAM Systems मा प्रशिक्षक अभ्यास गर्दै, र 2012 देखि Hadoop/Spark र अन्य ठूला डाटासँग साथी भएको छ।

यस वार्तामा, एलेक्सीले Apache Spark ML, Apache Mahout, Apache Flink ML सँग काम गरेको अनुभव र Apache Ignite ML सिर्जना गर्ने अनुभवको आधारमा वितरित मोडमा कार्यान्वयनको लागि क्लासिकल मेसिन लर्निङ एल्गोरिदमहरू अनुकूलन गर्ने समस्याहरूको बारेमा कुरा गर्नेछन्। एलेक्सीले यी फ्रेमवर्कहरूमा वितरित एमएल एल्गोरिदमहरूको कार्यान्वयनको बारेमा पनि कुरा गर्नेछ।

र अन्तमा, Yandex डाटाबेस बारे Yandex बाट दुई रिपोर्ट।

भ्लादिस्लाव कुज्नेत्सोभ - यान्डेक्स डाटाबेस - हामी कसरी दोष सहिष्णुता सुनिश्चित गर्छौं

Vladislav वितरित प्लेटफर्म समूहमा Yandex मा एक विकासकर्ता हो। यान्डेक्स डाटाबेस एक तेर्सो मापनयोग्य, भू-वितरित, दोष-सहिष्णु DBMS हो जसले स्थिरता नगुमाई डिस्क, सर्भर, र्याक र डाटा केन्द्रहरूको विफलतालाई सामना गर्न सक्छ। गल्ती सहिष्णुता सुनिश्चित गर्न, वितरित सहमति प्राप्त गर्नको लागि स्वामित्व एल्गोरिदम प्रयोग गरिन्छ, साथै धेरै प्राविधिक समाधानहरू, जसलाई रिपोर्टमा विस्तृत रूपमा छलफल गरिएको छ। रिपोर्ट दुबै DBMS विकासकर्ताहरू र DBMS मा आधारित अनुप्रयोग समाधानहरूको विकासकर्ताहरूको लागि चासोको हुन सक्छ।

Semyon Checherinda - YDB मा वितरित लेनदेन

Semyon Yandex मा वितरित प्लेटफर्म समूहमा एक विकासकर्ता हो, YDB स्थापनाको बहु-भाडादार प्रयोगको सम्भावनामा काम गर्दै।

Yandex डाटाबेस OLTP प्रश्नहरूको लागि डिजाइन गरिएको हो र लेनदेन प्रणालीको लागि ACID आवश्यकताहरूको पालना गर्दछ। यस प्रतिवेदनमा, हामी YDB लेनदेन प्रणालीलाई अन्तर्निहित गर्ने लेनदेन समयतालिका एल्गोरिदमलाई विचार गर्नेछौं। लेनदेनमा कुन-कुन संस्थाहरू सहभागी हुन्छन्, लेनदेनलाई विश्वव्यापी आदेश कसले तोकेको छ, कसरी लेनदेनको परमाणु, विश्वसनीयता, र कडा स्तरको पृथकता हासिल गरिन्छ भनी हेरौं। उदाहरणको रूपमा एक सामान्य समस्या प्रयोग गर्दै, दुई-चरण कमिटहरू र निर्धारणात्मक लेनदेनहरू प्रयोग गरेर लेनदेन कार्यान्वयनहरू हेरौं। तिनीहरूको भिन्नताहरू छलफल गरौं।

के अर्को छ?

सम्मेलन कार्यक्रम नयाँ रिपोर्टहरूले भरिने क्रम जारी छ। विशेष गरी, हामी प्रतिवेदनको अपेक्षा गर्दछौं निकिता कोवल (ndkoval) JetBrains र ओलेग अनास्तासेव (m0nstermind) Odnoklassniki कम्पनीबाट। निकिताले कोटलिन टोलीमा कोराउटिनहरूका लागि एल्गोरिदमहरूमा काम गर्छिन्, र ओलेगले ओड्नोक्लास्निकी प्लेटफर्ममा उच्च-लोड प्रणालीहरूको लागि वास्तुकला र समाधानहरू विकास गर्दछ। थप रूपमा, त्यहाँ थप १ सशर्त खाली स्लट छ, कार्यक्रम समितिले त्यसका लागि उम्मेदवारहरूसँग काम गरिरहेको छ।

हाइड्रा सम्मेलन जुलाई ११-१२ मा सेन्ट पिटर्सबर्गमा हुनेछ। टिकटहरू उपलब्ध छन् आधिकारिक वेबसाइटमा खरिद गर्नुहोस्। कृपया अनलाइन टिकटहरूको उपलब्धतामा ध्यान दिनुहोस् - यदि कुनै कारणले तपाईं आजकल सेन्ट पीटर्सबर्ग जान सक्नुहुन्न भने।

Hydra मा भेटौंला!

स्रोत: www.habr.com