19 हायड्रा हेड्स. कार्यक्रमाचा उत्तम आढावा

11-12 जुलै रोजी सेंट पीटर्सबर्ग येथे एक परिषद होणार आहे हायड्रा, समांतर आणि वितरित प्रणालींच्या विकासासाठी समर्पित. हायड्राची युक्ती अशी आहे की ते छान वैज्ञानिक (जे सहसा केवळ परदेशी वैज्ञानिक परिषदांमध्ये आढळू शकतात) आणि प्रसिद्ध सराव अभियंते यांना विज्ञान आणि अभ्यासाच्या छेदनबिंदूवर एका मोठ्या कार्यक्रमात एकत्र करते.

हायड्रा ही गेल्या काही वर्षांतील आमची सर्वात महत्त्वाची परिषद आहे. त्याआधी अत्यंत गंभीर तयारी, वक्त्यांची निवड आणि अहवाल होते. याबाबत गेल्या आठवड्यात दि habro मुलाखत बाहेर आली JUG.ru ग्रुपचे संचालक, अलेक्सी फेडोरोव्ह (23 derevo).

आम्ही आधीच सांगितले सुमारे तीन महत्त्वाचे सहभागी, वितरण प्रणालीच्या सिद्धांताचे संस्थापक - लेस्ली लॅम्पपोर्ट, मॉरिस हेरलिही आणि मायकेल स्कॉट. संपूर्ण कार्यक्रमाबद्दल अधिक तपशीलवार बोलण्याची वेळ आली आहे!

प्रेरणा

जर तुम्ही प्रोग्रामिंगमध्ये गुंतलेले असाल, तर एक ना एक मार्ग तुम्ही मल्टीथ्रेडिंग आणि डिस्ट्रीब्युटेड कंप्युटिंगशी व्यवहार करत आहात. संबंधित क्षेत्रातील तज्ञ त्यांच्याबरोबर थेट कार्य करतात, परंतु स्पष्टपणे, वितरण सर्वत्र आपल्याकडे पाहत आहे: कोणत्याही मल्टी-कोर संगणक किंवा वितरित सेवेमध्ये असे काहीतरी असते जे समांतर गणना करते.

अॅप्लिकेशन प्रोग्रामिंगच्या विविध पैलूंचा समावेश असलेल्या अनेक परिषदा आहेत. स्पेक्ट्रमच्या दुसर्‍या बाजूला, आमच्याकडे विशेष वैज्ञानिक शाळा आहेत ज्या व्याख्यानाच्या स्वरूपात मोठ्या प्रमाणात जटिल सिद्धांत प्रकट करतात. उदाहरणार्थ, सेंट पीटर्सबर्गमध्ये हायड्राच्या समांतर आहे SPTDC शाळा. हायड्रा कॉन्फरन्समध्ये, आम्ही कठोर सराव, विज्ञान आणि सर्व काही त्यांच्या छेदनबिंदूवर एकत्र आणण्याचा प्रयत्न केला.

याचा विचार करा: आम्ही एका अद्भूत काळात जगत आहोत जेव्हा आम्ही अभ्यास करत असलेल्या विज्ञान आणि अभियांत्रिकी क्षेत्राच्या संस्थापकांना तुम्ही प्रत्यक्ष भेटू शकता. भौतिकशास्त्रज्ञ न्यूटन किंवा आइनस्टाईन यांना भेटणार नाहीत - ट्रेन निघाली आहे. परंतु आमच्या पुढे अजूनही असे लोक राहतात ज्यांनी वितरण प्रणालीच्या सिद्धांताचा पाया तयार केला, लोकप्रिय प्रोग्रामिंग भाषांचा शोध लावला आणि प्रथमच हे सर्व कार्यरत प्रोटोटाइपमध्ये मूर्त रूप दिले. या लोकांनी आपली नोकरी अर्ध्यावर सोडली नाही, ते सध्या जगप्रसिद्ध विद्यापीठे आणि कंपन्यांमध्ये गंभीर समस्यांवर काम करत आहेत आणि आज ज्ञान आणि अनुभवाचे सर्वात मोठे स्त्रोत आहेत.

दुसरीकडे, त्यांना भेटण्याची संधी सामान्यत: पूर्णपणे सैद्धांतिक राहते: आपल्यापैकी काही लोक रॉचेस्टर विद्यापीठातील सार्वजनिक कार्यक्रमांवर सतत लक्ष ठेवू शकतात आणि नंतर मायकेल स्कॉटसह व्याख्यानासाठी यूएसए आणि परत जाऊ शकतात. हायड्राच्या सर्व सदस्यांना भेट देण्यासाठी थोडासा पैसा खर्च होईल, वाया गेलेल्या वेळेची गणना न करता (जरी हे एक मनोरंजक शोध वाटत असेल).

दुसरीकडे, आमच्याकडे अनेक शीर्ष अभियंते आहेत जे सध्या वितरित प्रणालींमधील समस्यांवर दबाव आणण्याचे काम करत आहेत आणि त्यांच्याकडे निश्चितपणे सांगण्यासारखे बरेच काही आहे. पण येथे समस्या आहे - ते работают, आणि त्यांचा वेळ मौल्यवान आहे. होय, जर तुम्ही Microsoft, Google किंवा JetBrains चे कर्मचारी असाल तर, अंतर्गत कार्यक्रमात प्रसिद्ध स्पीकर्सपैकी एकाला भेटण्याची शक्यता झपाट्याने वाढते, परंतु सर्वसाधारणपणे, नाही, हे दररोज घडत नाही.

अशाप्रकारे, हायड्रा कॉन्फरन्स एक महत्त्वाचे कार्य पूर्ण करते जे आपल्यापैकी बरेच जण स्वतः करू शकत नाहीत - एकाच ठिकाणी आणि एकाच वेळी, ते अशा लोकांना एकत्र आणते ज्यांच्या कल्पना किंवा संवाद ज्यांच्याशी तुमचे जीवन बदलू शकतात. मी कबूल करतो की प्रत्येकाला वितरित प्रणाली किंवा काही जटिल मूलभूत गोष्टींची आवश्यकता नसते. तुम्ही तुमच्या उर्वरित आयुष्यासाठी PHP मध्ये CRUD प्रोग्राम करू शकता आणि पूर्णपणे आनंदी राहू शकता. पण ज्याला त्याची गरज आहे, ही तुमची संधी आहे.

हॅब्रेवरील हायड्रा परिषदेच्या पहिल्या घोषणेला बराच काळ लोटला आहे. या काळात, बरेच काम केले गेले आहे - आणि आता आमच्याकडे जवळजवळ सर्व अहवालांची यादी आहे. कोणतेही आळशी सिंगल-थ्रेडेड अल्गोरिदम नाहीत, फक्त शुद्ध वितरित हार्डकोर! चला सामान्य शब्दांसह समाप्त करू आणि आता आपल्या हातात काय आहे ते पाहूया.

कीनोट्स

कीनोट्स कॉन्फरन्सचे दिवस सुरू होतात आणि संपतात. सामान्यतः उद्घाटनाच्या मुख्य भाषणाचा मुद्दा म्हणजे परिषदेची सामान्य भावना आणि दिशा ठरवणे. समारोपीय कीनोट एक रेषा रेखाटते आणि कॉन्फरन्स दरम्यान मिळवलेल्या ज्ञान आणि कौशल्यांसह आपण कसे जगू शकतो हे स्पष्ट करते. सुरुवात आणि शेवट: जे सर्वोत्कृष्ट लक्षात ठेवले जाते आणि सर्वसाधारणपणे, त्याचे महत्त्व वाढले आहे.

क्लिफ क्लिक H2O ने K/V अल्गोरिदम वितरित केले

क्लिफ जावा जगातील एक आख्यायिका आहे. 90 च्या दशकाच्या उत्तरार्धात, त्यांच्या पीएचडी प्रबंधासाठी, त्यांनी शीर्षकाचा शोधनिबंध लिहिला "विश्लेषण एकत्र करणे, ऑप्टिमायझेशन एकत्र करणे", जे काही काळानंतर HotSpot JVM सर्व्हर कंपाइलरसाठी आधार बनले. दोन वर्षांनंतर, तो आधीच JVM वर Sun Microsystems मध्ये काम करत होता आणि JIT ला अस्तित्वात असण्याचा अधिकार आहे हे सर्व जगाला दाखवून दिले. क्लिफ क्लिकमधून सर्वात स्मार्ट आणि जलद ऑप्टिमायझेशनसह जावा सर्वात वेगवान आधुनिक रनटाइम्सपैकी एक कसा आहे याबद्दलची ही संपूर्ण कथा. अगदी सुरुवातीस, असे मानले जात होते की जर एखादी गोष्ट स्थिर कंपाइलरमध्ये प्रवेश करण्यायोग्य असेल, तर तुम्हाला ती जिंकण्याचा प्रयत्न देखील करावा लागणार नाही. क्लिफ आणि टीमच्या कार्याबद्दल धन्यवाद, डीफॉल्टनुसार जेआयटी संकलनाच्या कल्पनेसह सर्व नवीन भाषा तयार केल्या जाऊ लागल्या. अर्थात, हे एक-पुरुषाचे काम नव्हते, परंतु क्लिफने त्यात खूप महत्त्वाची भूमिका बजावली होती.

सुरुवातीच्या मुख्य भाषणात, क्लिफ त्याच्या इतर प्रयत्नांबद्दल बोलेल - H20, औद्योगिक अनुप्रयोगांसाठी वितरित आणि स्केलेबल मशीन शिक्षणासाठी मेमरी प्लॅटफॉर्म. किंवा अधिक तंतोतंत, त्यामधील की-व्हॅल्यू जोड्यांच्या वितरीत स्टोरेजबद्दल. बर्याच मनोरंजक गुणधर्मांसह हे एक अतिशय जलद स्टोरेज आहे (अचूक यादी मध्ये आहे वर्णन), जे बिग डेटा स्ट्रीमिंगच्या गणितामध्ये समान सोल्यूशन्स वापरण्याची परवानगी देतात.

क्लिफ देणार असलेला आणखी एक अहवाल आहे - Azul हार्डवेअर व्यवहार मेमरी अनुभव. त्याच्या चरित्राचा आणखी एक भाग - दहा वर्षे Azul येथे काम करा, जिथे त्याने Azul हार्डवेअर आणि तंत्रज्ञान स्टॅकमध्ये बर्‍याच गोष्टी अद्यतनित केल्या आणि सुधारल्या: JIT कंपाइलर्स, रनटाइम, थ्रेड मॉडेल, त्रुटी हाताळणी, स्टॅक हाताळणी, हार्डवेअर व्यत्यय, क्लास लोडिंग, आणि असे बरेच काही - तसेच, तुम्हाला मिळेल कल्पना

सर्वात मनोरंजक भाग सुरू झाला जेव्हा त्यांनी मोठ्या व्यवसायासाठी हार्डवेअर बनवले - Java चालविण्यासाठी एक सुपर कॉम्प्युटर. ही एक नाविन्यपूर्ण गोष्ट होती, विशेषत: Java साठी तयार केलेली, ज्याच्या विशेष आवश्यकता आहेत - कमी विराम कचरा संकलनासाठी मेमरी अडथळे वाचा, सीमा तपासणीसह अॅरे, व्हर्च्युअल कॉल्स... सर्वात छान तंत्रज्ञानांपैकी एक म्हणजे हार्डवेअर व्यवहार मेमरी. 1 पैकी कोणत्याही कोरचा संपूर्ण L864 व्यवहारात्मक लेखनात भाग घेऊ शकतो, जे जावामधील लॉकसह काम करण्यासाठी विशेषतः महत्वाचे आहे (सिंक्रोनाइझ केलेले ब्लॉक्स समांतरपणे कार्य करू शकतात जोपर्यंत वास्तविक मेमरी संघर्ष नाही). पण सुंदर कल्पना कठोर वास्तवामुळे चिरडली गेली - आणि या चर्चेत क्लिफ तुम्हाला सांगेल की एचटीएम आणि एसटीएम मल्टी-थ्रेडेड कंप्युटिंगच्या व्यावहारिक गरजांसाठी योग्य का नाहीत.

मायकेल स्कॉट - ड्युअल डेटा स्ट्रक्चर्स

मायकेल स्कॉट - रोचेस्टर विद्यापीठातील संगणक विज्ञानाचे प्राध्यापक, ज्यांच्याशी नशिबाने त्याला जोडले आधीच 34 वर्षांचा, आणि त्याच्या घरी विस्कॉन्सिन-मॅडिसन विद्यापीठात, ते पाच वर्षे डीन होते. तो विद्यार्थ्यांना समांतर आणि वितरित प्रोग्रामिंग आणि भाषा डिझाइनबद्दल संशोधन करतो आणि शिकवतो.

पाठ्यपुस्तकामुळे संपूर्ण जग मायकेलला ओळखते "प्रोग्रामिंग भाषा व्यावहारिकता", ज्याची नवीनतम आवृत्ती तुलनेने अलीकडे प्रकाशित झाली - 2015 मध्ये. त्याची नोकरी "शेअर-मेमरी मल्टीप्रोसेसरवर स्केलेबल सिंक्रोनाइझेशनसाठी अल्गोरिदम" मिळाले डिजक्स्ट्रा पुरस्कार वितरित संगणन क्षेत्रातील सर्वात प्रसिद्ध आणि उघडपणे खोटे बोलणे रॉचेस्टर ऑनलाइन लायब्ररी विद्यापीठात. तुम्ही त्याला अगदी मायकेल-स्कॉट अल्गोरिदमचे लेखक म्हणून देखील ओळखता "साधे, जलद आणि व्यावहारिक नॉन-ब्लॉकिंग आणि ब्लॉकिंग समवर्ती रांग अल्गोरिदम".

जावा जगासाठी, हे एक विशेष प्रकरण आहे: डग लीसह, त्याने नॉन-ब्लॉकिंग अल्गोरिदम आणि सिंक्रोनस रांगा विकसित केल्या ज्यावर जावा लायब्ररी कार्य करतात. "ड्युअल डेटा स्ट्रक्चर्स" मुख्य सूचना नेमके हेच असेल - Java SE 6 मध्ये या संरचनांचा परिचय 10 पटीने सुधारला आहे. java.util.concurrent.ThreadPoolExecutor. या "ड्युअल डेटा स्ट्रक्चर्स" काय आहेत याबद्दल आपण आधीच विचार करत असाल तर त्याबद्दल माहिती आहे संबधित काम.

मॉरिस हेरलिही - ब्लॉकचेन आणि वितरित संगणनाचे भविष्य

मॉरिस हेरलिही - दोन Dijkstra पारितोषिक विजेते. पहिला एक कामासाठी आहे "प्रतीक्षा-मुक्त सिंक्रोनाइझेशन" (ब्राऊन युनिव्हर्सिटी), आणि दुसरे, अगदी अलीकडील - "ट्रान्झॅक्शनल मेमरी: लॉक-फ्री डेटा स्ट्रक्चर्ससाठी आर्किटेक्चरल सपोर्ट" (व्हर्जिनिया टेक युनिव्हर्सिटी). डिजक्स्ट्रा पारितोषिक हे काम ओळखते ज्यांचे महत्त्व आणि प्रभाव कमीत कमी दहा वर्षांपासून दिसून येत आहे आणि मॉरिस स्पष्टपणे या क्षेत्रातील सर्वात प्रसिद्ध तज्ञांपैकी एक आहे. तो सध्या ब्राउन युनिव्हर्सिटीमध्ये प्राध्यापक म्हणून काम करतो आणि त्याच्याकडे उपलब्धींची एक परिच्छेद-लांब यादी आहे.

या क्लोजिंग कीनोटमध्ये, मॉरिस डिस्ट्रिब्युटेड कॉम्प्युटिंगच्या क्लासिक्सच्या दृष्टिकोनातून ब्लॉकचेन वितरीत प्रणालीच्या सिद्धांत आणि सरावाबद्दल आणि अनेक संबंधित समस्यांना कसे सुलभ करते याबद्दल बोलेल. हा केवळ कॉन्फरन्सच्या विषयावरचा अहवाल आहे - खाणकामाच्या प्रचाराविषयी अजिबात नाही, तर विविध कार्यांच्या संबंधात आपले ज्ञान आश्चर्यकारकपणे आणि योग्यरित्या कसे वापरले जाऊ शकते याबद्दल आहे.

जुलै 2017 मध्ये, मॉरिस आधीच SPTDC शाळेत जाण्यासाठी रशियाला आला होता, JUG.ru मीटअपमध्ये सहभागी झाला होता आणि रेकॉर्डिंग YouTube वर पाहिले जाऊ शकते:

मुख्य कार्यक्रम

पुढे कार्यक्रमात समाविष्ट केलेल्या अहवालांचे संक्षिप्त विहंगावलोकन केले जाईल. काही अहवालांचे येथे तपशीलवार वर्णन केले आहे, तर काही अधिक थोडक्यात. लांबलचक वर्णने प्रामुख्याने इंग्रजी-भाषेतील अहवालांमध्ये गेली ज्यात वैज्ञानिक कागदपत्रे, विकिपीडियावरील अटी इत्यादी लिंक आवश्यक आहेत. संपूर्ण यादी उपलब्ध आहे परिषद वेबसाइटवर पहा. वेबसाइटवरील यादी अद्ययावत आणि पूरक केली जाईल.

लेस्ली लॅम्पपोर्ट - प्रश्नोत्तर

लेस्ली लॅम्पपोर्ट वितरित संगणनामधील मुख्य कार्यांचे लेखक आहेत. "लॅटेक्स" "Lamport TeX" चा अर्थ आहे. त्यांनीच सर्वप्रथम १९७९ मध्ये ही संकल्पना मांडली सातत्यपूर्ण सुसंगतता, आणि त्याचा लेख "मल्टीप्रोसेसर प्रोग्राम्स योग्यरित्या कार्यान्वित करणारा मल्टीप्रोसेसर संगणक कसा बनवायचा" Dijkstra पारितोषिक मिळाले.

स्वरूपाच्या दृष्टीने हा प्रोग्रामचा सर्वात असामान्य भाग आहे, कारण हा अहवाल देखील नाही तर प्रश्नोत्तर सत्र आहे. जेव्हा प्रेक्षकांचा एक महत्त्वाचा भाग "लॅम्पोर्टच्या सिद्धांतावर", त्याच्या स्वतःच्या लेखांवर आणि अहवालांवर आधारित सर्व प्रकारच्या कामांशी आधीच परिचित असतो (किंवा परिचित होऊ शकतो), तेव्हा सर्व उपलब्ध वेळ थेट संवादावर घालवणे अधिक महत्त्वाचे असते.

कल्पना सोपी आहे - तुम्ही YouTube वर दोन अहवाल पहा: "प्रोग्रामिंग हे कोडिंगपेक्षा जास्त असावे" и "जर तुम्ही प्रोग्राम लिहित नसाल तर प्रोग्रामिंग भाषा वापरू नका" आणि किमान एक प्रश्न तयार करा आणि लेस्ली उत्तरे.

या दोन व्हिडिओंपैकी पहिला व्हिडिओ आमच्याकडे आधीच आहे हॅब्रो लेखात बदलले. व्हिडिओ पाहण्यासाठी तुमच्याकडे तासभर वेळ नसल्यास, तुम्ही ते सर्व मजकूर स्वरूपात पटकन वाचू शकता.

टीप: YouTube वर लेस्ली लॅम्पपोर्टचे बरेच व्हिडिओ आहेत. उदाहरणार्थ, एक महान आहे TLA+ कोर्स. या संपूर्ण अभ्यासक्रमाची ऑफलाइन आवृत्ती येथे उपलब्ध आहे लेखकाचे मुख्यपृष्ठ, आणि मोबाईल डिव्‍हाइसवर सहज पाहण्‍यासाठी त्याने ते YouTube वर अपलोड केले.

मार्टिन क्लेपमन - वितरित सहयोगासाठी वापरकर्ता उपकरणांवर डेटा समक्रमित करत आहे

मार्टिन क्लेपमन हे CRDT आणि अल्गोरिदमच्या औपचारिक पडताळणीवर काम करणारे केंब्रिज विद्यापीठातील संशोधक आहेत. मार्टिनचे पुस्तक "डेटा-केंद्रित अनुप्रयोग डिझाइन करणे", 2017 मध्ये प्रकाशित, खूप यशस्वी ठरले आणि डेटा स्टोरेज आणि प्रोसेसिंगच्या क्षेत्रात बेस्ट सेलर सूचीमध्ये स्थान मिळवले. केविन स्कॉट, मायक्रोसॉफ्टचे सीटीओ, एकदा सांगितले: “हे पुस्तक सॉफ्टवेअर अभियंत्यांसाठी आवश्यक असले पाहिजे. हे एक दुर्मिळ संसाधन आहे जे विकासकांना पायाभूत सुविधा आणि डेटा सिस्टमची रचना आणि अंमलबजावणी करण्यात अधिक हुशार मदत करण्यासाठी सिद्धांत आणि सराव एकत्र करते. काफ्काचे निर्माते आणि कॉन्फ्लुएंटचे सीटीओ, जे क्रेप्स यांनीही असेच काहीसे सांगितले.

शैक्षणिक संशोधनात जाण्यापूर्वी, मार्टिनने उद्योगात काम केले आणि दोन यशस्वी स्टार्ट-अप्सची सह-स्थापना केली:

• लिंक्डइनने 2012 मध्ये विकत घेतलेल्या आपल्या ईमेलवरून संपर्कांचे सामाजिक प्रोफाइल प्रदर्शित करण्यासाठी समर्पित, संबंधीत;
• गो टेस्ट इट, विविध ब्राउझरमधील वेबसाइट्सची आपोआप चाचणी करणारी सेवा, जी RedGate ने 2009 मध्ये विकत घेतली.

सर्वसाधारणपणे, मार्टिन, जरी आमच्या कीनोट्सपेक्षा कमी प्रसिद्ध असले तरी, वितरित संगणनाच्या विकासासाठी आणि उद्योगात काही योगदान देण्यास आधीच सक्षम आहे.

या चर्चेत, मार्टिन त्याच्या शैक्षणिक संशोधनाच्या जवळ असलेल्या विषयाबद्दल बोलेल. Google दस्तऐवज आणि तत्सम दस्तऐवज सह-संपादन सोफांमध्ये, "सहयोगी संपादन" हे प्रतिकृती कार्याचा संदर्भ देते: प्रत्येक वापरकर्त्याकडे सामायिक केलेल्या दस्तऐवजाची स्वतःची प्रतिकृती असते, जी नंतर ते सुधारित करतात आणि सर्व बदल संपूर्ण नेटवर्कवर उर्वरित ठिकाणी पाठवले जातात. सहभागी ऑफलाइन दस्तऐवजांमधील बदलांमुळे इतर सहभागींच्या संबंधात दस्तऐवजाची तात्पुरती विसंगती निर्माण होते आणि पुन्हा सिंक्रोनाइझेशनसाठी संघर्ष हाताळणी आवश्यक असते. ते नेमके त्यासाठीच अस्तित्वात आहेत संघर्ष-मुक्त प्रतिकृती डेटा प्रकार (CRDT), खरं तर, एक नवीन गोष्ट आहे, ज्याचे सार केवळ 2011 मध्ये तयार केले गेले होते. या चर्चेत CRDT च्या जगात तेव्हापासून काय घडले आहे, सर्वात अलीकडील प्रगती काय आहेत, सर्वसाधारणपणे स्थानिक-प्रथम अनुप्रयोग तयार करण्याचा दृष्टीकोन आणि मुक्त स्त्रोत लायब्ररीचा वापर यावर चर्चा केली आहे. ऑटोमर्ज विशेषतः.

पुढील आठवड्यात आम्ही हॅब्रेवर मार्टिनची दीर्घ मुलाखत प्रकाशित करू, ते मनोरंजक असेल.

पेड्रो रामलहेते - प्रतीक्षा-मुक्त डेटा संरचना आणि प्रतीक्षा-मुक्त व्यवहार

Pedro Cisco येथे काम करते आणि गेल्या दहा वर्षांपासून समांतर अल्गोरिदम विकसित करत आहे, ज्यामध्ये सिंक्रोनाइझेशन यंत्रणा, लॉक-फ्री आणि वेट-फ्री डेटा स्ट्रक्चर्स आणि या विषयावर तुम्ही कल्पना करू शकता अशा सर्व गोष्टींचा समावेश आहे. त्याचे सध्याचे संशोधन आणि अभियांत्रिकी स्वारस्य युनिव्हर्सल कन्स्ट्रक्शन्स, सॉफ्टवेअर ट्रान्झॅक्शनल मेमरी, पर्सिस्टंट मेमरी आणि तत्सम तंत्रज्ञानावर केंद्रित आहे जे योग्य, स्केलेबल आणि फॉल्ट-सहिष्णु अनुप्रयोग सक्षम करतात. तो एका ब्लॉगचा लेखक देखील आहे ज्याला अरुंद मंडळांमध्ये मोठ्या प्रमाणावर ओळखले जाते कॉन्करन्सी फ्रीक्स.

बहुतेक मल्टीथ्रेडेड अॅप्लिकेशन्स आता समांतर डेटा स्ट्रक्चर्सवर चालतात, अॅक्टर्समधील मेसेज क्यू वापरण्यापासून ते की-व्हॅल्यू स्टोअर्समध्ये अनुक्रमित डेटा स्ट्रक्चर्सपर्यंत. ते बर्‍याच वर्षांपासून Java JDK मध्ये यशस्वीरित्या काम करत आहेत आणि ते हळूहळू C++ मध्ये जोडले जात आहेत.

समांतर डेटा स्ट्रक्चर लागू करण्याचा सर्वात सोपा मार्ग म्हणजे अनुक्रमिक (सिंगल-थ्रेडेड) अंमलबजावणी ज्यामध्ये पद्धती म्युटेक्सद्वारे संरक्षित केल्या जातात. हे कोणत्याही जूनमध्ये प्रवेशयोग्य आहे, परंतु स्केलिंग आणि कार्यप्रदर्शनासह स्पष्ट समस्या आहेत. त्याच वेळी, लॉक-फ्री आणि वेटिंग-फ्री डेटा स्ट्रक्चर्स केवळ त्रुटींशी अधिक चांगल्या प्रकारे सामना करत नाहीत, तर एक चांगले कार्यप्रदर्शन प्रोफाइल देखील आहे - तथापि, त्यांच्या विकासासाठी सखोल कौशल्य आणि विशिष्ट अनुप्रयोगाशी जुळवून घेणे आवश्यक आहे. कोडची एक चुकीची ओळ सर्वकाही खंडित करण्यासाठी पुरेशी आहे.

आपण ते कसे बनवू शकतो जेणेकरून एक गैर-तज्ञ देखील अशा डेटा स्ट्रक्चर्सची रचना आणि अंमलबजावणी करू शकेल? हे ज्ञात आहे की कोणत्याही अनुक्रमिक अल्गोरिदमचा वापर करून धागा सुरक्षित केला जाऊ शकतो सार्वत्रिक डिझाइन, किंवा व्यवहार मेमरी. एक तर, ते या समस्येचे निराकरण करण्यासाठी प्रवेशाचा अडथळा कमी करू शकतात. तथापि, दोन्ही उपाय विशेषत: अप्रभावी अंमलबजावणीकडे नेतील. पेड्रो या डिझाईन्सला अधिक कार्यक्षम बनवण्यात त्यांनी कसे व्यवस्थापित केले आणि तुम्ही ते तुमच्या अल्गोरिदमसाठी कसे वापरू शकता याबद्दल बोलेल.

हेडी हॉवर्ड - वितरीत एकमत मुक्त करणे

मार्टिनप्रमाणे हेडी हॉवर्ड ही केंब्रिज विद्यापीठातील वितरित प्रणाली संशोधक आहे. सातत्य, दोष सहिष्णुता, कार्यप्रदर्शन आणि वितरित एकमत ही तिची वैशिष्ट्ये आहेत. तिला पॉक्सोस अल्गोरिदमच्या सामान्यीकरणासाठी ओळखले जाते लवचिक पॉक्सोस.

की आठवण्याचा पॉक्सोस लेस्ली लॅम्पोर्टच्या कार्यावर आधारित, अविश्वसनीय संगणकांच्या नेटवर्कमधील सहमतीची समस्या सोडवण्यासाठी प्रोटोकॉलचे एक कुटुंब आहे. अशाप्रकारे, आमचे काही स्पीकर आमच्या इतर स्पीकर्सनी प्रस्तावित केलेल्या समस्यांवर काम करत आहेत - आणि हे आश्चर्यकारक आहे.

बहुविध यजमानांमध्ये एकमत शोधण्याची क्षमता - संबोधित करणे, नेता निवडणे, अवरोधित करणे किंवा समन्वय साधणे - आधुनिक वितरण प्रणालींमध्ये एक मूलभूत समस्या आहे. पॅक्सोस हा आता एकमत समस्या सोडवण्याचा मुख्य मार्ग आहे आणि विविध व्यावहारिक गरजांसाठी अल्गोरिदमचा विस्तार आणि ऑप्टिमाइझ करण्यासाठी त्याभोवती बरेच संशोधन चालू आहे.

या चर्चेत, आम्ही मूळ आवश्यकता शिथिल करून आणि अल्गोरिदमचे सामान्यीकरण करून, पॉक्सोसच्या सैद्धांतिक आधारावर पुन्हा विचार करू. आम्ही पाहणार आहोत की पॅक्सोस हा बहुसंख्येच्या व्यापक श्रेणीतील एक पर्याय आहे, आणि स्पेक्ट्रमवरील इतर मुद्दे देखील चांगल्या वितरित प्रणाली तयार करण्यासाठी खूप उपयुक्त आहेत.

अॅलेक्स पेट्रोव्ह - क्षणिक प्रतिकृती आणि स्वस्त कोरमसह तुमचा स्टोरेज खर्च कमी करा

अॅलेक्स हा डेटाबेस आणि स्टोरेज सिस्टीम तज्ञ आहे आणि आमच्यासाठी सर्वात महत्त्वाचे म्हणजे एक कमिटर आहे शरिरासाठी चांगलं असतं,. तो सध्या O'Reilly सोबत डेटाबेस इंटर्नल्स या पुस्तकावर काम करत आहे.

सह प्रणालींसाठी अंतिम सुसंगतता (रशियन परिभाषेत - "अंतिम सुसंगतता"), नोड क्रॅश झाल्यानंतर किंवा नेटवर्क विभाजित झाल्यानंतर, तुम्हाला खालील कोंडी सोडवणे आवश्यक आहे: एकतर विनंत्या अंमलात आणणे सुरू ठेवा, सुसंगततेचा त्याग करा किंवा त्या अंमलात आणण्यास नकार द्या आणि उपलब्धतेचा त्याग करा. अशा प्रणालीमध्ये, कोरम, नोड्सचे आच्छादित उपसंच आणि किमान एका नोडमध्ये सर्वात अलीकडील मूल्य आहे याची खात्री करणे, हे एक चांगले समाधान असू शकते. नवीनतम मूल्यांसह प्रतिसाद देत असताना तुम्ही अपयश आणि काही नोड्सची कनेक्टिव्हिटी गमावू शकता.

तथापि, प्रत्येक गोष्टीची किंमत असते. कोरम प्रतिकृती योजना म्हणजे वाढीव स्टोरेज खर्च: रिडंडंट डेटा एकाच वेळी एकाधिक नोड्सवर संग्रहित केला जाणे आवश्यक आहे याची खात्री करण्यासाठी की जेव्हा समस्या उद्भवते तेव्हा पुरेशा प्रती उपलब्ध असतात. असे दिसून आले की आपल्याला सर्व प्रतिकृतींवर सर्व डेटा संचयित करण्याची आवश्यकता नाही. तुम्ही फक्त नोड्सच्या काही भागावर डेटा संग्रहित केल्यास आणि अयशस्वी परिस्थिती हाताळण्यासाठी विशेष नोड्स (ट्रान्झिंट रिप्लिका) वापरल्यास तुम्ही स्टोरेजवरील भार कमी करू शकता.

अहवालाच्या दरम्यान आम्ही विचार करू साक्षीदार प्रतिकृती, मध्ये वापरलेली प्रतिकृती योजना स्पॅनर и मेगास्टोर, आणि Apache Cassandra मध्ये या संकल्पनेची अंमलबजावणी म्हणतात क्षणिक प्रतिकृती आणि स्वस्त कोरम.

दिमित्री व्युकोव्ह - गोरुटीन उघड

दिमित्री हा Google वर C/C++ आणि Go - Address/Memory/ThreadSanitizer आणि Linux कर्नलसाठी तत्सम साधनांसाठी डायनॅमिक चाचणीवर काम करणारा एक विकासक आहे. गो एक स्केलेबल गोरोटीन शेड्युलर, नेटवर्क पोलर आणि समांतर कचरा गोळा करण्यासाठी योगदान दिले. तो मल्टीथ्रेडिंगमध्ये तज्ञ आहे, डझनभर नवीन नॉन-ब्लॉकिंग अल्गोरिदमचा लेखक आहे आणि त्याचे मालक आहे काळा पट्टा इंटेल

आता अहवालाबद्दलच थोडेसे. गो लँग्वेजला गोरोटीन (लाइट थ्रेड्स) आणि चॅनेल (FIFO रांग) स्वरूपात मल्टीथ्रेडिंगसाठी मूळ समर्थन आहे. या यंत्रणा वापरकर्त्यांसाठी आधुनिक मल्टी-थ्रेडेड अॅप्लिकेशन्स लिहिणे खूप सोपे आणि आनंददायक बनवतात आणि ते जादूसारखे दिसते. जसे आपण समजतो, येथे कोणतीही जादू नाही. या चर्चेत, दिमित्री गो शेड्यूलरच्या गुंतागुंतीचा शोध घेईल आणि या "जादू" च्या अंमलबजावणीची रहस्ये दर्शवेल. प्रथम, तो शेड्यूलरच्या मुख्य घटकांचे विहंगावलोकन देईल आणि ते कसे कार्य करते ते सांगेल. पुढे, आम्ही पार्किंग/अनपार्किंग धोरण आणि ब्लॉकिंग सिस्टम कॉल हाताळणे यासारख्या वैयक्तिक पैलूंवर बारकाईने नजर टाकू. शेवटी, दिमित्री शेड्यूलरमधील संभाव्य सुधारणांबद्दल थोडेसे बोलेल.

दिमित्री बुगाइचेन्को - संभाव्य स्केचेस आणि अधिकसह वितरित आलेख विश्लेषणास गती देणे

दिमित्रीने विद्यापीठ आणि वैज्ञानिक समुदायाशी संपर्क न गमावता जवळजवळ 9 वर्षे आउटसोर्सिंगमध्ये काम केले. ओड्नोक्लास्निकी मधील मोठे डेटा विश्लेषण त्यांच्यासाठी वास्तविक, मागणी असलेल्या उत्पादनांच्या विकासासह सैद्धांतिक प्रशिक्षण आणि वैज्ञानिक पाया एकत्र करण्याची एक अनोखी संधी बनली.

वितरीत आलेख विश्लेषण हे एक कठीण काम होते आणि राहते: जेव्हा शेजारच्या शिरोबिंदूच्या कनेक्शनबद्दल माहिती मिळवणे आवश्यक होते, तेव्हा डेटा अनेकदा मशीन्स दरम्यान हस्तांतरित करावा लागतो, ज्यामुळे नेटवर्क इन्फ्रास्ट्रक्चरवर कार्यान्वित होण्याची वेळ आणि भार वाढतो. या चर्चेत, आपण संभाव्य डेटा स्ट्रक्चर्स किंवा सोशल नेटवर्कमधील मैत्री आलेखाच्या सममितीसारख्या तथ्यांचा वापर करून महत्त्वपूर्ण प्रक्रिया गती कशी मिळवू शकता ते आम्ही पाहू. हे सर्व Apache Spark मधील कोड उदाहरणांसह स्पष्ट केले आहे.

डेनिस रिस्टसोव्ह - क्षणिक प्रतिकृती आणि स्वस्त कोरमसह तुमचा स्टोरेज खर्च कमी करा

डेनिस - विकसक कॉसमॉस डीबी, सुसंगतता मॉडेल, एकमत अल्गोरिदम आणि वितरित व्यवहार तपासण्यात तज्ञ. तो सध्या मायक्रोसॉफ्टमध्ये काम करतो आणि त्यापूर्वी त्याने Amazon आणि Yandex येथे वितरित प्रणालींवर काम केले.

या चर्चेत, आम्ही गेल्या काही वर्षांमध्ये शोधलेल्या वितरित व्यवहार प्रोटोकॉलवर एक नजर टाकू, जी सशर्त अद्यतन (तुलना आणि सेट) ला समर्थन देणाऱ्या कोणत्याही डेटा स्टोअरच्या शीर्षस्थानी क्लायंटच्या बाजूने लागू केली जाऊ शकते. सर्वात महत्त्वाची गोष्ट अशी आहे की आयुष्य दोन-टप्प्यांच्या कमिटने संपत नाही, व्यवहार कोणत्याही डेटाबेसच्या शीर्षस्थानी जोडले जाऊ शकतात - अनुप्रयोग स्तरावर, परंतु भिन्न प्रोटोकॉल (2PC, Percolator, RAMP) मध्ये भिन्न ट्रेडऑफ आहेत आणि ते आम्हाला दिले जात नाहीत. विनामूल्य.

अलेक्सी झिनोव्हिएव्ह - सर्व ML अल्गोरिदम वितरीत स्वर्गापर्यंत पोहोचत नाहीत

अलेक्सी (zaleslaw) दीर्घकाळ वक्ता आणि इतर परिषदांमध्ये कार्यक्रम समित्यांचे सदस्य आहेत. EPAM सिस्टीम्समध्ये ट्रेनरचा सराव करत आहे आणि 2012 पासून हॅडूप/स्पार्क आणि इतर मोठ्या डेटाशी मैत्री आहे.

या चर्चेत, अॅलेक्सी त्याच्या Apache Spark ML, Apache Mahout, Apache Flink ML सोबत काम करण्याचा अनुभव आणि Apache Ignite ML तयार करण्याच्या अनुभवाच्या आधारे वितरित मोडमध्ये क्लासिकल मशीन लर्निंग अल्गोरिदम कार्यान्वित करण्याच्या समस्यांबद्दल बोलतील. अॅलेक्सी या फ्रेमवर्कमध्ये वितरित एमएल अल्गोरिदमच्या अंमलबजावणीबद्दल देखील बोलेल.

आणि शेवटी, Yandex कडून Yandex डेटाबेस बद्दल दोन अहवाल.

व्लादिस्लाव कुझनेत्सोव्ह - यांडेक्स डेटाबेस - आम्ही दोष सहिष्णुता कशी सुनिश्चित करतो

व्लादिस्लाव वितरित प्लॅटफॉर्म गटातील यांडेक्स येथे विकसक आहे. यांडेक्स डेटाबेस हा क्षैतिजरित्या स्केलेबल, भू-वितरित, दोष-सहिष्णु DBMS आहे जो डिस्क्स, सर्व्हर, रॅक आणि डेटा सेंटर्सच्या अपयशाला सातत्य न गमावता सहन करू शकतो. दोष सहिष्णुता सुनिश्चित करण्यासाठी, वितरित एकमत साध्य करण्यासाठी एक मालकी अल्गोरिदम वापरला जातो, तसेच अनेक तांत्रिक उपायांचा वापर केला जातो, ज्याची अहवालात तपशीलवार चर्चा केली आहे. अहवाल डीबीएमएस डेव्हलपर आणि डीबीएमएसवर आधारित अॅप्लिकेशन सोल्यूशन्सच्या विकासकांसाठी स्वारस्यपूर्ण असू शकतो.

सेमियन चेचेरिंडा - YDB मध्ये वितरित व्यवहार

सेम्यॉन हा Yandex वरील वितरित प्लॅटफॉर्म गटातील एक विकसक आहे, जो YDB इंस्टॉलेशनच्या बहु-भाडेकरू वापराच्या शक्यतेवर काम करतो.

Yandex डेटाबेस हे OLTP क्वेरीसाठी डिझाइन केले आहे आणि व्यवहार प्रणालीसाठी ACID आवश्यकतांचे पालन करते. या अहवालात, आम्ही YDB व्यवहार प्रणाली अधोरेखित करणार्‍या व्यवहार शेड्युलिंग अल्गोरिदमचा विचार करू. कोणत्या संस्था व्यवहारात भाग घेतात, व्यवहारांना जागतिक क्रम कोण नियुक्त करते, व्यवहाराची अणुता, विश्वासार्हता आणि अलगावची कठोर पातळी कशी प्राप्त होते ते पाहू या. उदाहरण म्हणून एक सामान्य समस्या वापरून, दोन-फेज कमिट आणि निर्धारक व्यवहार वापरून व्यवहार अंमलबजावणी पाहू. चला त्यांच्यातील फरकांवर चर्चा करूया.

पुढील काय आहे?

परिषदेचा कार्यक्रम नवीन अहवालांनी भरत राहतो. विशेषतः, आम्हाला अहवालाची अपेक्षा आहे निकिता कोवल (ndkoval) JetBrains कडून आणि ओलेग अनास्तासेव (m0nstermind) ओड्नोक्लास्निकी कंपनीकडून. निकिता कोटलिन टीममध्ये कोरुटिनसाठी अल्गोरिदमवर काम करते आणि ओलेग ओड्नोक्लास्निकी प्लॅटफॉर्ममध्ये उच्च-लोड सिस्टमसाठी आर्किटेक्चर आणि उपाय विकसित करतो. याव्यतिरिक्त, आणखी एक सशर्त रिकामा स्लॉट आहे, कार्यक्रम समिती सध्या त्यासाठी उमेदवारांसह काम करत आहे.

हायड्रा परिषद 11-12 जुलै रोजी सेंट पीटर्सबर्ग येथे होणार आहे. तिकिटे उपलब्ध आहेत अधिकृत वेबसाइटवर खरेदी करा. कृपया ऑनलाइन तिकिटांच्या उपलब्धतेकडे लक्ष द्या - जर काही कारणास्तव तुम्ही या दिवसात सेंट पीटर्सबर्गला जाऊ शकत नसाल.

हायड्रा येथे भेटू!

स्त्रोत: www.habr.com