19 ჰიდრას თავი. პროგრამის შესანიშნავი მიმოხილვა

კონფერენცია 11-12 ივლისს სანქტ-პეტერბურგში გაიმართება Hydra, ეძღვნება პარალელური და განაწილებული სისტემების განვითარებას. ჰიდრას ხრიკი არის ის, რომ ის აერთიანებს მაგარ მეცნიერებს (რომლებიც ჩვეულებრივ მხოლოდ უცხოურ სამეცნიერო კონფერენციებზე შეგიძლიათ ნახოთ) და ცნობილ პრაქტიკოს ინჟინრებს ერთ დიდ პროგრამაში მეცნიერებისა და პრაქტიკის კვეთაზე.

Hydra არის ჩვენი ერთ-ერთი ყველაზე მნიშვნელოვანი კონფერენცია ბოლო რამდენიმე წლის განმავლობაში. ამას წინ უძღოდა ძალიან სერიოზული მომზადება, მომხსენებლების შერჩევა და მოხსენებები. გასულ კვირას ამის შესახებ ჰაბრო ინტერვიუ გამოვიდა JUG.ru ჯგუფის დირექტორთან, ალექსეი ფედოროვთან (23 დერევო).

ჩვენ უკვე ნათქვამია სამი მნიშვნელოვანი მონაწილე, განაწილებული სისტემების თეორიის დამფუძნებლები - ლესლი ლამპორტი, მორის ჰერლიჰი და მაიკლ სკოტი. დროა უფრო დეტალურად ვისაუბროთ მთელ პროგრამაზე!

მოტივაცია

თუ თქვენ ხართ ჩართული პროგრამირებაში, მაშინ ასე თუ ისე საქმე გაქვთ მრავალძალიან და განაწილებულ გამოთვლებთან. მათთან უშუალოდ მუშაობენ შესაბამისი დარგის ექსპერტები, მაგრამ იმპლიციტურად, დისტრიბუცია ყველგან გვიყურებს: ნებისმიერ მრავალ ბირთვიან კომპიუტერში ან განაწილებულ სერვისში არის რაღაც, რომელიც პარალელურად ახორციელებს გამოთვლებს.

არსებობს მრავალი კონფერენცია, რომელიც მოიცავს აპლიკაციის პროგრამირების სხვადასხვა ასპექტს. სპექტრის მეორე მხარეს, ჩვენ გვაქვს სპეციალიზებული სამეცნიერო სკოლები, რომლებიც ავლენენ კომპლექსური თეორიის უზარმაზარ რაოდენობას ლექციის ფორმატში. მაგალითად, ჰიდრას პარალელურად პეტერბურგში არსებობს SPTDC სკოლა. ჰიდრას კონფერენციაზე ჩვენ შევეცადეთ შეგვეყარა მკაცრი პრაქტიკა, მეცნიერება და ყველაფერი მათ კვეთაზე.

იფიქრეთ ამაზე: ჩვენ ვცხოვრობთ საოცარ დროში, როდესაც შეგიძლიათ პირადად შეხვდეთ მეცნიერებისა და ინჟინერიის დარგის დამფუძნებლებს, რომლებსაც ჩვენ ვსწავლობთ. ფიზიკოსები არ შეხვდებიან არც ნიუტონს და არც აინშტაინს - მატარებელი წავიდა. მაგრამ ჩვენს გვერდით კვლავ ცხოვრობენ ისინი, ვინც შექმნეს განაწილებული სისტემების თეორიის საფუძვლები, გამოიგონეს პოპულარული პროგრამირების ენები და პირველად განასახიერეს ეს ყველაფერი სამუშაო პროტოტიპებში. ამ ადამიანებმა ნახევრად არ დატოვეს სამსახური, ისინი ახლა მუშაობენ მსოფლიოს ცნობილ უნივერსიტეტებსა და კომპანიებში არსებულ საკითხებზე და დღეს ცოდნისა და გამოცდილების უდიდესი წყაროა.

მეორეს მხრივ, მათთან შეხვედრის შესაძლებლობა, როგორც წესი, რჩება მხოლოდ თეორიულად: რამდენიმე ჩვენგანს შეუძლია მუდმივად თვალყური ადევნოს საჯარო მოვლენებს როჩესტერის ზოგიერთ უნივერსიტეტში, შემდეგ კი აშშ-ში გაიქცეს და უკან მაიკლ სკოტთან ერთად ლექციაზე. Hydra-ს ყველა წევრის მონახულება მცირე სიმდიდრეს ჯდება, არ ჩავთვლით დაკარგული დროის უფსკრულს (თუმცა ეს საინტერესო ქვესტად ჟღერს).

მეორეს მხრივ, ჩვენ გვყავს ბევრი წამყვანი ინჟინერი, რომლებიც ამჟამად მუშაობენ განაწილებულ სისტემებში მწვავე პრობლემებზე და მათ ნამდვილად ბევრი აქვთ სათქმელი. მაგრამ აქ არის პრობლემა - ისინი მუშაობადა მათი დრო ღირებულია. დიახ, თუ თქვენ ხართ Microsoft-ის, Google-ის ან JetBrains-ის თანამშრომელი, შიდა ღონისძიებაზე ერთ-ერთ ცნობილ სპიკერთან შეხვედრის ალბათობა მკვეთრად იზრდება, მაგრამ ზოგადად, არა, ეს ყოველდღე არ ხდება.

ამგვარად, ჰიდრას კონფერენცია ასრულებს მნიშვნელოვან ამოცანას, რომელსაც უმეტესობა ჩვენგანს არ შეუძლია დამოუკიდებლად - ერთ ადგილას და ერთ დროს, ის აერთიანებს ადამიანებს, რომელთა იდეებმა ან ურთიერთობამ შეიძლება შეცვალოს თქვენი ცხოვრება. ვაღიარებ, რომ ყველას არ სჭირდება განაწილებული სისტემები ან რაიმე რთული ფუნდამენტური რამ. შეგიძლიათ CRUD-ების დაპროგრამება PHP-ში სიცოცხლის ბოლომდე და დარჩეთ სრულიად ბედნიერი. მაგრამ ვისაც ეს სჭირდება, ეს თქვენი შანსია.

საკმაოდ დიდი დრო გავიდა ჰაბრეზე ჰიდრას კონფერენციის პირველი გამოცხადებიდან. ამ ხნის განმავლობაში ბევრი სამუშაო გაკეთდა – ახლა კი თითქმის ყველა ანგარიშის სია გვაქვს. არ არის დუნე ერთნაკადიანი ალგორითმები, უბრალოდ სუფთა განაწილებული ჰარდკორი! დავასრულოთ ზოგადი სიტყვებით და ვნახოთ რა გვაქვს ახლა ხელზე.

ძირითადი ნოტები

ძირითადი ნოტები იწყება და მთავრდება კონფერენციის დღეებში. როგორც წესი, გახსნის კონფერენციის მიზანია კონფერენციის ზოგადი სულისა და მიმართულების დადგენა. დასკვნითი კონფერენცია ხაზს უსვამს ხაზს და განმარტავს, თუ როგორ შეგვიძლია ვიცხოვროთ კონფერენციის დროს შეძენილი ცოდნითა და უნარებით. დასაწყისი და დასასრული: ის, რაც ყველაზე კარგად ახსოვს და საერთოდ, გაიზარდა მნიშვნელობა.

Cliff Click H2O განაწილებული K/V ალგორითმი

კლიფი არის ლეგენდა ჯავის სამყაროში. 90-იანი წლების ბოლოს, სადოქტორო დისერტაციისთვის მან დაწერა ნაშრომი სახელწოდებით "ანალიზების შერწყმა, ოპტიმიზაციის შერწყმა", რომელიც გარკვეული პერიოდის შემდეგ გახდა HotSpot JVM სერვერის შემდგენელის საფუძველი. ორი წლის შემდეგ ის უკვე მუშაობდა Sun Microsystems-ში JVM-ზე და მთელ მსოფლიოს აჩვენა, რომ JIT-ს აქვს არსებობის უფლება. მთელი ეს ამბავი იმის შესახებ, თუ როგორ არის Java ერთ-ერთი ყველაზე სწრაფი თანამედროვე გაშვება ყველაზე ჭკვიანი და სწრაფი ოპტიმიზაციით, მოვიდა Cliff Click-დან. თავიდანვე ითვლებოდა, რომ თუ რამე ხელმისაწვდომია სტატიკური შემდგენლისთვის, თქვენ არც კი გჭირდებათ მისი დაკვრა. კლიფისა და გუნდის მუშაობის წყალობით, ყველა ახალი ენის შექმნა დაიწყო JIT-ის შედგენის იდეით ნაგულისხმევად. რა თქმა უნდა, ეს არ იყო ერთი კაცის სამუშაო, მაგრამ კლიფმა მასში ძალიან მნიშვნელოვანი როლი ითამაშა.

გახსნის კონფერენციაში კლიფი ისაუბრებს თავის სხვა მცდელობაზე - H20, მეხსიერების პლატფორმა განაწილებული და მასშტაბირებადი მანქანათმცოდნეობისთვის სამრეწველო აპლიკაციებისთვის. უფრო ზუსტად, მის შიგნით გასაღები-მნიშვნელობის წყვილების განაწილებული შენახვის შესახებ. ეს არის ძალიან სწრაფი საცავი ბევრი საინტერესო თვისებით (ზუსტი სია არის აღწერა), რომლებიც საშუალებას იძლევა გამოიყენონ მსგავსი გადაწყვეტილებები დიდი მონაცემთა ნაკადის მათემატიკაში.

კიდევ ერთი მოხსენება, რომელსაც კლიფი მოგვცემს არის - Azul Hardware Transactional Memory გამოცდილება. მისი ბიოგრაფიის კიდევ ერთი ნაწილი - ათი წელი მუშაობა Azul-ში, სადაც მან განაახლა და გააუმჯობესა ბევრი რამ Azul-ის აპარატურულ და ტექნოლოგიურ დასტაში: JIT შემდგენელები, გაშვების დრო, თემატური მოდელი, შეცდომების დამუშავება, დატის დამუშავება, ტექნიკის შეფერხებები, კლასის ჩატვირთვა და ა.შ. და ასე შემდეგ - კარგად, თქვენ მიიღებთ იდეა.

ყველაზე საინტერესო ნაწილი მაშინ დაიწყო, როდესაც მათ შექმნეს აპარატურა დიდი ბიზნესისთვის - სუპერკომპიუტერი ჯავის გასაშვებად. ეს იყო საკმაოდ ინოვაციური რამ, სპეციალურად Java-სთვის მორგებული, რომელსაც აქვს სპეციალური მოთხოვნები - წაიკითხეთ მეხსიერების ბარიერები ნაგვის დაბალი პაუზის შეგროვებისთვის, საზღვრების შემოწმების მასივები, ვირტუალური ზარები... ერთ-ერთი ყველაზე მაგარი ტექნოლოგია არის ტექნიკის ოპერაციული მეხსიერება. ნებისმიერი 1 ბირთვის მთელ L864-ს შეუძლია მონაწილეობა მიიღოს ტრანზაქციის ჩაწერაში, რაც განსაკუთრებით მნიშვნელოვანია ჯავაში საკეტებთან მუშაობისთვის (სინქრონიზებული ბლოკები შეიძლება იმუშაონ პარალელურად, სანამ არ არის რეალური მეხსიერების კონფლიქტი). მაგრამ მშვენიერი იდეა გაანადგურა მკაცრმა რეალობამ - და ამ განხილვაში კლიფი გეტყვით, თუ რატომ არ არის HTM და STM კარგად მორგებული მრავალძალიანი გამოთვლის პრაქტიკულ საჭიროებებზე.

მაიკლ სკოტი - ორმაგი მონაცემთა სტრუქტურები

მაიკლ სკოტი - როჩესტერის უნივერსიტეტის კომპიუტერული მეცნიერების პროფესორი, რომელთანაც ბედმა დააკავშირა უკვე 34 წლისვისკონსინის უნივერსიტეტში, მედისონის უნივერსიტეტში, ის ხუთი წლის განმავლობაში იყო დეკანი. ის იკვლევს და ასწავლის სტუდენტებს პარალელური და განაწილებული პროგრამირებისა და ენის დიზაინის შესახებ.

მთელი მსოფლიო იცნობს მაიკლს სახელმძღვანელოს წყალობით "პროგრამირების ენის პრაგმატიკა", რომლის უახლესი გამოცემა შედარებით ცოტა ხნის წინ - 2015 წელს გამოიცა. Მისი საქმე "ალგორითმები მასშტაბირებადი სინქრონიზაციისთვის საერთო მეხსიერების მულტიპროცესორებზე" მიიღო დიკსტრას პრიზი როგორც ერთ-ერთი ყველაზე ცნობილი განაწილებული გამოთვლის დარგში და ღიად იტყუება როჩესტერის უნივერსიტეტის ონლაინ ბიბლიოთეკაში. თქვენ ასევე იცნობთ მას, როგორც მაიკლ-სკოტის ალგორითმის ავტორს "მარტივი, სწრაფი და პრაქტიკული არადაბლოკვისა და ბლოკირების პარალელურად რიგის ალგორითმები".

რაც შეეხება ჯავის სამყაროს, ეს განსაკუთრებული შემთხვევაა: დუგ ლეასთან ერთად მან შეიმუშავა არადაბლოკვის ალგორითმები და სინქრონული რიგები, რომლებზეც მუშაობს ჯავის ბიბლიოთეკები. სწორედ ამაზე იქნება საუბარი „Dual data structures“ - ამ სტრუქტურების დანერგვამ Java SE 6-ში 10-ჯერ გააუმჯობესა შესრულება. java.util.concurrent.ThreadPoolExecutor. თუ წინასწარ გაინტერესებთ რა არის ეს "ორმაგი მონაცემთა სტრუქტურები", მაშინ ამის შესახებ არის ინფორმაცია შესაბამისი სამუშაო.

მორის ჰერლიჰი - ბლოკჩეინები და განაწილებული გამოთვლის მომავალი

მორის ჰერლიჰი - Dijkstra-ს ორი პრიზის მფლობელი. პირველი არის სამუშაოდ "მოცდის გარეშე სინქრონიზაცია" (ბრაუნის უნივერსიტეტი) და მეორე, უფრო ბოლო - "ტრანზაქციის მეხსიერება: არქიტექტურული მხარდაჭერა მონაცემთა დაბლოკვისგან თავისუფალი სტრუქტურებისთვის" (ვირჯინიის ტექნიკური უნივერსიტეტი). Dijkstra Prize აღიარებს სამუშაოს, რომლის მნიშვნელობა და გავლენა ხილული იყო მინიმუმ ათი წლის განმავლობაში და მორისი აშკარად არის ერთ-ერთი ყველაზე ცნობილი ექსპერტი ამ სფეროში. ამჟამად მუშაობს ბრაუნის უნივერსიტეტში პროფესორად და აქვს მიღწევების აბზაცის გრძელი სია.

ამ დასკვნით კონფერენციაზე, მორისი ისაუბრებს ბლოკჩეინის განაწილებული სისტემების თეორიასა და პრაქტიკაზე, განაწილებული გამოთვლის კლასიკის თვალსაზრისით და როგორ ამარტივებს ის ბევრ დაკავშირებულ პრობლემას. ეს არის მოხსენება ექსკლუზიურად კონფერენციის თემაზე - სულაც არ არის მაინინგ-ჰიპის შესახებ, არამედ იმაზე, თუ როგორ შეიძლება ჩვენი ცოდნის საოცრად ეფექტურად და სათანადოდ გამოყენება სხვადასხვა ამოცანებთან დაკავშირებით.

2017 წლის ივლისში მორისი უკვე ჩავიდა რუსეთში SPTDC სკოლაში დასასწრებად, მონაწილეობა მიიღო JUG.ru-ს შეხვედრაში და ჩანაწერის ნახვა შეგიძლიათ YouTube-ზე:

მთავარი პროგრამა

შემდეგ იქნება პროგრამაში შეტანილი ანგარიშების მოკლე მიმოხილვა. ზოგიერთი მოხსენება აქ დეტალურად არის აღწერილი, ზოგი უფრო მოკლედ. გრძელი აღწერილობები ძირითადად ინგლისურენოვან მოხსენებებს ეხებოდა, რომლებიც საჭიროებდნენ სამეცნიერო ნაშრომების ბმულებს, ვიკიპედიის ტერმინებს და ა.შ. სრული სია ხელმისაწვდომია იხილეთ კონფერენციის ვებგვერდზე. საიტზე განთავსებული სია განახლდება და შეივსება.

ლესლი ლამპორტი - Q & A

ლესლი ლამპორტი არის განაწილებული გამოთვლების მთავარი ნაშრომების ავტორი. "LaTeX" ნიშნავს "Lamport TeX". სწორედ მან პირველად შემოიტანა კონცეფცია ჯერ კიდევ 1979 წელს თანმიმდევრული თანმიმდევრულობადა მისი სტატია "როგორ შევქმნათ მრავალპროცესორული კომპიუტერი, რომელიც სწორად ახორციელებს მრავალპროცესიან პროგრამებს" მიიღო დიკსტრას პრიზი.

ეს არის გადაცემის ყველაზე უჩვეულო ნაწილი ფორმატის მხრივ, რადგან ის რეპორტაჟი კი არ არის, არამედ კითხვა-პასუხის სესია. როდესაც აუდიტორიის მნიშვნელოვანი ნაწილი უკვე იცნობს (ან შეიძლება გაეცნოს) „ლამპორტის თეორიაზე“ დაფუძნებულ ყველანაირ ნაწარმოებს, მის საკუთარ სტატიებსა და მოხსენებებს, უფრო მნიშვნელოვანია მთელი არსებული დროის დახარჯვა პირდაპირ კომუნიკაციაზე.

იდეა მარტივია - თქვენ უყურებთ ორ რეპორტაჟს YouTube-ზე: "პროგრამირება უფრო მეტი უნდა იყოს ვიდრე კოდირება" и "თუ არ წერ პროგრამას, ნუ გამოიყენებ პროგრამირების ენას" და მოამზადე ერთი კითხვა მაინც და ლესლი უპასუხებს.

ამ ორი ვიდეოდან პირველი უკვე გვაქვს ჰაბრო სტატიად გადაიქცა. თუ არ გაქვთ ერთი საათი ვიდეოს საყურებლად, შეგიძლიათ სწრაფად წაიკითხოთ ეს ყველაფერი ტექსტის სახით.

შენიშვნა: ლესლი ლამპორტის კიდევ ბევრი ვიდეოა YouTube-ზე. მაგალითად, არის დიდი TLA+ კურსი. მთელი ამ კურსის ოფლაინ ვერსია ხელმისაწვდომია მისამართზე ავტორის მთავარი გვერდი, და მან ატვირთა ის YouTube-ზე მობილურ მოწყობილობებზე უფრო ადვილი სანახავად.

მარტინ კლეპმანი - მონაცემთა სინქრონიზაცია მომხმარებლის მოწყობილობებზე განაწილებული თანამშრომლობისთვის

მარტინ კლეპმანი არის კემბრიჯის უნივერსიტეტის მკვლევარი, რომელიც მუშაობს CRDT-ზე და ალგორითმების ოფიციალურ გადამოწმებაზე. მარტინის წიგნი "მონაცემთა ინტენსიური აპლიკაციების დიზაინი"2017 წელს გამოქვეყნებული, ძალიან წარმატებული აღმოჩნდა და მოხვდა ბესტსელერების სიაში მონაცემთა შენახვისა და დამუშავების სფეროში. კევინ სკოტი, CTO Microsoft-ში, ერთხელ თქვა: „ეს წიგნი აუცილებლად უნდა იყოს პროგრამული უზრუნველყოფის ინჟინრებისთვის. ეს არის იშვიათი რესურსი, რომელიც აერთიანებს თეორიასა და პრაქტიკას, რათა დაეხმაროს დეველოპერებს უფრო ჭკვიანები ინფრასტრუქტურისა და მონაცემთა სისტემების შემუშავებასა და დანერგვაში.” მსგავსი რამ თქვა კაფკას შემქმნელმა და Confluent-ის CTO-მ, ჯეი კრეპსმა.

აკადემიურ კვლევებზე გადასვლამდე მარტინი მუშაობდა ინდუსტრიაში და დააარსა ორი წარმატებული სტარტაპი:

• Rapportive, რომელიც ეძღვნება თქვენი ელფოსტის კონტაქტების სოციალური პროფილის ჩვენებას, რომელიც LinkedIn-მა იყიდა 2012 წელს;
• Go Test It, სერვისი სხვადასხვა ბრაუზერში ვებსაიტების ავტომატურად შესამოწმებლად, რომელიც RedGate-მა იყიდა 2009 წელს.

ზოგადად, მარტინმა, მიუხედავად იმისა, რომ ნაკლებად ცნობილია, ვიდრე ჩვენი მთავარი ნოტები, უკვე შეძლო გარკვეული წვლილი შეიტანოს განაწილებული გამოთვლის განვითარებაში და ინდუსტრიაში.

ამ მოხსენებაში მარტინი ისაუბრებს მის აკადემიურ კვლევასთან უფრო ახლოს მდებარე თემაზე. Google Docs-ში და მსგავსი დოკუმენტების თანარედაქტირების დივანებში, "თანამშრომლობითი რედაქტირება" ეხება რეპლიკაციის დავალებას: თითოეულ მომხმარებელს აქვს გაზიარებული დოკუმენტის საკუთარი ასლი, რომელსაც შემდეგ ცვლის და ყველა ცვლილება იგზავნება ქსელში დანარჩენ ნაწილებში. მონაწილეები. ოფლაინ დოკუმენტებში ცვლილებები იწვევს დოკუმენტის დროებით შეუსაბამობას სხვა მონაწილეებთან მიმართებაში და ხელახალი სინქრონიზაცია მოითხოვს კონფლიქტის დამუშავებას. სწორედ ამისთვის არსებობენ უკონფლიქტო განმეორებადი მონაცემთა ტიპები (CRDT), ფაქტობრივად, საკმაოდ ახალი რამ არის, რომლის არსი მხოლოდ 2011 წელს ჩამოყალიბდა. ეს საუბარი განიხილავს რა მოხდა მას შემდეგ CRDT-ის სამყაროში, რა არის უახლესი მიღწევები, ზოგადად ლოკალური პირველი აპლიკაციების შექმნის მიდგომა და ღია კოდის ბიბლიოთეკის გამოყენება. ავტომატური შერწყმა კერძოდ.

მომავალ კვირას გამოვაქვეყნებთ მარტინის გრძელ ინტერვიუს Habré-ზე, საინტერესო იქნება.

პედრო რამალჰეტე - ლოდინის გარეშე მონაცემთა სტრუქტურები და ლოდინის გარეშე ტრანზაქციები

პედრო მუშაობს Cisco-ში და ავითარებს პარალელურ ალგორითმებს ბოლო ათი წლის განმავლობაში, მათ შორის სინქრონიზაციის მექანიზმებს, დაბლოკვის გარეშე და ლოდინის გარეშე მონაცემთა სტრუქტურებს და ყველაფერს, რისი წარმოდგენაც შეგიძლიათ ამ თემაზე. მისი ამჟამინდელი კვლევითი და საინჟინრო ინტერესები ფოკუსირებულია უნივერსალურ კონსტრუქციებზე, პროგრამული უზრუნველყოფის ტრანზაქციის მეხსიერებაზე, მუდმივ მეხსიერებაზე და მსგავს ტექნოლოგიებზე, რომლებიც საშუალებას იძლევა სწორი, მასშტაბირებადი და შეცდომისადმი ტოლერანტული აპლიკაციები. ის ასევე არის ვიწრო წრეებში ფართოდ ცნობილი ბლოგის ავტორი კონკურენტული ფრიკები.

მრავალძალიანი აპლიკაციების უმეტესობა ახლა მუშაობს პარალელურ მონაცემთა სტრუქტურებზე, დაწყებული შეტყობინებების რიგების გამოყენებით აქტორებს შორის ინდექსირებულ მონაცემთა სტრუქტურებამდე გასაღების მნიშვნელობის მაღაზიებში. ისინი მრავალი წელია წარმატებით მუშაობენ Java JDK-ში და ნელ-ნელა ემატებიან C++-ს.

პარალელური მონაცემთა სტრუქტურის განხორციელების უმარტივესი გზა არის თანმიმდევრული (ერთ ხრახნიანი) იმპლემენტაცია, რომლის დროსაც მეთოდები დაცულია მუტექსებით. ეს ხელმისაწვდომია ნებისმიერი ივნისისთვის, მაგრამ აქვს აშკარა პრობლემები სკალირებასთან და შესრულებასთან დაკავშირებით. ამავდროულად, დაბლოკვის გარეშე და ლოდინის გარეშე მონაცემთა სტრუქტურები არა მხოლოდ უკეთ უმკლავდებიან შეცდომებს, არამედ აქვთ უკეთესი შესრულების პროფილი - თუმცა, მათი განვითარება მოითხოვს ღრმა გამოცდილებას და კონკრეტულ აპლიკაციასთან ადაპტაციას. კოდის ერთი არასწორი ხაზი საკმარისია ყველაფრის გასატეხად.

როგორ მოვახერხოთ ისე, რომ არაექსპერტმაც კი შეძლოს მონაცემთა ასეთი სტრუქტურების დიზაინი და დანერგვა? ცნობილია, რომ ნებისმიერი თანმიმდევრული ალგორითმი შეიძლება იყოს უსაფრთხო ძაფით ან გამოყენებით უნივერსალური დიზაინი, ან ტრანზაქციის მეხსიერება. ერთი რამ, მათ შეუძლიათ შეამცირონ ბარიერი ამ პრობლემის გადაჭრაში შესვლისთვის. თუმცა, ორივე გამოსავალი, როგორც წესი, იწვევს არაეფექტურ განხორციელებას. პედრო ისაუბრებს იმაზე, თუ როგორ მოახერხეს ამ დიზაინის უფრო ეფექტური გახადა და როგორ შეგიძლიათ გამოიყენოთ ისინი თქვენი ალგორითმებისთვის.

ჰეიდი ჰოვარდი - განმათავისუფლებელი განაწილებული კონსენსუსი

ჰეიდი ჰოვარდი, მარტინის მსგავსად, განაწილებული სისტემების მკვლევარია კემბრიჯის უნივერსიტეტში. მისი სპეციალობებია თანმიმდევრულობა, შეცდომების შემწყნარებლობა, შესრულება და განაწილებული კონსენსუსი. ის ყველაზე ცნობილია პაქსოსის ალგორითმის განზოგადებით მოქნილი პაქსოები.

შეგახსენებთ, რომ პაქსი არის პროტოკოლების ოჯახი არასანდო კომპიუტერების ქსელში კონსენსუსის პრობლემის გადასაჭრელად, ლესლი ლამპორტის ნაშრომზე დაყრდნობით. ამრიგად, ჩვენი ზოგიერთი მომხსენებელი მუშაობს პრობლემებზე, რომლებიც თავდაპირველად იყო შემოთავაზებული ჩვენი სხვა მომხსენებლების მიერ - და ეს მშვენიერია.

მრავალრიცხოვან მასპინძლებს შორის კონსენსუსის პოვნის შესაძლებლობა - მიმართვისთვის, ლიდერის არჩევისთვის, დაბლოკვისთვის ან კოორდინაციისთვის - ფუნდამენტური საკითხია თანამედროვე განაწილებულ სისტემებში. პაქსოსი ახლა კონსენსუსის პრობლემების გადაჭრის მთავარი გზაა და მის ირგვლივ მრავალი კვლევა მიმდინარეობს სხვადასხვა პრაქტიკული საჭიროებისთვის ალგორითმის გაფართოებისა და ოპტიმიზაციის მიზნით.

ამ განხილვაში ჩვენ გადავხედავთ პაქსოსის თეორიულ საფუძველს, დავამშვიდებთ თავდაპირველ მოთხოვნებს და განვაზოგადებთ ალგორითმს. ჩვენ დავინახავთ, რომ Paxos არსებითად მხოლოდ ერთი ვარიანტია კონსენსუსის მიდგომების უზარმაზარ დიაპაზონში და რომ სპექტრის სხვა წერტილები ასევე ძალიან სასარგებლოა კარგი განაწილებული სისტემების შესაქმნელად.

ალექს პეტროვი - შეამცირეთ შენახვის ხარჯები გარდამავალი რეპლიკაციით და იაფი კვორუმებით

ალექსი არის მონაცემთა ბაზისა და შენახვის სისტემების სპეციალისტი და რაც მთავარია ჩვენთვის, შემსრულებელი Cassandra. ის ამჟამად მუშაობს წიგნზე, მონაცემთა ბაზის შიდა, ო'რეილისთან ერთად.

სისტემებისთვის საბოლოო თანმიმდევრულობა (რუსული ტერმინოლოგიით - "საბოლოო თანმიმდევრულობა"), კვანძის ავარიის ან ქსელის გაყოფის შემდეგ, თქვენ უნდა გადაჭრათ შემდეგი დილემა: ან განაგრძოთ მოთხოვნების შესრულება, შეწიროთ თანმიმდევრულობა, ან უარი თქვათ მათ შესრულებაზე და შესწიროთ ხელმისაწვდომობა. ასეთ სისტემაში, კვორუმები, კვანძების ქვეჯგუფების გადახურვა და იმის უზრუნველყოფა, რომ მინიმუმ ერთი კვანძი შეიცავს უახლეს მნიშვნელობას, შეიძლება იყოს კარგი გამოსავალი. თქვენ შეგიძლიათ გადაურჩოთ წარუმატებლობას და ზოგიერთ კვანძთან კავშირის დაკარგვას, თუმცა უახლესი მნიშვნელობებით უპასუხეთ.

თუმცა ყველაფერს თავისი ფასი აქვს. კვორუმის რეპლიკაციის სქემა ნიშნავს შენახვის ხარჯების გაზრდას: ზედმეტი მონაცემები უნდა იყოს შენახული ერთდროულად რამდენიმე კვანძზე, რათა უზრუნველყოფილი იყოს საკმარისი ასლები, როდესაც პრობლემა წარმოიქმნება. გამოდის, რომ თქვენ არ გჭირდებათ ყველა მონაცემის შენახვა ყველა რეპლიკაზე. თქვენ შეგიძლიათ შეამციროთ საცავზე დატვირთვა, თუ ინახავთ მონაცემებს მხოლოდ კვანძების ნაწილზე და იყენებთ სპეციალურ კვანძებს (Transient Replica) წარუმატებლობის სცენარებისთვის.

მოხსენების მსვლელობისას განვიხილავთ მოწმის ასლები, რეპლიკაციის სქემა გამოიყენება სპიკერი и მეგასტორი, და ამ კონცეფციის განხორციელებას Apache Cassandra ე.წ გარდამავალი რეპლიკაცია და იაფი კვორუმი.

დიმიტრი ვიუკოვი - გორუტინები გამოაშკარავდა

დიმიტრი Google-ის დეველოპერია და მუშაობს C/C++-ისა და Go-ს დინამიურ ტესტირებაზე — Address/Memory/ThreadSanitizer-ისთვის და მსგავსი ბირთვის ინსტრუმენტებისთვის. Linuxმან Go-სთვის წვლილი შეიტანა მასშტაბირებადი გორუტინის დამგეგმავი, ქსელის გამომკითხველი და პარალელური ნაგვის შემგროვებელი. ის არის მრავალძაფიანი ვერსიის ექსპერტი, ათეული ახალი არაბლოკირებადი ალგორითმის ავტორი და ფლობს... Შავი ქამარი Intel.

ახლა ცოტა თავად მოხსენების შესახებ. Go ენას აქვს მრავალძაფის მხარდაჭერა გორუტინების (მსუბუქი ძაფები) და არხების (FIFO რიგები) სახით. ეს მექანიზმები მომხმარებლებს უადვილებს და სასიამოვნოს უქმნის თანამედროვე მრავალნაკადიანი აპლიკაციების დაწერას და ეს ჯადოსნურია. როგორც გვესმის, აქ მაგია არ არის. ამ განხილვაში დიმიტრი ჩაუღრმავდება Go გრაფიკის სირთულეებს და აჩვენებს ამ "ჯადოსნური" განხორციელების საიდუმლოებებს. პირველ რიგში, ის მიმოიხილავს გრაფიკის ძირითად კომპონენტებს და გეტყვით, თუ როგორ მუშაობს იგი. შემდეგი, ჩვენ უფრო დეტალურად განვიხილავთ ცალკეულ ასპექტებს, როგორიცაა პარკირების/პარკინგის სტრატეგია და დაბლოკვის სისტემის ზარების მართვა. დაბოლოს, დიმიტრი ცოტას ისაუბრებს გრაფიკის შესაძლო გაუმჯობესების შესახებ.

დიმიტრი ბუგაიჩენკო - განაწილებული გრაფიკის ანალიზის დაჩქარება სავარაუდო ჩანახატებით და სხვა

დიმიტრი მუშაობდა აუთსორსინგში თითქმის 9 წლის განმავლობაში უნივერსიტეტთან და სამეცნიერო საზოგადოებასთან კონტაქტის დაკარგვის გარეშე. დიდი მონაცემების ანალიზი Odnoklassniki-ში მისთვის გახდა უნიკალური შანსი, შეეთავსებინა თეორიული სწავლება და სამეცნიერო საფუძველი რეალური, მოთხოვნადი პროდუქტების შემუშავებასთან.

განაწილებული გრაფიკის ანალიზი იყო და რჩება რთულ ამოცანად: როდესაც საჭირო ხდება ინფორმაციის მოპოვება მეზობელი წვეროების კავშირების შესახებ, მონაცემები ხშირად უნდა გადავიდეს მანქანებს შორის, რაც იწვევს შესრულების დროს და დატვირთვას ქსელის ინფრასტრუქტურაზე. ამ განხილვაში ჩვენ დავინახავთ, თუ როგორ შეგიძლიათ მიიღოთ მნიშვნელოვანი დამუშავების სიჩქარე მონაცემთა სავარაუდო სტრუქტურების ან ფაქტების გამოყენებით, როგორიცაა მეგობრობის გრაფიკის სიმეტრია სოციალურ ქსელში. ეს ყველაფერი ილუსტრირებულია კოდის მაგალითებით Apache Spark-ში.

დენის რისსოვი - შეამცირეთ შენახვის ხარჯები გარდამავალი რეპლიკაციით და იაფი კვორუმებით

დენის - დეველოპერი Cosmos DB, ექსპერტი თანმიმდევრულობის მოდელების, კონსენსუსის ალგორითმებისა და განაწილებული ტრანზაქციების შესამოწმებლად. ამჟამად მუშაობს Microsoft-ში, მანამდე კი მუშაობდა განაწილებულ სისტემებზე Amazon-სა და Yandex-ში.

ამ განხილვაში ჩვენ გადავხედავთ განაწილებულ ტრანზაქციის პროტოკოლებს, რომლებიც გამოიგონეს ბოლო რამდენიმე წლის განმავლობაში, რომლებიც შეიძლება განხორციელდეს კლიენტის მხარეს, ნებისმიერი მონაცემთა მაღაზიის თავზე, რომელიც მხარს უჭერს პირობით განახლებას (შედარება და დაყენება). დასკვნა ის არის, რომ ცხოვრება არ მთავრდება ორფაზიანი შესრულებით, ტრანზაქციები შეიძლება დაემატოს ნებისმიერ მონაცემთა ბაზას - აპლიკაციის დონეზე, მაგრამ სხვადასხვა პროტოკოლებს (2PC, Percolator, RAMP) აქვთ სხვადასხვა კომპრომისი და არ გვეძლევა. უფასოდ.

ალექსეი ზინოვიევი - ყველა ML ალგორითმი არ აღწევს განაწილებულ სამოთხეში

ალექსეი (ზალესლავი) არის დიდი ხნის მომხსენებელი და სხვა კონფერენციების პროგრამული კომიტეტების წევრი. პრაქტიკოსი ტრენერი EPAM Systems-ში და მეგობრობს Hadoop/Spark-თან და სხვა დიდ მონაცემებთან 2012 წლიდან.

ამ განხილვაში ალექსეი ისაუბრებს განაწილებულ რეჟიმში შესრულებისთვის კლასიკური მანქანათმცოდნეობის ალგორითმების ადაპტაციის პრობლემებზე Apache Spark ML-თან, Apache Mahout-თან, Apache Flink ML-თან მუშაობის გამოცდილებაზე და Apache Ignite ML-ის შექმნის გამოცდილებაზე დაყრდნობით. ალექსეი ასევე ისაუბრებს ამ ჩარჩოებში განაწილებული ML ალგორითმების განხორციელებაზე.

და ბოლოს, Yandex-ის ორი მოხსენება Yandex მონაცემთა ბაზის შესახებ.

ვლადისლავ კუზნეცოვი - Yandex მონაცემთა ბაზა - როგორ უზრუნველვყოფთ შეცდომების ტოლერანტობას

ვლადისლავი არის Yandex-ის დეველოპერი განაწილებული პლატფორმის ჯგუფში. Yandex Database არის ჰორიზონტალურად მასშტაბირებადი, გეოგანაწილებული, ხარვეზებისადმი ტოლერანტული DBMS, რომელსაც შეუძლია გაუძლოს დისკების, სერვერების, თაროების და მონაცემთა ცენტრების გაუმართაობას თანმიმდევრულობის დაკარგვის გარეშე. ხარვეზების ტოლერანტობის უზრუნველსაყოფად გამოიყენება განაწილებული კონსენსუსის მიღწევის საკუთრების ალგორითმი, ისევე როგორც რიგი ტექნიკური გადაწყვეტილებები, რომლებიც დეტალურად არის განხილული ანგარიშში. ანგარიში შეიძლება იყოს საინტერესო როგორც DBMS დეველოპერებისთვის, ასევე DBMS-ზე დაფუძნებული აპლიკაციის გადაწყვეტილებების შემქმნელებისთვის.

სემიონ ჩეჩერინდა - განაწილებული ტრანზაქციები YDB-ში

Semyon არის დეველოპერი Yandex-ის განაწილებული პლატფორმის ჯგუფში, რომელიც მუშაობს YDB ინსტალაციის მრავალ მოიჯარეზე გამოყენების შესაძლებლობაზე.

Yandex მონაცემთა ბაზა შექმნილია OLTP მოთხოვნებისთვის და შეესაბამება ACID მოთხოვნებს ტრანზაქციის სისტემისთვის. ამ ანგარიშში განვიხილავთ ტრანზაქციის დაგეგმვის ალგორითმს, რომელიც საფუძვლად უდევს YDB ტრანზაქციის სისტემას. ვნახოთ, რომელი სუბიექტები მონაწილეობენ ტრანზაქციებში, ვინ ანიჭებს ტრანზაქციებს გლობალურ წესრიგს, როგორ მიიღწევა ტრანზაქციის ატომურობა, სანდოობა და იზოლაციის მკაცრი დონე. მაგალითად, საერთო პრობლემის გამოყენებით, მოდით შევხედოთ ტრანზაქციის განხორციელებას ორფაზიანი ვალდებულებებისა და დეტერმინისტული ტრანზაქციების გამოყენებით. მოდით განვიხილოთ მათი განსხვავებები.

რა არის შემდეგი?

კონფერენციის პროგრამა კვლავ ივსება ახალი მოხსენებებით. კერძოდ, ველოდებით ანგარიშს ნიკიტა კოვალი (ნდკოვალი) JetBrains-დან და ოლეგ ანასტასიევი (m0nstermind) კომპანია ოდნოკლასნიკისგან. ნიკიტა მუშაობს კოტლინის გუნდში კორუტინის ალგორითმებზე, ხოლო ოლეგი ავითარებს არქიტექტურას და გადაწყვეტილებებს მაღალი დატვირთვის სისტემებისთვის Odnoklassniki პლატფორმაზე. გარდა ამისა, არის კიდევ 1 პირობითად ცარიელი სლოტი, პროგრამული კომიტეტი ამჟამად მუშაობს მის კანდიდატებთან.

ჰიდრას კონფერენცია 11-12 ივლისს სანქტ-პეტერბურგში გაიმართება. ბილეთები ხელმისაწვდომია შეძენა ოფიციალურ ვებსაიტზე. გთხოვთ, ყურადღება მიაქციოთ ონლაინ ბილეთების ხელმისაწვდომობას - თუ რაიმე მიზეზით ვერ მოხვდებით სანკტ-პეტერბურგში ამ დღეებში.

შევხვდებით ჰიდრაში!

წყარო: www.habr.com