ხუთმა სტუდენტმა და სამმა გაანაწილეს გასაღების ღირებულების მაღაზია

ან როგორ დავწერეთ კლიენტის C++ ბიბლიოთეკა ZooKeeper, etcd და Consul KV-სთვის

განაწილებული სისტემების სამყაროში არსებობს მრავალი ტიპიური დავალება: ინფორმაციის შენახვა კლასტერის შემადგენლობის შესახებ, კვანძების კონფიგურაციის მართვა, გაუმართავი კვანძების გამოვლენა, ლიდერის არჩევა. და სხვები. ამ პრობლემების გადასაჭრელად შეიქმნა სპეციალური განაწილებული სისტემები – საკოორდინაციო სერვისები. ახლა ჩვენ დავინტერესდებით სამი მათგანი: ZooKeeper, etcd და კონსული. კონსულის ყველა მდიდარი ფუნქციონალიდან, ჩვენ ყურადღებას გავამახვილებთ Consul KV-ზე.

არსებითად, ყველა ეს სისტემა არის შეცდომის ტოლერანტული, ხაზოვანი საკვანძო მნიშვნელობის მაღაზიები. მიუხედავად იმისა, რომ მათ მონაცემთა მოდელებს აქვთ მნიშვნელოვანი განსხვავებები, რაზეც მოგვიანებით განვიხილავთ, ისინი წყვეტენ იგივე პრაქტიკულ პრობლემებს. ცხადია, თითოეული აპლიკაცია, რომელიც იყენებს საკოორდინაციო სერვისს, უკავშირდება ერთ-ერთ მათგანს, რამაც შეიძლება გამოიწვიოს რამდენიმე სისტემის მხარდაჭერის აუცილებლობა ერთ მონაცემთა ცენტრში, რომლებიც აგვარებენ იგივე პრობლემებს სხვადასხვა აპლიკაციისთვის.

ამ პრობლემის გადაჭრის იდეა ავსტრალიურ საკონსულტაციო სააგენტოში გაჩნდა და მისი განხორციელება ჩვენ, სტუდენტების პატარა გუნდს დაევალა, რაზეც მე ვისაუბრებ.

ჩვენ მოვახერხეთ ბიბლიოთეკის შექმნა, რომელიც უზრუნველყოფს საერთო ინტერფეისს ZooKeeper-თან, etcd-თან და Consul KV-თან მუშაობისთვის. ბიბლიოთეკა დაწერილია C++-ზე, მაგრამ იგეგმება მისი პორტირება სხვა ენებზე.

მონაცემთა მოდელები

სამი განსხვავებული სისტემისთვის საერთო ინტერფეისის შესაქმნელად, თქვენ უნდა გესმოდეთ, რა აქვთ მათ საერთო და როგორ განსხვავდებიან ისინი. მოდი გავარკვიოთ.

ზოოპარკი

გასაღებები ორგანიზებულია ხეში და ეწოდება კვანძები. შესაბამისად, კვანძისთვის შეგიძლიათ მიიღოთ მისი შვილების სია. znode-ის შექმნის (შექმნა) და მნიშვნელობის შეცვლის (setData) ოპერაციები გამოყოფილია: მხოლოდ არსებული გასაღებების წაკითხვა და შეცვლა შესაძლებელია. საათები შეიძლება დაერთოს კვანძის არსებობის შემოწმების, მნიშვნელობის წაკითხვისა და ბავშვების მიღების ოპერაციებს. Watch არის ერთჯერადი ტრიგერი, რომელიც მუშაობს სერვერზე შესაბამისი მონაცემების ვერსიის შეცვლისას. ეფემერული კვანძები გამოიყენება წარუმატებლობის გამოსავლენად. ისინი მიბმული არიან კლიენტის სესიაზე, რომელმაც შექმნა ისინი. როდესაც კლიენტი ხურავს სესიას ან წყვეტს აცნობებს ZooKeeper-ს მისი არსებობის შესახებ, ეს კვანძები ავტომატურად იშლება. მარტივი ტრანზაქციების მხარდაჭერა - ოპერაციების ერთობლიობა, რომელიც ან ყველა წარმატებულია ან წარუმატებელია, თუ ეს შეუძლებელია მინიმუმ ერთი მათგანისთვის.

ა.შ.შ

ამ სისტემის დეველოპერები აშკარად შთაგონებულები იყვნენ ZooKeeper-ით და, შესაბამისად, ყველაფერი სხვანაირად გააკეთეს. გასაღებების იერარქია არ არსებობს, მაგრამ ისინი ქმნიან ლექსიკოგრაფიულად დალაგებულ კომპლექტს. თქვენ შეგიძლიათ მიიღოთ ან წაშალოთ ყველა გასაღები, რომელიც ეკუთვნის გარკვეულ დიაპაზონს. ეს სტრუქტურა შეიძლება უცნაურად მოგეჩვენოთ, მაგრამ სინამდვილეში ის ძალიან გამომხატველია და მისი მეშვეობით იერარქიული ხედვის მიბაძვა მარტივად შეიძლება.

etcd-ს არ აქვს სტანდარტული შედარება და დაყენების ოპერაცია, მაგრამ მას აქვს რაღაც უკეთესი: ტრანზაქციები. რა თქმა უნდა, ისინი სამივე სისტემაში არსებობს, მაგრამ etcd ტრანზაქციები განსაკუთრებით კარგია. ისინი შედგება სამი ბლოკისგან: შემოწმება, წარმატება, წარუმატებლობა. პირველი ბლოკი შეიცავს პირობების ერთობლიობას, მეორე და მესამე - ოპერაციებს. ტრანზაქცია შესრულებულია ატომურად. თუ ყველა პირობა შეესაბამება სიმართლეს, მაშინ წარმატების ბლოკი შესრულებულია, წინააღმდეგ შემთხვევაში წარუმატებლობის ბლოკი. API 3.3-ში წარმატებისა და წარუმატებლობის ბლოკები შეიძლება შეიცავდეს ჩადგმულ ტრანზაქციებს. ანუ, შესაძლებელია თითქმის თვითნებური ბუდობრივი დონის პირობითი კონსტრუქციების ატომური შესრულება. შეგიძლიათ მეტი გაიგოთ იმის შესახებ, თუ საიდან არსებობს შემოწმებები და ოპერაციები დოკუმენტაცია.

საათები აქაც არსებობს, თუმცა ცოტა უფრო რთული და ხელახლა გამოყენებადია. ანუ საკვანძო დიაპაზონზე საათის დაყენების შემდეგ, თქვენ მიიღებთ ყველა განახლებას ამ დიაპაზონში, სანამ არ გააუქმებთ საათს და არა მხოლოდ პირველს. სხვათა შორის, ZooKeeper კლიენტის სესიების ანალოგი არის იჯარა.

კონსული კ.ვ.

აქ ასევე არ არის მკაცრი იერარქიული სტრუქტურა, მაგრამ კონსულს შეუძლია შექმნას გარეგნობა, რომ ის არსებობს: შეგიძლიათ მიიღოთ და წაშალოთ ყველა გასაღები მითითებული პრეფიქსით, ანუ იმუშაოთ გასაღების „ქვეხესთან“. ასეთ შეკითხვებს რეკურსიული ეწოდება. გარდა ამისა, კონსულს შეუძლია შეარჩიოს მხოლოდ გასაღებები, რომლებიც არ შეიცავს მითითებულ სიმბოლოს პრეფიქსის შემდეგ, რაც შეესაბამება უშუალო „შვილების“ მიღებას. მაგრამ უნდა გვახსოვდეს, რომ ეს არის ზუსტად იერარქიული სტრუქტურის გარეგნობა: სავსებით შესაძლებელია გასაღების შექმნა, თუ მისი მშობელი არ არსებობს ან წაშლის გასაღები, რომელსაც ჰყავს შვილები, ხოლო ბავშვები გააგრძელებენ სისტემაში შენახვას.

საათების ნაცვლად, კონსულს აქვს HTTP მოთხოვნების დაბლოკვა. არსებითად, ეს არის ჩვეულებრივი ზარები მონაცემთა წაკითხვის მეთოდზე, რისთვისაც, სხვა პარამეტრებთან ერთად, მითითებულია მონაცემების ბოლო ცნობილი ვერსია. თუ სერვერზე შესაბამისი მონაცემების მიმდინარე ვერსია აღემატება მითითებულს, პასუხი უბრუნდება დაუყოვნებლივ, წინააღმდეგ შემთხვევაში - როდესაც მნიშვნელობა შეიცვლება. ასევე არის სესიები, რომლებიც ნებისმიერ დროს შეიძლება დაერთოს კლავიშებს. აღსანიშნავია, რომ etcd-ისა და ZooKeeper-ისგან განსხვავებით, სადაც სესიების წაშლა იწვევს ასოცირებული კლავიშების წაშლას, არსებობს რეჟიმი, რომლის დროსაც სესია უბრალოდ არ არის დაკავშირებული მათგან. ხელმისაწვდომია გარიგებები, ფილიალების გარეშე, მაგრამ ყველანაირი ჩეკებით.

ყველაფერს ერთად ათავსებ

ZooKeeper-ს აქვს მონაცემთა ყველაზე მკაცრი მოდელი. გამომხატველი დიაპაზონის მოთხოვნები, რომლებიც ხელმისაწვდომია etcd-ში, არ შეიძლება ეფექტურად ემულირებული იყოს არც ZooKeeper-ში და არც Consul-ში. ყველა სერვისიდან საუკეთესოს მიღების მცდელობისას, ჩვენ მივიღეთ ZooKeeper ინტერფეისის თითქმის ექვივალენტური ინტერფეისი შემდეგი მნიშვნელოვანი გამონაკლისებით:

• თანმიმდევრობა, კონტეინერი და TTL კვანძები არ არის მხარდაჭერილი
• ACL არ არის მხარდაჭერილი
• set მეთოდი ქმნის გასაღებს, თუ ის არ არსებობს (ZK-ში setData აბრუნებს შეცდომას ამ შემთხვევაში)
• set და cas მეთოდები გამოყოფილია (ZK-ში ისინი არსებითად იგივეა)
• წაშლის მეთოდი შლის კვანძს მის ქვეხესთან ერთად (ZK delete აბრუნებს შეცდომას, თუ კვანძს ჰყავს ბავშვები)
• თითოეული გასაღებისთვის არის მხოლოდ ერთი ვერსია - მნიშვნელობის ვერსია (ZK-ში არის სამი მათგანი)

თანმიმდევრული კვანძების უარყოფა განპირობებულია იმით, რომ etcd-ს და Consul-ს არ აქვთ ჩაშენებული მხარდაჭერა და ისინი ადვილად შეიძლება განხორციელდეს მომხმარებლის მიერ მიღებული ბიბლიოთეკის ინტერფეისის თავზე.

ZooKeeper-ის მსგავსი ქცევის დანერგვა წვეროების წაშლისას საჭიროებს ცალკეული ბავშვის მრიცხველის შენარჩუნებას თითოეული გასაღებისთვის etcd-ში და Consul-ში. ვინაიდან ჩვენ შევეცადეთ თავიდან ავიცილოთ მეტა ინფორმაციის შენახვა, გადაწყდა მთელი ქვეხის წაშლა.

განხორციელების დახვეწილობა

მოდით უფრო ახლოს მივხედოთ ბიბლიოთეკის ინტერფეისის განხორციელების ზოგიერთ ასპექტს სხვადასხვა სისტემაში.

იერარქია და ა.შ

etcd-ში იერარქიული ხედვის შენარჩუნება ერთ-ერთი ყველაზე საინტერესო ამოცანა აღმოჩნდა. დიაპაზონის მოთხოვნები გაადვილებს კლავიშების სიის მოძიებას მითითებული პრეფიქსით. მაგალითად, თუ გჭირდებათ ყველაფერი, რაც იწყება "/foo", დიაპაზონს ითხოვთ ["/foo", "/fop"). მაგრამ ეს დააბრუნებს გასაღების მთელ ქვეხეს, რაც შეიძლება არ იყოს მისაღები, თუ ქვეხე დიდია. თავიდან ჩვენ ვგეგმავდით თარგმნის ძირითადი მექანიზმის გამოყენებას, განხორციელებული zetcd-ში. იგი მოიცავს ერთი ბაიტის დამატებას გასაღების დასაწყისში, რომელიც უდრის ხეში არსებული კვანძის სიღრმეს. მოდი მაგალითს მოგიყვან.

"/foo" -> "u01/foo"
"/foo/bar" -> "u02/foo/bar"

შემდეგ აიღეთ გასაღები ყველა უახლოეს შვილს "/foo" შესაძლებელია დიაპაზონის მოთხოვნით ["u02/foo/", "u02/foo0"). დიახ, ASCII-ში "0" დგას მაშინვე "/".

მაგრამ როგორ განხორციელდეს ამ შემთხვევაში წვეროს მოცილება? გამოდის, რომ თქვენ უნდა წაშალოთ ტიპის ყველა დიაპაზონი ["uXX/foo/", "uXX/foo0") XX-სთვის 01-დან FF-მდე. შემდეგ კი შევვარდით ოპერაციის ნომრის ლიმიტი ერთი ტრანზაქციის ფარგლებში.

შედეგად, გამოიგონეს გასაღების კონვერტაციის მარტივი სისტემა, რამაც შესაძლებელი გახადა ეფექტურად განხორციელებულიყო როგორც გასაღების წაშლა, ასევე ბავშვების სიის მიღება. საკმარისია დაამატოთ სპეციალური სიმბოლო ბოლო ჟეტონამდე. Მაგალითად:

"/very" -> "/u00very"
"/very/long" -> "/very/u00long"
"/very/long/path" -> "/very/long/u00path"

შემდეგ გასაღების წაშლა "/very" წაშლაში გადაიქცევა "/u00very" და დიაპაზონი ["/very/", "/very0"), და ყველა ბავშვის მიღება - დიაპაზონიდან გასაღებების მოთხოვნით ["/very/u00", "/very/u01").

გასაღების ამოღება ZooKeeper-ში

როგორც უკვე აღვნიშნე, ZooKeeper-ში თქვენ არ შეგიძლიათ წაშალოთ კვანძი, თუ მას ჰყავს ბავშვები. ჩვენ გვინდა წავშალოთ გასაღები ქვეხესთან ერთად. Რა უნდა გავაკეთო? ჩვენ ამას ოპტიმიზმით ვაკეთებთ. პირველ რიგში, ჩვენ რეკურსიულად ვკვეთთ ქვეხეს, ვიღებთ თითოეული წვერის შვილებს ცალკე შეკითხვით. შემდეგ ჩვენ ვაშენებთ ტრანზაქციას, რომელიც ცდილობს წაშალოს ქვეხის ყველა კვანძი სწორი თანმიმდევრობით. რა თქმა უნდა, ცვლილებები შეიძლება მოხდეს ქვეხის წაკითხვასა და წაშლას შორის. ამ შემთხვევაში, გარიგება ჩაიშლება. უფრო მეტიც, ქვეხე შეიძლება შეიცვალოს კითხვის პროცესში. შემდეგი კვანძის შვილების მოთხოვნამ შეიძლება დააბრუნოს შეცდომა, თუ, მაგალითად, ეს კვანძი უკვე წაშლილია. ორივე შემთხვევაში, ჩვენ კვლავ ვიმეორებთ მთელ პროცესს.

ეს მიდგომა ძალიან არაეფექტურს ხდის გასაღების წაშლას, თუ მას ჰყავს შვილები, და მით უმეტეს, თუ აპლიკაცია განაგრძობს მუშაობას ქვეხესთან, წაშლის და კლავიშების შექმნას. თუმცა, ამან მოგვცა საშუალება აგვეცილებინა სხვა მეთოდების დანერგვის გართულება etcd-ში და კონსულში.

დაყენებულია ZooKeeper-ში

ZooKeeper-ში არის ცალკეული მეთოდები, რომლებიც მუშაობენ ხის სტრუქტურასთან (შექმნა, წაშლა, getChildren) და რომლებიც მუშაობენ მონაცემებთან კვანძებში (setData, getData). უფრო მეტიც, ყველა მეთოდს აქვს მკაცრი წინაპირობა: შექმნა დააბრუნებს შეცდომას, თუ კვანძს უკვე აქვს შეიქმნა, წაშალეთ ან დააყენეთData – თუ ის უკვე არ არსებობს. ჩვენ გვჭირდებოდა კომპლექტი მეთოდი, რომლის გამოძახებაც შესაძლებელია გასაღების არსებობაზე ფიქრის გარეშე.

ერთი ვარიანტია ოპტიმისტური მიდგომა, როგორც წაშლის შემთხვევაში. შეამოწმეთ არის თუ არა კვანძი. თუ არსებობს, დარეკეთ setData, წინააღმდეგ შემთხვევაში შექმენით. თუ ბოლო მეთოდმა დააბრუნა შეცდომა, გაიმეორეთ ყველაფერი თავიდან. პირველი, რაც უნდა აღინიშნოს, არის ის, რომ არსებობის ტესტი უაზროა. შეგიძლიათ დაუყოვნებლივ დარეკოთ შექმნა. წარმატებით დასრულება ნიშნავს, რომ კვანძი არ არსებობდა და ის შეიქმნა. წინააღმდეგ შემთხვევაში, create დააბრუნებს შესაბამის შეცდომას, რის შემდეგაც თქვენ უნდა დარეკოთ setData. რა თქმა უნდა, ზარებს შორის, წვერო შეიძლება წაიშალოს კონკურენტული ზარით და setData ასევე დააბრუნებს შეცდომას. ამ შემთხვევაში, შეგიძლიათ ყველაფერი თავიდან გააკეთოთ, მაგრამ ღირს?

თუ ორივე მეთოდი დააბრუნებს შეცდომას, მაშინ ჩვენ დანამდვილებით ვიცით, რომ მოხდა კონკურენტული წაშლა. წარმოვიდგინოთ, რომ ეს წაშლა მოხდა დარეკვის შემდეგ. მაშინ ის მნიშვნელობა, რასაც ჩვენ ვცდილობთ დავადგინოთ, უკვე წაშლილია. ეს ნიშნავს, რომ შეგვიძლია ვივარაუდოთ, რომ ნაკრები წარმატებით შესრულდა, მაშინაც კი, თუ სინამდვილეში არაფერი იყო დაწერილი.

მეტი ტექნიკური დეტალები

ამ განყოფილებაში ჩვენ ვისვენებთ განაწილებული სისტემებიდან და ვისაუბრებთ კოდირებაზე.
მომხმარებლის ერთ-ერთი მთავარი მოთხოვნა იყო cross-platform: მინიმუმ ერთი სერვისი უნდა იყოს მხარდაჭერილი Linux-ზე, MacOS-სა და Windows-ზე. თავდაპირველად, ჩვენ განვავითარეთ მხოლოდ Linux-ისთვის და მოგვიანებით დავიწყეთ ტესტირება სხვა სისტემებზე. ამან უამრავი პრობლემა გამოიწვია, რომლებზეც გარკვეული პერიოდის განმავლობაში სრულიად გაუგებარი იყო როგორ მიდგომა. შედეგად, სამივე საკოორდინაციო სერვისი ახლა მხარდაჭერილია Linux-სა და MacOS-ზე, ხოლო მხოლოდ Consul KV არის მხარდაჭერილი Windows-ზე.

თავიდანვე ვცდილობდით სერვისებზე წვდომისთვის მზა ბიბლიოთეკებით გამოგვეყენებინა. ZooKeeper-ის შემთხვევაში არჩევანი დაეცა ZooKeeper C++, რომლის შედგენა საბოლოოდ ვერ მოხერხდა Windows-ზე. თუმცა, ეს გასაკვირი არ არის: ბიბლიოთეკა განთავსებულია მხოლოდ ლინუქსის სახით. კონსულისთვის ერთადერთი ვარიანტი იყო pp კონსული. მას მხარდაჭერა უნდა დაემატა სესიები и გარიგებები. etcd-სთვის, პროტოკოლის უახლესი ვერსიის მხარდაჭერის სრულფასოვანი ბიბლიოთეკა ვერ მოიძებნა, ამიტომ ჩვენ უბრალოდ გენერირებული grpc კლიენტი.

შთაგონებული ZooKeeper C++ ბიბლიოთეკის ასინქრონული ინტერფეისით, ჩვენ გადავწყვიტეთ ასინქრონული ინტერფეისის დანერგვაც. ZooKeeper C++ ამისთვის იყენებს მომავლის/დაპირებულ პრიმიტივებს. STL-ში, სამწუხაროდ, ისინი ძალიან მოკრძალებულად ხორციელდება. მაგალითად, არა შემდეგ მეთოდი, რომელიც მიმართავს წარსულ ფუნქციას მომავლის შედეგზე, როდესაც ის ხელმისაწვდომი გახდება. ჩვენს შემთხვევაში, ასეთი მეთოდი აუცილებელია შედეგის ჩვენი ბიბლიოთეკის ფორმატში გადასაყვანად. ამ პრობლემის გადასაჭრელად, ჩვენ მოგვიწია საკუთარი მარტივი ძაფების ფონდის დანერგვა, რადგან მომხმარებლის მოთხოვნით ჩვენ ვერ გამოვიყენებდით მესამე მხარის მძიმე ბიბლიოთეკებს, როგორიცაა Boost.

ჩვენი მაშინდელი განხორციელება ასე მუშაობს. გამოძახებისას იქმნება დამატებითი დაპირება/მომავლის წყვილი. ბრუნდება ახალი მომავალი, ხოლო გავლილი მოთავსებულია შესაბამის ფუნქციასთან და დამატებით დაპირებასთან ერთად რიგში. ნაკადი აუზიდან ირჩევს რამდენიმე ფიუჩერსს რიგიდან და გამოკითხავს მათ wait_for-ის გამოყენებით. როდესაც შედეგი ხელმისაწვდომი გახდება, შესაბამისი ფუნქცია გამოიძახება და მისი დაბრუნების მნიშვნელობა გადაეცემა დაპირებას.

ჩვენ გამოვიყენეთ იგივე thread pool შეკითხვის შესასრულებლად etcd-სა და Consul-თან. ეს ნიშნავს, რომ ფუძემდებლურ ბიბლიოთეკებზე წვდომა შესაძლებელია მრავალი განსხვავებული ძაფით. ppconsul არ არის ძაფებზე უსაფრთხო, ამიტომ მასზე ზარები დაცულია საკეტებით.
თქვენ შეგიძლიათ იმუშაოთ grpc-თან მრავალი ძაფიდან, მაგრამ არის დახვეწილობა. etcd-ში საათები ხორციელდება grpc ნაკადების მეშვეობით. ეს არის ორმხრივი არხები გარკვეული ტიპის შეტყობინებებისთვის. ბიბლიოთეკა ქმნის ერთ თემას ყველა საათისთვის და ერთი ძაფს, რომელიც ამუშავებს შემომავალ შეტყობინებებს. ასე რომ, grpc კრძალავს პარალელურად ჩაწერას სტრიმინგში. ეს ნიშნავს, რომ საათის ინიციალიზაციისას ან წაშლისას, თქვენ უნდა დაელოდოთ სანამ წინა მოთხოვნა დაასრულებს გაგზავნას შემდეგის გაგზავნამდე. ჩვენ ვიყენებთ სინქრონიზაციისთვის პირობითი ცვლადები.

სულ

იხილეთ თქვენთვის: ლიბოფქვ.

ჩვენი გუნდი: რაედ რომანოვი, ივან გლუშენკოვი, დიმიტრი კამალდინოვი, ვიქტორ კრაპივენსკი, ვიტალი ივანინი.

წყარო: www.habr.com