WAL-G: ახალი ფუნქციები და საზოგადოების გაფართოება. გეორგი რილოვი

გირჩევთ წაიკითხოთ გეორგი რილოვის 2020 წლის დასაწყისში მოხსენების ტრანსკრიპტი „WAL-G: ახალი შესაძლებლობები და საზოგადოების გაფართოება“

ღია კოდის შემსრულებლები ზრდის პროცესში ბევრ გამოწვევას აწყდებიან. როგორ დავწეროთ უფრო და უფრო მეტი საჭირო ფუნქცია, მოვაგვაროთ უფრო და უფრო მეტი პრობლემა და მოვახერხოთ უფრო და უფრო მეტი მოთხოვნის ნახვა? WAL-G-ის (სარეზერვო ინსტრუმენტი PostgreSQL-ისთვის) მაგალითის გამოყენებით, მე გეტყვით, როგორ გადავჭრით ეს პრობლემები უნივერსიტეტში ღია კოდის განვითარების კურსის გაშვებით, რას მივაღწიეთ და სად გადავალთ შემდეგში.

კიდევ ერთხელ გამარჯობა ყველას! მე ვარ Yandex-ის დეველოპერი ეკატერინბურგიდან. დღეს კი WAL-G-ზე ვისაუბრებ.

მოხსენების სათაურში არ იყო ნათქვამი, რომ ეს ეხებოდა სარეზერვო ასლებს. ვინმემ იცით რა არის WAL-G? ან ყველამ იცის? ასწიე ხელი, თუ არ იცი. წმიდა სიგიჟე, შენ მოვიდა მოხსენებაზე და არ იცი რაზეა საუბარი.

ნება მომეცით გითხრათ რა მოხდება დღეს. ისე ხდება, რომ ჩვენი გუნდი საკმაოდ დიდი ხნის განმავლობაში აკეთებს სარეზერვო ასლებს. და ეს არის კიდევ ერთი მოხსენება სერიიდან, სადაც ვსაუბრობთ იმაზე, თუ როგორ ვინახავთ მონაცემებს უსაფრთხოდ, უსაფრთხოდ, მოხერხებულად და ეფექტურად.

წინა სერიაში იყო ანდრეი ბოროდინისა და ვლადიმერ ლესკოვის მრავალი მოხსენება. ბევრნი ვიყავით. და ჩვენ ვსაუბრობთ WAL-G-ზე მრავალი წლის განმავლობაში.

clck.ru/F8ioz - https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw - https://www.highload.ru/moscow/2019/abstracts/5981

ეს მოხსენება ცოტათი განსხვავდება სხვებისგან იმით, რომ უფრო ტექნიკურ ნაწილს ეხებოდა, მაგრამ აქ ვისაუბრებ იმაზე, თუ როგორ შეგვხვდა პრობლემები საზოგადოების ზრდასთან. და როგორ გაგვიჩნდა პატარა იდეა, რომელიც დაგვეხმარება ამის გამკლავებაში.

რამდენიმე წლის წინ, WAL-G იყო საკმაოდ მცირე პროექტი, რომელიც მივიღეთ Citus Data-სგან. და ჩვენ უბრალოდ ავიღეთ. და ის შეიმუშავა ერთმა ადამიანმა.

და მხოლოდ WAL-G-ს არ ჰქონდა:

• სარეზერვო ასლი რეპლიკიდან.
• არ იყო დამატებითი სარეზერვო ასლები.
• WAL-Delta-ს სარეზერვო ასლები არ იყო.
• და კიდევ ბევრი იყო დაკარგული.

ამ რამდენიმე წლის განმავლობაში, WAL-G ძალიან გაიზარდა.

2020 წლისთვის კი ყველაფერი ზემოთ უკვე გამოჩნდა. და ამას დაემატა ის, რაც ახლა გვაქვს:

• 1-ზე მეტი ვარსკვლავი GitHub-ზე.
• 150 ჩანგალი.
• დაახლოებით 15 ღია პიარი.
• და კიდევ ბევრი კონტრიბუტორი.
• და ყოველთვის ღიაა საკითხები. და ეს იმისდა მიუხედავად, რომ ჩვენ ფაქტიურად ყოველდღე მივდივართ იქ და რაღაცას ვაკეთებთ ამის შესახებ.

და მივედით დასკვნამდე, რომ ეს პროექტი მოითხოვს ჩვენს ყურადღებას, მაშინაც კი, როდესაც ჩვენ თვითონ არ გვჭირდება რაიმეს დანერგვა Yandex-ში ჩვენი მართული მონაცემთა ბაზების სერვისისთვის.

და სადღაც 2018 წლის შემოდგომაზე, იდეა გაგვიჩნდა თავში. როგორც წესი, გუნდს აქვს რამდენიმე გზა, რათა განავითაროს ზოგიერთი ფუნქცია ან გამოასწოროს შეცდომები, თუ საკმარისი ხელები არ გაქვთ. მაგალითად, შეგიძლიათ დაიქირაოთ სხვა დეველოპერი და გადაიხადოთ ფული. ან შეგიძლიათ მიიღოთ სტაჟიორი გარკვეული ხნით და ასევე გადაუხადოთ მას გარკვეული ხელფასი. მაგრამ ჯერ კიდევ არის ადამიანთა საკმაოდ დიდი ჯგუფი, რომელთაგან ზოგიერთმა უკვე იცის კოდის დაწერა. თქვენ უბრალოდ ყოველთვის არ იცით რა ხარისხის კოდია.

დავფიქრდით და გადავწყვიტეთ სტუდენტების მოზიდვა. მაგრამ სტუდენტები ჩვენთან ყველაფერში არ მიიღებენ მონაწილეობას. ისინი მხოლოდ სამუშაოს გარკვეულ ნაწილს შეასრულებენ. და ისინი, მაგალითად, დაწერენ ტესტებს, შეასწორებენ შეცდომებს, განახორციელებენ ფუნქციებს, რომლებიც გავლენას არ მოახდენს მთავარ ფუნქციონირებაზე. მთავარი ფუნქცია არის სარეზერვო ასლების შექმნა და სარეზერვო ასლების აღდგენა. თუ ჩვენ დავუშვებთ შეცდომას სარეზერვო ასლის შექმნისას, ჩვენ განვიცდით მონაცემთა დაკარგვას. და არავის არ სურს ეს, რა თქმა უნდა. ყველას სურს, რომ ყველაფერი ძალიან უსაფრთხო იყოს. ამიტომ, რა თქმა უნდა, ჩვენ არ გვინდა დავუშვათ კოდი, რომელსაც საკუთარზე ნაკლებად ვენდობით. ანუ, ნებისმიერი არაკრიტიკული კოდი არის ის, რაც ჩვენ გვინდა მივიღოთ ჩვენი დამატებითი მუშაკებისგან.

რა პირობებში მიიღება სტუდენტური პიარი?

• მათ მოეთხოვებათ დაფარონ თავიანთი კოდი ტესტებით. ყველაფერი უნდა მოხდეს CI-ში.
• ჩვენ ასევე გავდივართ 2 მიმოხილვას. ერთი ანდრეი ბოროდინისა და ერთი ჩემი.
• და დამატებით, რომ შევამოწმო, რომ ეს არაფერს დაარღვიოს ჩვენს სერვისში, მე ცალკე ავტვირთავ ასამბლეას ამ კომიტით. და ჩვენ ვამოწმებთ ბოლომდე ტესტებში, რომ არაფერი ჩავარდეს.

სპეციალური კურსი ღია კოდის შესახებ

ცოტა რამ იმაზე, თუ რატომ არის ეს საჭირო და რატომ ეს, მეჩვენება, მაგარი იდეაა.

ჩვენთვის მოგება აშკარაა:

• ჩვენ ვიღებთ დამატებით ხელებს.
• და ჩვენ ვეძებთ კანდიდატებს გუნდისთვის ჭკვიან სტუდენტებს შორის, რომლებიც წერენ სმარტ კოდს.

რა სარგებელი მოაქვს სტუდენტებს?

ისინი შეიძლება ნაკლებად აშკარა იყოს, რადგან სტუდენტები, სულ მცირე, არ იღებენ ფულს მათ მიერ დაწერილი კოდისთვის, არამედ იღებენ შეფასებებს მხოლოდ სტუდენტური ჩანაწერებისთვის.

მე მათ ვკითხე ამის შესახებ. და მათი სიტყვებით:

• კონტრიბუტორი გამოცდილება ღია წყაროში.
• მიიღეთ ხაზი თქვენს CV-ში.
• დაამტკიცეთ საკუთარი თავი და გაიარეთ ინტერვიუ Yandex-ში.
• გახდი GSoC წევრი.
• +1 სპეციალური კურსი მათთვის, ვისაც სურს დაწეროს კოდი.

მე არ ვისაუბრებ იმაზე, თუ როგორ იყო სტრუქტურირებული კურსი. უბრალოდ ვიტყვი, რომ WAL-G იყო მთავარი პროექტი. ჩვენ ასევე ჩავრთეთ ისეთი პროექტები, როგორიცაა Odyssey, PostgreSQL და ClickHouse ამ კურსში.

და მათ პრობლემები შექმნეს არა მხოლოდ ამ კურსზე, არამედ მისცეს დიპლომები და კურსები.

რაც შეეხება მომხმარებლის სარგებელს?

ახლა გადავიდეთ იმ ნაწილზე, რომელიც ყველაზე მეტად გაინტერესებთ. რა სარგებელს მოაქვს ეს? საქმე იმაშია, რომ მოსწავლეებმა ბევრი ხარვეზი გამოასწორეს. და ჩვენ შევქმენით მოთხოვნის ფუნქციები, რომლებიც თქვენ გვთხოვეთ.

და ნება მომეცით გითხრათ იმაზე, რაც დიდი ხანია გინდოდათ და რაც განხორციელდა.

მაგიდის სივრცის მხარდაჭერა. Tablespace WAL-G-ში მოსალოდნელია ალბათ WAL-G-ის გამოსვლის შემდეგ, რადგან WAL-G არის სხვა სარეზერვო ხელსაწყოს WAL-E-ის მემკვიდრე, სადაც მონაცემთა ბაზის სარეზერვო ასლები იყო მხარდაჭერილი.

ნება მომეცით მოკლედ შეგახსენოთ, რა არის და რატომ არის ეს ყველაფერი საჭირო. როგორც წესი, ყველა თქვენი Postgres მონაცემი იკავებს ფაილურ სისტემაში ერთ დირექტორიას, რომელსაც ეწოდება ბაზა. და ეს დირექტორია უკვე შეიცავს Postgres-ის მიერ მოთხოვნილ ყველა ფაილს და ქვეცნობარს.

Tablespaces არის დირექტორიები, რომლებიც შეიცავს Postgres მონაცემებს, მაგრამ ისინი არ მდებარეობს საბაზისო დირექტორიას გარეთ. სლაიდი აჩვენებს, რომ tablespacs მდებარეობს ბაზის დირექტორიას გარეთ.

რას ჰგავს ეს თავად პოსტგრესისთვის? საბაზისო დირექტორიაში არის ცალკე ქვეცნობარი pg_tblspc. და ის შეიცავს სიმბოლოების ბმულებს საქაღალდეებთან, რომლებიც რეალურად შეიცავს Postgres-ის მონაცემებს საბაზისო დირექტორიას გარეთ.

როდესაც თქვენ იყენებთ ამ ყველაფერს, მაშინ თქვენთვის ეს ბრძანებები შეიძლება ასე გამოიყურებოდეს. ანუ, თქვენ ქმნით ცხრილს გარკვეულ მაგიდის სივრცეში და ხედავთ სად არის ის ახლა. ეს არის ბოლო ორი ხაზი, ბოლო ორი ბრძანება ე.წ. და აქ ცხადია, რომ რაღაც გზა არსებობს. მაგრამ სინამდვილეში, ეს არ არის რეალური გზა. ეს არის პრეფიქსირებული გზა საბაზისო დირექტორიადან tablespace-მდე. და იქიდან იგი შეესაბამება სიმბოლურ ბმულს, რომელიც მიდის თქვენს რეალურ მონაცემებთან.

ჩვენ ამ ყველაფერს ჩვენს გუნდში არ ვიყენებთ, მაგრამ მას იყენებდნენ WAL-E-ის მრავალი სხვა მომხმარებელი, რომლებმაც მოგვწერეს, რომ სურდათ WAL-G-ში გადასვლა, მაგრამ ეს მათ აჩერებდა. ეს ახლა მხარდაჭერილია.

კიდევ ერთი თვისება, რომელიც ჩვენმა სპეციალურმა კურსმა მოგვიტანა, არის დაჭერა. ადამიანებმა, რომლებიც ალბათ უფრო მეტად მუშაობდნენ Oracle-თან, ვიდრე Postgres-თან, იციან catchup-ის შესახებ.

მოკლედ რა არის. ჩვენს სერვისში კასეტური ტოპოლოგია ჩვეულებრივ შეიძლება ასე გამოიყურებოდეს. ჩვენ გვყავს ოსტატი. არსებობს რეპლიკა, რომელიც მისგან გადმოსცემს წინასწარ ჩაწერის ჟურნალს. და რეპლიკა ეუბნება მასტერს რომელ LSN-ზეა ამჟამად. და სადღაც ამის პარალელურად, ჟურნალი შეიძლება დაარქივდეს. და ჟურნალის დაარქივების გარდა, სარეზერვო ასლები ასევე იგზავნება ღრუბელში. და დელტა სარეზერვო ასლები იგზავნება.

რა შეიძლება იყოს პრობლემა? როდესაც თქვენ გაქვთ საკმაოდ დიდი მონაცემთა ბაზა, შეიძლება აღმოჩნდეს, რომ თქვენი რეპლიკა ბევრად ჩამორჩება მასტერს. და ის ისე ჩამორჩება, რომ ვერასოდეს მიაღწევს მას. ეს პრობლემა, როგორც წესი, რაღაცნაირად უნდა მოგვარდეს.

და უმარტივესი გზაა ასლის ამოღება და მისი ხელახლა ატვირთვა, რადგან ის ვერასდროს დაიჭერს და პრობლემას უნდა მოგვარდეს. მაგრამ ეს საკმაოდ დიდი დროა, რადგან მთელი 10 ტბ მონაცემთა ბაზის სარეზერვო ასლის აღდგენა ძალიან, ძალიან დიდი დროა. და ჩვენ გვინდა ეს ყველაფერი გავაკეთოთ რაც შეიძლება სწრაფად, თუ ასეთი პრობლემები წარმოიქმნება. და სწორედ ამისთვის არის დაჭერა.

Catchup საშუალებას გაძლევთ გამოიყენოთ დელტა სარეზერვო ასლები, რომლებიც ინახება ღრუბელში ამ გზით. თქვენ ამბობთ, რომელ LSN-ზე არის ამჟამად ჩამორჩენილი რეპლიკა და მიუთითებთ მას catchup ბრძანებაში, რათა შექმნათ დელტა სარეზერვო ასლი ამ LSN-სა და LSN-ს შორის, რომელზეც ამჟამად მდებარეობს თქვენი კლასტერი. და ამის შემდეგ თქვენ აღადგენთ ამ სარეზერვო ასლს, რომელიც ჩამორჩებოდა.

სხვა ბაზები

სტუდენტებმაც ერთდროულად მოგვიტანეს ბევრი თვისება. ვინაიდან Yandex-ში ჩვენ ვამზადებთ არა მხოლოდ Postgres-ს, ასევე გვაქვს MySQL, MongoDB, Redis, ClickHouse, რაღაც მომენტში გვჭირდებოდა სარეზერვო ასლების გაკეთება MySQL-სთვის დროული აღდგენით და ასე რომ, ატვირთვის შესაძლებლობა გვქონდა. ისინი ღრუბლამდე.

ჩვენ გვინდოდა ამის გაკეთება მსგავსი გზით, რასაც WAL-G აკეთებს. ჩვენ გადავწყვიტეთ ექსპერიმენტი ჩაგვეტარებინა და ვნახოთ, როგორ გამოიყურებოდა ეს ყველაფერი.

და თავიდან, ამ ლოგიკის არანაირად გაზიარების გარეშე, ჩანგალში ჩაწერეს კოდი. მათ დაინახეს, რომ ჩვენ გვაქვს სამუშაო მოდელი და მას შეუძლია ფრენა. მაშინ ვიფიქრეთ, რომ ჩვენი მთავარი საზოგადოება პოსტგრესისტები არიან, ისინი იყენებენ WAL-G-ს. და ამიტომ საჭიროა როგორმე გამოვყოთ ეს ნაწილები. ანუ, როდესაც ჩვენ ვასწორებთ კოდს Postgres-ისთვის, ჩვენ არ ვარღვევთ MySQL-ს; როდესაც ვასწორებთ MySQL-ს, ჩვენ არ ვარღვევთ Postgres-ს.

პირველი იდეა იმის შესახებ, თუ როგორ უნდა განვასხვავოთ ეს, იყო იგივე მიდგომის გამოყენების იდეა, რომელიც გამოიყენება PostgreSQL გაფართოებებში. და, ფაქტობრივად, MySQL სარეზერვო ასლის შესაქმნელად, თქვენ უნდა დააინსტალიროთ რაიმე სახის დინამიური ბიბლიოთეკა.

მაგრამ აქ ამ მიდგომის ასიმეტრია მაშინვე ჩანს. Postgres-ის სარეზერვო ასლის შექმნისას თქვენ მასზე დებთ ჩვეულებრივ სარეზერვო ასლს Postgres-ისთვის და ყველაფერი კარგადაა. და MySQL-სთვის გამოდის, რომ თქვენ დააინსტალირეთ სარეზერვო საშუალება Postgres-ისთვის და ასევე დააინსტალირეთ დინამიური ბიბლიოთეკა MySQL-სთვის. უცნაურად ჟღერს. ჩვენც ასე ვიფიქრეთ და გადავწყვიტეთ, რომ ეს არ იყო ჩვენთვის საჭირო გამოსავალი.

სხვადასხვა ნაგებობები Postgres, MySQL, MongoDB, Redis-ისთვის

მაგრამ ამან მოგვცა საშუალება, როგორც ჩანს, მივსულიყავით სწორ გადაწყვეტილებამდე - გამოვყოთ სხვადასხვა კრებები სხვადასხვა ბაზებისთვის. ამან შესაძლებელი გახადა ლოგიკის იზოლირება, რომელიც დაკავშირებულია სხვადასხვა მონაცემთა ბაზების სარეზერვო ასლებთან, რომლებიც წვდებიან საერთო API-ს, რომელსაც WAL-G ახორციელებს.

ეს ის ნაწილია, რომელიც ჩვენ თვითონ დავწერეთ - სანამ მოსწავლეებს პრობლემებს მივცემდით. ანუ, ეს არის ზუსტად ის ნაწილი, სადაც მათ შეეძლოთ რაიმე არასწორად მოქცეულიყვნენ, ამიტომ გადავწყვიტეთ, რომ ჯობია გავაკეთოთ მსგავსი რამ და ყველაფერი კარგად იქნება.

ამის შემდეგ პრობლემები გამოვიტანეთ. ისინი მაშინვე დაიშალა. სტუდენტებს მოეთხოვებოდათ სამი ბაზის მხარდაჭერა.

ეს არის MySQL, რომლის სარეზერვო ასლს ვაკეთებთ WAL-G-ის გამოყენებით ერთ წელზე მეტი ხნის განმავლობაში.

ახლა კი MongoDB უახლოვდება წარმოებას, სადაც ისინი ასრულებენ მას ფაილით. ფაქტობრივად, ჩვენ დავწერეთ ამ ყველაფრის ჩარჩო. შემდეგ მოსწავლეებმა დაწერეს რამდენიმე გამოსადეგი რამ. შემდეგ კი მათ მივყავართ ისეთ მდგომარეობამდე, რომლის მიღებაც შეგვიძლია წარმოებაში.

ეს პრობლემები არ ჰგავდა სტუდენტებს, რომ დაეწერათ სრული სარეზერვო ინსტრუმენტები თითოეული ამ მონაცემთა ბაზისთვის. ასეთი პრობლემა არ გვქონია. ჩვენი პრობლემა ის იყო, რომ გვინდოდა დროში აღდგენა და გვინდოდა ღრუბელში სარეზერვო ასლის შექმნა. და მათ სთხოვეს სტუდენტებს დაეწერათ კოდი, რომელიც მოაგვარებდა ამას. სტუდენტებმა გამოიყენეს უკვე არსებული სარეზერვო ინსტრუმენტები, რომლებიც რატომღაც იღებენ სარეზერვო ასლებს, შემდეგ კი ეს ყველაფერი ერთად დააწებეს WAL-G-ით, რომელმაც ეს ყველაფერი გადააგზავნა ღრუბელში. მათ ასევე დაამატეს დროული აღდგენა.

კიდევ რა მოიტანეს სტუდენტებმა? მათ მოუტანეს Libsodium დაშიფვრის მხარდაჭერა WAL-G-ს.

ჩვენ ასევე გვაქვს სარეზერვო შენახვის წესები. ახლა სარეზერვო ასლები შეიძლება მოინიშნოს როგორც მუდმივი. და რატომღაც თქვენი სერვისისთვის უფრო მოსახერხებელია მათი შენახვის პროცესის ავტომატიზაცია.

რა შედეგი მოჰყვა ამ ექსპერიმენტს?

კურსზე თავდაპირველად 100-ზე მეტი ადამიანი დარეგისტრირდა. თავიდან მე არ მითქვამს, რომ ეკატერინბურგის უნივერსიტეტი არის ურალის ფედერალური უნივერსიტეტი. ყველაფერი იქ გამოვაცხადეთ. დარეგისტრირდა 100 ადამიანი. სინამდვილეში, გაცილებით ნაკლებმა ადამიანმა დაიწყო რაღაცის კეთება, დაახლოებით 30 ადამიანმა.

კიდევ უფრო ნაკლებმა გაიარა კურსი, რადგან საჭირო იყო ტესტების დაწერა უკვე არსებული კოდებისთვის. და ასევე შეასწორეთ შეცდომები ან შექმენით რაიმე ფუნქცია. და ზოგიერთმა სტუდენტმა მაინც დახურა კურსი.

ამჟამად, ამ კურსის განმავლობაში სტუდენტებმა დააფიქსირეს დაახლოებით 14 პრობლემა და შექმნეს სხვადასხვა ზომის 10 ფუნქცია. და, მეჩვენება, რომ ეს არის ერთი ან ორი დეველოპერის სრულფასოვანი ჩანაცვლება.

სხვათა შორის, გავეცით დიპლომები და კურსები. 12-მა კი დიპლომი მიიღო. მათგან 6-მა უკვე დაიცვა თავი "5-ზე". ვინც დარჩნენ, ჯერ დაცვა არ ჰქონიათ, მაგრამ ვფიქრობ, მათთვისაც ყველაფერი კარგად იქნება.

სამომავლო გეგმები

რა გეგმები გვაქვს სამომავლოდ?

მინიმუმ ის ფუნქციების მოთხოვნები, რომლებიც უკვე მოვისმინეთ მომხმარებლებისგან და გვინდა გავაკეთოთ. ეს:

• HA კლასტერის სარეზერვო არქივში ვადების მიკვლევის სისწორის მონიტორინგი. ამის გაკეთება შეგიძლიათ WAL-G-ით. და ვფიქრობ, ჩვენ გვეყოლება სტუდენტები, რომლებიც ამ საკითხს შეუდგებიან.
• ჩვენ უკვე გვყავს პირი, რომელიც პასუხისმგებელია სარეზერვო ასლების და WAL ღრუბლებს შორის გადაცემაზე.
• და ჩვენ ახლახან გამოვაქვეყნეთ იდეა, რომ ჩვენ შეგვიძლია კიდევ უფრო დავაჩქაროთ WAL-G დამატებითი სარეზერვო ასლების ამოხსნით გვერდების გადაწერის გარეშე და იქ გაგზავნილი არქივების ოპტიმიზაციის გზით.

მათი გაზიარება შეგიძლიათ აქ

რისთვის იყო ეს მოხსენება? უფრო მეტიც, ახლა, 4 ადამიანის გარდა, ვინც მხარს უჭერს ამ პროექტს, გვაქვს დამატებითი ხელები, რომელთაგანაც საკმაოდ ბევრია. მით უმეტეს, თუ მათ პირად შეტყობინებაში წერთ. და თუ თქვენ შექმნით თქვენი მონაცემების სარეზერვო ასლს და ამას აკეთებთ WAL-G-ის გამოყენებით ან გსურთ გადახვიდეთ WAL-G-ზე, მაშინ ჩვენ შეგვიძლია საკმაოდ მარტივად დავაკმაყოფილოთ თქვენი სურვილები.

ეს არის QR კოდი და ბმული. შეგიძლიათ გაიაროთ ისინი და დაწეროთ ყველა თქვენი სურვილი. მაგალითად, ჩვენ არ ვასწორებთ რაიმე შეცდომას. ან ნამდვილად გსურთ რაიმე ფუნქცია, მაგრამ რატომღაც ის ჯერ არ არის სარეზერვო, მათ შორის ჩვენი. აუცილებლად დაწერეთ ამის შესახებ.

კითხვები

გამარჯობა! გმადლობთ ანგარიშისთვის! კითხვა WAL-G-ის შესახებ, მაგრამ არა Postgres-ის შესახებ. WAL-G ქმნის MySQL-ის სარეზერვო ასლს და იძახებს დამატებით სარეზერვო ასლს. თუ ჩვენ ავიღებთ თანამედროვე ინსტალაციას CentOS-ზე და თუ დააინსტალირებთ MySQL, MariDB დაინსტალირდება. 10.3 ვერსიიდან დამატებითი სარეზერვო ასლი არ არის მხარდაჭერილი, MariDB სარეზერვო ასლი მხარდაჭერილია. როგორ ხარ ამით?

ამ დროისთვის ჩვენ არ გვიცდია MariDB-ის სარეზერვო ასლის შექმნა. ჩვენ გვქონდა მოთხოვნები FoundationDB-ის მხარდაჭერის შესახებ, მაგრამ ზოგადად, თუ ასეთი მოთხოვნა იქნება, მაშინ შეგვიძლია ვიპოვოთ ხალხი, ვინც ამას გააკეთებს. ეს არც ისე გრძელი და რთულია, როგორც მე ვფიქრობ.

Საღამო მშვიდობისა გმადლობთ ანგარიშისთვის! შეკითხვა პოტენციური ახალი ფუნქციების შესახებ. მზად ხართ WAL-G-ს ლენტებით იმუშაოთ, რათა შეძლოთ ფირების სარეზერვო ასლის შექმნა?

სარეზერვო ასლის შექმნა ფირზე შესანახად ნიშნავს?

დიახ.

არის ანდრეი ბოროდინი, რომელსაც ჩემზე უკეთ შეუძლია ამ კითხვაზე პასუხის გაცემა.

(ანდრეი) დიახ, მადლობა შეკითხვისთვის! ჩვენ გვქონდა მოთხოვნა ღრუბლოვანი საცავიდან ფირზე სარეზერვო ასლის გადატანა. და ამისთვის ხერხი ღრუბლებს შორის გადატანა. იმის გამო, რომ ღრუბელიდან ღრუბელში გადაცემა არის ფირის გადაცემის განზოგადებული ვერსია. გარდა ამისა, ჩვენ გვაქვს გაფართოებული არქიტექტურა შენახვის კუთხით. სხვათა შორის, ბევრი სტოროგე დაიწერა სტუდენტებმა. და თუ დაწერთ Storage ფირზე, მაშინ ის, რა თქმა უნდა, იქნება მხარდაჭერილი. ჩვენ მზად ვართ განვიხილოთ გაყვანის მოთხოვნები. აქ თქვენ უნდა დაწეროთ ფაილი, წაიკითხოთ ფაილი. თუ ამ მოქმედებებს Go-ში აკეთებთ, ჩვეულებრივ 50 სტრიქონი კოდით მიიღებთ. და შემდეგ ფირზე იქნება მხარდაჭერილი WAL-G.

გმადლობთ ანგარიშისთვის! საინტერესო განვითარების პროცესი. სარეზერვო ასლი არის ფუნქციონირების სერიოზული ნაწილი, რომელიც კარგად უნდა იყოს დაფარული ტესტებით. როცა ახალი მონაცემთა ბაზების ფუნქციონირებას ახორციელებდით, სტუდენტებიც წერდნენ ტესტებს, თუ თქვენ თვითონ დაწერეთ ტესტები და შემდეგ აძლევდით მოსწავლეებს განხორციელებას?

მოსწავლეებმაც დაწერეს ტესტები. მაგრამ სტუდენტები უფრო მეტს წერდნენ ისეთი ფუნქციებისთვის, როგორიცაა ახალი მონაცემთა ბაზები. მათ დაწერეს ინტეგრაციის ტესტები. და დაწერეს ერთეული ტესტები. თუ ინტეგრაცია გადის, ანუ ამ მომენტში, ეს არის სკრიპტი, რომელსაც თქვენ ასრულებთ ხელით ან გაქვთ cron აკეთებს, მაგალითად. ანუ იქ სცენარი ძალიან ნათელია.

სტუდენტებს დიდი გამოცდილება არ აქვთ. განხილვას დიდი დრო სჭირდება?

დიახ, მიმოხილვებს საკმაოდ დიდი დრო სჭირდება. ანუ, ჩვეულებრივ, როდესაც რამდენიმე შემსრულებელი ერთდროულად მოდის და ამბობს, რომ მე გავაკეთე ეს, მე გავაკეთე ის, მაშინ თქვენ უნდა იფიქროთ და გამოყოთ დაახლოებით ნახევარი დღე, რომ გაარკვიოთ რა დაწერეს იქ. რადგან კოდი ყურადღებით უნდა წაიკითხოთ. ინტერვიუ არ ჰქონდათ. ჩვენ მათ კარგად არ ვიცნობთ, ამიტომ ამას დიდი დრო სჭირდება.

გმადლობთ ანგარიშისთვის! ადრე ანდრეი ბოროდინმა განაცხადა, რომ archive_command WAL-G-ში პირდაპირ უნდა გამოიძახოთ. მაგრამ რაიმე სახის კასეტური ვაზნის შემთხვევაში, ჩვენ გვჭირდება დამატებითი ლოგიკა, რათა განვსაზღვროთ კვანძი, საიდანაც გავაგზავნეთ ლილვები. როგორ გადაჭრით ამ პრობლემას თავად?

რა პრობლემა გაქვს აქ? ვთქვათ, გაქვთ სინქრონული რეპლიკა, რომლითაც აკეთებთ სარეზერვო ასლს? Ან რა?

(ანდრეი) ფაქტია, რომ მართლაც WAL-G განკუთვნილია ჭურვის სკრიპტების გარეშე გამოსაყენებლად. თუ რამე აკლია, მაშინ დავამატოთ ლოგიკა, რომელიც უნდა იყოს WAL-G-ში. რაც შეეხება იმას, თუ საიდან უნდა მოდიოდეს დაარქივება, მიგვაჩნია, რომ არქივირება უნდა იყოს კლასტერში არსებული ოსტატისგან. რეპლიკიდან დაარქივება ცუდი იდეაა. პრობლემების სხვადასხვა შესაძლო სცენარი არსებობს. კერძოდ, პრობლემები არქივირების ვადებთან და ნებისმიერ დამატებით ინფორმაციას. მადლობა შეკითხვისთვის!

(დაზუსტება: ჩვენ გავთავისუფლდით ჭურვის სკრიპტებისგან ამ საკითხში)

Საღამო მშვიდობისა! გმადლობთ ანგარიშისთვის! მე მაინტერესებს catchup ფუნქცია, რომელზეც თქვენ ისაუბრეთ. ჩვენ აღმოვჩნდით სიტუაციის წინაშე, როდესაც რეპლიკა უკან იყო და ვერ დაეწია. და მე ვერ ვიპოვე ამ ფუნქციის აღწერა WAL-G დოკუმენტებში.

Catchup გამოჩნდა ფაქტიურად 20 წლის 2020 იანვარს. დოკუმენტაციას შეიძლება მეტი სამუშაო დასჭირდეს. ჩვენ თვითონ ვწერთ და არც ისე კარგად ვწერთ. და, ალბათ, ჩვენ უნდა დავიწყოთ მოთხოვნით სტუდენტებს დაწერონ იგი.

გამოვიდა უკვე?

მოზიდვის მოთხოვნა უკვე მკვდარია, ანუ შევამოწმე. ეს ვცადე სატესტო კლასტერზე. აქამდე არ გვქონია სიტუაცია, რომ ეს შეგვემოწმებინა საბრძოლო მაგალითზე.

როდის უნდა ველოდოთ?

Მე არ ვიცი. მოიცადეთ ერთი თვე, ჩვენ აუცილებლად შევამოწმებთ.

წყარო: www.habr.com