კლასტერული საცავი მცირე ვებ კლასტერებისთვის, რომელიც დაფუძნებულია drbd+ocfs2-ზე

რაზე ვისაუბრებთ:
როგორ სწრაფად განვათავსოთ საერთო მეხსიერება ორი სერვერისთვის drbd+ocfs2 გადაწყვეტილებების საფუძველზე.

ვისთვის იქნება ეს სასარგებლო:
გაკვეთილი სასარგებლო იქნება სისტემის ადმინისტრატორებისთვის და ყველასთვის, ვინც ირჩევს შენახვის განხორციელების მეთოდს ან სურს სცადო გამოსავალი.

რა გადაწყვეტილებებზე ვთქვით უარი და რატომ?

ხშირად ჩვენ ვაწყდებით სიტუაციას, როდესაც ჩვენ გვჭირდება საზიარო მეხსიერების დანერგვა კარგი წაკითხვა-წერის შესრულებით მცირე ვებ კლასტერზე. ჩვენ ვცადეთ სხვადასხვა ვარიანტები ჩვენი პროექტებისთვის საერთო საცავის განხორციელებისთვის, მაგრამ რამდენიმემ შეძლო ერთდროულად რამდენიმე ინდიკატორის დაკმაყოფილება. ახლა ჩვენ გეტყვით რატომ.

• გლუსტერფები არ გვაკმაყოფილებდა კითხვისა და წერის შესრულებით; იყო პრობლემები დიდი რაოდენობით ფაილების ერთდროული წაკითხვისას და იყო მაღალი დატვირთვა CPU-ზე. ფაილების წაკითხვის პრობლემა შეიძლება მოგვარდეს მათზე უშუალოდ აგურიდან წვდომით, მაგრამ ეს ყოველთვის არ გამოიყენება და ზოგადად არასწორია.

• Ceph-ს არ მოეწონა გადაჭარბებული სირთულე, რომელიც შეიძლება საზიანო იყოს 2-4 სერვერის მქონე პროექტებზე, განსაკუთრებით იმ შემთხვევაში, თუ პროექტი შემდგომში შენარჩუნდება. ისევ და ისევ, არსებობს მუშაობის სერიოზული შეზღუდვები, რომლებიც გვაიძულებს ავაშენოთ ცალკე საცავის კლასტერები, როგორც გლუსტერფები.

• ერთი NFS სერვერის გამოყენება საერთო მეხსიერების განსახორციელებლად ბადებს კითხვებს შეცდომის ტოლერანტობის თვალსაზრისით.

• s3 არის შესანიშნავი პოპულარული გადაწყვეტა ამოცანების გარკვეული სპექტრისთვის, მაგრამ ეს არ არის ფაილური სისტემა, რომელიც ავიწროებს მის ფარგლებს.

• lsyncd. თუ ჩვენ უკვე დავიწყეთ საუბარი "არაფაილის სისტემებზე", მაშინ ღირს ამ პოპულარული გადაწყვეტის გადახედვა. ის არა მხოლოდ არ არის შესაფერისი ორმხრივი გაცვლისთვის (მაგრამ თუ ნამდვილად გსურთ, მაშინ შეგიძლიათ), ის ასევე არ მუშაობს სტაბილურად ფაილების დიდ რაოდენობაზე. მთელი ნივთის სასიამოვნო დამატება ის არის, რომ ის არის ერთძაფი. მიზეზი პროგრამის არქიტექტურაშია: ის იყენებს inotify-ს სამუშაო ობიექტების მონიტორინგისთვის, რომლებსაც ანიჭებს გაშვებისას და ხელახალი სკანირების დროს. rsync გამოიყენება როგორც გადაცემის საშუალება.

სახელმძღვანელო: როგორ განვათავსოთ საერთო მეხსიერება drbd+ocfs2-ზე დაფუძნებული

ჩვენთვის ერთ-ერთი ყველაზე მოსახერხებელი გამოსავალი იყო ბმული ocfs2+drbd. ახლა ჩვენ გეტყვით, თუ როგორ შეგიძლიათ სწრაფად განათავსოთ საერთო საცავი ორი სერვერისთვის გადაწყვეტილებების მონაცემთა ბაზის საფუძველზე. მაგრამ პირველი, ცოტა რამ კომპონენტების შესახებ:

DRBD - შენახვის სისტემა სტანდარტული Linux დისტრიბუციიდან, რომელიც საშუალებას გაძლევთ დააკოპიროთ მონაცემები სერვერებს შორის ბლოკებში. მთავარი პროგრამა არის შეცდომის ტოლერანტული საცავის შექმნა.

OCFS2 - ფაილური სისტემა, რომელიც უზრუნველყოფს ერთი და იმავე საცავის საერთო გამოყენებას რამდენიმე სისტემის მიერ. შედის Linux დისტრიბუციაში და არის ბირთვის მოდული და მომხმარებლის სივრცის ინსტრუმენტები FS-თან მუშაობისთვის. OCFS2 შეიძლება გამოყენებულ იქნას არა მხოლოდ DRBD-ზე, არამედ iSCSI-ზე მრავალი კავშირით. ჩვენს მაგალითში ჩვენ ვიყენებთ DRBD.

ყველა მოქმედება შესრულებულია ubuntu სერვერზე 18.04 მინიმალური კონფიგურაციით.

ნაბიჯი 1. DRBD-ის კონფიგურაცია:

ფაილში /etc/drbd.d/drbd0.res ჩვენ აღვწერთ ჩვენს ვირტუალურ ბლოკის მოწყობილობას /dev/drbd0:

resource drbd0 {
    syncer { rate 1000M; }
    net {
        allow-two-primaries;
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
    }
    startup { become-primary-on both; }
    on drbd1 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.192:7789;
}
    on drbd2 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.193:7789;
}
}

მეტა-დისკი შიდა — გამოიყენეთ იგივე ბლოკის მოწყობილობები მეტამონაცემების შესანახად
მოწყობილობა /dev/drbd0 - გამოიყენეთ /dev/drbd0, როგორც გზა drbd ტომისკენ.
დისკი /dev/vdb1 - გამოიყენეთ /dev/vdb1
სინკერი { სიხშირე 1000 მ; } - გამოიყენეთ გიგაბიტიანი არხის გამტარობა
დაშვება-ორი-პრაიმერი - მნიშვნელოვანი ვარიანტი, რომელიც საშუალებას აძლევს ცვლილებების მიღებას ორ ძირითად სერვერზე
after-sb-0pri, after-sb-1pri, after-sb-2pri - პარამეტრები, რომლებიც პასუხისმგებელნი არიან კვანძის ქმედებებზე, როდესაც გამოვლენილია splitbrain. დამატებითი დეტალები შეგიძლიათ იხილოთ დოკუმენტაციაში.
გახდეს-პირველადი-ორივეზე — აყენებს ორივე კვანძს პირველად.

ჩვენს შემთხვევაში, ჩვენ გვაქვს ორი აბსოლუტურად იდენტური VM, გამოყოფილი ვირტუალური ქსელით, რომლის გამტარუნარიანობაა 10 გიგაბიტი.

ჩვენს მაგალითში, ორი კლასტერული კვანძის ქსელის სახელებია drbd1 და drbd2. სათანადო მუშაობისთვის, თქვენ უნდა დააკავშიროთ ჰოსტების სახელები და IP მისამართები /etc/hosts-ში.

10.10.10.192 drbd1
10.10.10.193 drbd2

ნაბიჯი 2. კვანძების დაყენება:

ორივე სერვერზე ვმუშაობთ:

drbdadm create-md drbd0

modprobe drbd
drbdadm up drbd0
cat /proc/drbd

ჩვენ ვიღებთ შემდეგს:

შეგიძლიათ დაიწყოთ სინქრონიზაცია. პირველ კვანძზე თქვენ უნდა შეასრულოთ:

drbdadm primary --force drbd0

მოდით შევხედოთ სტატუსს:

cat /proc/drbd

კარგია, სინქრონიზაცია დაიწყო. ველოდებით ბოლომდე და ვნახავთ სურათს:

ნაბიჯი 3. დაიწყეთ სინქრონიზაცია მეორე კვანძზე:

drbdadm primary --force drbd0

ჩვენ ვიღებთ შემდეგს:

ახლა ჩვენ შეგვიძლია დავწეროთ drbd ორი სერვერიდან.

ნაბიჯი 4. დააინსტალირეთ და დააკონფიგურირეთ ocfs2.

ჩვენ გამოვიყენებთ საკმაოდ ტრივიალურ კონფიგურაციას:

cluster:
     node_count = 2
     name = ocfs2cluster

node:
     number = 1
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.192
     name = drbd1

node:
     number = 2
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.193
     name = drbd2

ეს უნდა ჩაიწეროს /etc/ocfs2/cluster.conf ორივე კვანძზე.

ჩვენ ვქმნით FS-ს drbd0-ზე ნებისმიერ კვანძზე:

mkfs.ocfs2 -L "testVol" /dev/drbd0

აქ ჩვენ შევქმენით ფაილური სისტემა ლეიბლით testVol on drbd0, ნაგულისხმევი პარამეტრების გამოყენებით.

/etc/default/o2cb თქვენ უნდა დააყენოთ (როგორც ჩვენს კონფიგურაციის ფაილში)

O2CB_ENABLED=true 
O2CB_BOOTCLUSTER=ocfs2cluster 

და შეასრულეთ თითოეულ კვანძზე:

o2cb register-cluster ocfs2cluster

შემდეგ ჩვენ ჩართავთ და ვამატებთ ყველა იმ ერთეულს, რომელიც გვჭირდება ავტომატური გასაშვებად:

systemctl enable drbd o2cb ocfs2
systemctl start drbd o2cb ocfs2

ზოგიერთი მათგანი უკვე გაშვებული იქნება დაყენების პროცესში.

ნაბიჯი 5. დაამატეთ სამონტაჟო წერტილები fstab-ს ორივე კვანძზე:

/dev/drbd0 /media/shared ocfs2 defaults,noauto,heartbeat=local 0 0

დირექტორია /მედია/გაზიარებული ის წინასწარ უნდა შეიქმნას.

აქ ვიყენებთ noauto ოფციებს, რაც ნიშნავს, რომ ფაილი არ იქნება დამონტაჟებული გაშვებისას (მირჩევნია ქსელის ფაილების დამონტაჟება systemd-ის საშუალებით) და heartbeat=local, რაც გულისხმობს გულისცემის სერვისის გამოყენებას თითოეულ კვანძზე. ასევე არსებობს გლობალური გულისცემა, რომელიც უფრო შესაფერისია დიდი მტევნისთვის.

შემდეგ შეგიძლიათ დამონტაჟება /მედია/გაზიარებული და შეამოწმეთ შინაარსის სინქრონიზაცია.

შესრულებულია! შედეგად, ჩვენ ვიღებთ მეტ-ნაკლებად შეცდომის ტოლერანტ საცავს მასშტაბურობით და ღირსეული შესრულებით.

წყარო: www.habr.com