VM მუშაობის ანალიზი VMware vSphere-ში. ნაწილი 3: შენახვა

ნაწილი 1. CPU-ს შესახებ
ნაწილი 2. მეხსიერების შესახებ

დღეს ჩვენ გავაანალიზებთ დისკის ქვესისტემის მეტრიკას vSphere-ში. შენახვის პრობლემა ნელი ვირტუალური აპარატის ყველაზე გავრცელებული მიზეზია. თუ პროცესორისა და ოპერატიული მეხსიერების შემთხვევაში, პრობლემების მოგვარება ჰიპერვიზორის დონეზე მთავრდება, მაშინ თუ დისკთან დაკავშირებული პრობლემებია, შეიძლება მოგიწიოთ მონაცემთა ქსელთან და შენახვის სისტემასთან გამკლავება.

მე განვიხილავ თემას შენახვის სისტემებზე დაბლოკვის წვდომის მაგალითის გამოყენებით, თუმცა ფაილების წვდომისთვის მრიცხველები დაახლოებით იგივეა.

ცოტა თეორია

ვირტუალური მანქანების დისკის ქვესისტემის მუშაობაზე საუბრისას ადამიანები ჩვეულებრივ ყურადღებას აქცევენ სამ ურთიერთდაკავშირებულ პარამეტრს:

• შეყვანის/გამოსვლის ოპერაციების რაოდენობა (Input/Output Operations Per Second, IOPS);
• გამტარუნარიანობა;
• შეყვანის/გამოსვლის ოპერაციების დაყოვნება (Latency).

IOPS-ის რაოდენობა ჩვეულებრივ მნიშვნელოვანია შემთხვევითი დატვირთვისთვის: წვდომა დისკის ბლოკებზე, რომლებიც მდებარეობს სხვადასხვა ადგილას. ასეთი დატვირთვის მაგალითი შეიძლება იყოს მონაცემთა ბაზები, ბიზნეს აპლიკაციები (ERP, CRM) და ა.შ.

გამტარუნარიანობა მნიშვნელოვანია თანმიმდევრული დატვირთვებისთვის: წვდომა ერთმანეთის მიყოლებით განლაგებულ ბლოკებზე. მაგალითად, ფაილურ სერვერებს (მაგრამ არა ყოველთვის) და ვიდეოთვალთვალის სისტემებს შეუძლიათ შექმნან ასეთი დატვირთვა.

გამტარუნარიანობა დაკავშირებულია I/O ოპერაციების რაოდენობასთან შემდეგნაირად:

გამტარუნარიანობა = IOPS * ბლოკის ზომა, სადაც ბლოკის ზომა არის ბლოკის ზომა.

ბლოკის ზომა საკმაოდ მნიშვნელოვანი მახასიათებელია. ESXi-ის თანამედროვე ვერსიები საშუალებას აძლევს ბლოკებს 32 კბ-მდე ზომის. თუ ბლოკი კიდევ უფრო დიდია, ის იყოფა რამდენიმე. ყველა შენახვის სისტემას არ შეუძლია ეფექტურად იმუშაოს ასეთ დიდ ბლოკებთან, ამიტომ არის DiskMaxIOSize პარამეტრი ESXi Advanced Settings-ში. მისი გამოყენებით შეგიძლიათ შეამციროთ ჰიპერვიზორის მიერ გამოტოვებული ბლოკის მაქსიმალური ზომა (დაწვრილებით აქ). სანამ შეცვლით ამ პარამეტრს, გირჩევთ, გაიაროთ კონსულტაცია შენახვის სისტემის მწარმოებელთან ან მინიმუმ შეამოწმოთ ცვლილებები ლაბორატორიულ სკამზე. 

ბლოკის დიდმა ზომამ შეიძლება საზიანო გავლენა მოახდინოს შენახვის მუშაობაზე. მაშინაც კი, თუ IOPS-ის რაოდენობა და გამტარუნარიანობა შედარებით მცირეა, მაღალი შეყოვნება შეიძლება შეინიშნოს დიდი ბლოკის ზომით. ამიტომ, ყურადღება მიაქციეთ ამ პარამეტრს.

შეყოვნება - ყველაზე საინტერესო შესრულების პარამეტრი. ვირტუალური მანქანის I/O შეყოვნება შედგება:

• შეფერხებები ჰიპერვიზორის შიგნით (KAVG, საშუალო ბირთვის MilliSec/Read);
• შეფერხება უზრუნველყოფილია მონაცემთა ქსელისა და შენახვის სისტემის მიერ (DAVG, Average Driver MilliSec/Command).

მთლიანი შეყოვნება, რომელიც ჩანს სტუმრის OS-ში (GAVG, საშუალო სტუმარი MilliSec/Command) არის KAVG-ისა და DAVG-ის ჯამი.

გაზომილია GAVG და DAVG და გამოითვლება KAVG: GAVG–DAVG.

წყარო

მოდით უფრო ახლოს მივხედოთ KAVG. ნორმალური მუშაობის დროს, KAVG უნდა იყოს ნულისკენ ან სულ მცირე, DAVG-ზე ბევრად ნაკლები. ერთადერთი შემთხვევა, რაც ვიცი, სადაც KAVG მოსალოდნელია მაღალი, არის IOPS ლიმიტი VM დისკზე. ამ შემთხვევაში, როცა ცდილობთ ლიმიტის გადალახვას, KAVG გაიზრდება.

KAVG-ის ყველაზე მნიშვნელოვანი კომპონენტია QAVG - ჰიპერვიზორის შიგნით დამუშავების რიგის დრო. KAVG-ის დარჩენილი კომპონენტები უმნიშვნელოა.

დისკის ადაპტერის დრაივერის რიგს და მთვარეების რიგს აქვს ფიქსირებული ზომა. ძალიან დატვირთული გარემოსთვის, შეიძლება სასარგებლო იყოს ამ ზომის გაზრდა. აქ აღწერს, თუ როგორ უნდა გაიზარდოს რიგები ადაპტერის დრაივერში (ამავდროულად გაიზრდება რიგი მთვარეებთან). ეს პარამეტრი მუშაობს, როდესაც მხოლოდ ერთი VM მუშაობს მთვარეზე, რაც იშვიათია. თუ მთვარეზე რამდენიმე VM არის, პარამეტრიც უნდა გაზარდოთ Disk.SchedNumReqOutstanding (ინსტრუქციები  აქ). რიგის გაზრდით თქვენ ამცირებთ QAVG და KAVG შესაბამისად.

მაგრამ კიდევ ერთხელ, ჯერ წაიკითხეთ HBA გამყიდველის დოკუმენტაცია და შეამოწმეთ ცვლილებები ლაბორატორიის სკამზე.

მთვარემდე რიგის ზომაზე შეიძლება გავლენა იქონიოს SIOC (Storage I/O Control) მექანიზმის ჩართვამ. ის უზრუნველყოფს ერთგვაროვან წვდომას მთვარეზე კასეტურის ყველა სერვერიდან სერვერებზე რიგის დინამიურად შეცვლით მთვარეზე. ანუ, თუ ერთ-ერთი ჰოსტი აწარმოებს VM-ს, რომელიც მოითხოვს არაპროპორციულ შესრულებას (ხმაურიანი მეზობელი VM), SIOC ამცირებს რიგის სიგრძეს მთვარემდე ამ ჰოსტზე (DQLEN). Უფრო ვრცლად აქ.

ჩვენ დავალაგეთ KAVG, ახლა ცოტა შესახებ DAVG. აქ ყველაფერი მარტივია: DAVG არის გარე გარემოს მიერ შემოტანილი შეფერხება (მონაცემთა ქსელი და შენახვის სისტემა). ყველა თანამედროვე და არც ისე თანამედროვე საცავის სისტემას აქვს თავისი შესრულების მრიცხველები. DAVG-ის პრობლემების გასაანალიზებლად, აზრი აქვს მათ გადახედვას. თუ ყველაფერი კარგადაა ESXi-სა და შენახვის მხარეს, შეამოწმეთ მონაცემთა ქსელი.

მუშაობის პრობლემების თავიდან ასაცილებლად, აირჩიეთ სწორი გზის შერჩევის პოლიტიკა (PSP) თქვენი შენახვის სისტემისთვის. თითქმის ყველა თანამედროვე შენახვის სისტემა მხარს უჭერს PSP Round-Robin-ს (ALUA-ით ან მის გარეშე, ასიმეტრიული ლოგიკური ერთეულის წვდომით). ეს პოლიტიკა საშუალებას გაძლევთ გამოიყენოთ ყველა ხელმისაწვდომი გზა შენახვის სისტემისკენ. ALUA-ს შემთხვევაში გამოიყენება მხოლოდ მთვარის მფლობელი კონტროლერისკენ მიმავალი ბილიკები. ESXi-ზე ყველა შენახვის სისტემას არ აქვს ნაგულისხმევი წესები, რომლებიც ადგენს Round-Robin პოლიტიკას. თუ არ არსებობს თქვენი შენახვის სისტემის წესი, გამოიყენეთ დანამატი შენახვის სისტემის მწარმოებლისგან, რომელიც შექმნის შესაბამის წესს კლასტერის ყველა ჰოსტზე, ან თავად შექმნით წესს. დეტალები აქ. 

ასევე, ზოგიერთი საცავის სისტემის მწარმოებლები რეკომენდაციას უწევენ IOPS-ის რაოდენობის შეცვლას გზაზე სტანდარტული მნიშვნელობიდან 1000-დან 1-მდე. ჩვენს პრაქტიკაში ამან შესაძლებელი გახადა შენახვის სისტემიდან მეტი ეფექტურობის „გამორთვა“ და მნიშვნელოვნად შემცირდა ავარიისთვის საჭირო დრო. კონტროლერის გაუმართაობის ან განახლების შემთხვევაში. შეამოწმეთ გამყიდველის რეკომენდაციები და თუ უკუჩვენებები არ არის, სცადეთ ამ პარამეტრის შეცვლა. დეტალები აქ.

ძირითადი ვირტუალური მანქანის დისკის ქვესისტემის შესრულების მრიცხველები

vCenter-ში დისკის ქვესისტემის მუშაობის მრიცხველები გროვდება Datastore, Disk, Virtual Disk სექციებში:

ნაწილში მონაცემთა ბაზა არსებობს მეტრიკა vSphere დისკის საცავებისთვის (მონაცემთა საცავებისთვის), რომლებზეც მდებარეობს VM დისკები. აქ ნახავთ სტანდარტულ მრიცხველებს:

• IOPS (საშუალო წაკითხვის/ჩაწერის მოთხოვნა წამში), 
• გამტარუნარიანობა (წაკითხვის/ჩაწერის სიჩქარე), 
• დაგვიანებები (წაკითხვა/ჩაწერა/უმაღლესი შეყოვნება).

პრინციპში, მრიცხველების სახელებიდან ყველაფერი ნათელია. ნება მომეცით კიდევ ერთხელ გავამახვილო თქვენი ყურადღება იმ ფაქტზე, რომ სტატისტიკა აქ არის არა კონკრეტული VM (ან VM დისკი), არამედ ზოგადი სტატისტიკა მთელი მონაცემთა მაღაზიისთვის. ჩემი აზრით, უფრო მოსახერხებელია ამ სტატისტიკის ნახვა ESXTOP-ში, ყოველ შემთხვევაში იმის გათვალისწინებით, რომ მინიმალური გაზომვის პერიოდი იქ არის 2 წამი.

ნაწილში Disk არის მეტრიკა ბლოკ მოწყობილობებზე, რომლებსაც იყენებს VM. არსებობს შემაჯამებელი ტიპის IOPS-ის მრიცხველები (შემავალი/გამომავალი ოპერაციების რაოდენობა გაზომვის პერიოდში) და რამდენიმე მრიცხველი, რომლებიც დაკავშირებულია ბლოკზე წვდომასთან (ბრძანებები შეწყვეტილია, ავტობუსის გადატვირთვა). ჩემი აზრით, ასევე უფრო მოსახერხებელია ამ ინფორმაციის ნახვა ESXTOP-ში.

სექცია ვირტუალური დისკი - ყველაზე სასარგებლო VM დისკის ქვესისტემის შესრულების პრობლემების პოვნის თვალსაზრისით. აქ შეგიძლიათ ნახოთ თითოეული ვირტუალური დისკის შესრულება. სწორედ ეს ინფორმაციაა საჭირო იმის გასაგებად, აქვს თუ არა პრობლემა კონკრეტულ ვირტუალურ მანქანას. I/O ოპერაციების რაოდენობის, წაკითხვის/ჩაწერის მოცულობის და დაყოვნების სტანდარტული მრიცხველების გარდა, ეს განყოფილება შეიცავს სასარგებლო მრიცხველებს, რომლებიც აჩვენებენ ბლოკის ზომას: წაკითხვის/ჩაწერის მოთხოვნის ზომას.

ქვემოთ მოცემულ სურათზე არის VM დისკის მუშაობის გრაფიკი, სადაც შეგიძლიათ იხილოთ IOPS-ის რაოდენობა, შეყოვნება და ბლოკის ზომა. 

თქვენ ასევე შეგიძლიათ ნახოთ შესრულების მეტრიკა მთელი მონაცემთა მაღაზიისთვის, თუ SIOC ჩართულია. აქ არის ძირითადი ინფორმაცია საშუალო შეყოვნებისა და IOPS-ის შესახებ. ნაგულისხმევად, ამ ინფორმაციის ნახვა შესაძლებელია მხოლოდ რეალურ დროში.

ESXTOP

ESXTOP-ს აქვს რამდენიმე ეკრანი, რომლებიც გვაწვდიან ინფორმაციას მთლიანობაში მასპინძელი დისკის ქვესისტემაზე, ცალკეულ ვირტუალურ მანქანებზე და მათ დისკებზე.

დავიწყოთ ინფორმაცია ვირტუალური მანქანების შესახებ. "Disk VM" ეკრანი გამოიძახება "v" ღილაკით:

NVDISK არის VM დისკების რაოდენობა. თითოეული დისკის ინფორმაციის სანახავად, დააჭირეთ "e" და შეიყვანეთ საინტერესო VM-ის GID.

ამ ეკრანზე დარჩენილი პარამეტრების მნიშვნელობა აშკარაა მათი სახელებიდან.

კიდევ ერთი სასარგებლო ეკრანი პრობლემების მოგვარებისას არის დისკის ადაპტერი. გამოიძახება "d" ღილაკით (ველები A,B,C,D,E,G მონიშნულია ქვემოთ მოცემულ სურათზე):

NPTH – მთვარეებისკენ მიმავალი ბილიკების რაოდენობა, რომლებიც ჩანს ამ ადაპტერიდან. ადაპტერზე თითოეული ბილიკის შესახებ ინფორმაციის მისაღებად დააჭირეთ ღილაკს "e" და შეიყვანეთ ადაპტერის სახელი:

AQLEN – მაქსიმალური რიგის ზომა ადაპტერზე.

ასევე ამ ეკრანზე არის დაგვიანების მრიცხველები, რომლებზეც ზემოთ ვისაუბრე: KAVG/cmd, GAVG/cmd, DAVG/cmd, QAVG/cmd.

დისკის მოწყობილობის ეკრანი, რომელიც გამოიძახება "u" ღილაკის დაჭერით, გვაწვდის ინფორმაციას ცალკეულ ბლოკ მოწყობილობებზე - მთვარეებზე (ველები A, B, F, G, I შერჩეულია ქვემოთ მოცემულ სურათზე). აქ შეგიძლიათ ნახოთ მთვარეების რიგის სტატუსი.

DQLEN - რიგის ზომა ბლოკის მოწყობილობისთვის.
ACTV – I/O ბრძანებების რაოდენობა ESXi ბირთვში.
QUED – რიგში I/O ბრძანებების რაოდენობა.
%ᲐᲨᲨ ᲓᲝᲚᲐᲠᲘ – ACTV / DQLEN × 100%.
იტვირთება – (ACTV + QUED) / DQLEN.

თუ %USD მაღალია, უნდა გაითვალისწინოთ რიგის გაზრდა. რაც უფრო მეტი ბრძანება იქნება რიგში, მით უფრო მაღალია QAVG და, შესაბამისად, KAVG.

თქვენ ასევე შეგიძლიათ ნახოთ დისკის მოწყობილობის ეკრანზე, მუშაობს თუ არა VAAI (vStorage API მასივის ინტეგრაციისთვის) შენახვის სისტემაზე. ამისათვის აირჩიეთ ველები A და O.

VAAI მექანიზმი საშუალებას გაძლევთ გადაიტანოთ სამუშაოს ნაწილი ჰიპერვიზორიდან უშუალოდ შენახვის სისტემაში, მაგალითად, ნულოვანი, ბლოკების კოპირება ან დაბლოკვა.

როგორც ზემოთ სურათზე ხედავთ, VAAI მუშაობს ამ შენახვის სისტემაზე: Zero და ATS პრიმიტივები აქტიურად გამოიყენება.

რჩევები ESXi-ზე დისკის ქვესისტემასთან მუშაობის ოპტიმიზაციისთვის

• ყურადღება მიაქციეთ ბლოკის ზომას.
• დააყენეთ რიგის ოპტიმალური ზომა HBA-ზე.
• არ დაგავიწყდეთ SIOC-ის ჩართვა მონაცემთა საცავებზე.
• აირჩიეთ PSP შენახვის სისტემის მწარმოებლის რეკომენდაციების შესაბამისად.
• დარწმუნდით, რომ VAAI მუშაობს.

სასარგებლო სტატიები თემაზე:http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

წყარო: www.habr.com