FAST VP Unity საცავზე: როგორ მუშაობს

დღეს ჩვენ ვისაუბრებთ Unity/Unity XT შენახვის სისტემებში დანერგილ საინტერესო ტექნოლოგიაზე - FAST VP. თუ პირველად გესმით Unity-ის შესახებ, მაშინ შეგიძლიათ შეამოწმოთ სისტემის მახასიათებლები სტატიის ბოლოს მოცემული ბმულის გამოყენებით. მე ვმუშაობ FAST VP-ზე Dell EMC პროექტის გუნდში ერთ წელზე მეტი ხნის განმავლობაში. დღეს მსურს უფრო დეტალურად ვისაუბრო ამ ტექნოლოგიაზე და გავუმხილო მისი განხორციელების რამდენიმე დეტალი. რა თქმა უნდა, მხოლოდ ის, ვისი გამჟღავნებაც არის დაშვებული. თუ თქვენ გაინტერესებთ მონაცემთა ეფექტური შენახვის საკითხები ან უბრალოდ ბოლომდე არ გესმით დოკუმენტაცია, მაშინ ეს სტატია ნამდვილად სასარგებლო და საინტერესო იქნება.

მე მაშინვე გეტყვით, რაც არ იქნება მასალაში. არ იქნება კონკურენტების ძებნა და მათთან შედარება. ასევე არ ვაპირებ ღია წყაროდან მსგავს ტექნოლოგიებზე საუბარს, რადგან ცნობისმოყვარე მკითხველმა უკვე იცის მათი შესახებ. და, რა თქმა უნდა, არაფრის რეკლამას არ ვაპირებ.

შენახვის Tiering. FAST VP-ის მიზნები და ამოცანები

FAST VP ნიშნავს სრულად ავტომატური შენახვის დონეს ვირტუალური აუზისთვის. ცოტა რთული? არაა პრობლემა, ახლა გავარკვევთ. Tiering არის მონაცემთა შენახვის ორგანიზების გზა, რომელშიც არის რამდენიმე დონე (tier), სადაც ეს მონაცემები ინახება. თითოეულს აქვს საკუთარი მახასიათებლები. ყველაზე მნიშვნელოვანი: ინფორმაციის ერთეულის შენახვის შესრულება, მოცულობა და ფასი. რა თქმა უნდა, მათ შორის არის ურთიერთობა.

Tiering-ის მნიშვნელოვანი მახასიათებელია ის, რომ მონაცემებზე წვდომა უზრუნველყოფილია ერთნაირად, მიუხედავად იმისა, თუ რა დონეზეა ის ამჟამად მდებარეობს, და აუზის ზომა უდრის მასში შემავალი რესურსების ზომების ჯამს. სწორედ აქ არის განსხვავებები ქეშისგან: ქეშის ზომა არ ემატება რესურსის მთლიან მოცულობას (ამ შემთხვევაში) და ქეში მონაცემები ამრავლებს ძირითადი მედიის მონაცემების ზოგიერთ ფრაგმენტს (ან გაორმაგდება, თუ მონაცემები ქეშიდან ჯერ არ არის დაწერილი). ასევე, მონაცემთა განაწილება დონეების მიხედვით დამალულია მომხმარებლისგან. ანუ, ის ვერ ხედავს ზუსტად რა მონაცემებია განთავსებული თითოეულ დონეზე, თუმცა მას შეუძლია ირიბად გავლენა მოახდინოს ამაზე პოლიტიკის დადგენით (დაწვრილებით მათ შესახებ მოგვიანებით).

ახლა მოდით გადავხედოთ Unity-ში შენახვის დონის განხორციელების თავისებურებებს. Unity-ს აქვს 3 დონე, ანუ იარუსი:

• ექსტრემალური შესრულება (SSD)
• შესრულება (SAS HDD 10k/15k RPM)
• ტევადობა (NL-SAS HDD 7200 RPM)

ისინი წარმოდგენილია შესრულების და ფასის კლებადობით. ექსტრემალური შესრულება მოიცავს მხოლოდ მყარი მდგომარეობის დისკებს (SSD). დანარჩენი ორი დონე მოიცავს მაგნიტურ დისკებს, რომლებიც განსხვავდება ბრუნვის სიჩქარით და, შესაბამისად, შესრულებით.

იმავე დონის და იგივე ზომის შესანახი მედია გაერთიანებულია RAID მასივში, რაც ქმნის RAID ჯგუფს (RAID ჯგუფი, შემოკლებით RG); ხელმისაწვდომი და რეკომენდებული RAID დონის შესახებ შეგიძლიათ წაიკითხოთ ოფიციალურ დოკუმენტაციაში. საცავის აუზები იქმნება RAID ჯგუფებისგან ერთი ან მეტი დონისგან, საიდანაც შემდეგ ნაწილდება თავისუფალი ადგილი. და აუზიდან სივრცე გამოყოფილია ფაილური სისტემებისთვის და LUN-ებისთვის.

რატომ მჭირდება Tiering?

მოკლედ და აბსტრაქტულად: მინიმალური რესურსების გამოყენებით უფრო დიდი შედეგის მისაღწევად. უფრო კონკრეტულად, შედეგი ჩვეულებრივ გაგებულია, როგორც შენახვის სისტემის მახასიათებლების ნაკრები - სიჩქარე და წვდომის დრო, შენახვის ღირებულება და სხვა. რესურსების მინიმუმი ნიშნავს ყველაზე ნაკლებ ხარჯს: ფულს, ენერგიას და ა.შ. FAST VP ახორციელებს მექანიზმებს მონაცემთა გადანაწილებისთვის სხვადასხვა დონეზე Unity/Unity XT შენახვის სისტემებში. თუ დამიჯერებთ, შეგიძლიათ გამოტოვოთ შემდეგი აბზაცი. დანარჩენზე ცოტას გეტყვით.

მონაცემთა სათანადო განაწილება მეხსიერების დონეებზე საშუალებას გაძლევთ დაზოგოთ შენახვის საერთო ღირებულება ზოგიერთ იშვიათად გამოყენებულ ინფორმაციას წვდომის სიჩქარის შეწირვით და გააუმჯობესოთ შესრულება ხშირად გამოყენებული მონაცემების უფრო სწრაფ მედიაზე გადატანით. აქ ვიღაცამ შეიძლება ამტკიცებს, რომ რიგის გარეშეც კი ნორმალურმა ადმინისტრატორმა იცის სად რა მონაცემები განათავსოს, რა არის შენახვის სისტემის სასურველი მახასიათებლები მისი ამოცანისთვის და ა.შ. ეს უდავოდ მართალია, მაგრამ მონაცემთა ხელით გავრცელებას აქვს თავისი ნაკლი:

• მოითხოვს ადმინისტრატორის დროსა და ყურადღებას;
• ყოველთვის არ არის შესაძლებელი შენახვის რესურსების „გადახატვა“ ცვალებად პირობებზე;
• ქრება მნიშვნელოვანი უპირატესობა: ერთიანი წვდომა რესურსებზე, რომლებიც განლაგებულია შენახვის სხვადასხვა დონეზე.

იმისათვის, რომ მეხსიერების ადმინისტრატორები ნაკლებად იდარდონ სამუშაოს უსაფრთხოებაზე, დავამატებ, რომ აქაც აუცილებელია რესურსების კომპეტენტური დაგეგმვა. ახლა, როდესაც მოკლედ იყო ასახული რიგის ამოცანები, მოდით შევხედოთ რას შეიძლება ელოდოთ FAST VP-ისგან. ახლა დროა დავუბრუნდეთ განმარტებას. პირველი ორი სიტყვა - სრულად ავტომატიზირებული - სიტყვასიტყვით ითარგმნება როგორც "სრულად ავტომატიზებული" და ნიშნავს, რომ დონეებს შორის განაწილება ხდება ავტომატურად. ისე, ვირტუალური ფონდი არის მონაცემთა ფონდი, რომელიც მოიცავს რესურსებს შენახვის სხვადასხვა დონისგან. ასე გამოიყურება:

წინ რომ ვუყურებ, ვიტყვი, რომ FAST VP მონაცემებს გადააქვს მხოლოდ ერთ აუზში და არა რამდენიმე აუზს შორის.

პრობლემები მოგვარებულია FAST VP-ის მიერ

ჯერ აბსტრაქტულად ვისაუბროთ. ჩვენ გვაქვს აუზი და გარკვეული მექანიზმი, რომელსაც შეუძლია მონაცემთა გადანაწილება ამ აუზში. გავიხსენოთ, რომ ჩვენი მიზანია მაქსიმალური პროდუქტიულობის მიღწევა, მოდით ვკითხოთ საკუთარ თავს: რა გზებით შეგვიძლია მივაღწიოთ ამას? შეიძლება რამდენიმე მათგანი იყოს და აქ FAST VP-ს აქვს რაღაც შესთავაზოს მომხმარებელს, რადგან ტექნოლოგია უფრო მეტია, ვიდრე უბრალოდ შენახვის დონე. აქ არის რამოდენიმე გზა FAST VP-ს შეუძლია გაზარდოს აუზის შესრულება:

• მონაცემთა განაწილება სხვადასხვა ტიპის დისკებზე, დონეებზე
• მონაცემთა განაწილება იმავე ტიპის დისკებს შორის
• მონაცემთა განაწილება აუზის გაფართოებისას

სანამ გადავხედავთ, თუ როგორ წყდება ეს ამოცანები, უნდა ვიცოდეთ რამდენიმე აუცილებელი ფაქტი იმის შესახებ, თუ როგორ მუშაობს FAST VP. FAST VP მუშაობს გარკვეული ზომის ბლოკებით - 256 მეგაბაიტი. ეს არის მონაცემთა უმცირესი მიმდებარე „ნაწილი“, რომლის გადატანა შესაძლებელია. დოკუმენტაციაში ამას ეძახიან: ნაჭერი. FAST VP-ს თვალსაზრისით, ყველა RAID ჯგუფი შედგება ასეთი "ნაწილების" ნაკრებისგან. შესაბამისად, ყველა I/O სტატისტიკა გროვდება ასეთი მონაცემთა ბლოკებისთვის. რატომ აირჩიეს ბლოკის ეს ზომა და შემცირდება თუ არა? ბლოკი საკმაოდ დიდია, მაგრამ ეს არის კომპრომისი მონაცემთა მარცვლიანობას შორის (მცირე ბლოკის ზომა ნიშნავს უფრო ზუსტ განაწილებას) და ხელმისაწვდომ გამოთვლით რესურსებს შორის: RAM-ზე არსებული მკაცრი შეზღუდვებისა და ბლოკების დიდი რაოდენობის გათვალისწინებით, სტატისტიკურ მონაცემებს შეიძლება დასჭირდეს ძალიან ბევრია და გამოთვლების რაოდენობა პროპორციულად გაიზრდება.

რამდენად FAST VP ანაწილებს მონაცემებს აუზში. პოლიტიკოსები

მონაცემთა განთავსების აუზში ჩართული FAST VP-ის სამართავად, არსებობს შემდეგი წესები:

• ყველაზე მაღალი ხელმისაწვდომი დონე
• ავტომატური დონე
• დაწყება მაღალი შემდეგ Auto-tier (ნაგულისხმევი)
• ყველაზე დაბალი ხელმისაწვდომი დონე

ისინი გავლენას ახდენენ როგორც საწყის ბლოკის განაწილებაზე (მონაცემები პირველად დაიწერა) ასევე შემდგომ გადანაწილებაზე. როდესაც მონაცემები უკვე განთავსებულია დისკებზე, გადანაწილება დაიწყება გრაფიკის მიხედვით ან ხელით.

უმაღლესი ხელმისაწვდომი დონე ცდილობს მოათავსოს ახალი ბლოკი ყველაზე მაღალ დონეზე. თუ მასზე საკმარისი ადგილი არ არის, ის მოთავსებულია შემდეგ ყველაზე პროდუქტიულ დონეზე, მაგრამ შემდეგ მონაცემები შეიძლება გადავიდეს უფრო პროდუქტიულ დონეზე (თუ ადგილია ან სხვა მონაცემების გადანაცვლებით). Auto-Tier განათავსებს ახალ მონაცემებს სხვადასხვა დონეზე, ხელმისაწვდომი სივრცის ოდენობიდან გამომდინარე, და ის გადანაწილებულია მოთხოვნილების და თავისუფალი სივრცის მიხედვით. დაიწყეთ მაღალი, შემდეგ Auto-Tier არის ნაგულისხმევი პოლიტიკა და ასევე რეკომენდებულია. თავდაპირველად განთავსებული, ის მუშაობს როგორც ყველაზე მაღალი ხელმისაწვდომი დონე, შემდეგ კი მონაცემები გადაადგილდება მისი გამოყენების სტატისტიკის მიხედვით. ყველაზე დაბალი ხელმისაწვდომი დონის პოლიტიკა მიზნად ისახავს მონაცემების განთავსებას ყველაზე ნაკლებად პროდუქტიულ დონეზე.

მონაცემთა გადაცემა ხდება დაბალი პრიორიტეტით, რათა ხელი არ შეუშალოს შენახვის სისტემის სასარგებლო მუშაობას, თუმცა არსებობს პარამეტრი „მონაცემთა გადატანის სიჩქარე“, რომელიც ცვლის პრიორიტეტს. აქ არის თავისებურება: ყველა მონაცემთა ბლოკს არ აქვს ერთი და იგივე გადანაწილების თანმიმდევრობა. მაგალითად, მეტამონაცემებად მონიშნული ბლოკები ჯერ უფრო სწრაფ დონეზე გადავა. მეტამონაცემები არის, ასე ვთქვათ, „მონაცემები მონაცემთა შესახებ“, ზოგიერთი დამატებითი ინფორმაცია, რომელიც არ არის მომხმარებლის მონაცემები, მაგრამ ინახავს მის აღწერას. მაგალითად, ფაილური სისტემის ინფორმაცია იმის შესახებ, თუ რომელ ბლოკში მდებარეობს კონკრეტული ფაილი. ეს ნიშნავს, რომ მონაცემებზე წვდომის სიჩქარე დამოკიდებულია მეტამონაცემებზე წვდომის სიჩქარეზე. იმის გათვალისწინებით, რომ მეტამონაცემები, როგორც წესი, ბევრად უფრო მცირე ზომისაა, მოსალოდნელია, რომ მათი უფრო მაღალი ხარისხის დისკებზე გადატანის სარგებელი უფრო დიდი იქნება.

კრიტერიუმები, რომლებსაც Fast VP იყენებს თავის მუშაობაში

თითოეული ბლოკის მთავარი კრიტერიუმი, უხეშად, არის მონაცემების „მოთხოვნის“ მახასიათებელი, რაც დამოკიდებულია მონაცემთა ფრაგმენტის წაკითხვისა და ჩაწერის ოპერაციების რაოდენობაზე. ჩვენ ამ მახასიათებელს ვუწოდებთ "ტემპერატურას". არის მოთხოვნილი (ცხელი) მონაცემები, რომლებიც „უფრო ცხელია“, ვიდრე გამოუცხადებელი მონაცემები. იგი გამოითვლება პერიოდულად, ნაგულისხმევად ერთი საათის ინტერვალით.

ტემპერატურის გაანგარიშების ფუნქციას აქვს შემდეგი თვისებები:

• I/O არარსებობის შემთხვევაში, მონაცემები დროთა განმავლობაში „გრილდება“.
• დროთა განმავლობაში მეტ-ნაკლებად თანაბარი დატვირთვის პირობებში ტემპერატურა ჯერ მატულობს და შემდეგ გარკვეულ დიაპაზონში სტაბილურდება.

შემდეგი, გათვალისწინებულია ზემოთ აღწერილი პოლიტიკა და თავისუფალი ადგილი თითოეულ დონეზე. სიცხადისთვის მე შემოგთავაზებთ სურათს დოკუმენტაციისგან. აქ წითელი, ყვითელი და ლურჯი ფერები მიუთითებს ბლოკებზე, შესაბამისად მაღალი, საშუალო და დაბალი ტემპერატურით.

მაგრამ მოდით დავუბრუნდეთ ამოცანებს. ამრიგად, ჩვენ შეგვიძლია დავიწყოთ იმის ანალიზი, თუ რა კეთდება FAST VP პრობლემების გადასაჭრელად.

ა. მონაცემთა განაწილება სხვადასხვა ტიპის დისკებზე, დონეებზე

სინამდვილეში, ეს არის FAST VP-ის მთავარი ამოცანა. დანარჩენი, გარკვეული გაგებით, მისი წარმოებულებია. არჩეული პოლიტიკიდან გამომდინარე, მონაცემები განაწილდება მეხსიერების სხვადასხვა დონეზე. პირველ რიგში გათვალისწინებულია განთავსების პოლიტიკა, შემდეგ ბლოკის ტემპერატურა და RAID ჯგუფების ზომა/სიჩქარე.

ყველაზე მაღალი/დაბალი ხელმისაწვდომი დონის პოლიტიკისთვის ყველაფერი საკმაოდ მარტივია. დანარჩენი ორისთვის ასეა. მონაცემები ნაწილდება სხვადასხვა დონეზე RAID ჯგუფების ზომისა და შესრულების გათვალისწინებით: ისე, რომ ბლოკების მთლიანი „ტემპერატურის“ თანაფარდობა თითოეული RAID ჯგუფის „პირობით მაქსიმალურ შესრულებასთან“ დაახლოებით იგივეა. ამრიგად, დატვირთვა ნაწილდება მეტ-ნაკლებად თანაბრად. მეტი მოთხოვნადი მონაცემები გადადის სწრაფ მედიაში, ხოლო იშვიათად გამოყენებული მონაცემები გადადის ნელ მედიაში. იდეალურ შემთხვევაში, განაწილება უნდა გამოიყურებოდეს ასე:

B. მონაცემთა განაწილება იმავე ტიპის დისკებს შორის

დაიმახსოვრეთ, დასაწყისში მე დავწერე ეს შენახვის მედია ერთი ან მეტი დონეები გაერთიანებულია ერთ აუზში? ერთი დონის შემთხვევაში, FAST VP-ს ასევე აქვს სამუშაო. ნებისმიერ დონეზე მაქსიმალური შესრულების მისაღწევად, მიზანშეწონილია მონაცემების თანაბრად განაწილება დისკებს შორის. ეს (თეორიულად) საშუალებას მოგცემთ მიიღოთ IOPS-ის მაქსიმალური რაოდენობა. RAID ჯგუფის მონაცემები შეიძლება ჩაითვალოს თანაბრად განაწილებულად დისკებზე, მაგრამ ეს ყოველთვის ასე არ არის RAID ჯგუფებს შორის. დისბალანსის შემთხვევაში, FAST VP გადაიტანს მონაცემებს RAID ჯგუფებს შორის მათი მოცულობის და „პირობითი შესრულების“ პროპორციულად (რიცხობრივი თვალსაზრისით). სიცხადისთვის, მე ვაჩვენებ გადაბალანსების სქემას სამ RAID ჯგუფს შორის:

B. მონაცემთა განაწილება აუზის გაფართოებისას

ეს დავალება წინას განსაკუთრებული შემთხვევაა და შესრულებულია, როდესაც RAID ჯგუფი ემატება აუზს. იმისათვის, რომ ახლად დამატებული RAID ჯგუფი არ დარჩეს უმოქმედო, ზოგიერთი მონაცემი გადაეცემა მას, რაც ნიშნავს, რომ დატვირთვა გადანაწილდება ყველა RAID ჯგუფში.

SSD აცვიათ ნიველირება

აცვიათ დონის გამოყენებით, FAST VP-ს შეუძლია გაახანგრძლივოს SSD-ის სიცოცხლე, თუმცა ეს ფუნქცია პირდაპირ არ არის დაკავშირებული Storage Tiering-თან. ვინაიდან ტემპერატურული მონაცემები უკვე ხელმისაწვდომია, ჩაწერის ოპერაციების რაოდენობაც არის გათვალისწინებული და ჩვენ ვიცით, როგორ გადავიტანოთ მონაცემთა ბლოკები, ლოგიკური იქნება FAST VP-ისთვის ამ პრობლემის გადაჭრა.

თუ ერთ RAID ჯგუფში ჩანაწერების რაოდენობა მნიშვნელოვნად აღემატება მეორეში ჩანაწერების რაოდენობას, FAST VP გადაანაწილებს მონაცემებს ჩაწერის ოპერაციების რაოდენობის შესაბამისად. ერთის მხრივ, ეს ათავისუფლებს დატვირთვას და დაზოგავს ზოგიერთი დისკის რესურსს, მეორეს მხრივ, ამატებს "მუშაობას" ნაკლებად დატვირთულებს, ზრდის საერთო შესრულებას.

ამ გზით, FAST VP იღებს Storage Tiering-ის ტრადიციულ გამოწვევებს და აკეთებს ამაზე ცოტა მეტს. ეს ყველაფერი საშუალებას გაძლევთ შეინახოთ მონაცემები საკმაოდ ეფექტურად Unity შენახვის სისტემაში.

რამდენიმე რჩევა

1. ნუ უგულებელყოფთ დოკუმენტაციის კითხვას. არსებობს საუკეთესო პრაქტიკა და ისინი საკმაოდ კარგად მუშაობს. თუ მათ მიჰყვებით, მაშინ, როგორც წესი, სერიოზული პრობლემები არ წარმოიქმნება. დანარჩენი რჩევები ძირითადად იმეორებს ან ავსებს მათ.
2. თუ თქვენ გაქვთ კონფიგურირებული და ჩართული FAST VP, უმჯობესია დატოვოთ ის ჩართული. დაე, მან გაავრცელოს მონაცემები დანიშნულ დროში და ნელ-ნელა, ვიდრე წელიწადში ერთხელ და სერიოზული გავლენა მოახდინოს სხვა ამოცანების შესრულებაზე. ასეთ შემთხვევებში, მონაცემთა გადანაწილებას შეიძლება დიდი დრო დასჭირდეს.
3. ფრთხილად იყავით გადაადგილების ფანჯრის არჩევისას. მიუხედავად იმისა, რომ ეს აშკარაა, შეეცადეთ აირჩიოთ დრო Unity-ზე მინიმალური დატვირთვით და გამოყოთ საკმარისი დრო.
4. დაგეგმეთ თქვენი შენახვის სისტემის გაფართოება, გააკეთეთ ეს დროულად. ეს არის ზოგადი რეკომენდაცია, რომელიც მნიშვნელოვანია FAST VP-სთვისაც. თუ თავისუფალი სივრცის რაოდენობა ძალიან მცირეა, მაშინ მონაცემთა მოძრაობა შენელდება ან შეუძლებელი გახდება. მით უმეტეს, თუ უგულებელყავით მე-2 პუნქტი.
5. აუზის გაფართოებისას ჩართული FAST VP-ით, არ უნდა დაიწყოთ ყველაზე ნელი დისკებით. ანუ, ჩვენ ან ერთდროულად ვამატებთ ყველა დაგეგმილ RAID ჯგუფს, ან პირველ რიგში ვამატებთ უსწრაფეს დისკებს. ამ შემთხვევაში, მონაცემთა გადანაწილება ახალ „სწრაფ“ დისკებზე გაზრდის აუზის საერთო სიჩქარეს. წინააღმდეგ შემთხვევაში, „ნელი“ დისკებით დაწყებამ შეიძლება გამოიწვიოს ძალიან უსიამოვნო სიტუაცია. ჯერ მონაცემები გადაიცემა ახალ, შედარებით ნელ დისკებზე, შემდეგ კი, როცა უფრო სწრაფად დაემატება, საპირისპირო მიმართულებით. აქ არის ნიუანსები, რომლებიც დაკავშირებულია სხვადასხვა FAST VP პოლიტიკასთან, მაგრამ ზოგადად, მსგავსი სიტუაცია შესაძლებელია.

თუ უყურებთ ამ პროდუქტს, შეგიძლიათ სცადოთ Unity უფასოდ Unity VSA ვირტუალური მოწყობილობის ჩამოტვირთვით.

მასალის დასასრულს მე ვიზიარებ რამდენიმე სასარგებლო ბმულს:

• გვერდი Unity შენახვის სისტემა
• Dell EMC Unity: FAST VP ოპერაციის თეორია - ფუნქციის მოკლე აღწერა
• უფრო სრულყოფილი და დეტალური აღწერა, pdf ფორმატში
• Unity VSA/Cloud გამოცემა

დასკვნა

ბევრის დაწერა მინდა, მაგრამ მესმის, რომ ყველა დეტალი არ იქნება საინტერესო მკითხველისთვის. მაგალითად, შეგიძლიათ უფრო დეტალურად ისაუბროთ იმ კრიტერიუმებზე, რომლითაც FAST VP იღებს გადაწყვეტილებებს მონაცემთა გადაცემის შესახებ, I/O სტატისტიკის ანალიზის პროცესებზე. ასევე, ურთიერთობის თემა დინამიური აუზებიდა ეს იმსახურებს ცალკე სტატიას. ამ ტექნოლოგიის განვითარებაზე ფანტაზიაც კი შეგიძლიათ. იმედია მოსაწყენი არ იყო და არ მოგაბეზრე. ისევ გნახავ!

წყარო: www.habr.com