საჭიროა თუ არა SSD-დან RAID მასივის შექმნა და რა კონტროლერებია საჭირო ამისთვის?

გამარჯობა ჰაბრ! ამ სტატიაში ჩვენ გეტყვით, ღირს თუ არა RAID მასივების ორგანიზება SATA SSD და NVMe SSD მყარი გადაწყვეტილებების საფუძველზე და იქნება ამისგან სერიოზული მოგება? ჩვენ გადავწყვიტეთ ამ საკითხის შესწავლა კონტროლერების ტიპებისა და ტიპების გათვალისწინებით, რომლებიც ამის საშუალებას იძლევა, ისევე როგორც ასეთი კონფიგურაციების გამოყენების სფერო.

ასეა თუ ისე, თითოეულ ჩვენგანს ცხოვრებაში ერთხელ მაინც გვსმენია ისეთი განმარტებები, როგორიცაა "RAID", "RAID-მასივი", "RAID-კონტროლერი", მაგრამ ნაკლებად სავარაუდოა, რომ ამას სერიოზული მნიშვნელობა მივაქციოთ, რადგან ეს ყველაფერი არის ნაკლებად სავარაუდოა ჩვეულებრივი კომპიუტერის ბოიარისთვის საინტერესოა. მაგრამ ყველას სურს მაღალი სიჩქარე შიდა დისკებიდან და უპრობლემოდ მუშაობა. ყოველივე ამის შემდეგ, რაც არ უნდა მძლავრი იყოს კომპიუტერის აპარატურა, დისკის სიჩქარე ხდება შეფერხება, როდესაც საქმე ეხება კომპიუტერისა და სერვერის ერთობლივ მუშაობას.

ეს ზუსტად ასე იყო მანამ, სანამ ტრადიციული HDD-ები არ შეიცვალა თანამედროვე NVMe SSD-ებით, რომელთა სიმძლავრეა 1 TB ან მეტი. და თუ ადრე კომპიუტერებში ხშირად იყო SATA SSD + რამდენიმე ტევადი HDD-ის კომბინაცია, დღეს ისინი იწყებენ შეცვლას სხვა გადაწყვეტილებით - NVMe SSD + რამდენიმე ტევადი SATA SSD. თუ ვსაუბრობთ კორპორატიულ სერვერებზე და „ღრუბელებზე“, ბევრი უკვე წარმატებით გადავიდა SATA SSD-ებზე, უბრალოდ იმიტომ, რომ ისინი უფრო სწრაფია ვიდრე ჩვეულებრივი „თუნუქის ქილა“ და შეუძლიათ ერთდროულად დაამუშაონ მეტი I/O ოპერაციები.

თუმცა, სისტემის ხარვეზების შემწყნარებლობა ჯერ კიდევ საკმაოდ დაბალ დონეზეა: ჩვენ არ შეგვიძლია, როგორც „ფსიქიკის ბრძოლაში“, ერთი კვირის სიზუსტითაც კი ვიწინასწარმეტყველოთ, როდის მოკვდება კონკრეტული მყარი მდგომარეობის დისკი. და თუ HDD-ები თანდათან „კვდებიან“, რაც საშუალებას მოგცემთ დაიჭიროთ სიმპტომები და მიიღოთ ზომები, მაშინ SSD-ები „კვდებიან“ დაუყოვნებლივ და გაფრთხილების გარეშე. და ახლა არის დრო, რომ გავიგოთ, რატომ არის ეს ყველაფერი საჭირო საერთოდ? ღირს თუ არა RAID მასივების ორგანიზება მყარი მდგომარეობის SATA SSD და NVMe SSD გადაწყვეტილებებზე დაფუძნებული და იქნება ამისგან სერიოზული მოგება?

რატომ გჭირდებათ RAID მასივი?

თავად სიტყვა "მასივი" უკვე გულისხმობს, რომ მის შესაქმნელად გამოიყენება რამდენიმე დისკი (HDD და SSD), რომლებიც გაერთიანებულია RAID კონტროლერის გამოყენებით და OS-ის მიერ აღიარებულია, როგორც მონაცემთა ერთიანი საცავი. გლობალური ამოცანა, რომელსაც შეუძლია გადაჭრას RAID მასივები, არის მონაცემთა წვდომის დროის მინიმიზაცია, წაკითხვის/ჩაწერის სიჩქარის და საიმედოობის გაზრდა, რაც მიიღწევა წარუმატებლობის შემთხვევაში სწრაფად აღდგენის შესაძლებლობის წყალობით. სხვათა შორის, საერთოდ არ არის აუცილებელი RAID-ის გამოყენება სახლის სარეზერვო ასლისთვის. მაგრამ თუ თქვენ გაქვთ საკუთარი სახლის სერვერი, რომელზეც გჭირდებათ მუდმივი წვდომა 24/7, ეს სხვა საკითხია.

არსებობს RAID მასივების ათზე მეტი დონე, რომელთაგან თითოეული განსხვავდება მასში გამოყენებული დისკების რაოდენობით და აქვს თავისი დადებითი და უარყოფითი მხარეები: მაგალითად, RAID 0 საშუალებას გაძლევთ მიიღოთ მაღალი შესრულება შეცდომების შემწყნარებლობის გარეშე, RAID 1 საშუალებას გაძლევთ ავტომატურად ასახავს მონაცემებს სიჩქარის გაზრდის გარეშე და RAID 10 კომბინირებული შეიცავს ზემოაღნიშნულის შესაძლებლობებს. RAID 0 და 1 ყველაზე მარტივია (რადგან ისინი არ საჭიროებენ პროგრამულ გამოთვლებს) და, შედეგად, ყველაზე პოპულარული. საბოლოო ჯამში, არჩევანი ამა თუ იმ RAID დონის სასარგებლოდ დამოკიდებულია დისკის მასივზე დაკისრებულ ამოცანებზე და RAID კონტროლერის შესაძლებლობებზე.

სახლი და კორპორატიული RAID: რა განსხვავებაა?

ნებისმიერი თანამედროვე ბიზნესის საფუძველია დიდი მოცულობის მონაცემები, რომლებიც უსაფრთხოდ უნდა იყოს შენახული კომპანიის სერვერებზე. ასევე, როგორც ზემოთ აღვნიშნეთ, მათ უნდა ჰქონდეთ მუდმივი წვდომა 24/7. გასაგებია, რომ აპარატურასთან ერთად მნიშვნელოვანია პროგრამული ნაწილიც, მაგრამ ამ შემთხვევაში მაინც საუბარია აღჭურვილობაზე, რომელიც უზრუნველყოფს ინფორმაციის საიმედო შენახვას და დამუშავებას. არცერთი პროგრამული უზრუნველყოფა არ იხსნის კომპანიას განადგურებისგან, თუ აპარატურა არ აკმაყოფილებს მისთვის დაკისრებულ ამოცანებს.

ამ ამოცანებისთვის, ნებისმიერი ტექნიკის მწარმოებელი გთავაზობთ ე.წ. საწარმო მოწყობილობებს. კინგსტონს აქვს მყარი მყარი გადაწყვეტილებები SATA მოდელების სახით Kingston 450R (DC450R) и DC500 სერია, ასევე NVMe მოდელები DC1000M U.2 NVMe, DCU1000 U.2 NVMe და DCP-1000 PCI-e, რომლებიც განკუთვნილია მონაცემთა ცენტრებში და სუპერკომპიუტერებში გამოსაყენებლად. ასეთი დისკების მასივები ჩვეულებრივ გამოიყენება აპარატურულ კონტროლერებთან ერთად.

სამომხმარებლო ბაზრისთვის (ანუ სახლის კომპიუტერებისთვის და NAS სერვერებისთვის), დისკები, როგორიცაა კინგსტონი KC2000 NVMe PCIe, მაგრამ ამ შემთხვევაში არ არის საჭირო ტექნიკის კონტროლერის ყიდვა. თქვენ შეგიძლიათ შემოიფარგლოთ დედაპლატში ჩაშენებული კომპიუტერით ან NAS სერვერით, თუ, რა თქმა უნდა, არ აპირებთ სახლის სერვერის შეკრებას ატიპიური ამოცანებისთვის (მაგალითად, მეგობრებისთვის მცირე ჰოსტინგის დაწყება). გარდა ამისა, სახლის RAID მასივები, როგორც წესი, არ საჭიროებს ასობით ან ათასობით დისკს, რომელიც შემოიფარგლება ორი, ოთხი და რვა მოწყობილობით (ჩვეულებრივ SATA).

RAID კონტროლერების ტიპები და ტიპები

არსებობს სამი ტიპის RAID კონტროლერი, რომელიც დაფუძნებულია RAID მასივების დანერგვის პრინციპებზე:

1. პროგრამული უზრუნველყოფა, რომელშიც მასივის მართვა მოდის CPU-ზე და DRAM-ზე (ანუ პროგრამის კოდი შესრულებულია პროცესორზე).

2. ინტეგრირებული, ანუ ჩაშენებული კომპიუტერის ან NAS სერვერის დედაპლატებში.

3. აპარატურა (მოდულური), რომლებიც წარმოადგენენ დისკრეტულ გაფართოების ბარათებს PCI/PCIe კონექტორებისთვის დედაპლატებზე.

რა არის მათი ფუნდამენტური განსხვავება ერთმანეთისგან? პროგრამული RAID კონტროლერები ჩამოუვარდება ინტეგრირებულ და აპარატურულ კონტროლერებს შესრულებისა და შეცდომების ტოლერანტობის თვალსაზრისით, მაგრამ არ საჭიროებს სპეციალურ აღჭურვილობას მუშაობისთვის. თუმცა, მნიშვნელოვანია იმის უზრუნველყოფა, რომ მასპინძელი სისტემის პროცესორი საკმარისად მძლავრი იყოს RAID პროგრამული უზრუნველყოფის გასაშვებად, აპლიკაციების მუშაობაზე უარყოფითი ზემოქმედების გარეშე, რომლებიც ასევე მუშაობს ჰოსტზე. ინტეგრირებული კონტროლერები ჩვეულებრივ აღჭურვილია საკუთარი ქეში მეხსიერებით და იყენებენ CPU რესურსების გარკვეულ რაოდენობას.

მაგრამ აპარატურებს აქვთ როგორც საკუთარი ქეში მეხსიერება, ასევე ჩაშენებული პროცესორი პროგრამული ალგორითმების შესასრულებლად. როგორც წესი, ისინი საშუალებას გაძლევთ განახორციელოთ ყველა ტიპის RAID დონე და ერთდროულად რამდენიმე ტიპის დისკის მხარდაჭერა. მაგალითად, Broadcom-ის თანამედროვე აპარატურულ კონტროლერებს შეუძლიათ ერთდროულად დააკავშირონ SATA, SAS და NVMe მოწყობილობები, რაც საშუალებას გაძლევთ არ შეცვალოთ კონტროლერი სერვერების განახლებისას: კერძოდ, SATA SSD-დან NVMe SSD-ზე გადასვლისას, კონტროლერები არ უნდა შეიცვალოს.

სინამდვილეში, ამ შენიშვნაში მივდივართ თავად კონტროლერების ტიპოლოგიამდე. თუ არის სამი რეჟიმი, უნდა იყოს სხვა? ამ შემთხვევაში ამ კითხვაზე პასუხი დადებითი იქნება. ფუნქციებიდან და შესაძლებლობებიდან გამომდინარე, RAID კონტროლერები შეიძლება დაიყოს რამდენიმე ტიპად:

1. ჩვეულებრივი კონტროლერები RAID ფუნქციით
მთელ იერარქიაში ეს არის უმარტივესი კონტროლერი, რომელიც საშუალებას გაძლევთ დააკავშიროთ HDD და SSD დონეების RAID მასივებში "0", "1" ან "0+1". ეს ხორციელდება პროგრამულად firmware დონეზე. თუმცა, ასეთი მოწყობილობების გამოყენება შეუძლებელია კორპორატიულ სეგმენტში, რადგან მათ არ აქვთ ქეში და არ უჭერენ მხარს დონეების "5", "3" და ა.შ. მაგრამ საწყისი დონის სახლის სერვერისთვის ისინი საკმაოდ შესაფერისია.

2. კონტროლერები, რომლებიც მუშაობენ სხვა RAID კონტროლერებთან ერთად
ამ ტიპის კონტროლერი შეიძლება დაწყვილდეს დედაპლატის ინტეგრირებულ კონტროლერებთან. ეს ხორციელდება შემდეგი პრინციპის მიხედვით: დისკრეტული RAID კონტროლერი ზრუნავს „ლოგიკური“ პრობლემების გადაჭრაზე, ხოლო ჩაშენებული კონტროლერი იღებს დისკებს შორის მონაცემთა გაცვლის ფუნქციებს. მაგრამ არსებობს ნიუანსი: ასეთი კონტროლერების პარალელური მუშაობა შესაძლებელია მხოლოდ თავსებად დედაპლატებზე, რაც ნიშნავს, რომ მათი გამოყენების ფარგლები სერიოზულად შეზღუდულია.

3. დამოუკიდებელი RAID კონტროლერები
ეს დისკრეტული გადაწყვეტილებები შეიცავს ყველა აუცილებელ ჩიპს საწარმოს კლასის სერვერებთან მუშაობისთვის, რომლებსაც აქვთ საკუთარი BIOS, ქეში მეხსიერება და პროცესორი შეცდომების სწრაფი კორექტირებისთვის და საკონტროლო ჯამის გამოთვლებისთვის. გარდა ამისა, ისინი აკმაყოფილებენ საიმედოობის მაღალ სტანდარტებს წარმოების თვალსაზრისით და აქვთ მაღალი ხარისხის მეხსიერების მოდულები.

4. გარე RAID კონტროლერები
ძნელი მისახვედრი არ არის, რომ ყველა ზემოთ ჩამოთვლილი კონტროლერი შიდაა და ენერგიას იღებს დედაპლატის PCIe კონექტორის მეშვეობით. Რას ნიშნავს ეს? და დედაპლატის უკმარისობამ შეიძლება გამოიწვიოს შეცდომები RAID მასივის მუშაობაში და მონაცემთა დაკარგვა. გარე კონტროლერები გათავისუფლდებიან ამ გაუგებრობისგან, რადგან ისინი განლაგებულია ცალკეულ კორპუსში დამოუკიდებელი ელექტრომომარაგებით. საიმედოობის თვალსაზრისით, ასეთი კონტროლერები უზრუნველყოფენ მონაცემთა შენახვის უმაღლეს დონეს.

ბროკომი, Microsemi Adaptec, Intel, IBM, Dell და Cisco მხოლოდ რამდენიმე კომპანიაა, რომლებიც ამჟამად გვთავაზობენ ტექნიკის RAID კონტროლერებს.

RAID კონტროლერების მუშაობის რეჟიმები SAS/SATA/NVMe

ტრი-რეჟიმების HBA და RAID კონტროლერების (ან კონტროლერების Tri-Mode ფუნქციონალურობით) მთავარი დანიშნულებაა NVMe-ზე დაფუძნებული აპარატურის RAID-ის შექმნა. Broadcom-ის 9400 სერიის კონტროლერებს შეუძლიათ ამის გაკეთება: მაგალითად, MegaRAID 9460-16i. ის ეკუთვნის RAID კონტროლერის დამოუკიდებელ ტიპს, აღჭურვილია ოთხი SFF-8643 კონექტორით და Tri-Mode მხარდაჭერის წყალობით, საშუალებას გაძლევთ ერთდროულად დააკავშიროთ SATA/SAS და NVMe დისკები. გარდა ამისა, ის ასევე არის ერთ-ერთი ყველაზე ენერგოეფექტური კონტროლერი ბაზარზე (მოიხმარს მხოლოდ 17 ვატ ენერგიას, 1,1 ვატზე ნაკლები 16 პორტისთვის).

კავშირის ინტერფეისი არის PCI Express x8 ვერსია 3.1, რომელიც იძლევა 64 გბიტ/წმ გამტარუნარიანობის საშუალებას (კონტროლერები PCI Express 2020-ისთვის სავარაუდოდ გამოჩნდება 4.0 წელს). 16-პორტიანი კონტროლერი დაფუძნებულია 2 ბირთვიან ჩიპზე SAS3516 და 72-ბიტიანი DDR4-2133 SDRAM (4 GB), ასევე 240-მდე SATA/SAS დისკის ან 24-მდე NVMe მოწყობილობის დაკავშირების შესაძლებლობა. RAID მასივების ორგანიზების თვალსაზრისით, მხარდაჭერილია დონეები "0", "1", "5" და "6", ასევე "10", "50" და "60". სხვათა შორის, ქეში მეხსიერება MegaRAID 9460-16i და 9400 სერიის სხვა კონტროლერები დაცულია ძაბვის უკმარისობისგან არჩევითი CacheVault CVPM05 მოდულით.

სამი რეჟიმის ტექნოლოგია დაფუძნებულია SerDes მონაცემთა კონვერტაციის ფუნქციაზე: SAS/SATA ინტერფეისებში მონაცემების სერიული წარმოდგენის კონვერტაცია პარალელურ ფორმად PCIe NVMe-ში და პირიქით. ანუ, კონტროლერი აწარმოებს მოლაპარაკებებს სიჩქარეებსა და პროტოკოლებზე, რათა შეუფერხებლად იმუშაოს სამი ტიპის შენახვის მოწყობილობებთან. ეს უზრუნველყოფს მონაცემთა ცენტრის ინფრასტრუქტურის მასშტაბურობის უწყვეტ გზას: მომხმარებლებს შეუძლიათ გამოიყენონ NVMe სისტემის სხვა კონფიგურაციებში მნიშვნელოვანი ცვლილებების შეტანის გარეშე.

ამასთან, NVMe დისკებით კონფიგურაციის დაგეგმვისას, გასათვალისწინებელია, რომ NVMe გადაწყვეტილებები დასაკავშირებლად იყენებს 4 PCIe ხაზს, რაც ნიშნავს, რომ თითოეული დისკი იყენებს SFF-8643 პორტების ყველა ხაზს. გამოდის, რომ მხოლოდ ოთხი NVMe დისკი შეიძლება პირდაპირ დაუკავშირდეს MegaRAID 9460-16i კონტროლერს. ან შემოიფარგლეთ ორი NVMe გადაწყვეტით, რვა SAS დისკის ერთდროულად დაკავშირებისას (იხილეთ კავშირის დიაგრამა ქვემოთ).

ფიგურაში ნაჩვენებია კონექტორის "0" (C0 / კონექტორი 0) და კონექტორის "1" გამოყენება NVMe კავშირებისთვის, ასევე კონექტორები "2" და "3" SAS კავშირებისთვის. ეს განლაგება შეიძლება შეიცვალოს, მაგრამ თითოეული x4 NVMe დისკი უნდა იყოს დაკავშირებული მიმდებარე ზოლების გამოყენებით. კონტროლერის მუშაობის რეჟიმები დაყენებულია StorCLI ან ადამიანის ინტერფეისის ინფრასტრუქტურის (HII) კონფიგურაციის საშუალებების მეშვეობით, რომელიც მუშაობს UEFI გარემოში.

ნაგულისხმევი რეჟიმი არის "PD64" პროფილი (მხოლოდ SAS/SATA მხარდაჭერილია). როგორც ზემოთ ვთქვით, სულ სამი პროფილია: რეჟიმი "მხოლოდ SAS/SATA" (PD240 / PD64 / PD 16), "მხოლოდ NVMe რეჟიმი" (PCIe4) და შერეული რეჟიმი, რომელშიც ყველა ტიპის დისკი. შეუძლია მუშაობა: "PD64 -PCIe4" (64 ფიზიკური და ვირტუალური დისკის მხარდაჭერა 4 NVMe დისკებით). შერეულ რეჟიმში, მითითებული პროფილის მნიშვნელობა უნდა იყოს „ProfileID=13“. სხვათა შორის, არჩეული პროფილი ინახება როგორც მთავარი და არ აღდგება მაშინაც კი, როცა ქარხნულ პარამეტრებში დაბრუნდებით Set Factory Defaults ბრძანებით. მისი შეცვლა შესაძლებელია მხოლოდ ხელით.

ღირს თუ არა RAID მასივის შექმნა SSD-ზე?

ასე რომ, ჩვენ უკვე გავიგეთ, რომ RAID მასივები არის მაღალი შესრულების გასაღები. მაგრამ ღირს თუ არა RAID-ის შექმნა SSD-დან სახლისა და კორპორატიული გამოყენებისთვის? ბევრი სკეპტიკოსი ამბობს, რომ სიჩქარის მატება არ არის ისეთი მნიშვნელოვანი, რომ NVMe დისკებზე გაფუჭდეს. მაგრამ მართლა ასეა? ძლივს. RAID-ში SSD-ების გამოყენების ყველაზე დიდი შეზღუდვა (როგორც სახლში, ასევე საწარმოს დონეზე) შეიძლება იყოს მხოლოდ ფასი. რაც არ უნდა ითქვას, ერთი გიგაბაიტი სივრცის ღირებულება HDD-ზე გაცილებით იაფია.

მრავალი მყარი მდგომარეობის „დისკის“ დაკავშირება RAID კონტროლერთან SSD მასივის შესაქმნელად შეიძლება დიდი გავლენა იქონიოს შესრულებაზე გარკვეულ კონფიგურაციებში. ამასთან, არ უნდა დაგვავიწყდეს, რომ მაქსიმალური შესრულება შემოიფარგლება თავად RAID კონტროლერის გამტარუნარიანობით. RAID დონე, რომელიც გთავაზობთ საუკეთესო შესრულებას, არის RAID 0.

ჩვეულებრივი RAID 0 ორი SSD-ით, რომელიც იყენებს მონაცემთა დაყოფის მეთოდს ფიქსირებულ ბლოკებად და მათ სოლიდურ საცავში გადანაწილებას, გამოიწვევს ორმაგ შესრულებას ერთ SSD-თან შედარებით. თუმცა, RAID 0 მასივი ოთხი SSD-ით უკვე ოთხჯერ უფრო სწრაფი იქნება ვიდრე ყველაზე ნელი SSD მასივში (დამოკიდებულია გამტარუნარიანობის შეზღუდვაზე RAID SSD კონტროლერის დონეზე).

მარტივი არითმეტიკიდან გამომდინარე, SATA SSD არის დაახლოებით 3-ჯერ უფრო სწრაფი ვიდრე ტრადიციული SATA HDD. NVMe გადაწყვეტილებები კიდევ უფრო ეფექტურია - 10-ჯერ ან მეტი. იმ პირობით, რომ ნულოვანი დონის RAID-ში ორი მყარი დისკი აჩვენებს ორმაგ შესრულებას, გაზრდის მას 50%-ით, ორი SATA SSD იქნება 6-ჯერ უფრო სწრაფი, ხოლო ორი NVMe SSD იქნება 20-ჯერ უფრო სწრაფი. კერძოდ, ერთ Kingston KC2000 NVMe PCIe დისკს შეუძლია მიაღწიოს თანმიმდევრული წაკითხვისა და ჩაწერის სიჩქარეს 3200 მბ/წმ-მდე, რაც RAID 0 ფორმატში მიაღწევს შთამბეჭდავ 6 გბ/წმ-ს. ხოლო 4 KB ზომის შემთხვევითი ბლოკების წაკითხვის/ჩაწერის სიჩქარე 350 IOPS-დან 000 IOPS-მდე გახდება. მაგრამ... ამავდროულად, „ნულოვანი“ RAID არ გვაძლევს ზედმეტობას.

შეიძლება ითქვას, რომ საყოფაცხოვრებო გარემოში მეხსიერების ჭარბი რაოდენობა, როგორც წესი, არ არის საჭირო, ამიტომ ყველაზე შესაფერისი RAID კონფიგურაცია SSD-ებისთვის ნამდვილად ხდება RAID 0. ეს არის საიმედო გზა მუშაობის მნიშვნელოვანი გაუმჯობესების მისაღებად, როგორც Intel Optane-ზე დაფუძნებული ტექნოლოგიების გამოყენების ალტერნატივა. SSD-ები. მაგრამ ჩვენ ვისაუბრებთ იმაზე, თუ როგორ იქცევიან SSD გადაწყვეტილებები ყველაზე პოპულარულ RAID ტიპებში ("1", "5", "10", "50") ჩვენს შემდეგ სტატიაში.

ეს სტატია მომზადდა Broadcom-ის ჩვენი კოლეგების მხარდაჭერით, რომლებიც თავიანთ კონტროლერებს აწვდიან Kingston-ის ინჟინრებს საწარმოს კლასის SATA/SAS/NVMe დისკების შესამოწმებლად. ამ მეგობრული სიმბიოზის წყალობით, მომხმარებელს არ უნდა შეეპაროს ეჭვი Kingston დისკების საიმედოობასა და სტაბილურობაში HBA და RAID კონტროლერებით წარმოებიდან. ბროკომი.

Kingston-ის პროდუქტების შესახებ დამატებითი ინფორმაციისთვის ეწვიეთ ოფიციალურ ვებგვერდზე კომპანია

წყარო: www.habr.com