[სუპერკომპიუტერი 2019]. მრავალ ღრუბლოვანი შენახვა, როგორც ახალი Kingston DC1000M დისკების გამოყენების არეალი

წარმოიდგინეთ, რომ თქვენ იწყებთ ინოვაციურ სამედიცინო ბიზნესს - წამლების ინდივიდუალურ შერჩევას ადამიანის გენომის ანალიზის საფუძველზე. თითოეულ პაციენტს აქვს 3 მილიარდი გენის წყვილი, ხოლო x86 პროცესორებზე რეგულარული სერვერის გამოთვლას რამდენიმე დღე დასჭირდება. თქვენ იცით, რომ შეგიძლიათ დააჩქაროთ პროცესი სერვერზე FPGA პროცესორით, რომელიც პარალელიზებს გამოთვლებს ათასობით თემაში. ის დაასრულებს გენომის გამოთვლას დაახლოებით ერთ საათში. ასეთი სერვერების დაქირავება შესაძლებელია ამაზონის ვებ სერვისებიდან (AWS). მაგრამ აქ არის საქმე: მომხმარებელი, საავადმყოფო, კატეგორიულად ეწინააღმდეგება გენეტიკური მონაცემების პროვაიდერის ღრუბელში განთავსებას. Რა უნდა გავაკეთო? კინგსტონმა და ღრუბლოვანი სტარტაპმა აჩვენეს არქიტექტურა Supercomputing-2019 გამოფენაზე პირადი MultiCloud Storage (PMCS), რომელიც წყვეტს ამ პრობლემას.

სამი პირობა მაღალი ხარისხის გამოთვლებისთვის

ადამიანის გენომის გამოთვლა არ არის ერთადერთი ამოცანა მაღალი ხარისხის გამოთვლების სფეროში (HPC, High Performance Computing). მეცნიერები ითვლიან ფიზიკურ ველებს, ინჟინრები ითვლიან თვითმფრინავის ნაწილებს, ფინანსისტები გამოთვლიან ეკონომიკურ მოდელებს და ერთად აანალიზებენ დიდ მონაცემებს, აშენებენ ნერვულ ქსელებს და აკეთებენ სხვა მრავალ რთულ გამოთვლებს.

HPC-ის სამი პირობაა უზარმაზარი გამოთვლითი სიმძლავრე, ძალიან დიდი და სწრაფი შენახვა და მაღალი ქსელის გამტარუნარიანობა. აქედან გამომდინარე, LPC გამოთვლების ჩატარების სტანდარტული პრაქტიკა არის კომპანიის საკუთარი მონაცემთა ცენტრში (ადგილებზე) ან ღრუბელში არსებულ პროვაიდერში.

მაგრამ ყველა კომპანიას არ აქვს საკუთარი მონაცემთა ცენტრები და ის, ვინც ხშირად ფლობს, ჩამორჩება კომერციულ მონაცემთა ცენტრებს რესურსების ეფექტურობის თვალსაზრისით (კაპიტალური ხარჯები საჭიროა ტექნიკისა და პროგრამული უზრუნველყოფის შესაძენად და განახლებისთვის, მაღალკვალიფიციური პერსონალისთვის და ა.შ.). ღრუბლოვანი პროვაიდერები, პირიქით, სთავაზობენ IT რესურსებს „Pay-as-you-go“ საოპერაციო ხარჯების მოდელის მიხედვით, ე.ი. ქირავდება მხოლოდ სარგებლობის პერიოდისთვის. როდესაც გამოთვლები დასრულდება, სერვერები შეიძლება ამოღებულ იქნეს ანგარიშიდან, რითაც დაზოგავს IT ბიუჯეტებს. მაგრამ თუ არსებობს პროვაიდერისთვის მონაცემთა გადაცემის საკანონმდებლო ან კორპორატიული აკრძალვა, ღრუბელში HPC გამოთვლა მიუწვდომელია.

პირადი MultiCloud საცავი

Private MultiCloud Storage არქიტექტურა შექმნილია ღრუბლოვან სერვისებზე წვდომის უზრუნველსაყოფად, ხოლო მონაცემები ფიზიკურად ტოვებს საწარმოს საიტზე ან მონაცემთა ცენტრის ცალკეულ უსაფრთხო განყოფილებაში კოლოკაციის სერვისის გამოყენებით. არსებითად, ეს არის მონაცემთა ორიენტირებული განაწილებული გამოთვლითი მოდელი, სადაც ღრუბლოვანი სერვერები მუშაობენ დისტანციური შენახვის სისტემებთან კერძო ღრუბლიდან. შესაბამისად, იგივე ადგილობრივი მონაცემთა შენახვის გამოყენებით, შეგიძლიათ იმუშაოთ ღრუბლოვანი სერვისებით უმსხვილესი პროვაიდერებისგან: AWS, MS Azure, Google Cloud Platform და ა.შ.

Supercomputing-2019-ის გამოფენაზე PMCS-ის განხორციელების მაგალითის ჩვენებით, კინგსტონმა წარმოადგინა მონაცემთა შენახვის მაღალი ხარისხის სისტემის (SSD) ნიმუში, რომელიც დაფუძნებულია DC1000M SSD დისკებზე, ხოლო ერთ-ერთმა ღრუბლოვანმა სტარტაპმა წარმოადგინა StorOne S1 მართვის პროგრამული უზრუნველყოფა პროგრამული უზრუნველყოფისთვის. განსაზღვრული საცავი და გამოყოფილი საკომუნიკაციო არხები ღრუბლის მთავარ პროვაიდერებთან.

უნდა აღინიშნოს, რომ PMCS, როგორც ღრუბლოვანი გამოთვლის სამუშაო მოდელი კერძო მეხსიერებით, შექმნილია ჩრდილოეთ ამერიკის ბაზრისთვის მონაცემთა ცენტრებს შორის განვითარებული ქსელური კავშირით, რომელიც მხარდაჭერილია AT&T და Equinix ინფრასტრუქტურაზე. ამრიგად, პინგი კოლოკაციის შენახვის სისტემას Equinix Cloud Exchange ნებისმიერ კვანძში და AWS ღრუბელს შორის არის 1 მილიწამზე ნაკლები (წყარო: ITProToday).

გამოფენაზე ნაჩვენები PMCS არქიტექტურის დემონსტრირებაში, DC1000M NVMe დისკებზე შენახვის სისტემა განლაგებული იყო კოლოკაციაში, ხოლო ვირტუალური მანქანები დაინსტალირებული იყო AWS, MS Azure და Google Cloud Platform ღრუბლებში, რომლებიც ერთმანეთს აკავშირებდნენ. კლიენტ-სერვერის აპლიკაცია დისტანციურად მუშაობდა Kingston-ის შენახვის სისტემასთან და HP DL380 სერვერებთან მონაცემთა ცენტრში და Equinix საკომუნიკაციო არხის ინფრასტრუქტურის მეშვეობით წვდომა ზემოხსენებული ძირითადი პროვაიდერების ღრუბლოვან პლატფორმებზე.

სლაიდი Supercomputing-2019 გამოფენაზე Private MultiCloud Storage-ის პრეზენტაციიდან. წყარო: კინგსტონი

მსგავსი ფუნქციონირების პროგრამული უზრუნველყოფა კერძო მულტიღრუბლოვან საცავის არქიტექტურის სამართავად, გთავაზობთ სხვადასხვა კომპანიას. ამ არქიტექტურის ტერმინები ასევე შეიძლება განსხვავებულად ჟღერდეს - Private MultiCloud Storage ან Private Storage Cloud-ისთვის.

„დღევანდელი სუპერკომპიუტერები ამუშავებენ სხვადასხვა HPC აპლიკაციებს, რომლებიც წინ უსწრებენ წინსვლას, ნავთობისა და გაზის მოძიებიდან ამინდის პროგნოზირებამდე, ფინანსურ ბაზრებზე და ახალი ტექნოლოგიების განვითარებამდე“, თქვა კიტ შიმენტიმ, საწარმოს SSD მენეჯმენტის მენეჯერმა Kingston-ში. ”ეს HPC აპლიკაციები მოითხოვს ბევრად უფრო მეტ შესაბამისობას პროცესორის შესრულებასა და I/O სიჩქარეს შორის. ჩვენ ვამაყობთ, რომ გაგიზიაროთ, თუ როგორ ეხმარება Kingston-ის გადაწყვეტილებები გამოთვლებში მიღწევების მიღწევაში, რაც უზრუნველყოფს იმ ეფექტურობას, რომელიც საჭიროა მსოფლიოს ყველაზე ექსტრემალურ გამოთვლით გარემოსა და აპლიკაციებში“.

DC1000M დისკი და მასზე დაფუძნებული შენახვის სისტემის მაგალითი

DC1000M U.2 NVMe SSD შექმნილია Kingston-ის მიერ მონაცემთა ცენტრისთვის და სპეციალურად შექმნილია მონაცემთა ინტენსიური და HPC აპლიკაციებისთვის, როგორიცაა ხელოვნური ინტელექტი (AI) და მანქანათმცოდნეობის (ML) აპლიკაციები.

DC1000M U.2 NVMe 3.84TB დისკი. წყარო: კინგსტონი

DC1000M U.2 დისკები დაფუძნებულია 96-ფენიანი Intel 3D NAND მეხსიერებაზე, რომელსაც აკონტროლებს Silicon Motion SM2270 კონტროლერი (PCIe 3.0 და NVMe 3.0). Silicon Motion SM2270 არის 16 ზოლიანი საწარმო NVMe კონტროლერი PCIe 3.0 x8 ინტერფეისით, ორმაგი 32-ბიტიანი DRAM მონაცემთა ავტობუსით და სამი ARM Cortex R5 ორმაგი პროცესორით.

სხვადასხვა სიმძლავრის DC1000M შემოთავაზებულია გასაშვებად: 0.96-დან 7.68 ტბ-მდე (ყველაზე პოპულარული სიმძლავრეები ითვლება 3.84 და 7.68 ტბ). დისკის შესრულება შეფასებულია 800 ათასი IOPS-ით.

შენახვის სისტემა 10x DC1000M U.2 NVMe 7.68 TB. წყარო: კინგსტონი

როგორც HPC აპლიკაციების შენახვის სისტემის მაგალითი, Kingston-მა Supercomputing 2019-ზე წარმოადგინა თაროს გადაწყვეტა 10 DC1000M U.2 NVMe დისკებით, თითოეული 7.68 ტბაიტის სიმძლავრით. შენახვის სისტემა დაფუძნებულია SB122A-PH-ზე, AIC-ის 1U ფორმის ფაქტორის პლატფორმაზე. პროცესორები: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (ნაწილის ნომერი: KSM24RS4/16HAI). დაინსტალირებული OS არის Ubuntu 18.04.3 LTS, Linux kernel ვერსია 5.0.0-31. gfio v3.13 ტესტმა (მოქნილი I/O ტესტერი) აჩვენა წაკითხვის შესრულება 5.8 მილიონი IOPS, გამტარუნარიანობა 23.8 Gbps.

წარმოდგენილი შენახვის სისტემამ აჩვენა შთამბეჭდავი მახასიათებლები 5,8 მილიონი IOPS-ის სტაბილური წაკითხვის თვალსაზრისით (შემავალი-გამომავალი ოპერაციები წამში). ეს არის მასშტაბის ორი რიგით უფრო სწრაფი ვიდრე SSD-ები მასობრივი ბაზრის სისტემებისთვის. წაკითხვის ეს სიჩქარე საჭიროა HPC აპლიკაციებისთვის, რომლებიც მუშაობენ სპეციალიზებულ პროცესორებზე.

Cloud Computing HPC კერძო მეხსიერებით რუსეთში

პროვაიდერთან მაღალი ხარისხის გამოთვლების შესრულება, მაგრამ ადგილზე მონაცემების ფიზიკურად შენახვა ასევე აქტუალურია რუსული კომპანიებისთვის. შიდა ბიზნესში კიდევ ერთი გავრცელებული შემთხვევაა, როდესაც, უცხოური ღრუბლოვანი სერვისების გამოყენებისას, მონაცემები უნდა იყოს განთავსებული რუსეთის ფედერაციის ტერიტორიაზე. ჩვენ ვთხოვეთ კომენტარი ამ სიტუაციებზე ღრუბლოვანი პროვაიდერის Selectel-ის სახელით, როგორც Kingston-ის დიდი ხნის პარტნიორი.

„რუსეთში შესაძლებელია მსგავსი არქიტექტურის აშენება რუსულ ენაზე მომსახურებით და კლიენტის ბუღალტრული აღრიცხვის განყოფილების ყველა საანგარიშო დოკუმენტით. თუ კომპანიას სჭირდება მაღალი ხარისხის გამოთვლების განხორციელება შიდა შენახვის სისტემების გამოყენებით, ჩვენ Selectel-ში ვაქირავებ სერვერებს სხვადასხვა ტიპის პროცესორებით, მათ შორის FPGA, GPU ან მრავალბირთვიანი პროცესორები. გარდა ამისა, პარტნიორების მეშვეობით ჩვენ ვაწყობთ ერთგულ ოპტიკური არხის განთავსებას კლიენტის ოფისსა და ჩვენს მონაცემთა ცენტრს შორის,“ - ამბობს ალექსანდრე ტუგოვი, Selectel-ის სერვისების განვითარების დირექტორი. — კლიენტს ასევე შეუძლია განათავსოს თავისი შენახვის სისტემა კოლოკაციაზე კომპიუტერის ოთახში სპეციალური წვდომის რეჟიმით და განახორციელოს აპლიკაციები როგორც ჩვენს სერვერებზე, ასევე გლობალური პროვაიდერების ღრუბლებში AWS, MS Azure, Google Cloud. რა თქმა უნდა, ამ უკანასკნელ შემთხვევაში სიგნალის შეფერხება უფრო მაღალი იქნება, ვიდრე კლიენტის შენახვის სისტემა აშშ-ში მდებარეობდა, მაგრამ უზრუნველყოფილი იქნება ფართოზოლოვანი მრავალ ღრუბლოვანი კავშირი.

შემდეგ სტატიაში ვისაუბრებთ Kingston-ის კიდევ ერთ გადაწყვეტაზე, რომელიც წარმოდგენილი იყო Supercomputing 2019 გამოფენაზე (დენვერი, კოლორადო, აშშ) და განკუთვნილია მანქანათმცოდნეობის აპლიკაციებისთვის და დიდი მონაცემთა ანალიზისთვის GPU-ების გამოყენებით. ეს არის GPUDirect Storage ტექნოლოგია, რომელიც უზრუნველყოფს მონაცემთა პირდაპირ გადაცემას NVMe მეხსიერებასა და GPU პროცესორის მეხსიერებას შორის. გარდა ამისა, ჩვენ განვმარტავთ, თუ როგორ მოვახერხეთ მონაცემთა წაკითხვის სიჩქარე 5.8 მილიონი IOPS თაროს შენახვის სისტემაში NVMe დისკებზე.

დამატებითი ინფორმაციისთვის Kingston Technology პროდუქტების შესახებ, გთხოვთ ეწვიოთ კომპანიის ვებსაიტზე.

წყარო: www.habr.com