[Υπερυπολογιστές 2019]. Αποθήκευση πολλαπλών νέφους ως περιοχή εφαρμογής για τους νέους δίσκους Kingston DC1000M

Φανταστείτε ότι ξεκινάτε μια καινοτόμο ιατρική επιχείρηση - ατομική επιλογή φαρμάκων με βάση την ανάλυση του ανθρώπινου γονιδιώματος. Κάθε ασθενής έχει 3 δισεκατομμύρια ζεύγη γονιδίων και ένας κανονικός διακομιστής σε επεξεργαστές x86 θα χρειαστεί αρκετές ημέρες για να υπολογιστεί. Γνωρίζετε ότι μπορείτε να επιταχύνετε τη διαδικασία σε έναν διακομιστή με έναν επεξεργαστή FPGA που παραλληλίζει τους υπολογισμούς σε χιλιάδες νήματα. Θα ολοκληρώσει τον υπολογισμό του γονιδιώματος σε περίπου μία ώρα. Τέτοιοι διακομιστές μπορούν να ενοικιαστούν από τις υπηρεσίες Web της Amazon (AWS). Αλλά εδώ είναι το πράγμα: ο πελάτης, το νοσοκομείο, είναι κατηγορηματικά αντίθετο με την τοποθέτηση γενετικών δεδομένων στο cloud του παρόχου. Τι πρέπει να κάνω? Η Kingston και η νεοσύστατη εταιρεία cloud παρουσίασαν αρχιτεκτονική στην έκθεση Supercomputing-2019 Ιδιωτικός χώρος αποθήκευσης MultiCloud (PMCS), που λύνει αυτό το πρόβλημα.

Τρεις προϋποθέσεις για υπολογιστές υψηλής απόδοσης

Ο υπολογισμός του ανθρώπινου γονιδιώματος δεν είναι η μόνη εργασία στον τομέα των υπολογιστών υψηλής απόδοσης (HPC, High Performance Computing). Οι επιστήμονες υπολογίζουν τα φυσικά πεδία, οι μηχανικοί υπολογίζουν τα μέρη του αεροπλάνου, οι χρηματοδότες υπολογίζουν οικονομικά μοντέλα και μαζί αναλύουν μεγάλα δεδομένα, κατασκευάζουν νευρωνικά δίκτυα και κάνουν πολλούς άλλους σύνθετους υπολογισμούς.

Οι τρεις προϋποθέσεις του HPC είναι η τεράστια υπολογιστική ισχύς, η πολύ μεγάλη και γρήγορη αποθήκευση και η υψηλή απόδοση δικτύου. Επομένως, η τυπική πρακτική για τη διεξαγωγή υπολογισμών LPC είναι στο κέντρο δεδομένων της εταιρείας (εσωτερικές εγκαταστάσεις) ή σε έναν πάροχο στο cloud.

Ωστόσο, δεν έχουν όλες οι εταιρείες τα δικά τους κέντρα δεδομένων και αυτές που έχουν συχνά είναι κατώτερες από τα εμπορικά κέντρα δεδομένων όσον αφορά την αποδοτικότητα των πόρων (απαιτούνται κεφαλαιουχικές δαπάνες για την αγορά και την ενημέρωση υλικού και λογισμικού, πληρωμή προσωπικού υψηλής εξειδίκευσης κ.λπ.). Οι πάροχοι cloud, αντίθετα, προσφέρουν πόρους πληροφορικής σύμφωνα με το μοντέλο λειτουργικού κόστους «Pay-as-you-go», δηλ. Το ενοίκιο χρεώνεται μόνο για την περίοδο χρήσης. Όταν ολοκληρωθούν οι υπολογισμοί, οι διακομιστές μπορούν να αφαιρεθούν από τον λογαριασμό, εξοικονομώντας έτσι τους προϋπολογισμούς IT. Ωστόσο, εάν υπάρχει νομοθετική ή εταιρική απαγόρευση μεταφοράς δεδομένων στον πάροχο, ο υπολογισμός HPC στο cloud δεν είναι διαθέσιμος.

Ιδιωτικός χώρος αποθήκευσης MultiCloud

Η αρχιτεκτονική Private MultiCloud Storage έχει σχεδιαστεί για να παρέχει πρόσβαση σε υπηρεσίες cloud ενώ αφήνει φυσικά τα ίδια τα δεδομένα στον εταιρικό ιστότοπο ή σε ξεχωριστό ασφαλές διαμέρισμα του κέντρου δεδομένων χρησιμοποιώντας μια υπηρεσία συντοπισμού. Ουσιαστικά, είναι ένα κατανεμημένο υπολογιστικό μοντέλο με επίκεντρο τα δεδομένα όπου οι διακομιστές cloud λειτουργούν με συστήματα απομακρυσμένης αποθήκευσης από ένα ιδιωτικό σύννεφο. Αντίστοιχα, χρησιμοποιώντας την ίδια τοπική αποθήκευση δεδομένων, μπορείτε να εργαστείτε με υπηρεσίες cloud από τους μεγαλύτερους παρόχους: AWS, MS Azure, Google Cloud Platform, κ.λπ.

Παρουσιάζοντας ένα παράδειγμα εφαρμογής του PMCS στην έκθεση Supercomputing-2019, η Kingston παρουσίασε ένα δείγμα συστήματος αποθήκευσης δεδομένων υψηλής απόδοσης (SSD) που βασίζεται σε μονάδες SSD DC1000M και μία από τις εκκινήσεις cloud παρουσίασε λογισμικό διαχείρισης StorOne S1 για λογισμικό- καθορισμένο χώρο αποθήκευσης και ειδικά κανάλια επικοινωνίας με μεγάλους παρόχους cloud.

Πρέπει να σημειωθεί ότι το PMCS, ως λειτουργικό μοντέλο υπολογιστικού νέφους με ιδιωτικό χώρο αποθήκευσης, έχει σχεδιαστεί για την αγορά της Βόρειας Αμερικής με την ανεπτυγμένη δικτυακή συνδεσιμότητα μεταξύ κέντρων δεδομένων που υποστηρίζεται στις υποδομές AT&T και Equinix. Έτσι, το ping μεταξύ ενός συστήματος αποθήκευσης συντοπισμού σε οποιονδήποτε κόμβο Equinix Cloud Exchange και του νέφους AWS είναι μικρότερο από 1 χιλιοστό του δευτερολέπτου (πηγή: ITProToday).

Στην επίδειξη της αρχιτεκτονικής PMCS που παρουσιάστηκε στην έκθεση, το σύστημα αποθήκευσης στους δίσκους DC1000M NVMe βρισκόταν σε συντοπισμό και οι εικονικές μηχανές εγκαταστάθηκαν στα σύννεφα AWS, MS Azure και Google Cloud Platform, τα οποία έκαναν ping μεταξύ τους. Η εφαρμογή πελάτη-διακομιστή συνεργάστηκε εξ αποστάσεως με το σύστημα αποθήκευσης Kingston και τους διακομιστές HP DL380 στο κέντρο δεδομένων και, μέσω της υποδομής καναλιών επικοινωνίας Equinix, είχε πρόσβαση στις πλατφόρμες cloud των προαναφερθέντων μεγάλων παρόχων.

Διαφάνεια από την παρουσίαση του Private MultiCloud Storage στην έκθεση Supercomputing-2019. Πηγή: Kingston

Λογισμικό παρόμοιας λειτουργικότητας για τη διαχείριση της αρχιτεκτονικής της ιδιωτικής αποθήκευσης multicloud προσφέρεται από διαφορετικές εταιρείες. Οι όροι για αυτήν την αρχιτεκτονική μπορεί επίσης να ακούγονται διαφορετικά - Private MultiCloud Storage ή Private Storage for Cloud.

«Οι σημερινοί υπερυπολογιστές τρέχουν μια ποικιλία εφαρμογών HPC που βρίσκονται στην πρώτη γραμμή των εξελίξεων, από την εξερεύνηση πετρελαίου και φυσικού αερίου μέχρι την πρόβλεψη καιρού, τις χρηματοοικονομικές αγορές και την ανάπτυξη νέων τεχνολογιών», δήλωσε ο Keith Schimmenti, διευθυντής διαχείρισης επιχειρησιακών SSD στο Kingston. «Αυτές οι εφαρμογές HPC απαιτούν πολύ μεγαλύτερη αντιστοιχία μεταξύ της απόδοσης του επεξεργαστή και της ταχύτητας I/O. Είμαστε περήφανοι που μοιραζόμαστε πώς οι λύσεις της Kingston συμβάλλουν στην επίτευξη καινοτομιών στον τομέα της πληροφορικής, παρέχοντας την απόδοση που απαιτείται στα πιο ακραία υπολογιστικά περιβάλλοντα και εφαρμογές στον κόσμο».

Μονάδα δίσκου DC1000M και ένα παράδειγμα συστήματος αποθήκευσης που βασίζεται σε αυτήν

Ο DC1000M U.2 NVMe SSD έχει σχεδιαστεί από την Kingston για το κέντρο δεδομένων και έχει σχεδιαστεί ειδικά για εφαρμογές έντασης δεδομένων και HPC, όπως εφαρμογές τεχνητής νοημοσύνης (AI) και μηχανικής μάθησης (ML).

Μονάδα δίσκου DC1000M U.2 NVMe 3.84 TB. Πηγή: Kingston

Οι μονάδες DC1000M U.2 βασίζονται σε μνήμη Intel 96D NAND 3 επιπέδων, που ελέγχεται από έναν ελεγκτή Silicon Motion SM2270 (PCIe 3.0 και NVMe 3.0). Το Silicon Motion SM2270 είναι ένας επιχειρησιακός ελεγκτής NVMe 16 λωρίδων με διασύνδεση PCIe 3.0 x8, διπλό δίαυλο δεδομένων DRAM 32-bit και τρεις διπλούς επεξεργαστές ARM Cortex R5.

Προσφέρεται για κυκλοφορία DC1000M διαφορετικών χωρητικοτήτων: από 0.96 έως 7.68 TB (οι πιο δημοφιλείς χωρητικότητες πιστεύεται ότι είναι 3.84 και 7.68 TB). Η απόδοση του δίσκου υπολογίζεται σε 800 χιλιάδες IOPS.

Σύστημα αποθήκευσης με 10x DC1000M U.2 NVMe 7.68 TB. Πηγή: Kingston

Ως παράδειγμα συστήματος αποθήκευσης για εφαρμογές HPC, η Kingston παρουσίασε στο Supercomputing 2019 μια λύση rack με 10 μονάδες DC1000M U.2 NVMe, η καθεμία με χωρητικότητα 7.68 TB. Το σύστημα αποθήκευσης βασίζεται στο SB122A-PH, μια πλατφόρμα μορφικού παράγοντα 1U από την AIC. Επεξεργαστές: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Αριθμός εξαρτήματος: KSM24RS4/16HAI). Το εγκατεστημένο λειτουργικό σύστημα είναι Ubuntu 18.04.3 LTS, πυρήνας Linux έκδοση 5.0.0-31. Η δοκιμή gfio v3.13 (Flexible I/O tester) έδειξε απόδοση ανάγνωσης 5.8 εκατομμυρίων IOPS με απόδοση 23.8 Gbps.

Το παρουσιαζόμενο σύστημα αποθήκευσης έδειξε εντυπωσιακά χαρακτηριστικά όσον αφορά τη σταθερή ένδειξη 5,8 εκατομμυρίων IOPS (λειτουργίες εισόδου-εξόδου ανά δευτερόλεπτο). Αυτό είναι δύο τάξεις μεγέθους ταχύτερο από τους SSD για συστήματα μαζικής αγοράς. Αυτή η ταχύτητα ανάγνωσης απαιτείται για εφαρμογές HPC που εκτελούνται σε εξειδικευμένους επεξεργαστές.

Cloud computing HPC με ιδιωτικό χώρο αποθήκευσης στη Ρωσία

Το καθήκον της εκτέλεσης υπολογιστών υψηλής απόδοσης στον πάροχο, αλλά και η φυσική αποθήκευση δεδομένων εντός της εγκατάστασης, είναι επίσης σημαντική για τις ρωσικές εταιρείες. Μια άλλη συνηθισμένη περίπτωση στις εγχώριες επιχειρήσεις είναι όταν, όταν χρησιμοποιείτε ξένες υπηρεσίες cloud, τα δεδομένα πρέπει να βρίσκονται στο έδαφος της Ρωσικής Ομοσπονδίας. Ζητήσαμε σχολιασμό σχετικά με αυτές τις καταστάσεις εκ μέρους του παρόχου cloud Selectel ως επί μακρόν συνεργάτη της Kingston.

«Στη Ρωσία, είναι δυνατό να κατασκευαστεί μια παρόμοια αρχιτεκτονική, με σέρβις στα ρωσικά και όλα τα έγγραφα αναφοράς για το λογιστήριο του πελάτη. Εάν μια εταιρεία χρειάζεται να πραγματοποιήσει υπολογιστές υψηλής απόδοσης χρησιμοποιώντας συστήματα αποθήκευσης εσωτερικής εγκατάστασης, εμείς στη Selectel ενοικιάζουμε διακομιστές με επεξεργαστές διαφόρων τύπων, συμπεριλαμβανομένων FPGA, GPU ή CPU πολλαπλών πυρήνων. Επιπλέον, μέσω συνεργατών, οργανώνουμε την τοποθέτηση ενός αποκλειστικού οπτικού καναλιού μεταξύ του γραφείου του πελάτη και του κέντρου δεδομένων μας», σχολιάζει ο Alexander Tugov, Διευθυντής Ανάπτυξης Υπηρεσιών της Selectel. — Ο πελάτης μπορεί επίσης να τοποθετήσει το σύστημα αποθήκευσης του σε συντοπισμό σε αίθουσα υπολογιστών με ειδική λειτουργία πρόσβασης και να εκτελεί εφαρμογές τόσο στους διακομιστές μας όσο και στα σύννεφα των παγκόσμιων παρόχων AWS, MS Azure, Google Cloud. Φυσικά, η καθυστέρηση σήματος στην τελευταία περίπτωση θα είναι μεγαλύτερη από ό,τι αν το σύστημα αποθήκευσης του πελάτη βρισκόταν στις ΗΠΑ, αλλά θα παρέχεται ευρυζωνική σύνδεση πολλαπλού νέφους».

Στο επόμενο άρθρο θα μιλήσουμε για μια άλλη λύση Kingston, η οποία παρουσιάστηκε στην έκθεση Supercomputing 2019 (Denver, Colorado, USA) και προορίζεται για εφαρμογές μηχανικής μάθησης και ανάλυση μεγάλων δεδομένων με χρήση GPU. Αυτή είναι η τεχνολογία GPUDirect Storage, η οποία παρέχει άμεση μεταφορά δεδομένων μεταξύ αποθήκευσης NVMe και μνήμης επεξεργαστή GPU. Και επιπλέον, θα εξηγήσουμε πώς καταφέραμε να επιτύχουμε ταχύτητα ανάγνωσης δεδομένων 5.8 εκατομμυρίων IOPS σε ένα σύστημα αποθήκευσης rack σε δίσκους NVMe.

Για περισσότερες πληροφορίες σχετικά με τα προϊόντα Kingston Technology, επισκεφθείτε Το site της εταιρείας.

Πηγή: www.habr.com