[Суперкомпютри 2019]. Мултиоблачно съхранение като област на приложение за новите устройства Kingston DC1000M

Представете си, че започвате иновативен медицински бизнес - индивидуален подбор на лекарства на базата на анализ на човешкия геном. Всеки пациент има 3 милиарда генни двойки и обикновен сървър на x86 процесори ще отнеме няколко дни за изчисляване. Знаете, че можете да ускорите процеса на сървър с FPGA процесор, който паралелизира изчисленията в хиляди нишки. Той ще завърши изчислението на генома за около час. Такива сървъри могат да бъдат наети от Amazon Web Services (AWS). Но ето нещо: клиентът, болницата, е категорично против поставянето на генетични данни в облака на доставчика. Какво трябва да направя? Kingston и облачен стартъп показаха архитектура на изложението Supercomputing-2019 Частно мултиклауд хранилище (PMCS), което решава този проблем.

Три условия за високопроизводителни изчисления

Изчисляването на човешкия геном не е единствената задача в областта на високопроизводителните изчисления (HPC, High Performance Computing). Учените изчисляват физически полета, инженерите изчисляват частите на самолетите, финансистите изчисляват икономическите модели и заедно анализират големи данни, изграждат невронни мрежи и правят много други сложни изчисления.

Трите условия на HPC са огромна изчислителна мощност, много голямо и бързо съхранение и висока пропускателна способност на мрежата. Следователно стандартната практика за извършване на LPC изчисления е в собствения център за данни на компанията (на място) или при доставчик в облака.

Но не всички компании имат свои собствени центрове за данни, а тези, които имат, често са по-ниски от търговските центрове за данни по отношение на ефективността на ресурсите (необходими са капиталови разходи за закупуване и актуализиране на хардуер и софтуер, заплащане на висококвалифициран персонал и т.н.). Облачните доставчици, напротив, предлагат ИТ ресурси според модела на оперативните разходи „Pay-as-you-go“, т.е. наемът се начислява само за периода на ползване. Когато изчисленията са завършени, сървърите могат да бъдат премахнати от акаунта, като по този начин спестяват ИТ бюджети. Но ако има законодателна или корпоративна забрана за прехвърляне на данни към доставчика, HPC изчисленията в облака не са налични.

Частно MultiCloud хранилище

Архитектурата Private MultiCloud Storage е проектирана да предоставя достъп до облачни услуги, докато физически оставя самите данни на корпоративния сайт или в отделно защитено отделение на центъра за данни, използвайки услуга за колокация. По същество това е разпределен изчислителен модел, ориентиран към данните, при който облачните сървъри работят с отдалечени системи за съхранение от частен облак. Съответно, използвайки същото локално хранилище за данни, можете да работите с облачни услуги от най-големите доставчици: AWS, MS Azure, Google Cloud Platform‎ и др.

Показвайки пример за внедряване на PMCS на изложението Supercomputing-2019, Kingston представи извадка от високопроизводителна система за съхранение на данни (SSD), базирана на DC1000M SSD дискове, а един от облачните стартиращи компании представи софтуер за управление StorOne S1 за софтуер- дефинирано съхранение и специални канали за комуникация с основните доставчици на облачни услуги.

Трябва да се отбележи, че PMCS, като работещ модел на облачни изчисления с частно съхранение, е предназначен за северноамериканския пазар с развита мрежова свързаност между центрове за данни, която се поддържа от инфраструктурата на AT&T и Equinix. По този начин ping между система за съхранение на колокация във всеки възел на Equinix Cloud Exchange и AWS облака е по-малко от 1 милисекунда (източник: ITProToday).

В демонстрацията на архитектурата PMCS, показана на изложението, системата за съхранение на DC1000M NVMe дискове беше разположена в колокация, а виртуалните машини бяха инсталирани в облаците AWS, MS Azure и Google Cloud Platform, които се пингуваха взаимно. Приложението клиент-сървър отдалечено работеше със системата за съхранение Kingston и HP DL380 сървърите в центъра за данни и чрез инфраструктурата на комуникационния канал на Equinix имаше достъп до облачните платформи на гореспоменатите основни доставчици.

Слайд от презентацията на Private MultiCloud Storage на изложението Supercomputing-2019. Източник: Kingston

Софтуер с подобна функционалност за управление на архитектурата на частно многооблачно хранилище се предлага от различни компании. Термините за тази архитектура също могат да звучат различно – Private MultiCloud Storage или Private Storage for Cloud.

„Днешните суперкомпютри работят с различни HPC приложения, които са в челните редици на напредъка, от проучване на нефт и газ до прогнозиране на времето, финансови пазари и развитие на нови технологии“, каза Кийт Шименти, мениджър корпоративно управление на SSD в Kingston. „Тези HPC приложения изискват много по-голямо съответствие между производителността на процесора и I/O скоростта. Горди сме да споделим как решенията на Kingston помагат за пробив в изчислителната техника, осигурявайки производителността, необходима в най-екстремните компютърни среди и приложения в света.”

Устройство DC1000M и пример за система за съхранение, базирана на него

DC1000M U.2 NVMe SSD е проектиран от Kingston за центрове за данни и е специално проектиран за приложения с интензивно използване на данни и HPC, като приложения за изкуствен интелект (AI) и машинно обучение (ML).

DC1000M U.2 NVMe 3.84TB устройство. Източник: Kingston

Устройствата DC1000M U.2 са базирани на 96-слойна Intel 3D NAND памет, управлявана от контролер Silicon Motion SM2270 (PCIe 3.0 и NVMe 3.0). Silicon Motion SM2270 е 16-лентов корпоративен NVMe контролер с PCIe 3.0 x8 интерфейс, двойна 32-битова DRAM шина за данни и три ARM Cortex R5 двойни процесора.

Предлагат се за пускане DC1000M с различен капацитет: от 0.96 до 7.68 TB (счита се, че най-популярните капацитети са 3.84 и 7.68 TB). Производителността на устройството се оценява на 800 хиляди IOPS.

Система за съхранение с 10x DC1000M U.2 NVMe 7.68 TB. Източник: Kingston

Като пример за система за съхранение на HPC приложения, Kingston представи на Supercomputing 2019 стелажно решение с 10 DC1000M U.2 NVMe устройства, всяко с капацитет от 7.68 TB. Системата за съхранение е базирана на SB122A-PH, 1U форм фактор платформа от AIC. Процесори: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (номер на част: KSM24RS4/16HAI). Инсталираната ОС е Ubuntu 18.04.3 LTS, Linux ядро ​​версия 5.0.0-31. Тестът gfio v3.13 (Flexible I/O tester) показа производителност на четене от 5.8 милиона IOPS с пропускателна способност от 23.8 Gbps.

Представената система за съхранение показа впечатляващи характеристики по отношение на стабилно четене от 5,8 милиона IOPS (входно-изходни операции в секунда). Това е с два порядъка по-бързо от SSD за системи за масовия пазар. Тази скорост на четене е необходима за HPC приложения, работещи на специализирани процесори.

Облачни изчисления HPC с частно хранилище в Русия

Задачата за извършване на високопроизводителни изчисления при доставчика, но физическо съхраняване на данни на място, също е от значение за руските компании. Друг често срещан случай в местния бизнес е, когато при използване на чужди облачни услуги данните трябва да се намират на територията на Руската федерация. Потърсихме коментар за тези ситуации от името на облачния доставчик Selectel като дългогодишен партньор на Kingston.

„В Русия е възможно да се изгради подобна архитектура, с обслужване на руски език и всички отчетни документи за счетоводния отдел на клиента. Ако една компания трябва да извърши високопроизводителни изчисления, използвайки локални системи за съхранение, ние от Selectel наемаме сървъри с процесори от различен тип, в т.ч. FPGA, GPU или многоядрени процесори. Освен това чрез партньори организираме прокарването на специален оптичен канал между офиса на клиента и нашия център за данни“, коментира Александър Тугов, директор „Развитие на услугите“ в Selectel. — Клиентът може също така да постави своята система за съхранение на колокация в компютърна зала със специален режим на достъп и да изпълнява приложения както на нашите сървъри, така и в облаците на глобалните доставчици AWS, MS Azure, Google Cloud. Разбира се, забавянето на сигнала в последния случай ще бъде по-голямо, отколкото ако системата за съхранение на клиента се намира в САЩ, но ще бъде осигурена широколентова мулти-облачна връзка.

В следващата статия ще говорим за друго решение на Kingston, което беше представено на изложението Supercomputing 2019 (Денвър, Колорадо, САЩ) и е предназначено за приложения за машинно обучение и анализ на големи данни с помощта на графични процесори. Това е технологията GPUDirect Storage, която осигурява директен трансфер на данни между NVMe хранилището и паметта на GPU процесора. Освен това ще обясним как успяхме да постигнем скорост на четене на данни от 5.8 милиона IOPS в система за съхранение на стелажи на NVMe дискове.

За повече информация относно продуктите на Kingston Technology, моля, посетете Сайтът на фирмата.

Източник: www.habr.com