Защо OceanStor Dorado V6 е най-бързата и надеждна СХД

Моля, не бързайте с изводите по заглавието! Имаме солидни аргументи в негова подкрепа и сме ги опаковали максимално компактно. Предлагаме ви пост за концепцията и принципите на работа на нашата нова система за съхранение на данни, чието издание бе през януари 2020 година.

Според нашето убеждение, основното конкурентно предимство на семейството от СХД Dorado V6 се дължи именно на споменатата в заглавието производителност и надеждност. Да, да, толкова е просто, а за какви хитри и не толкова хитри решения, за да постигнем това "просто", ще говорим днес.

За да разкрием по-добре потенциала на системите от ново поколение, ще разкажем за старшите представители на моделния ред (модели 8000, 18000). Освен ако не е посочено друго, именно те се имат предвид.

Няколко думи за пазара

За да разберем по-добре мястото на решенията на Huawei на пазара, ще се обърнем към проверен критерий — "магически квадранти" на Gartner. Преди две години в сектора на дисковите масиви с общо предназначение нашата компания уверено влизаше в групата на лидерите, отстъпвайки само на NetApp и Hewlett Packard Enterprise. Позицията на Huawei на пазара на твърдотелни СХД през 2018 година беше характеризирана със статус "претендент", но нещо липсваше за достигане на лидерски позиции.

През 2019 година Gartner в своето изследване обедини двата по-горе споменати сектора в един — "Основно хранилище". В резултат на това Huawei отново попадна в квадранта на лидерите, до такива доставчици като IBM, Hitachi Vantara и Infinidat.

За пълнота на картината, отбелязваме, че 80% от данните за анализа Gartner събира на американския пазар, което води до осезаемо изкривяване в полза на тези компании, които са добре представени именно в САЩ. Междувременно доставчиците, които са насочени към европейски и азиатски пазари, се оказват в по-малко изгодно положение. И дори въпреки това, миналата година продукцията на Huawei зае достойно място в горния десен квадрант и, според преценката на Gartner, "може да бъде препоръчана за използване".

Какво ново в Dorado V6

Продуктовата линия Dorado V6, по-специално, е представена от системи начален клас серия 3000. Първоначално снабдени с два контролера, те могат да бъдат разширени хоризонтално до 16 контролера, 1200 диска и 192 ГБ кеш. Системата също така ще бъде оборудвана с външни портове Fibre Channel (8 / 16 / 32 Гбит/с) и Ethernet (1 / 10 / 25 / 40 / 100 Гбит/с).

Забелязваме, че в момента се преустановява използването на протоколи, които нямат търговски успех, поради което на старта решихме да се откажем от поддръжката на Fibre Channel over Ethernet (FCoE) и Infiniband (IB). Те ще бъдат добавени в по-късни версии на фърмуера. Поддръжката на NVMe over Fabric (NVMe-oF) е налична "извън кутията" върху Fibre Channel. В следващия фърмуер, чийто release е планиран за юни, е планирана поддръжка на NVMe over Ethernet режим. На нашето мнение, гореспоменатият набор изобилно ще покрие нуждите на повечето клиенти на Huawei.

Достъпът до файлове в текущата версия на фърмуера е отсъстващ и ще се появи в едно от следващите обновления, по-близо до края на годината. Реализацията се предвижда на нативно ниво, от самите контролери с Ethernet портове, без използване на допълнително оборудване.

Основната разлика между модела Dorado V6 серия 3000 и по-старите е, че на бэкенда той поддържа само един протокол — SAS 3.0. Съответно, и дисковете могат да се използват само с посочения интерфейс. От наша гледна точка, осигурената производителност е напълно достатъчна за устройство от този тип.

Системите Dorado от сериите V6 5000 и 6000 са част от решенията от среден клас. Те също така са изработени в форм-фактор 2U и са оборудвани с два контролера. Те се различават помежду си по производителност, брой процесори, максимален брой дискове и обем на кеша. В същото време в архитектурен и инженерен план Dorado V6 5000 и 6000 са идентични и изглеждат еднакво.

Класът hi-end включва системите Dorado V6 от сериите 8000 и 18000. Изработени в типа размер 4U, те по подразбиране имат разделена архитектура, в която контролерите и дисковете са отделени помежду си. В минималната конфигурация те също могат да бъдат оборудвани само с два контролера, въпреки че клиентите обикновено искат да инсталират четири и повече.

Dorado V6 8000 се мащабира хоризонтално до 16 контролера, а Dorado V6 18000 — до 32. В тези системи са инсталирани различни процесори с различен брой ядра и размер на кеша. Идентичността на инженерните решения се запазва, както и при моделите от клас mid-end.

2U рафтовете с хранилища се свързват чрез RDMA с пропускна способност 100 Gb/s. Задният край на Dorado V6 от по-високите серии също поддържа SAS 3.0, но по-скоро в случай, че SSD хранилищата с такъв интерфейс значително спаднат в цената. Тогава ще възникне икономическа обоснованост за тяхното използване, дори с оглед на по-ниската производителност. В момента разликата в цената между SSD с интерфейси SAS и NVMe е толкова малка, че не сме готови да препоръчаме подобно решение.

Вътре в контролера

Контролерите Dorado V6 са изработени на наша собствена елементна база. Никакви процесори от Intel, никакви ASIC от Broadcom. По този начин, всички без изключение компоненти на дънната платка, както и самата тя, са напълно освободени от влиянието на рисковете, свързани със санкционния натиск от страна на американските компании. Тези, които са видели нашето оборудване, със сигурност са забелязали плочките с червената ивица под логото. Тя означава, че в изделието няма американски компоненти. Такъв е официалният курс на Huawei — преминаване към компоненти собствено производство или, в крайна сметка, произвеждани в държави, които не следват политиката на САЩ.

Ето какво може да се види на самата контролна платка.

• Универсален мрежов интерфейс (чип Hisilicon 1822), отговарящ за свързването към Fibre Channel или Ethernet.
• Обезпечаващ BMC-чип за отдалечен достъп до системата, а именно Hisilicon 1710, за пълнофункционално дистанционно управление и мониторинг на системата. Подобни се използват също и в нашите сървъри и в други решения.
• Централният процесор, представляван от чип Kunpeng 920 на архитектура ARM, произведен от Huawei. Той е показан на схемата по-горе, макар в други контролери да може да бъдат инсталирани различни модели с различен брой ядра, различна тактова честота и т.н. От модел на модел се променя и броят на процесорите в един контролер. Например, в по-високите серии Dorado V6 на една платка те са четири.
• Контролер SSD (чип Hisilicon 1812e), който поддържа свързване както на SAS-, така и на NVMe-накопители. Добавяме, че Huawei самостоятелно произвежда SSD, но не произвежда самите NAND клетки, предпочитайки да ги закупува от четирите най-големи производители в света под формата на неразрязани кремниеви пластини. Разрезът, тестовете и опаковката в чипове Huawei се извършват самостоятелно, след което ги пуска на пазара под собствения си търговски марка.
• Чип за изкуствен интелект — Ascend 310. По подразбиране той не е наличен на контролера и се монтира чрез отделна карта, която заема един от слотите, предназначени за мрежови адаптери. Чипът се използва за осигуряване на интелигентно поведение на кеша, управление на производителността или процесите на дедупликация и компресия. Всички тези задачи могат да бъдат решени и чрез централния процесор, но чипът за ИИ позволява да се прави това много по-ефективно.

Отделно за процесорите Kunpeng

Процесорът Kunpeng представлява система на чип (SoC), където освен изчислителния блок има и хардуерни модули, които ускоряват различни процеси, например изчислението на контролни суми или изпълнението на «стиращ код» (erasure coding). В него е реализирана хардуерна поддръжка на SAS, Ethernet, DDR4 (от шест до осем канала) и др. Всичко това позволява на Huawei да създава контролери за СХД с производителност, която не отстъпва на класическите решения на Intel.

Освен това, собствените решения на базата на архитектурата ARM дават на Huawei възможност да създава пълноценни сървърни решения и да ги предлага на клиентите си като алтернатива на x86.

Нова архитектура Dorado V6…

Вътрешната архитектура на СХД Dorado V6 от по-висок клас е представена от четири основни подсистеми (фабрики).

Първата фабрика е общ фронтенд (мрежови интерфейси, отговарящи за свързването с SAN-фабриката или хостовете).

Втората — набор от контролери, всеки от които може по протокол RDMA да се свърже както до всяка мрежова карта на фронтенда, така и до съседния «движок» (engine), представляващ кутия с четири контролера, както и с общи за тях блокове захранване и охлаждане. В момента моделите Dorado V6 от клас hi-end могат да бъдат оборудвани с две такива «движка» (съответно, осем контролера).

Третата фабрика отговаря за бекенда и се състои от RDMA 100G мрежови карти.

Накрая, четвъртата фабрика "в желязото" е представена с инсталирани интелигентни стелажи със съхранители.

Подобна симетрична структура разкрива целия потенциал на технологията NVMe и гарантира висока производителност и надеждност. Процесът на вход-изход е максимално паралелизиран по процесори и ядра, осигурявайки едновременни четения и записи в множество потоци.

…и какво ни донесе

Максималната производителност на решенията Dorado V6 е приблизително три пъти надхвърляща показателите на предходните поколения системи (от същия клас) и може да достигне 20 млн. IOPS.

Това се дължи на факта, че в предходното поколение устройства поддръжката на NVMe беше налична само за стелажи с съхранители. Сега обаче тя присъства на всички етапи, от хоста до SSD. Бекенд мрежата също претърпя промени: SAS/PCIe отстъпиха място на RoCEv2 с честотна лента от 100 Гбит/с.

Промени и самият форм-фактор на SSD. Ако по-рано на стелаж 2U имаше 25 съхранители, сега този брой е увеличен до 36 диска с физически формат palm-sized. Освен това, стелажите "поумняха". Всеки от тях сега разполага с отказоустойчива система от два контролера на базата на ARM чипове, подобни на тези, инсталирани в основните контролери.

Докато те се занимават само с реорганизация на данни, но с излизането на нови фърмуери ще бъдат добавени компресия и erasure coding, което ще намали натоварването на основните контролери от 15% до 5%. Прехвърлянето на част от задачите на стелажа също освобождава капацитета на вътрешната мрежа. Всичко това значително увеличава потенциала за мащабируемост на системата.

Компресията и дедупликацията в СХД на предишното поколение се извършвали с блокове с фиксирана дължина. Сега добавен е режим на работа с блокове променлива дължина, който все още трябва да се активира ръчно. Следващите фърмуери вероятно ще променят този факт.

Кратко и за отказоустойчивостта. Dorado V3 запазва работоспособността, ако един от двата контролера откаже. Dorado V6 ще осигури наличността на данни дори в случай, че последователно излязат от строя седем контролера от осем или едновременно четири от един "двигател".

Надеждността от икономическа гледна точка

Наскоро сред клиентите на Huawei беше проведено проучване относно това какви отделни елементи от ИТ инфраструктурата компанията счита за приемливи. По-голямата част от респондентите търпимо приеха хипотетичната ситуация, в която приложението не реагира в продължение на няколко стотин секунди. За операционната система или хост адаптера на шината, критичното време за неработоспособност се оказа десетки секунди (по същество, времето за рестартиране). Още по-високи изисквания клиентите поставят към мрежата: нейната пропускателна способност не трябва да бъде нарушавана за повече от 10–20 секунди. Както е лесно да се предположи, респондентите смятат отказите на системите за съхранение за най-критични. От гледна точка на бизнес представителите, простоят на СХД не трябва да надвишава… няколко секунди в годината!

С други думи, ако клиентското приложение на банката не реагира 100 секунди, вероятно това няма да доведе до катастрофални последици. Но ако СХД не функционира толкова време, вероятни са спиране на бизнеса и значителни финансови загуби.

На диаграмата по-горе е представена цената на час работа за десетте най-големи банки (данни на Forbes за 2017 г.). Съгласете се, ако вашата компания е с размери близки до китайските банки, обосноваването на необходимостта от придобиване на СХД за няколко милиона долара няма да бъде толкова трудно. Правилно е и обратното твърдение: ако бизнесът не търпи значителни загуби при простоя, едва ли ще инвестират в СХД от клас hi-end. Във всеки случай е важно да имате представа за това какъв размер дупка може да се образува във вашия портфейл, докато системният администратор се занимава с отказалата система за съхранение на данни.

Секунда за аварийно превключване

В решение A на илюстрацията по-горе можете да видите нашата система от предишното поколение Dorado V3. Четирите й контролера работят по двойки, а копията на кеша се съхраняват само в два контролера. Контролерите в рамките на двойката могат да разпределят натоварването. В същото време, както виждате, тук няма „фабрики“ за фронтенд и бекенд, така че всяка от рафтовете с носители е свързана с конкретна двойка контролери.

На схемата на Solution В е показано текущото на пазара решение от друг вендор (разбрахте ли?). Тук вече има фронтенд и бекенд фабрики, а хранилищата се свързват веднага към четирима контролера. Разбира се, в работата на вътрешните алгоритми на системата има неочевидни в първоначалния поглед нюанси.

Отдясно е представена нашата текуща архитектура на СХД Dorado V6 с целия набор от вътрешни елементи. Нека разгледаме как тези системи преминават през типична ситуация — повреда на един контролер.

В класическите системи, сред които е и Dorado V3, периодът, необходим за преразпределение на натоварването при отказ, достига до четири секунди. За това време вход-изходът напълно спира. В решението Solution В от нашите колеги, въпреки по-съвременната архитектура, времето на прекъсване при отказ дори е по-дълго — шест секунди.

СХД Dorado V6 възстановява работата си само за една секунда след отказ. Този резултат се постига благодарение на хомогенната вътрешна RDMA среда, която позволява на контролера да достъпва „чужда“ памет. Вторият важен аспект е наличието на фронтенд фабрика, благодарение на която пътят за хоста не се променя. Портът остава същият, а натоварването просто се пренасочва към работещите контролери от драйверите за мултипасинг (multipassing).

Отказът на втория контролер в Dorado V6 се обрабатыва за една секунда по същата схема. При Dorado V3 това отнема около шест секунди, а при решението на друг вендор — девет. За много СУБД подобни интервали вече не могат да се считат приемливи, тъй като за това време системата преминава в standby режим и спира да работи. Това особено важи за СУБД, които се състоят от множество разпределения.

Третият контролер Solution A не може да понесе отказ. Просто поради факта, че достъпът до част от дисковете с данни се губи. От своя страна, Solution В в такава ситуация възстановява работоспособността, за което са необходими, както и в предишния случай, девет секунди.

Какво става с Dorado V6? Една секунда.

Какво можем да направим за секунда?

Почти нищо, но и не ни трябва много. Отново подчертаваме, че в Dorado V6 клас hi-end, фабриката за фронтенд е отделена от фабриката на контролерите. Тоест, няма и строго определени портове, свързани с конкретен контролер. Промените при отказ не предвиждат търсене на алтернативни пътища или повторна инициализация на мултипасинга. Системата продължава да работи, както работеше.

Устойчивост на множество откази

По-старите модели на Dorado V6 без проблеми издържат одновременно спиране на работа на два произволни (!) контролера от каквито и да е "движки". Това стана възможно благодарение на факта, че сега решението съхранява три копия на кеша. Ето защо, дори при двойно отказ, винаги ще намерите една целостна копия.

Синхронен отказ на всичките четири контролера в един от "движките" също няма да доведе до фатални последствия, тъй като всички три копия на кеша в всеки момент са разпределени между "движките". За спазването на такава логика следи самата система.

Накрая, напълно маловероятен сценарий е последователното изключване на седем контролера от осем. Минималният допустим интервал между отделните откази за поддържане на работоспособността е 15 минути. През това време СХД успява да извърши необходимите операции за миграция на кеша.

Последният останал контролер ще осигурява работата на хранилището на данни и ще поддържа кеша в продължение на пет дни (по подразбиране, което лесно може да се промени в настройките). След това кешът ще бъде изключен, но работата на СХД ще продължи.

Не притесняващи актуализации

Новата ОС Dorado V6 позволява да се актуализира фърмуера на СХД без да се рестартират контролерите.

Операционната система, както и при предишните решения, е изградена на базата на Linux, но много оперативни процеси са преместени от ядрото в потребителски режим. Повечето функции, например отговарящи за дедупликацията и компресията, сега са обикновени демони, работещи във фонов режим. Поради това, за актуализиране на отделни модули не е необходимо да се сменя цялата операционна система. Например, за добавяне на поддръжка на нов протокол, ще трябва само да се изключи съответния софтуерен модул и да се стартира нов.

Ясно е, че въпросите за актуализация на системата все още остават, тъй като и в ядрото могат да бъдат елементи, нуждаещи се от обновление. Но по нашите наблюдения, такива са под 6% от общия брой. Това позволява да се рестартират контролерите десетки пъти по-рядко, отколкото преди.

Решения с висока устойчивост на катастрофи и решения с висока наличност (HA/DR)

Dorado V6 „от кутията“ е готова за интеграция в геораспределени решения, метрополитен кластери и „тройни“ дата центрове.

Вляво на горната илюстрация — вече познатият на мнозина метрополитен кластер. Две СХД работят в режим active/active на разстояние до 100 км една от друга. Подобна инфраструктура с наличието на един или няколко кворумни сървъра може да се поддържа от решения на различни компании, включително нашата облачна операционна система FusionSphere. Особено значение в такива проекти придобиват характеристиките на канала между площадките, а всички останали задачи в нашия случай поема функцията HyperMetro, налична, отново, „от кутията“. Възможна е интеграция по Fibre Channel, както и по iSCSI в IP мрежи, ако възникне такава необходимост. Няма нужда от задължително наличие на отделна „тъмна“ оптика, тъй като системата може да свързва чрез наличните канали.

При изграждане на такива системи единственото хардуерно изискване към СХД е осигуряване на портове за репликация. Достатъчно е да закупите лиценз, да стартирате кворумните сървъри — физически или виртуални — и да осигурите IP свързаност до контролерите (10 Мбит/с, 50 мс).

Тази архитектура лесно може да бъде пренесена на система с три дата центъра (вижте дясната част на илюстрацията). Например, когато два дата центъра работят в режим на метрополитен кластер, а третата площадка, разположена на разстояние над 100 км, използва асинхронна репликация.

Системата технологично поддържа различни бизнес сценарии, които ще бъдат реализирани в случай на мащабен инцидент.

Оцеляване на метрополитен кластер при множество откази

На горе и долу също е показан класически метрополитен кластер, състоящ се от две СХД и кворумен сървър. Както виждате, в шест от деветте възможни сценария на многобройни откази нашата инфраструктура ще запази работоспособността си.

Например, във втория сценарий, при отказ на кворумен сървер и синхронизация между площадките, системата остава продуктивна, тъй като втората площадка спира работа. Подобно поведение вече е заложено във вградените алгоритми.

Дори след три отказа, достъпът до информацията може да бъде запазен, ако интервалът между тях е поне 15 секунди.

Обичаен козир в ръкава

Напомняме, че Huawei произвежда не само СХД, но и пълен спектър от мрежово оборудване. Какъвто и доставчик на СХД да изберете, ако между площадките се използва WDM мрежа, в 90% от случаите тя ще бъде изградена на решения на нашата компания. Възниква закономерният въпрос: защо да събирате зоопарк от системи, когато всичкото гарантирано съвместимо между себе си "железо" може да бъде получено от един вендор?

По въпроса за производителността

Навярно никого вече не трябва да убеждаваме, че преходът към All-Flash СХД позволява значително да се намалят разходите за поддържане на инфраструктурата, тъй като всички рутинни операции се извършват многократно по-бързо. Всичките доставчици на подобно оборудване свидетелстват за това. В същото време много вендори започват да прикриват истината, когато става въпрос за спад в производителността при включване на различни режими на работа на СХД.

В нашата индустрия широко практикува издаването на СХД в тестова експлоатация за един-два дни. Доставчикът стартира 20-минутен тест на празна система, получавайки космически показатели за производителност. А в реалната експлоатация бързо излизат "подводните камъни". Вече след един ден красивите стойности IOPS намаляват двойно-тройно, а ако СХД е запълнена на 80%, резултатите са още по-малко. При включване на RAID 5 вместо RAID 10 се губят още 10-15%, а в режим на метро-клъстър производителността допълнително намалява наполовина.

Всичко, посочено по-горе, не е свързано с Dorado V6. Нашите клиенти имат възможност да стартират тест за производителност през уикенда или поне за една нощ. Тогава се проявява събирането на боклук, както и става ясно как активирането на различни опции — като снимки и репликация — влияе на стойността на постигнатите IOPS.

В Dorado V6 снэпшотите и RAID с чётност не влияят практически на производителността (3–5% вместо 10–15%). Събирането на боклук (попълване на паметта с нули), компресия, дедупликация на СХД, запълнена на 80%, винаги ще оказват влияние върху общата скорост на обработка на заявките. Но именно Dorado V6 е интересен с това, че, каквато и да е комбинацията от функции и защитни механизми, които активирате, финалната производителност на СХД няма да падне под 80% от показателя, получен без натоварване.

Балансировка на натоварването

Високата производителност на Dorado V6 се постига чрез баланс на всеки етап, а именно:

• мултипасинг;
• използването на няколко свързвания от един хост;
• наличие на фронтенд фабрика;
• паралелизиране на работата на контролерите на СХД;
• разпределение на натоварването между всички хранилища на ниво RAID 2.0+.

Всъщност, това е обща практика. В наши дни малко хора държат всички данни на един LUN: всички се опитват да имат не просто осем, а понякога и четиридесет, или дори повече. Това е очевиден и правилен подход, който споделяме. Но ако вашата задача изисква наличието само на един LUN, който е по-лесен за поддръжка, нашите архитектурни решения позволяват да постигнем на него производителност от 80% от наличната при използване на няколко LUN.

Динамично планиране на натоварването на процесорите

Разпределението на натоварването на процесорите при използване на един LUN е реализирано по следния начин: задачите още на ниво LUN се разделят на отделни малки „шарди“, всеки от които е строго прикрепен към конкретен контролер в „движка“. Това е направено, за да не губи системата производителност, докато „преминава“ с този фрагмент данни през различни контролери.

Още един механизъм за запазване на високата производителност е динамичният шедулинг, при който определени ядра на процесора могат да бъдат отделени за различни пулове задачи. Например, ако в момента системата е бездействаща по ниво дедупликация и компресия, част от ядрата може да влязат в процеса на обслужване на входно-изходни операции. Или обратното. Всичко това се изпълнява автоматично и прозрачно за потребителя.

Данните за текущото натоварване на всяко от ядрата на Dorado V6 не се извеждат в графичния интерфейс, но чрез командния ред можете да се свържете с ОС на контролера и да използвате обикновената линуксова команда. top.

Поддръжка на NVMe и RoCE

Както вече споменахме, в момента Dorado V6 напълно поддържа NVMe over Fibre Channel „извън кутията“ и не изисква никакви лицензи. През средата на годината ще бъде добавена поддръжка за режима NVMe over Ethernet. За да се използва пълноценно, е необходима поддръжка на Ethernet с директен достъп до паметта (DMA) версия v2.0, както от страна на самата СХД, така и от страна на комутаторите и мрежовите адаптери. Например, Mellanox ConnectX-4 или ConnectX-5. Могат да се използват и мрежови карти, изградени на база нашите чипове. Също така, поддръжката на RoCE трябва да бъде реализирана на ниво операционна система.

В общи линии смятаме, че Dorado V6 е система, ориентирана към NVMe. Въпреки наличната поддръжка за Fibre Channel и iSCSI, в бъдеще планираме преход към бърз Ethernet с RDMA.

Щипка маркетинг

Благодарение на факта, че системата Dorado V6 е с висока устойчивост на повреди, добре се мащабира хоризонтално и поддържа различни технологии за миграция и т.н., икономическият ефект от нейното придобиване се проявява при старта на интензивна експлоатация на СХД. Ние ще продължим да се стремим да направим притежаването на системата възможно най-изгодно, дори и в началния етап това да не е очевидно.

По-специално, ние разработихме програмата FLASH EVER, свързана с удължаването на жизнения цикъл на СХД и предназначена да облекчи максимално клиента при провеждане на ъпгрейди.

Тази програма включва редица мерки:

• възможността за постепенно заместване на контролерите и рафтовете с дискове с нови версии без подмяна на цялото оборудване (за системи Dorado V6 от клас hi-end);
• възможността за федеративно съхранение (обединяване на различни версии на Dorado в състава на един хибриден кластер на СХД);
• умна виртуализация (възможността за използване на оборудване на трети страни като част от решението Dorado).

Остава да отбележим, че трудната ситуация в света слабо отрази търговските перспективи на новата система. Въпреки че официалният релиз на Dorado V6 беше само през януари, ние виждаме значителен интерес към нея в Китай, а също и голям интерес от страна на руски и международни партньори от финансовия сектор и правителствените структури.

Освен всичко останало, във връзка с пандемията, колкото и да продължи тя, особено остър става въпросът за осигуряването на отдалечени служители с виртуални работни места. В този процес Dorado V6 също би могла да разреши много въпроси. Затова полагаме всички необходими усилия, включително практически се споразумяхме за включването на новата система в списъка за съвместимост с VMware.

***

Между другото, не забравяйте за многобройните ни уебинари, проведени не само на руски, но и на глобално ниво. Списъкът на уебинарите за април е достъпен на връзка.

Източник: habr.com