Моля, не правете прибързани заключения заради заглавието! Имаме сериозни аргументи в подкрепа на това и сме ги опаковали възможно най-компактно. Предлагаме на вашето внимание публикация за концепцията и принципите на работа на нашата нова система за съхранение, която беше пусната през януари 2020 г.
Според нас основното конкурентно предимство на фамилията за съхранение Dorado V6 се осигурява от производителността и надеждността, споменати в заглавието. Да, да, толкова е просто, но какви трудни и не толкова трудни решения успяхме да постигнем това „просто“, ще говорим днес.
За да разгърнем по-добре потенциала на системите от ново поколение, ще говорим за по-старите представители на моделната гама (модели 8000, 18000). Освен ако не е посочено друго, те трябва да бъдат.
Няколко думи за пазара
За да разберем по-добре мястото на решенията на Huawei на пазара, нека се обърнем към доказан критерий - "» Gartner. Преди две години в сектора на дисковите масиви с общо предназначение нашата компания уверено влезе в групата на лидерите, отстъпвайки само на NetApp и Hewlett Packard Enterprise. Позицията на Huawei на пазара за съхранение на SSD през 2018 г. се характеризираше със статут на „претендент“, но нещо липсваше за постигане на лидерска позиция.
През 2019 г. Gartner в свое проучване обедини двата горни сектора в един – „Основно хранилище“. В резултат Huawei отново беше в лидерския квадрант, до доставчици като IBM, Hitachi Vantara и Infinidat.
За да бъде пълна картината, отбелязваме, че Gartner събира 80% от данните за анализ на американския пазар и това води до значително отклонение в полза на тези компании, които са добре представени в САЩ. Междувременно доставчиците, ориентирани към европейските и азиатските пазари, се оказват в очевидно по-неизгодна позиция. Въпреки това миналата година продуктите на Huawei заеха полагащото им се място в горния десен квадрант и, според присъдата на Gartner, „може да бъдат препоръчани за употреба“.
Какво е новото в Dorado V6
Продуктовата линия Dorado V6, по-специално, е представена от базови системи от серия 3000. Първоначално оборудвани с два контролера, те могат да бъдат хоризонтално разширени до 16 контролера, 1200 устройства и 192 GB кеш. Също така системата ще бъде оборудвана с външни портове Fibre Channel (8 / 16 / 32 Gb / s) и Ethernet (1 / 10 / 25 / 40 / 100 Gb / s).
Обърнете внимание, че използването на протоколи, които нямат търговски успех, сега се преустановява, така че в началото решихме да изоставим поддръжката за Fibre Channel през Ethernet (FCoE) и Infiniband (IB). Те ще бъдат добавени в по-късни версии на фърмуера. Поддръжката за NVMe over Fabric (NVMe-oF) е налична извън кутията върху Fibre Channel. Следващият фърмуер, който е планиран за пускане през юни, е планиран да поддържа NVMe през Ethernet режим. По наше мнение горният комплект ще покрие повече от нуждите на повечето клиенти на Huawei.
Достъпът до файлове не е наличен в текущата версия на фърмуера и ще се появи в една от следващите актуализации към края на годината. Внедряването се предполага на естествено ниво, от самите контролери с Ethernet портове, без използване на допълнително оборудване.
Основната разлика между модела от серията Dorado V6 3000 и по-старите е, че поддържа един протокол на бекенда - SAS 3.0. Съответно дисковете там могат да се използват само с посочения интерфейс. От наша гледна точка производителността, осигурена от това, е напълно достатъчна за устройство от този тип.
Сериите Dorado V6 5000 и 6000 са решения от среден клас. Те също са направени във форм фактор 2U и са оборудвани с два контролера. Те се различават един от друг по производителност, брой процесори, максимален брой дискове и размер на кеша. Въпреки това, в архитектурно и инженерно отношение, Dorado V6 5000 и 6000 са идентични и изглеждат еднакво.
Hi-end класът включва системи от серията Dorado V6 8000 и 18000. Произведени в размер 4U, те имат отделна архитектура по подразбиране, в която контролерите и устройствата са раздалечени. Те могат да се доставят и с най-малко два контролера, въпреки че клиентите обикновено искат четири или повече.
Dorado V6 8000 се мащабира до 16 контролера, а Dorado V6 18000 се мащабира до 32. Тези системи имат различни процесори с различен брой ядра и размери на кеша. В същото време се запазва идентичността на инженерните решения, както при моделите от среден клас.
2U рафтовете за съхранение са свързани чрез RDMA с честотна лента от 100 Gb/s. По-старият бекенд на Dorado V6 също поддържа SAS 3.0, но повече в случай, че SSD с този интерфейс падне много в цената. Тогава ще има икономическа осъществимост на тяхното използване, дори като се вземе предвид по-ниската производителност. В момента разликата в цената между SSD с интерфейси SAS и NVMe е толкова малка, че не сме готови да препоръчаме такова решение.
Вътре в контролера
Контролерите Dorado V6 са направени на собствена елементна база. Без процесори от Intel, без ASIC от Broadcom. Така всеки един компонент на дънната платка, както и самата дънна платка, са напълно отстранени от влиянието на рисковете, свързани със санкционния натиск от страна на американски компании. Тези, които са виждали нещо от нашето оборудване със собствените си очи, вероятно са забелязали щитове с червена ивица под логото. Това означава, че продуктът не съдържа американски компоненти. Това е официалният курс на Huawei - преминаване към компоненти от собствено производство или, във всеки случай, произведени в страни, които не следват политиката на САЩ.
Ето какво можете да видите на самата контролна платка.
- Универсален мрежов интерфейс (чип Hisilicon 1822), отговорен за свързване към Fibre Channel или Ethernet.
- Осигуряване на дистанционна достъпност на системата BMC чип, а именно Hisilicon 1710, за пълноценно дистанционно управление и мониторинг на системата. Подобни се използват и в нашите сървъри и в други решения.
- Централният процесор, който е чипът Kunpeng 920, изграден върху архитектурата ARM, произведен от Huawei. Именно той е показан на диаграмата по-горе, въпреки че други контролери могат да имат различни модели с различен брой ядра, различна тактова честота и т.н. Броят на процесорите в един контролер също се променя от модел на модел. Например в по-старата серия Dorado V6 има четири от тях на една платка.
- SSD контролер (Hisilicon 1812e чип), който поддържа SAS и NVMe устройства. В допълнение, Huawei независимо произвежда SSD, но не произвежда NAND клетки сами, предпочитайки да ги закупува от четирите най-големи производители в света под формата на необрязани силиконови пластини. Нарязването, тестването и опаковането в чипове Huawei произвежда самостоятелно, след което ги пуска под собствена марка.
- Чипът с изкуствен интелект е Ascend 310. По подразбиране той отсъства на контролера и се монтира чрез отделна карта, която заема един от слотовете, запазени за мрежови адаптери. Чипът се използва за осигуряване на интелигентно поведение на кеша, управление на производителността или дедупликация и процеси на компресиране. Всички тези задачи могат да бъдат решени с помощта на централния процесор, но AI чипът ви позволява да правите това много по-ефективно.
Отделно за процесорите Kunpeng
Процесорът Kunpeng е система на чип (SoC), където в допълнение към изчислителната единица има хардуерни модули, които ускоряват различни процеси, като например изчисляване на контролни суми или изпълнение на кодиране за изтриване. Той също така реализира хардуерна поддръжка за SAS, Ethernet, DDR4 (от шест до осем канала) и др. Всичко това позволява на Huawei да създава контролери за съхранение, които не са по-ниски по производителност от класическите решения на Intel.
В допълнение, собствените решения, базирани на ARM архитектурата, позволяват на Huawei да създава цялостни сървърни решения и да ги предлага на своите клиенти като алтернатива на x86.
Новата архитектура на Dorado V6...
Вътрешната архитектура на системата за съхранение Dorado V6 от по-старата серия е представена от четири основни поддомейна (фабрики).
Първата фабрика е общ интерфейс (мрежови интерфейси, отговорни за комуникацията с SAN фабриката или хостове).
Вторият е набор от контролери, всеки от които може да „достигне“ чрез RDMA протокола както до всяка предна мрежова карта, така и до съседния „двигател“, който е кутия с четири контролера, както и захранване и охлаждане общи за тях единици. Сега моделите Dorado V6 от висок клас могат да бъдат оборудвани с два такива "двигателя" (съответно осем контролера).
Третата фабрика отговаря за бекенда и се състои от мрежови карти RDMA 100G.
И накрая, четвъртата фабрика "в хардуера" е представена от plug-in интелигентни рафтове за съхранение.
Тази симетрична структура отприщва пълния потенциал на NVMe технологията и гарантира висока производителност и надеждност. I/O процесът е максимално паралелен между процесори и ядра, осигурявайки едновременно четене и запис в множество нишки.
...и това, което тя ни даде
Максималната производителност на решенията Dorado V6 е приблизително три пъти по-висока от тази на системите от предишно поколение (от същия клас) и може да достигне 20 милиона IOPS.
Това се дължи на факта, че в миналото поколение устройства поддръжката на NVMe се разшири само до вдигащи се рафтове с устройства. Сега той присъства на всички етапи, от хоста до SSD. Бекенд мрежата също претърпя промени: SAS/PCIe отстъпи място на RoCEv2 с пропускателна способност от 100 Gb/s.
Форматът на SSD също е променен. Ако по-рано имаше 2 устройства на 25U рафт, сега той достигна до 36 физически диска с размер на длан. В допълнение, рафтовете "помъдряха". Всеки от тях вече разполага с отказоустойчива система от два контролера, базирани на ARM чипове, подобни на тези, инсталирани в централните контролери.
Засега те се занимават само с реорганизация на данни, но с пускането на нов фърмуер към него ще бъде добавено кодиране за компресиране и изтриване, което ще намали натоварването на основните контролери от 15 на 5%. Едновременното прехвърляне на някои задачи на рафта освобождава честотната лента на вътрешната мрежа. И всичко това значително увеличава потенциала за мащабируемост на системата.
Компресирането и дедупликацията в системата за съхранение от предишното поколение се извършва с блокове с фиксирана дължина. Сега е добавен режим на работа с блокове с променлива дължина, който досега трябва да бъде включен принудително. Следващите актуализации може да променят това обстоятелство.
Също така накратко за толерантността към провалите. Dorado V3 остава работещ, ако един от двата контролера се повреди. Dorado V6 ще гарантира наличието на данни, дори ако седем от осем контролера се повредят последователно или четири от един двигател се повредят едновременно.
Надеждност от гледна точка на икономиката
Наскоро беше проведено проучване сред клиенти на Huawei за това колко време на престой на отделни елементи от ИТ инфраструктурата компанията смята за приемливо. В по-голямата си част респондентите са били толерантни към хипотетична ситуация, в която приложението не отговаря в рамките на няколкостотин секунди. За операционната система или адаптера на хост шината десетки секунди (по същество време за рестартиране) бяха критични престой. Клиентите поставят още по-високи изисквания към мрежата: нейната честотна лента не трябва да изчезва за повече от 10–20 секунди. Както може би се досещате, най-критично важните респонденти считат за повреди в системата за съхранение. От гледна точка на представителите на бизнеса обикновеното съхранение не трябва да надвишава ... няколко секунди годишно!
С други думи, ако клиентското приложение на банката не реагира в продължение на 100 секунди, това най-вероятно няма да доведе до катастрофални последици. Но ако системата за съхранение не работи за същата сума, вероятно е спиране на бизнеса и значителни финансови загуби.
Графиката по-горе показва цената на един час работа за десетте най-големи банки (данни на Forbes за 2017 г.). Съгласете се, ако вашата компания се доближава до размера на китайските банки, няма да е толкова трудно да оправдаете необходимостта от закупуване на системи за съхранение за няколко милиона долара. Обратното твърдение също е правилно: ако бизнесът не претърпи значителни загуби по време на престой, тогава е малко вероятно да закупи хай-енд системи за съхранение. Във всеки случай е важно да имате представа какъв размер заплашва да се образува дупка в портфейла ви, докато системният администратор се занимава със системата за съхранение, която е отказала да работи.
Секунда при отказ
В Решение A на илюстрацията по-горе можете да разпознаете нашата система Dorado V3 от предишно поколение. Неговите четири контролера работят по двойки и само два контролера съдържат копия на кеша. Контролерите в една двойка могат да преразпределят товара. В същото време, както можете да видите, тук няма "фабрики" от предния и задния край, така че всеки от рафтовете за съхранение е свързан към определена двойка контролери.
Диаграмата на решение B показва решение, което в момента е на пазара от друг доставчик (разпознат ли?). Тук вече има предни и бек-енд фабрики, а устройствата са свързани към четири контролера наведнъж. Вярно е, че има нюанси, които не са очевидни при първото приближение в работата на вътрешните алгоритми на системата.
Вдясно е нашата текуща архитектура за съхранение Dorado V6 с пълния набор от вътрешни елементи. Помислете как тези системи оцеляват в типична ситуация - отказ на един контролер.
В класическите системи, които включват Dorado V3, периодът, необходим за преразпределяне на натоварването в случай на повреда, достига четири секунди. През това време I/O спира напълно. Решение B от нашите колеги, въпреки по-модерната архитектура, има дори по-високо време на престой при отказ от шест секунди.
Storage Dorado V6 възстановява работата си само за една секунда след повреда. Този резултат се постига благодарение на хомогенна вътрешна RDMA среда, която позволява на контролера да осъществява достъп до „чужда“ памет. Второто важно обстоятелство е наличието на front-end factory, благодарение на което пътят за хоста не се променя. Портът остава същият и натоварването просто се изпраща към здравите контролери от многопроходните драйвери.
Повредата на втория контролер в Dorado V6 се отработва за една секунда по същата схема. Dorado V3 отнема около шест секунди, а решението на друг доставчик отнема девет. За много СУБД такива интервали вече не могат да се считат за приемливи, тъй като през това време системата се превключва в режим на готовност и спира да работи. Това на първо място се отнася до СУБД, състояща се от много секции.
Повреда на третия контролер Решение А не може да оцелее. Просто поради факта, че се губи достъп до част от дисковете с данни. На свой ред разтвор B в такава ситуация възстановява работоспособността си, което отнема, както в предишния случай, девет секунди.
Какво има в Dorado V6? Една секунда.
Какво може да се направи за секунда
Почти нищо, но не ни трябва. Още веднъж, в Dorado V6 от hi-end класа, фабриката за предния край е отделена от фабриката за контролери. Това означава, че няма твърдо кодирани портове, принадлежащи към конкретен контролер. Преминаването при срив не включва намиране на алтернативни пътища или повторно инициализиране на многопроходно преминаване. Системата продължава да работи както преди.
Толерантност към множество откази
По-старите модели Dorado V6 могат лесно да преживеят едновременната повреда на всеки два (!) Контролера от всякакви „двигатели“. Това става възможно благодарение на факта, че решението вече съхранява три копия на кеша. Следователно, дори при двоен отказ, винаги ще има едно пълно копие.
Синхронната повреда на всичките четири контролера в един от "двигателите" също няма да доведе до фатални последици, тъй като и трите копия на кеша се разпределят между "двигателите" във всеки един момент. Самата система следи за спазването на такава логика на работа.
И накрая, много малко вероятен сценарий е последователният отказ на седем от осем контролера. Освен това минималният допустим интервал между отделните откази за поддържане на работоспособност е 15 минути. През това време системата за съхранение има време да извърши операциите, необходими за миграцията на кеша.
Последният оцелял контролер ще стартира хранилището на данни и ще поддържа кеша за пет дни (стойността по подразбиране, която може лесно да бъде променена в настройките). След това кешът ще бъде деактивиран, но системата за съхранение ще продължи да работи.
Актуализации без смущения
Новата OS Dorado V6 ви позволява да актуализирате фърмуера за съхранение, без да рестартирате контролерите.
Операционната система, както и в случая с предишните решения, е базирана на Linux, но много операционни процеси са прехвърлени от ядрото в потребителски режим. Повечето от функциите, като тези, които отговарят за дедупликацията и компресията, вече са обикновени демони, работещи във фонов режим. В резултат на това не е необходимо да се променя цялата операционна система, за да се актуализират отделни модули. Да предположим, че за да добавите поддръжка за нов протокол, ще е необходимо само да изключите съответния софтуерен модул и да стартирате нов.
Ясно е, че проблемите с актуализирането на системата като цяло все още остават, защото може да има елементи в ядрото, които трябва да бъдат актуализирани. Но те, според нашите наблюдения, са под 6% от общия брой. Това ви позволява да рестартирате контролерите десет пъти по-рядко от преди.
Решения, устойчиви на бедствия и висока наличност (HA/DR).
Dorado V6 от кутията е готов за интегриране в гео-разпределени решения, клъстери на градско ниво (метро) и "тройни" центрове за данни.
Отляво на горната илюстрация е метро група, която вече е позната на мнозина. Две системи за съхранение работят в активен / активен режим на разстояние до 100 км една от друга. Такава инфраструктура с един или повече кворум сървъри може да се поддържа от решения от различни компании, включително нашата облачна операционна система FusionSphere. От особено значение в такива проекти са характеристиките на канала между сайтовете, всички останали задачи в нашия случай се поемат от функцията HyperMetro, налична, отново, извън кутията. Възможна е интеграция през Fibre Channel, както и през iSCSI в IP мрежи, ако възникне такава необходимост. Вече няма нужда от задължително наличие на специална „тъмна“ оптика, тъй като системата може да комуникира през съществуващите канали.
При изграждането на такива системи единственото хардуерно изискване за съхранение е разпределянето на портове за репликация. Достатъчно е да закупите лиценз, да стартирате кворум сървъри - физически или виртуални - и да осигурите IP свързаност към контролерите (10 Mbps, 50 ms).
Тази архитектура може лесно да бъде прехвърлена към система с три центъра за данни (вижте дясната страна на илюстрацията). Например, когато два центъра за данни работят в режим на метро клъстер, а третият сайт, разположен на разстояние над 100 км, използва асинхронна репликация.
Системата технологично поддържа различни бизнес сценарии, които ще бъдат реализирани при мащабно превишение.
Оцеляване на метро клъстер с множество повреди
Горе и долу също показват класически метро клъстер, състоящ се от две системи за съхранение и кворум сървър. Както можете да видите, в шест от девет възможни сценария на множество повреди нашата инфраструктура ще остане работеща.
Например, във втория сценарий, ако сървърът на кворума се повреди и синхронизацията между сайтовете, системата остава продуктивна, тъй като вторият сайт спира да работи. Това поведение вече е вградено във вградените алгоритми.
Дори след три повреди достъпът до информация може да се запази, ако интервалът между тях е най-малко 15 секунди.
Обичайният коз от ръкава
Спомнете си, че Huawei произвежда не само системи за съхранение, но и пълна гама мрежово оборудване. Който и доставчик на съхранение да изберете, ако се използва WDM мрежа между сайтове, в 90% от случаите тя ще бъде изградена върху решенията на нашата компания. Възниква логичен въпрос: защо да събираме зоопарк от системи, когато целият хардуер, който е гарантирано съвместим един с друг, може да бъде получен от един доставчик?
Към въпроса за изпълнението
Вероятно никой не трябва да бъде убеден, че преходът към All-Flash съхранение може значително да намали разходите за поддръжка на инфраструктурата, тъй като всички рутинни операции се извършват многократно по-бързо. Всички доставчици на такова оборудване свидетелстват за това. Междувременно много доставчици започват да хитруват, когато става въпрос за влошаване на производителността, когато са активирани различни режими на съхранение.
В нашата индустрия широко се практикува издаването на системи за съхранение за тестова експлоатация за един или два дни. Доставчикът провежда 20-минутен тест на празна система, като постига космическа производителност. И в реална работа "подводните гребла" бързо изпълзяват. След един ден красивите стойности на IOPS намаляват наполовина или три пъти, а ако системата за съхранение се запълни с 80%, те се оказват дори по-малко. Когато е активиран RAID 5 вместо RAID 10, се губят още 10-15%, а в режим на метро клъстър производителността е допълнително намалена наполовина.
Всичко изброено по-горе не се отнася за Dorado V6. Нашите клиенти имат възможност да проведат тест за ефективност през уикенда или поне през нощта. След това се проявява събирането на боклука и също така става ясно как активирането на различни опции - като моментни снимки и репликация - влияе върху постигнатото количество IOPS.
В Dorado V6 моментните снимки и RAID с паритет нямат почти никакъв ефект върху производителността (3-5% вместо 10-15%). Събиране на отпадъци (запълване на клетките на устройството с нули), компресия, дедупликация на система за съхранение, която е пълна на 80%, винаги ще повлияе на общата скорост на обработка на заявката. Но Dorado V6 е интересен с това, че без значение каква комбинация от функции и защитни механизми активирате, крайната производителност на съхранението няма да падне под 80% от цифрата, получена без натоварване.
Балансиране на натоварването
Високата производителност на Dorado V6 се постига чрез балансиране на всеки етап, а именно:
- многопроходен;
- използване на множество връзки от един хост;
- наличие на предна фабрика;
- паралелизиране на работата на контролери за съхранение;
- разпределение на натоварването между всички дискове на ниво RAID 2.0+.
По принцип това е обичайна практика. В наши дни малко хора съхраняват всички данни на един LUN: всеки се опитва да има осем, дори четиридесет или дори повече. Това е очевиден и правилен подход, който ние споделяме. Но ако вашата задача изисква само един LUN, който е по-лесен за поддръжка, нашите архитектурни решения му позволяват да постигне 80% от производителността, налична с множество LUN.
Динамично планиране на процесора
Разпределението на натоварването върху процесорите при използване на един LUN се осъществява по следния начин: задачите на ниво LUN се разделят на отделни малки „шардове“, всеки от които е твърдо присвоен на конкретен контролер в „двигателя“. Това се прави, така че системата да не губи производителност, докато „скача“ с тази част от данните между различни контролери.
Друг механизъм за поддържане на висока производителност е динамичното планиране, при което определени процесорни ядра могат да бъдат разпределени към различни набори от задачи. Например, ако системата сега е неактивна на ниво дедупликация и компресия, тогава някои от ядрата може да бъдат включени в процеса на обслужване на I / O. Или обратното. Всичко това се извършва автоматично и прозрачно за потребителя.
Данните за текущото натоварване на всяко от ядрата на Dorado V6 не се показват в графичния интерфейс, но чрез командния ред можете да получите достъп до операционната система на контролера и да използвате обичайната команда на Linux връх.
Поддръжка на NVMe и RoCE
Както вече споменахме, Dorado V6 в момента напълно поддържа NVMe през Fibre Channel от кутията и не изисква никакви лицензи. В средата на годината ще се появи поддръжка за режим NVMe през Ethernet. За пълното му използване ще ви трябва поддръжка за Ethernet с директен достъп до паметта (DMA) версия v2.0 както от самата система за съхранение, така и от комутатори и мрежови адаптери. Например, като Mellanox ConnectX-4 или ConnectX-5. Можете да използвате и мрежови карти, направени на базата на нашите чипове. Освен това поддръжката на RoCE трябва да бъде внедрена на ниво операционна система.
Като цяло, ние считаме Dorado V6 за система, ориентирана към NVMe. Въпреки съществуващата поддръжка за Fibre Channel и iSCSI, в бъдеще се планира преминаване към високоскоростен Ethernet с RDMA.
Щипка маркетинг
Поради факта, че системата Dorado V6 е силно устойчива на грешки, мащабира се добре, поддържа различни технологии за миграция и т.н., икономическият ефект от нейното придобиване става очевиден с началото на интензивното използване на системи за съхранение. Ще продължим да се опитваме да направим собствеността върху системата възможно най-печеливша, дори ако на първия етап това не е очевидно.
По-специално, ние създадохме програмата FLASH EVER, свързана с удължаване на жизнения цикъл на системите за съхранение и предназначена да разтовари клиента възможно най-много по време на надграждане.
Тази програма включва редица мерки:
- възможността за постепенна подмяна на контролери и дискови рафтове с нови версии без подмяна на целия хардуер (за системи Dorado V6 hi-end);
- възможността за обединено съхранение (комбиниране на различни версии на Dorado като част от един хибриден клъстер за съхранение);
- интелигентна виртуализация (възможност за използване на хардуер на трети страни като част от решението Dorado).
Остава да се отбележи, че трудната ситуация в света имаше малък ефект върху търговските перспективи на новата система. Въпреки факта, че официалното пускане на Dorado V6 се състоя едва през януари, виждаме значително търсене за него в Китай, както и голям интерес към него от руски и международни партньори от финансовия и правителствения сектор.
Освен всичко друго, във връзка с пандемията, независимо колко дълго ще продължи, въпросът за осигуряване на отдалечени служители с виртуални настолни компютри е особено остър. В този процес Dorado V6 също може да премахне много въпроси. За целта полагаме всички необходими усилия, включително и практическото съгласие за включването на новата система в списъка за съвместимост на VMware.
***
Между другото, не забравяйте за нашите многобройни уебинари, провеждани не само в рускоезичния сегмент, но и на глобално ниво. Списъкът с уебинарите за април е достъпен на .
Източник: www.habr.com