Літо у Москві цього року видалося, скажімо чесно, не дуже. Почалося воно дуже рано і швидко, не всі встигли на нього зреагувати, та й закінчилося воно вже наприкінці червня. Тому, коли компанія Huawei запропонувала мені вирушити до Китаю, до міста Ченду, де знаходиться їхній RnD центр, подивившись на прогноз погоди в +34 градуси в тіні — я негайно погодився. Все-таки вік у мене вже не той і кістки свої трохи погріти вже потрібно. Але хочеться відзначити, що погріти вдалося не лише кістки, а й нутрощі, адже провінція Сичуань, в якій, власне, і знаходиться Ченду, славиться своєю любов'ю до гострої їжі. Але все-таки це блог не про подорожі, тому повернемося до головної мети нашої поїздки – нова лінійка систем зберігання даних – Huawei Dorado V6. Ця стаття трохи помахуватиме вам з минулого, т.к. написана вона до офіційного анонсу, але опублікована лише після релізу. І так сьогодні ми придивимося до всього цікавого і смачного, що приготувала нам компанія Huawei.
У новій лінійці буде 5 моделей. Всі моделі, крім 3000V6 можуть бути у двох варіантах – SAS та NVMe. Від вибору залежить інтерфейс дисків, які ви зможете використати в даній системі, Back-End порти та кількість дискових накопичувачів, які ви зможете встановити у систему. Для NVMe використовуються Palm-sized SSD, які мають меншу товщину, порівняно з класичними 2.5» SAS SSD та їх можна встановити до 36 штук. Нова лінійка є All Flash і конфігурацій із дисками немає.
Palm NVMe SSD
На мій погляд — найцікавішими моделями виглядають Dorado 8000 та 18000. Компанія Huawei позиціонує їх як High-end системи, при цьому завдяки ціновій політиці Huawei вона протиставляє ці моделі Mid-range сегменту конкурентів. Саме на цих моделях я сьогодні і сконцентруюсь у своєму огляді. Відразу зауважу, що через свої конструктивні особливості, молодші двоконтролерні системи мають дещо іншу архітектуру, відмінну від Dorado 8000 і 18000, так що не все, про що я сьогодні розповім, застосовно до молодших моделей.
Однією з основних особливої нових систем стало використання кількох чіпів, власної розробки, кожен з яких дозволяє рознести логічне навантаження з центрального процесора контролера і додати функціональності різним компонентам.
Серцем нових систем стали процесори Kunpeng 920, розроблені на технологіях ARM та вироблені компанією Huawei самостійно. Залежно від моделі, варіюється кількість ядер, їх частота та кількість встановлених процесорів у кожному контролері:
Huawei Dorado V6 8000 - 2CPU, 64 core
Huawei Dorado V6 18000 - 4CPU, 48 core
Компанія Huawei розробила цей процесор на архітектурі ARM, і наскільки мені відомо, спочатку планувала ставити його лише у старші моделі Dorado 8000 і 18000, як це вже було з деякими моделями V5, але санкції внесли коригування в цю задумку. Звичайно, компанія ARM також говорила про відмову співпраці з Huawei під час запровадження санкцій, але тут ситуація інша, ніж з Intel. Компанія Huawei самостійно робить ці чіпи, і жодні санкції не зможуть зупинити цей процес. Розрив відносин з ARM загрожує лише втратою доступу до нових розробок. Що ж до продуктивності — тут можна буде судити лише після проведення самостійних тестів. Хоча я бачив, як із системи Dorado 18000 без проблем зняли 1M IOPS, поки власними руками у себе в стійці я це не повторю — не повірю. Але потужностей у контролерах там справді чимало. Старші моделі оснащені 4 контролерами, у кожному з яких встановлено по 4 процесори, що дає в сумі 768 ядер.
Але про ядра я розповім ще пізніше, коли ми розглянемо архітектуру нових систем, а поки що повернемося до ще одного чіпа, встановленого в системі. Вкрай цікавим рішенням виглядає чіп (Наскільки я розумію, молодший брат Ascend 910, який був нещодавно представлений публіці). Його завдання - аналіз блоків даних, що надходять на систему, для підвищення Read hit ratio. Поки що складно сказати як і покаже себе у роботі, т.к. на сьогоднішній день він працює тільки за заданим шаблоном і не може навчатися в інтелектуальному режимі. Появу інтелектуального режиму обіцяють у майбутніх прошивках, швидше за все, на початку наступного року.
Перейдемо до архітектури. Компанія Huawei продовжила розвиток власної технології Smart Matrix, яка реалізує full mesh підхід до поєднання компонентів. Але якщо V5 це було тільки для доступу з контролерів до дисків, то тепер всі контролери мають доступ до всіх портів як на Back-End, так і на Front-End.
Завдяки новій мікросервісній архітектурі, це дозволяє також балансувати навантаження між усіма контролерами, навіть за наявності тільки одного lun'а. ОС для цієї лінійки масивів була розроблена з нуля, а не просто оптимізована для використання Flash-накопичувачів. Завдяки тому, що у нас всі контролери мають доступ до тих самих портів, у разі виходу з ладу контролера або його перезавантаження, хост не втрачає жодного шляху до СГД, а перемикання шляхів здійснюється на рівні системи зберігання даних. При цьому використання UltraPath на хості не є суворою необхідністю. Ще однією "економією" при монтажі системи є менша кількість необхідних лінків. І якщо при «класичному» підході для 4 контролерів нам необхідно буде 8 лінків від 2 фабрик, то у випадку з Huawei буде достатньо навіть 2 (я не говорю зараз про достатність пропускної спроможності одного лінка).
Як і в попередній версії, використовується глобальний кеш із дзеркалюванням. Це дозволяє без впливу на доступність втратити до двох контролерів одночасно або трьох контролерів послідовно. Але варто зазначити, що повного балансування навантаження, між 3 контролерами, що залишилися, у разі виходу з ладу одного, ми на демо стенді не побачили. Навантаження контролера, що вийшов з ладу, цілком забрав на себе один з тих, хто залишився. Можливо, для цього необхідно дати системі попрацювати що довше в такій конфігурації. У будь-якому разі, на власних тестах я перевірю це вже детальніше.
Компанія Huawei позиціонує нові системи, як End-to-End NVMe системи, але на сьогоднішній день на фронтенді NVMeOF поки не підтримується, тільки FC, iSCSI або NFS. Наприкінці цього або на початку наступного, як і інші фішки, нам обіцяють і підтримку RoCE.
Полиці до контролерів підключаються так само за допомогою RoCE і з цим пов'язаний один недолік - відсутність "петлевого" підключення полиць, як це було при SAS. На мій погляд, поки це досить великий недолік, якщо у вас планується досить велика система. Справа в тому, що всі полиці підключаються послідовно, і вихід з ладу однієї з полиць спричиняє і повну недоступність решти, що йдуть за нею. В даному випадку, для забезпечення відмовостійкості нам доведеться підключати всі полиці до контролерів, що спричиняє збільшення необхідної кількості бекенд портів у системі.
І ще одна річ, про яку варто сказати – non-disruptive update (NDU). Як я вже говорив вище, компанія Huawei реалізувала контейнерний підхід у роботі ОС для нової лінійки Dorado, це дозволяє проводити оновлення та перезапуск сервісів без необхідності повного перезавантаження контролера. Тут варто відразу обмовитися, що деякі оновлення будуть містити оновлення ядра і в цьому випадку класичний ребут контролерів іноді все-таки буде потрібно при оновленні, але не завжди. Це дозволить зменшити рівень впливу цієї операції на продуктивну систему.
У нашому арсеналі переважна більшість масивів від компанії NetApp. Тому, я думаю, буде цілком логічно, якщо я проведу невелике порівняння з системами, з якими мені доводиться працювати досить багато. Це не спроба визначити — хто кращий, а хто гірший чи чия архітектура більш виграшна. Спробую тверезо і без фанатизму порівняти два різні підходи до вирішення одного й того ж завдання від різних вендорів. Так, звичайно, системи Huawei в даному випадку ми розглядатимемо в «теорії» і ті моменти, які тільки планується реалізуватися в майбутніх версіях прошивок я окремо відзначатиму. Які плюси мені бачаться на даний момент:
- Кількість підтримуваних NVMe накопичувачів. У NetApp на сьогоднішній день їхня кількість становить 288, у Huawei в залежності від моделі - 1600-6400. При цьому Max usable capacity у Huawei дорівнює 32PBe, як і у систем NetApp (якщо бути точніше, у них 31.64PBe). І це при тому, що підтримуються накопичувачі того ж таки обсягу (до 15Tb). Компанія Huawei цей факт пояснює в такий спосіб — вони не мали можливості зібрати стенд більшого обсягу. Теоретично вони не мають обмеження за обсягом, але протестувати цей факт вони просто не змогли. Але тут варто відзначити, що можливості flash-накопичувачів на сьогоднішній день дуже високі, і у випадку з NVMe системами ми стикаємося з тим, що 24 накопичувачів достатньо для того, щоб утилізувати топову 2-х контролерну систему. Відповідно подальше збільшення кількості дисків у системі не тільки не дасть приросту продуктивності, а й погано позначиться на співвідношенні IOPS/Tb. Звичайно варто подивитися, скільки накопичувачів зможуть витягнути 4-х контролерні системі 8000 і 16000, т.к. поки все-таки не до кінця зрозумілі можливості та потенціал Kunpeng 920.
- Наявність у Lun'а власника систем NetApp. Тобто. операції з місяцем може виконувати тільки один контролер, другий лише пропускає через себе IO. У систем Huawei немає жодних власників і операції з блоками даних (компресія, дедуплікація) можуть виконуватися будь-яким з контролерів, так само як і записуватися на диски.
- Відсутність падіння портів при відмові одного з контролерів. Для когось цей момент виглядає вкрай критичним. Суть у тому, що перемикання всередині СГД має відбуватися швидше, ніж з боку хоста. І якщо у випадку з тим же NetApp нами на практиці виявлено фриз близько 5 сек при висмикуванні контролера і перемиканні шляхів, то з перемиканням на Huawei ще доведеться попрактикуватися.
- Відсутність необхідності перезапуску контролера під час оновлення. Особливо мене це стало хвилювати за досить частого виходу нових версій і гілок прошивки для NetApp'ів. Так, деякі оновлення для Huawei все ж таки вимагатимуть перезапуску, але не всі.
- 4 контролери Huawei за ціною двох контролерів NetApp. Як я вже говорив вище, завдяки ціновій політиці Huawei вона може своїми Hight-end моделями конкурувати з Mid-range.
- Наявність додаткових чіпів у контролерах полиць та порт-картах, які потенційно призначаються підвищення ефективності системи.
Мінуси та побоювання в цілому:
- Пряме підключення полиць до контролерів або необхідність великої кількості back-end портів для підключення всіх полиць до контролерів.
- ARM-архітектура та наявність великої кількості чіпів — наскільки ефективно це працюватиме, і чи вистачить продуктивності.
Більшість побоювань та страхів зможе розвіяти власноручне тестування нової лінійки. Сподіваюся, незабаром після релізу вони вже з'являться в Москві і їх буде достатньо, щоб оперативно отримати одну для власних випробувань. Поки що можна сказати, що в цілому підхід компанії виглядає цікаво, а нова лінійка виглядає дуже добре на тлі конкурентів. Багато питань викликає кінцева реалізація, т.к. багато речей ми побачимо лише наприкінці року, а може й лише у 2020-му.
Джерело: habr.com