IEEE P802.3ba, стандарт для передачі даних по 100-гігабітних каналах Ethernet (100GbE), розроблявся в період з 2007 по 2010 рік [3], але набув широкого поширення лише у 2018 [5]. Чому саме у 2018, а не раніше? І чому одразу в масовому порядку? На це є як мінімум п'ять причин.
Розроблявся IEEE P802.3ba, насамперед, задоволення потреб ЦОД і потреб точок обміну інтернет-трафіком (між незалежними операторами); а також для забезпечення безперебійної роботи ресурсомістких веб-сервісів, таких як портали з великою кількістю відеоконтенту (наприклад, YouTube); та для здійснення високопродуктивних обчислень. [3] Рядові користувачі Інтернету теж роблять свій внесок у зміну вимог до пропускної спроможності: у багатьох є цифрові камери, і люди хочуть передавати відзнятий ними контент через Інтернет. Т.о. обсяг циркулюючого по Інтернету контенту з часом стає дедалі більше. Як на професійному, і на споживчому рівнях. У всіх цих випадках, при передачі даних з одного домену до іншого, сукупна пропускна спроможність ключових мережних вузлів вже давно перевищує можливості портів 10GbE. [1] Цим і зумовлено появу нового стандарту: 100GbE.
Великі ЦОД та постачальники хмарних послуг вже активно застосовують 100GbE, і планують за кілька років поступово переходити на 200GbE та 400GbE. При цьому вже придивляються до швидкостей, що перевищують терабіт. [6] Хоча є серед великих постачальників і такі, які переходять на 100GbE лише торік (наприклад, Microsoft Azure). ЦОД, які здійснюють високопродуктивні обчислення для фінансових послуг, державних платформ, нафтогазових платформ та комунальних послуг, також почали переходити на 100GbE. [5]
У корпоративних ЦОД потреба на пропускну спроможність дещо нижча: лише нещодавно 10GbE стала тут нагальною необхідністю, а не розкішшю. Однак, оскільки темпи споживання трафіку зростають все швидше, сумнівно, що 10GbE проживе в корпоративних ЦОДах хоча б 10 або навіть 5 років. Натомість ми побачимо швидкий перехід на 25GbE і ще швидший на 100GbE. [6] Тому що, як зазначають аналітики Intel, інтенсивність трафіку всередині ЦОДу щорічно збільшується на 25%. [5]
Аналітики Dell та Hewlett Packard констатують [4], що 2018 рік – це рік 100GbE для ЦОД. Ще в серпні 2018 року постачання обладнання 100GbE вдвічі перевищило постачання за весь 2017 рік. І темпи поставок продовжують зростати, оскільки ЦОД почали масово відходити від 40GbE. Очікується, що до 2022 року щорічно поставлятиметься 19,4 млн. 100GbE-портів (у 2017 році, для порівняння, ця цифра становила 4,6 млн.). [4] Щодо витрат, то в 2017 році на 100GbE-порти було витрачено $7 млрд., а в 2020-му, за прогнозами, буде витрачено близько $20 млрд (див. рис. 1). [1]
Малюнок 1. Статистика та прогнози попиту на мережеве обладнання
Чому зараз? 100GbE не така вже й нова технологія, то чому саме зараз навколо неї розгортається такий ажіотаж?
1) Тому що ця технологія дозріла та подешевшала. Саме в 2018 році ми переступили той рубіж, коли використання в ЦОД платформ зі 100-гігабітними портами стало більш рентабельним, ніж «штабелювання» кількох 10-гігабітних платформ. Приклад: Ciena 5170 (див. рис. 2) – компактна платформа, що забезпечує сукупну пропускну здатність 800GbE (4x100GbE, 40x10GbE). Якщо для забезпечення необхідної пропускної спроможності потрібно кілька 10-гігабітних портів, то витрати на додаткове залізо, додатково зайняте простір, надмірне споживання електроенергії, поточне обслуговування, додаткові запчастини та додаткові системи охолодження складаються в досить кругленьку суму. [1] Так наприклад, фахівці Hewlett Packard, аналізуючи потенційні переваги переходу від 10GbE до 100GbE дійшли наступних цифр: продуктивність вища (на 56%), сумарні витрати менше (на 27%), менше споживання електроенергії (на 31%), спрощення кабельних взаємозв'язків (38%). [5]
Рисунок 2. Ciena 5170: приклад платформи зі 100-гігабітними портами
2) Juniper та Cisco нарешті створили свої власні мікросхеми ASIC для комутаторів 100GbE. [5] Що є промовистим підтвердженням того факту, що технологія 100GbE – справді дозріла. Справа в тому, що мікросхеми ASIC рентабельно створювати тільки тоді, коли, по-перше, реалізована на них логіка – не вимагатиме змін, в найближчому майбутньому, і по-друге, коли виготовляється велика кількість ідентичних мікросхем. Juniper та Cisco не стали б виробляти ці ASIC, не будучи впевненими у зрілості 100GbE.
3) Тому що Broadcom, Cavium та Mellanox Technologie почали штампувати процесори з підтримкою 100GbE, і ці процесори вже використовуються в комутаторах таких виробників, як Dell, Hewlett Packard, Huawei Technologies, Lenovo Group та ін [5]
4) Тому що сервери, розміщені в серверних стійках, все частіше оснащуються найновішими мережевими адаптерами Intel (див. рис. 3), з двома 25-гігабітними портами, а іноді навіть конвергентними мережевими адаптерами з двома 40-гігабітними портами (XXV710 і XL) . {Малюнок 710. Найновіші мережеві адаптери Intel: XXV3 та XL710}
5) Тому що обладнання 100GbE має зворотну сумісність, що спрощує розгортання: можна повторно використовувати вже прокинуті кабелі (достатньо підключити до них новий приймач-передавач).
Крім того, доступність 100GbE готує нас до нових технологій, таких як "NVMe over Fabrics" (наприклад, Samsung Evo Pro 256 GB NVMe PCIe SSD; див. рис. 4) [8, 10], "Storage Area Network" (SAN) / "Software Defined Storage" (див. рис. 5) [7], RDMA [11], які без 100GbE не могли реалізувати свій потенціал повною мірою.
Малюнок 4. Samsung Evo Pro 256 GB NVMe PCIe SSD
Малюнок 5. "Storage Area Network" (SAN) / "Software Defined Storage"
Нарешті, як екзотичний приклад практичної затребуваності застосування 100GbE та суміжних високошвидкісних технологій, можна навести наукову хмару Кембриджського університету (див. рис. 6), яка побудована на основі 100GbE (Spectrum SN2700 Ethernet switches), – для того забезпечувати ефективну роботу розподіленого дискового сховища NexentaEdge SDS, що легко може перевантажити мережу 10/40GbE. [2] Подібні високопродуктивні наукові хмари розгортають на вирішення найрізноманітніших прикладних наукових завдань [9, 12]. Так, наприклад, вчені-медики задіяють такі хмари для розшифрування геному людини, а канали 100GbE використовують для передачі інформації між дослідницькими групами університетів.
Малюнок 6. Фрагмент наукової хмари Кембриджського університету
Бібліографія
- John Hawkins. // 2017.
- Amit Katz. // 2016.
- Margaret Rouse. .
- David Graves. // 2018.
- Mary Branscombe. // 2018.
- Jarred Baker. // 2017.
- Tom Clark. Designing Storage Area Networks: Practical Reference for Implementing Fibre Channel and IP SANs. 2003. 572p.
- James O'Reilly. Network Storage: Tools and Technologies for Storing Your Company's Data // 2017. 280p.
- James Sullivan. Student cluster competition 2017, Team University of Texas в Austin/Texas State University: Reproducing vectorization of Tersoff multi-body potential на Intel Skylake і NVIDIA V100 architectures // Parallel Computing. v.79, 2018. pp. 30-35.
- Manolis Katevenis. Next Generation of Exascale-class Systems: ExaNeSt Project // Microprocessors and Microsystems. v.61, 2018. pp. 58-71.
- Hari Subramoni. RDMA over Ethernet: A Preliminary Study // Процедури роботи на високій продуктивності Interconnects for Distributed Computing. 2009.
- Chris Broekema. Energy-Efficient Data Transfers у Radio Astronomy with Software UDP RDMA // Future Generation Computer Systems. v.79, 2018. pp. 215-224.
PS. Спочатку стаття була опублікована в .
Тільки зареєстровані користувачі можуть брати участь в опитуванні. , будь ласка.
Чому великі ЦОД почали масово переходити на 100GbE?
-
Взагалі ніхто нікуди ще не почав переходити ...
-
Тому що ця технологія дозріла та подешевшала
-
Тому що Juniper і Cisco створили ASIC для комутаторів 100GbE.
-
Тому що Broadcom, Cavium та Mellanox Technologie додали підтримку 100GbE
-
Тому що в серверах повилися 25- та 40-гігабітні порти
-
Своя версія (напишіть у коментарях)
Проголосували 12 користувачів. Утрималися 15 користувачів.
Джерело: habr.com