Настав час розкрити подробиці про нових маршрутизаторів операторського класу Huawei NetEngine 8000 — про апаратну базу та програмні рішення, які дозволяють будувати на їх базі наскрізні підключення end-to-end з пропускною здатністю 400 Гбіт/с та відстежувати якість мережевих сервісів на субсекундному рівні.
Від чого залежить, які технології потрібні для мережевих рішень
Вимоги до новітнього мережного обладнання зараз визначаються чотирма опорними трендами:
- поширенням широкосмугового мобільного зв'язку 5G;
- зростанням хмарних навантажень як у приватних, так і у публічних ЦОДах;
- розширенням світу IoT;
- збільшенням затребуваності штучного інтелекту.
Під час пандемії виникла ще одна загальна тенденція: привабливішими стають сценарії зі зменшеною наскільки можливо фізичною присутністю на користь віртуального. Сюди серед іншого відносяться сервіси віртуальної та доповненої реальності, а також рішення на базі мереж Wi-Fi 6. Усі ці сфери застосування потребують високої якості каналу. Забезпечити його та покликаний NetEngine 8000.
Сімейство NetEngine 8000
Пристрої, що входять до сімейства NetEngine 8000, розділені на три основні серії. Марковані літерою X — це високопродуктивні флагманські моделі для операторів зв'язку або високонавантажені ЦОДи. Серія M розрахована на втілення різноманітних metro-сценаріїв. А пристрої з індексом F призначені насамперед реалізації поширених DCI-сценаріїв (Data Center Interconnect). Більшість із «вісімтисячників» можуть бути частиною тунелів end-to-end з пропускною здатністю 400 Гбіт/с та підтримувати гарантований рівень послуги (Service Level Agreement — SLA).
Факт: сьогодні тільки Huawei виготовляє повний спектр обладнання для організації мереж класу 400GE. На ілюстрації вище показаний сценарій побудови мережі для великого enterprise-замовника чи великого оператора. В останньому випадку використовують високопродуктивні маршрутизатори ядра NetEngine 9000, а також нові маршрутизатори NetEngine 8000 F2A, здатні агрегувати велику кількість підключень 100, 200 або 400 Гбіт/с.
Metro-фабрики реалізуються на базі пристроїв серії М. Подібні рішення дозволяють без зміни платформи адаптуватися до десятикратного зростання обсягу трафіку, який очікується протягом найближчої декади.
Huawei самостійно виготовляє оптичні модулі з пропускною здатністю 400 Гбіт/с. Побудовані на них рішення на 10–15% дешевші за аналогічні за ємністю, але використовують 100-гігабітні канали. Тестування модулів розпочалося ще 2017 року, а вже 2019-го відбулося перше впровадження обладнання на їх основі; Тепер африканський оператор зв'язку Safaricom веде комерційну експлуатацію такої системи.
Величезна пропускна спроможність NetEngine 8000, яка, можливо, в 2020 році здається надмірною, обов'язково знадобиться вже в недалекому майбутньому. Крім того, маршрутизатор підходить для використання в якості великої точки обміну, яка, напевно, стане в нагоді як операторам другого рівня, так і великим enterprise-структурам у фазі бурхливого зростання і творцям рішень для «електронного уряду».
Також Huawei сприяє поширенню цілої низки нових технологій, серед яких протокол маршрутизації SRv6, що помітно спрощує доставку операторського VPN-трафіку. Технологія FlexE (Flexible Ethernet) забезпечує гарантовану пропускну здатність на другому рівні моделі OSI, а iFIT (In-situ Flow Information Telemetry) дозволяє точно відстежувати параметри виконання умов SLA.
З точки зору провайдера, SRv6 можна застосовувати від рівня контейнера в ЦОДі, побудованому на NFV (Network Functions Virtualization), до, наприклад, бездротового середовища широкосмугового доступу. Корпоративним замовникам наскрізне використання нового протоколу знадобиться під час побудови магістральних (опорних) мереж. Технологія, наголосимо, не пропрієтарна і використовується різними вендорами, що усуває ризики виникнення несумісності.
Так виглядає таймлайн комерціалізації технології SRv6 для підтримки 5G-рішень. Практичний кейс: арабська компанія Zain Group у процесі переходу до використання 5G модернізувала свою мережу, збільшивши пропускну спроможність магістральних каналів, а також покращила керованість інфраструктури за рахунок впровадження SRv6.
Як застосовувати ці технології
Як «технологічна парасолька», що покриває перераховані вище рішення, раніше використовувалося три різнорідних продукту. U2000 застосовувався як NMS для transmission-домену та IP-домену. Додатково в SDN-системах задіялися системи uTraffic і набагато відоміша Agile Controller. Однак подібна комбінація виявилася не дуже зручною стосовно маршрутизаторів операторського класу, тому тепер ці продукти об'єднані в інструмент CloudSoP.
Насамперед він дозволяє повністю керувати життєвим циклом інфраструктури, починаючи з побудови мережі – оптичної чи IP. На нього ж покладено управління ресурсами як стандартними (MPLS), так і новими (SRv6). Нарешті CloudSoP дає можливість повноцінно обслуговувати всі сервіси з високим рівнем гранулярності.
Зупинімося на класичному підході до управління. У такому випадку воно може здійснюватися за допомогою L3VPN або SR-TE, що надає додаткові можливості створення тунелів. Для того, щоб розподілити ресурси під різні сервісні завдання, використовується більше сотні параметрів та сегментна маршрутизація.
Як виглядає розгортання такого сервісу? Спочатку потрібно задати первинну політику для конкретного рівня (площини). На схемі вище обрано технологію SRv6, за допомогою якої налаштовується доставка трафіку з точки А до точки Е. Система розрахує можливі шляхи з урахуванням пропускної здатності та затримок, а також створює параметри для подальшого контролю.
Провели налаштування – приступаємо до створення та запуску в експлуатацію додаткових VPN-сервісів. Серйозна перевага рішення Huawei у тому, що, на відміну від стандартного MPLS Traffic Engineering, воно дозволяє синхронізувати шляхи тунелів без додаткових надбудов.
На схемі вище показано загальний процес зняття інформації. Часто йому застосовується SNMP, що займає чимало часу, причому дає усереднений результат. Однак телеметрія, яку ми раніше використовували у ЦОДах та кампусних рішеннях, прийшла у світ операторських магістральних мереж. Вона додає навантаження, зате дозволяє розуміти те, що відбувається в мережі, не на хвилинному, а на субсекундному рівні.
Звичайно, отриманий обсяг трафіку треба якимось чином "перетравити". Для цього використовується додаткова розробка машинного навчання. На підставі попередньо завантажених патернів найпоширеніших мережних несправностей система контролю здатна робити прогнози щодо ймовірностей виникнення ексцесів. Наприклад, поломки модуля SFP (Small Form-factor Pluggable) або раптового сплеску трафіку в мережі.
А так виглядає горизонтально масштабована (scale-out) система керування на основі ARM-серверів TaiShan та бази даних GaussDB. В окремих нод аналітичної системи є поняття «ролі», що дозволяє гранулярно розширювати діагностичні сервіси при зростанні трафіку або збільшення числа вузлів мережі.
Іншими словами, все, що було хорошого у світі СГД, поступово приходить у сферу управління мережами.
Яскравим прикладом впровадження наших нових технологій є Промисловий та комерційний банк Китаю (ICBC). У ньому розгорнуто опорну мережу високопродуктивних маршрутизаторів, яким присвоєно певні ролі. Відповідно до NDA, ми маємо право дати на схемі лише загальне уявлення про структуру мережі. До неї входять три великі ЦОДи, пов'язані тунелями end-to-end, та 35 додаткових майданчиків (ЦОДи другого рівня). Використовуються як стандартні підключення, і SR-TE.
Тришарова інтелектуальна архітектура IP WAN
В основі рішень Huawei лежить тришарова архітектура, на нижньому рівні якої розташовується обладнання різної продуктивності. На другому рівні - середовище управління обладнанням та додаткові послуги, що розширюють функціональність аналізу та контролю мережі. Верхній шар, умовно кажучи, прикладний. Найбільш поширені прикладні сценарії мають на увазі організацію роботи мереж операторів зв'язку, фінансових установ, енергетичних компаній та урядових структур.
Ось коротке відео, що розповідає про можливості NetEngine 8000 і використані в ньому технічні рішення:
Само собою, обладнання має бути розраховане на зростання трафіку та розширення інфраструктури з урахуванням правильного харчування та відповідного охолодження. Коли флагманська модель маршрутизатора оснащена 20 БП по 3 кВт кожен, застосування вуглецевих нанотрубок у системі тепловідведення не здається надлишковим.
Заради чого це все? Звучить як фантастика, але вже зараз для нас 14,4 Тбіт/с на слот показник цілком досяжний. І ця дивовижна пропускна здатність затребувана. Зокрема, все тими ж фінансовими та енергетичними компаніями, багато з яких мають сьогодні опорні мережі, створені із застосуванням технології DWDM (Dense Wavelength Division Multiplexing). Зрештою, зростає і кількість додатків, що вимагають більш високих швидкостей.
В одному з наших сценаріїв побудови мереж машинного навчання між двома кластерами Atlas 900 також потрібна пропускна спроможність терабітного класу. І подібних завдань багато. До них, зокрема, належать ядерні обчислення, метеорологічні розрахунки та ін.
Апаратна основа та її вимоги
На схемах показано доступні в даний час модулі маршрутизаторів LPUI з інтегрованими картками та їх характеристики.
А так виглядає roadmap із новими варіантами модулів, які будуть доступні протягом найближчих двох років. Під час розробки рішень з їхньої основі важливо враховувати енергоспоживання. Зараз стандартні ЦОДи будуються з розрахунку 7-10 кВт на стійку, тоді як застосування маршрутизаторів терабітного класу передбачає споживану потужність у кілька разів вищу (до 30-40 уВт у піку). Це спричиняє необхідність проектувати спеціалізований майданчик або створювати в наявному ЦОД окрему високонавантажену зону.
Загальний погляд на шасі показує, що заводи ховаються за середнім блоком вентиляторів. Є можливість їхньої «гарячої» заміни, реалізована завдяки резервуванню за схемою 2N або N+1. По суті, йдеться про стандартну ортогональну архітектуру високої надійності.
Не лише флагмани
Як би не вражали флагманські моделі, найбільше інсталяцій посідає box-рішення серій М і F.
Найбільш популярні зараз сервісні маршрутизатори — моделі M8 і M14. Вони дозволяють в рамках однієї платформи працювати з низькошвидкісними, таким як E1, і з високошвидкісними інтерфейсами (100 Гбіт/с зараз і 400 Гбіт/с в найближчому майбутньому).
Продуктивності M14 цілком достатньо, щоб задовольнити всі запити звичайних enterprise-замовників. За допомогою нього можна будувати стандартні рішення L3VPN для зв'язку з провайдерами, гарний він і як додатковий інструмент, наприклад, для збору телеметрії або застосування SRv6.
Для моделі є велика кількість карт. Тут немає окремих фабрик, а для забезпечення зв'язаності використовуються супервізори. Таким чином досягається вказаний на схемі розподіл продуктивності по портах.
Надалі супервізор можна буде замінити на новий, що дасть і нову продуктивність на тих самих портах.
Модель M8 дещо менша за M14, у продуктивність також поступається старшій моделі, але сценарії використання у них дуже схожі.
Набір сумісних з M8 фізичних карт дозволяє, наприклад, налаштувати підключення до P-пристроїв за інтерфейсом 100 Гбіт/с, використовувати FlexE технологію і все це зашифрувати.
За великим рахунком, саме з пристрою M6 можна розпочинати роботу з операторським середовищем. Воно невелике і не підходить для провайдерів, але з легкістю застосовується як точка агрегації трафіку для підключення регіональних ЦОДів, допустимо в банку. До того ж набір ПЗ тут такий самий, як і на старших моделях.
Доступних карток для M6 менше, а максимальна продуктивність становить 50 Гбіт/с, що, втім, помітно вище, ніж у стандартних рішень в індустрії на 40 Гбіт/с.
На окрему згадку заслуговує і наймолодша модель — M1A. Це невелике рішення, яке може бути доречним там, де очікується розширений температурний діапазон експлуатації (-40… +65 °С).
Декілька слів про лінійку F. Модель NetEngine 8000 F1A стала одним із найпопулярніших продуктів Huawei в 2019 році, не в останню чергу завдяки тому, що оснащена портами з пропускною здатністю від 1 до 100 Гбіт/с (до 1,2 Тбіт/с сумарно) ).
Докладніше про SRv6
Для чого саме зараз потрібно включити в наші продукти підтримку технології SRv6?
В даний час кількість протоколів, необхідних для організації VPN-тунелів, може становити 10+, що спричиняє серйозні проблеми з керуванням та наводить на думку про необхідність радикально спростити процес.
Відповіддю індустрії на цей виклик стало створення технології SRv6, до появи якої доклали руку компанії Huawei і Cisco.
Одним із обмежень, які необхідно було зняти, була необхідність використовувати для маршрутизації стандартних пакетів принцип per-hop behavior (PHB). Налагодити «міжоператорську» взаємодію через Inter-AS MP-BGP з додатковими сервісами (VPNv4) досить складно, тому таких рішень дуже мало. SRv6 дозволяє спочатку прокласти шлях пакета через весь сегмент, не прописуючи спеціальних тунелів. Та й програмування самих процесів спрощується, що значно полегшує великі розгортання.
На схемі представлений кейс із впровадження SRv6. Дві глобальні мережі об'єднувалися кількома різними протоколами. Щоб отримати сервіс від будь-якого віртуального або апаратного сервера, була потрібна велика кількість перемикань (handover) між VXLAN, VLAN, L3VPN та ін.
Після впровадження SRv6 оператор мав тунель end-to-end навіть не до апаратного сервера, а до Docker-контейнера.
Докладніше про технологію FlexE
Другий рівень моделі OSI поганий тим, що він не надає ті необхідні сервіси і той рівень SLA, яких потребують провайдери. Вони, своєю чергою, хотіли б отримати якийсь аналог TDM (Time-division multiplexing), але з Ethernet. Для вирішення проблеми застосовувалося безліч підходів, що дозволяли досягти лише дуже обмежених результатів.
Flex Ethernet служить саме для того, щоб гарантувати якість рівня SDH (Synchronous Digital Hierarchy) та TDM в IP-мережах. Це стало можливим завдяки роботі з forwarding plane, коли ми таким чином модифікуємо L2-середовище, щоб воно ставало максимально продуктивним.
Як працює будь-який стандартний фізичний порт? Є певна кількість черг і tx-кільце. Пакет, що потрапив у буфер, чекає своєї обробки, що не завжди зручно, особливо за наявності elephant- і mice-потоків.
Забезпечити гарантовану пропускну здатність на рівні фізичного середовища допомагають додаткові вставки та ще один шар абстракції.
Додатковий MAC-шар виділяється лише на рівні передачі, що дозволяє створити жорсткі фізичні черги, яким можна призначати певні SLA.
Так це виглядає лише на рівні впровадження. У додатковому шарі фактично реалізовано TDM-фреймінг. Завдяки такій метавставці можна гранулярно роздавати черги і формувати TDM-послуги через Ethernet.
Один із сценаріїв використання FlexE має на увазі дуже жорстке проходження SLA шляхом формування тайм-слотів для вирівнювання пропускної спроможності або надання ресурсів для критичних сервісів.
Ще один сценарій дозволяє працювати з дефектами. Замість простого хешування передачі ми формуємо окремі канали практично фізично, на відміну віртуальних, створюваних QoS (Quality of Service).
Докладніше про iFIT
Як і FlexE, iFIT є ліцензованою технологією Huawei. Вона дозволяє проводити перевірку SLA дуже гранулярному рівні. На відміну від стандартних механізмів IP SLA і NQA, iFIT оперує не синтетичним, а живим трафіком.
Доступна iFIT на всіх пристроях, що підтримують телеметрію. Для цього використовується додаткове поле, яке не зайняте стандартними Option Data. Туди записується інформація, яка дозволяє зрозуміти те, що відбувається в каналі.
***
Резюмуючи сказане, підкреслимо, що функціональність NetEngine 8000 та закладених у «вісімтисячні» технологій роблять ці пристрої розумним та виправданим вибором при створенні та розвитку мереж операторського класу, опорних мереж енергетичних та фінансових компаній, а також систем рівня «електронного уряду».
Джерело: habr.com