Настало время раскрыть подробности о новых маршрутизаторах операторского класса Huawei NetEngine 8000 — об аппаратной базе и программных решениях, которые позволяют строить на их базе сквозные подключения end-to-end с пропускной способностью 400 Гбит/с и отслеживать качество сетевых сервисов на субсекундном уровне.
От чего зависит, какие технологии нужны для сетевых решений
Требования к новейшему сетевому оборудованию сейчас определяются четырьмя опорными трендами:
- распространением широкополосной мобильной связи 5G;
- ростом облачных нагрузок как в приватных, так и в публичных ЦОДах;
- расширением мира IoT;
- увеличением востребованности искусственного интеллекта.
Во время пандемии возникла ещё одна общая тенденция: более привлекательными становятся сценарии с уменьшенным насколько возможно физическим присутствием в пользу виртуального. Сюда среди прочего относятся сервисы виртуальной и дополненной реальности, а также решения на базе сетей Wi-Fi 6. Все эти сферы применения требуют высокого качества канала. Обеспечить его и призван NetEngine 8000.
Семейство NetEngine 8000
Устройства, входящие в семейство NetEngine 8000, разделены на три основные серии. Маркированные литерой X — это высокопроизводительные флагманские модели для операторов связи или под высоконагруженные ЦОДы. Серия M рассчитана на воплощение различных metro-сценариев. А устройства с индексом F предназначены прежде всего для реализации распространённых DCI-сценариев (Data Center Interconnect). Большинство из «восьмитысячников» могут быть частью туннелей end-to-end с пропускной способностью 400 Гбит/с и поддерживать гарантированный уровень услуги (Service Level Agreement — SLA).
Факт: сегодня только Huawei производит полный спектр оборудования для организации сетей класса 400GE. На иллюстрации выше показан сценарий построения сети для крупного enterprise-заказчика или большого оператора. В последнем случае используются высокопроизводительные маршрутизаторы ядра NetEngine 9000, а также новые маршрутизаторы NetEngine 8000 F2A, способные агрегировать большое количество подключений 100, 200 или 400 Гбит/с.
Metro-фабрики реализуются на базе устройств серии М. Подобные решения позволяют без смены платформы адаптироваться к тому десятикратному росту объёма трафика, который ожидается в течение ближайшей декады.
Huawei самостоятельно производит оптические модули с пропускной способностью 400 Гбит/с. Построенные на них решения на 10–15% дешевле аналогичных по ёмкости, но использующих 100-гигабитные каналы. Тестирование модулей началось ещё в 2017 году, а уже в 2019-м состоялось первое внедрение оборудования на их основе; сейчас африканский оператор связи Safaricom ведёт коммерческую эксплуатацию такой системы.
Огромная пропускная способность NetEngine 8000, которая, возможно, в 2020 году кажется избыточной, обязательно понадобится уже в не самом отдалённом будущем. Кроме того, маршрутизатор подходит для использования в качестве крупной точки обмена, какая наверняка пригодится как операторам второго уровня, так и крупным enterprise-структурам в фазе бурного роста и создателям решений для «электронного правительства».
Также Huawei способствует распространению целого ряда новых технологий, среди которых протокол маршрутизации SRv6, заметно упрощающий доставку операторского VPN-трафика. Технология FlexE (Flexible Ethernet) обеспечивает гарантированную пропускную способность на втором уровне модели OSI, а iFIT (In-situ Flow Information Telemetry) позволяет точно отслеживать параметры выполнения условий SLA.
С точки зрения провайдера, SRv6 можно применять от уровня контейнера в ЦОДе, построенном на NFV (Network Functions Virtualization), до, например, беспроводной среды широкополосного доступа. Корпоративным заказчикам сквозное использование нового протокола понадобится при построении магистральных (опорных) сетей. Технология, подчеркнём, не проприетарная и используется разными вендорами, что устраняет риски возникновения несовместимости.
Так выглядит таймлайн коммерциализации технологии SRv6 для поддержки 5G-решений. Практический кейс: арабская компания Zain Group в процессе перехода к использованию 5G модернизировала свою сеть, увеличив пропускную способность магистральных каналов, а также улучшила управляемость инфраструктуры за счёт внедрения SRv6.
Как применять эти технологии
В качестве «технологического зонтика», покрывающего вышеперечисленные решения, ранее использовалось три разнородных продукта. U2000 применялся в качестве NMS для transmission-домена и IP-домена. Дополнительно в SDN-системах задействовались системы uTraffic и гораздо более известная Agile Controller. Однако подобная комбинация оказалась не очень удобной применительно к маршрутизаторам операторского класса, поэтому теперь эти продукты объединены в инструмент CloudSoP.
Прежде всего он позволяет полностью управлять жизненным циклом инфраструктуры, начиная с построения сети — оптической или IP. На него же возложено управление ресурсами, как стандартными (MPLS), так и новыми (SRv6). Наконец, CloudSoP даёт возможность полноценно обслуживать все сервисы с высоким уровнем гранулярности.
Давайте подробнее остановимся на классическом подходе к управлению. В таком случае оно может осуществляться с помощью L3VPN или SR-TE, что даёт дополнительные возможности создания туннелей. Для того чтобы распределить ресурсы под различные сервисные задачи, используется более сотни параметров и сегментная маршрутизация.
Как выглядит развёртывание такого сервиса? Сперва нужно задать первичную политику для конкретного уровня (плоскости). На схеме выше выбрана технология SRv6, с помощью которой настраивается доставка трафика из точки А в точку Е. Система рассчитает возможные пути с учётом пропускной способности и задержек, а также создаёт параметры для последующего контроля.
Провели настройку — приступаем к созданию и запуску в эксплуатацию дополнительных VPN-сервисов. Серьёзное преимущество решения Huawei в том, что, в отличие от стандартного MPLS Traffic Engineering, оно позволяет синхронизировать пути туннелей без каких-либо дополнительных надстроек.
На схеме выше показан общий процесс снятия информации. Часто для него применяется SNMP, что занимает немало времени, причём даёт усреднённый результат. Однако телеметрия, которую мы прежде использовали в ЦОДах и кампусных решениях, пришла в мир операторских магистральных сетей. Она добавляет нагрузку, зато позволяет понимать происходящее в сети не на минутном, а на субсекундном уровне.
Конечно, полученный объём трафика надо каким-то образом «переварить». Для этого используется дополнительная технология машинного обучения. На основании предварительно загруженных паттернов самых распространённых сетевых неисправностей система контроля способна делать прогнозы по вероятностям возникновения эксцессов. Например, поломки модуля SFP (Small Form-factor Pluggable) или внезапного всплеска трафика в сети.
А так выглядит горизонтально масштабируемая (scale-out) система управления на основе ARM-серверов TaiShan и базы данных GaussDB. У отдельных нод аналитической системы есть понятие «роли», что позволяет гранулярно расширять диагностические сервисы при росте трафика или увеличении числа узлов сети.
Иными словами, всё, что было хорошего в мире СХД, постепенно приходит в область управления сетями.
Яркий пример внедрения наших новых технологий — Промышленный и коммерческий банк Китая (ICBC). В нём развёрнута опорная сеть высокопроизводительных маршрутизаторов, которым присвоены определённые роли. Согласно NDA, мы вправе дать на схеме только общее представление о структуре сети. В неё входят три больших ЦОДа, связанных туннелями end-to-end, и 35 дополнительных площадок (ЦОДы второго уровня). Используются как стандартные подключения, так и SR-TE.
Трёхслойная интеллектуальная архитектура IP WAN
В основе решений Huawei лежит трёхслойная архитектура, на нижнем уровне которой располагается оборудование различной производительности. На втором уровне — среда управления оборудованием и дополнительные сервисы, расширяющие функциональность анализа и контроля сети. Верхний слой, условно говоря, прикладной. Наиболее распространённые прикладные сценарии подразумевают организацию работы сетей операторов связи, финансовых учреждений, энергетических компаний и правительственных структур.
Вот короткое видео, рассказывающее о возможностях NetEngine 8000 и использованных в нём технических решениях:
Само собой, оборудование должно быть рассчитано на рост трафика и расширение инфраструктуры с учётом правильного питания и подобающего охлаждения. Когда флагманская модель маршрутизатора оснащена 20 БП по 3 кВт каждый, применение углеродных нанотрубок в системе теплоотведения уже не кажется избыточным.
Ради чего всё это? Звучит как фантастика, но уже сейчас для нас 14,4 Тбит/с на слот — показатель вполне достижимый. И эта умопомрачительная пропускная способность востребована. В частности, всё теми же финансовыми и энергетическими компаниями, многие из которых располагают сегодня опорными сетями, созданными с применением технологии DWDM (Dense Wavelength Division Multiplexing). В конце концов, растёт и количество приложений, требующих всё более высоких скоростей.
В одном из наших сценариев построения сетей машинного обучения между двумя кластерами Atlas 900 также требуется пропускная способность терабитного класса. И подобных задач масса. К ним, в частности, относятся ядерные вычисления, метеорологические расчёты и пр.
Аппаратная основа и её требования
На схемах показаны доступные в настоящее время модули маршрутизаторов LPUI с интегрированными картами и их характеристики.
А так выглядит roadmap с новыми вариантами модулей, которые будут доступны в течение ближайших двух лет. При разработке решений на их основе важно учитывать энергопотребление. Сейчас стандартные ЦОДы строятся из расчёта 7–10 кВт на стойку, в то время как применение маршрутизаторов терабитного класса подразумевает потребляемую мощность в несколько раз выше (до 30–40 уВт в пике). Это влечёт за собой необходимость проектировать специализированную площадку или создавать в имеющемся ЦОДе отдельную высоконагруженную зону.
Общий взгляд на шасси показывает, что фабрики скрываются за средним блоком вентиляторов. Есть возможность их «горячей» замены, реализованная благодаря резервированию по схеме 2N или N+1. По сути, речь идёт о стандартной ортогональной архитектуре высокой надёжности.
Не одни только флагманы
Как бы ни впечатляли флагманские модели, больше всего инсталляций приходится на box-решения серий М и F.
Наиболее востребованные сейчас сервисные маршрутизаторы — модели M8 и M14. Они позволяют в рамках одной платформы работать и с низкоскоростными, таким как E1, и с высокоскоростными интерфейсами (100 Гбит/с сейчас и 400 Гбит/с в ближайшем будущем).
Производительности M14 вполне достаточно, чтобы удовлетворить все запросы обычных enterprise-заказчиков. С помощью него можно строить стандартные решения L3VPN для связи с провайдерами, хорош он и в качестве дополнительного инструмента, например, для сбора телеметрии или применения SRv6.
Для модели доступно большое количество карт. Здесь нет отдельных фабрик, а для обеспечения связанности используются супервизоры. Таким образом достигается указанное на схеме распределение производительности по портам.
В дальнейшем супервизор можно будет заменить на новый, что даст и новую производительность на тех же самых портах.
Модель M8 несколько меньше M14, в производительность также уступает старшей модели, но сценарии использования у них очень похожи.
Набор совместимых с M8 физических карт позволяет, к примеру, настроить подключение к P-устройствам по интерфейсу 100 Гбит/с, использовать технологию FlexE и всё это зашифровать.
По большому счёту, именно с устройства M6 можно начинать работу с операторской средой. Оно небольшое и не подходит для провайдеров, но с лёгкостью применимо как точка агрегации трафика для подключения региональных ЦОДов, допустим в банке. Притом набор ПО здесь такой же, как и на старших моделях.
Доступных карт для M6 поменьше, а максимальная производительность составляет 50 Гбит/с, что, впрочем, заметно выше, чем у стандартных решений в индустрии на 40 Гбит/с.
Отдельного упоминания заслуживает и самая младшая модель — M1A. Это небольшое решение, которое может оказаться кстати там, где ожидается расширенный температурный диапазон эксплуатации (-40… +65 °С).
Несколько слов о линейке F. Модель NetEngine 8000 F1A стала одним из самых популярных продуктов Huawei в 2019 году, не в последнюю очередь благодаря тому, что оснащена портами с пропускной способностью от 1 до 100 Гбит/с (до 1,2 Тбит/с суммарно).
Подробнее о SRv6
Для чего же именно сейчас потребовалось включить в наши продукты поддержку технологии SRv6?
В настоящее время количество протоколов, необходимых для организации VPN-туннелей, может составлять 10+, что вызывает серьёзные проблемы с управлением и наводит на мысли о необходимости радикально упростить процесс.
Ответом индустрии на этот вызов и стало создание технологии SRv6, к появлению которой приложили руку компании Huawei и Cisco.
Одним из ограничений, которые необходимо было снять, являлась необходимость использовать для маршрутизации стандартных пакетов принцип per-hop behavior (PHB). Наладить «межоператорское» взаимодействие посредством Inter-AS MP-BGP с дополнительными сервисами (VPNv4) достаточно сложно, поэтому таких решений очень мало. SRv6 позволяет изначально проложить путь пакета через весь сегмент, не прописывая специальных туннелей. Да и программирование самих процессов упрощается, что значительно облегчает крупные развёртывания.
На схеме представлен кейс по внедрению SRv6. Две глобальные сети были объединены несколькими разными протоколами. Чтобы получить сервис от какого-либо виртуального или аппаратного сервера, требовалось большое количество переключений (handover) между VXLAN, VLAN, L3VPN и пр.
После внедрения SRv6 оператор располагал туннелем end-to-end даже не до аппаратного сервера, а до Docker-контейнера.
Подробнее о технологии FlexE
Второй уровень модели OSI плох тем, что он не предоставляет те необходимые сервисы и тот уровень SLA, в которых нуждаются провайдеры. Они, в свою очередь, хотели бы получить некий аналог TDM (Time-division multiplexing), но на Ethernet. Для решения проблемы применялось множество подходов, позволявших добиться лишь очень ограниченных результатов.
Flex Ethernet служит именно для того, чтобы гарантировать качество уровня SDH (Synchronous Digital Hierarchy) и TDM в IP-сетях. Это стало возможным благодаря работе с forwarding plane, когда мы таким образом модифицируем L2-среду, чтобы она становилась максимально производительной.
Как работает любой стандартный физический порт? Имеется определённое количество очередей и tx-кольцо. Попавший в буфер пакет ждёт своей обработки, что не всегда удобно, особенно при наличии elephant- и mice-потоков.
Обеспечить гарантированную пропускную способность на уровне физической среды помогают дополнительные вставки и ещё один слой абстракции.
Дополнительный MAC-слой выделяется на уровне передачи информации, что позволяет создать жёсткие физические очереди, которым можно назначать определённые SLA.
Так это выглядит на уровне внедрения. В дополнительном слое фактически реализован TDM-фрейминг. Благодаря такой метавставке есть возможность гранулярно раздавать очереди и формировать TDM-услуги через Ethernet.
Один из сценариев использования FlexE подразумевает очень жёсткое следование SLA путём формирования тайм-слотов для выравнивания пропускной способности или предоставления ресурсов для критических сервисов.
Ещё один сценарий позволяет работать с дефектами. Вместо простого хеширования передачи информации мы формируем отдельные каналы практически на физическом уровне, в отличие от виртуальных, создаваемых QoS (Quality of Service).
Подробнее об iFIT
Как и FlexE, iFIT является лицензируемой технологией Huawei. Она позволяет проводить проверку SLA на очень гранулярном уровне. В отличие от стандартных механизмов IP SLA и NQA, iFIT оперирует не синтетическим, а «живым» трафиком.
Доступна iFIT на всех устройствах, которые поддерживают телеметрию. Для этого используется дополнительное поле, не занятое стандартными Option Data. Туда записывается информация, которая позволяет понять происходящее в канале.
***
Резюмируя сказанное, подчеркнём, что функциональность NetEngine 8000 и заложенных в «восьмитысячные» технологий делают эти устройства разумным и оправданным выбором при создании и развитии сетей операторского класса, опорных сетей энергетических и финансовых компаний, а также систем уровня «электронного правительства».
Manba: www.habr.com