Програмен език P4

P4 — е език за програмиране, предназначен за програмиране на правила за маршрутизиране на пакети. За разлика от езиците с общо предназначение като C или Python, P4 е предметно-ориентиран език с набор от конструкции, оптимизирани за мрежово маршрутизиране.

P4 — е език с отворен код, лицензирано и поддържано от неправителствена организация, наречена P4 Language Consortium. Той също така се поддържа от Open Networking Foundation (ONF) и Linux Foundation (LF) — две от най-големите обединителни организации в проекти с отворен код в областта на мрежовите технологии.
Езикът е създаден за първи път през 2013 година и е описан през 2014 в документа SIGCOMM CCR с наименованието „Независимо от протоколите, програмиране на процесора за маршрутизиране на пакети”.

От създаването си P4 експоненциално расте и се развива, бързо ставайки стандарт за описание на предаване на пакети от мрежови устройства, включително мрежови адаптери, комутатори и маршрутизатори.

„SDN трансформира мрежовата индустрия, а P4 издига SDN на ново ниво, осигурявайки програмираност в областта на маршрутизацията“, каза Гуру Парулкар, изпълнителен директор на Open Networking Foundation.

Езикът P4 е създаден първоначално от група инженери и изследователи от Google, Intel, Microsoft Research, Barefoot, Princeton и Stanford. Целта беше проста: да се създаде лесен за използване език, който разработчикът на софтуер да може да научи за един ден и да използва за точно описание на начина, по който пакетите преминават през мрежата.

От самото начало P4 е разработван като независим от целта (т.е. програма, написана на P4, може да бъде компилирана без промяна, за да работи на различни цели, като ASIC, FPGA, CPU, NPU и GPU).

Също така езикът е независим от протоколите (т.е. програма P4 може да описва съществуващи стандартни протоколи или да се използва за указване на нови настраиваеми режими на адресиране).

В индустрията P4 се използва за програмиране на устройства. Възможно е в бъдеще Internet-RFC и стандартите IEEE също да включват спецификацията P4.

P4 може да се използва както за програмируеми, така и за устройства с фиксирана функция. Например, той се използва за точно записване на поведението на комутаторния конвейер в API интерфейсите на абстракцията на комутатора (SAI), използвани от операционната система на комутатора с отворен код SONiC. P4 също така се използва в проекта ONF Stratum за описание на поведението на комутация на множество стационарни и програмируеми устройства.

Описание на поведението на комутатора и мрежовите адаптери за първи път позволява създаването на точен изпълним модел на цялата мрежа преди разгръщането. Големи облачни доставчици могат напълно да тестват и отстраняват грешки в мрежата с помощта на софтуер, което значително намалява времето и разходите за тестване на взаимодействия в лабораторно условие, без да е необходимо скъпо оборудване.

Използвайки P4, доставчиците на мрежово оборудване могат да разчитат на общо основно поведение на маршрутизация във всички продукти, което позволява повторно използване на инфраструктурата за тестване, опростява разработката на софтуер за управление и, в крайна сметка, осигурява съвместимост.

Разбира се, P4 може да се използва за написване на програми, описващи напълно нови подходи за маршрутизация. Например, P4 е широко използван за телеметрия и измервания в центрове за данни, корпоративни мрежи и мрежи на доставчици на услуги.

Изследователската общност също е активизирана. Няколко водещи академични изследователски групи в областта на мрежовите технологии публикуваха интересни нови приложения, базирани на програми P4, включително балансировка на натоварването, координирани протоколи и кеширане на стойности по ключ. Създава се нова парадигма на програмиране, иновациите преминават от хардуера към софтуера, позволявайки появата на множество неочаквани, нови и гениални идеи.

Общността от разработчици направи значителен принос в разработването на кода, включително компилатори, конвейерни програми, поведенчески модели, API интерфейси, тестови среди, приложения и много друго. Всеотдайни разработчици има в компании като Alibaba, AT&T, Barefoot, Cisco, Fox Networks, Google, Intel, IXIA, Juniper Networks, Mellanox, Microsoft, Netcope, Netronome, VMware, Xilinx и ZTE; от университети, включително BUPT, Cornell, Harvard, MIT, NCTU, Princeton, Stanford, Technion, Tsinghua, UMass и USI; и проекти с отворен код, включително CORD, FD.io, OpenDaylight, ONOS, OvS, SAI и Stratum, подчертават факта, че P4 е независим обществен проект.

Типичната генерация на контролери за езика P4:

Перспективи за приложение

Тъй като езикът е предназначен за приложения за маршрутизиране, списъкът с изисквания и дизайнерски опции е различен в сравнение с езици за общо предназначение. Основните характеристики на езика са:

1. Независимост от целевата реализация;
2. Независимост от използвания протокол(и);
3. Реконфигурируемост на полетата.

Независимост от целевата реализация

Програмите P4 са разработени така, че да не зависят от реализацията, т.е. те могат да бъдат компилирани за множество различни типове изпълнителни машини, като процесори за общо предназначение, FPGA, системи на чип, мрежови процесори и ASIC. Тези различни типове машини са известни като P4 цели, и за всяка цел е необходим компилатор, който да преобразува изходния код на P4 в модел на целевия комутатор. Компилаторът може да бъде вграден в целевото устройство, външно софтуерно решение или дори облачна услуга. Тъй като много от първоначалните цели за програмите P4 са използвани за проста комутация на пакети, много често може да се чуе термина "комутатор P4", дори ако употребата на "целен на P4" е по-точна.

Независимост от използвания протокол(и)

P4 е независим от протоколите. Това означава, че езикът няма вградена поддръжка за разпространените протоколи, като IP, Ethernet, TCP, VxLAN или MPLS. Вместо това, програмистът на P4 описва формати на заглавия и имена на полета на необходимите протоколи в програмата, които от своя страна се интерпретират и обработват от компилираната програма и целевото устройство.

Реконфигурируемост на полетата

Независимостта от протокола и абстрактната езикова моделировка позволяват реконфигурируемост — целите на P4 трябва да могат да изменят обработката на пакети след разгръщането на системата. Тази възможност традиционно е свързана с маршрутизиране чрез процесори с общо предназначение или мрежови процесори, а не с интегрални схеми с фиксирани функции.

Въпреки че в езика няма нещо, което да пречи на оптимизацията на работата на определен набор от протоколи, тези оптимизации са невидими за автора на езика и в крайна сметка могат да снижят гъвкавостта на системата и целите ѝ и тяхната реконфигурируемост.

Тези характеристики на езика първоначално бяха заложени от неговите създатели с ориентация към широко използване в мрежовата инфраструктура.

Вече сега езикът се използва в много компании:

1) Хипермасшелни центрове за обработка на данни;

Китайската компания Tencent е най-голямата инвестиционна компания в света и една от най-големите венчурни компании. Дъщерни компании на Tencent, както в самия Китай, така и в други държави, се специализират в различни области на високите технологии, включително различни интернет услуги, разработки в областта на изкуствения интелект и електронни развлечения.

P4 и програмирането на маршрутизиране са авангардни технологии, използвани в архитектурата на мрежите на компанията.

Като един от създателите, Google с гордост отбелязва бързото внедряване на P4 в мрежовата индустрия и по-специално в сферата на архитектурното проектиране на ЦОД.

2) Комерсиални компании;

Goldman Sachs, използвайки предимствата на сътрудничеството с общността на отворен код и разработката на общи стандарти и решения, вече внася иновации в мрежовата инфраструктура и предоставя най-добрите решения за клиентите.

3) Производство;

Цялата мрежова индустрия печели от такъв език, като P4, който недвусмислено определя поведението на препратката. Такова мнение споделят и в Cisco, пренасочвайки продуктовите си линии към използване на този език.

Juniper Networks е включила P4 и P4 Runtime в редица продукти и осигурява софтуер достъп до вградения процесор на Juniper и неговия софтуерен код.

Ruijie Networks е активен поддръжник на P4 и предимствата, които тя носи на мрежите. С помощта на P4 компанията може да създава и предоставя решения от най-висок клас за разнообразни клиенти.

4) Телекомункационни доставчици;

AT&T беше един от първите поддръжници на P4, един от първите, които използваха P4 за определяне на поведението, което искат да видят в мрежите, и използващи програмируеми устройства за пренасочване P4 в своята мрежа.

В Deutsche Telekom езикът се използва за създаване на прототипи на основни мрежови функции в рамките на програмата Access 4.0.

5) Полупроводникова индустрия;

Езикът позволи реализирането на нова парадигма за предаване на софтуерни функции в сферата на маршрутизацията на мрежата от компанията Barefoot.

Xilinx беше един от основателите на P4.org и активно участва в разработването на езика P4 и внедряването му в програмируеми платформи на базата на FPGA за оборудване SmartNIC и NFV, пускайки един от първите компилатори P416 като част от дизайна SDNet.

6) Софтуер.

В компанията VMware смятат, че P4 създава огромна енергия, иновации и общност, която води до значителни и необходими преобразования в мрежата. VMware в началото беше част от това индустриално движение, тъй като новата вълна иновации е предизвикана от софтуерни подходи, които разширяват възможностите на инфраструктурата и ги реализират в най-новите си продукти.

Така P4 е език за програмиране, независим от целта и от протокола, който се използва от индустрията и научната общност за точно определяне на поведението на маршрутизацията на пакети като програма, която от своя страна може да бъде компилирана за множество цели. Днес целите включват хардуерни и софтуерни комутатори, хипервизорни комутатори, NPU, графични процесори, FPGA, SmartNIC и ASIC.

Основните характеристики на езика значително разширяват сферите на неговото приложение и осигуряват бърза имплементация в мрежовата архитектура.

От какво да започнем

P4 е отворен проект, цялата актуална информация се намира на сайта P4.org

Връзка към репозиторий https://github.com/p4lang, където можете да получите изходния код на примери и учебни материали.

Плugins за Eclipse с поддръжка на P4, но можем да препоръчаме P4 Studio от компанията Barefoot.

Нека разгледаме основните абстракции на ядрото:

Определяне на заглавията — с тяхна помощ се определят заглавията на протокола.

В определението на заглавията се задават:

• описание на формати на пакети и имена на полета в заглавията
• фиксирани и променливи разрешени полета

Например

заглавие Ethernet_h{
    битdstAddr;
    битsrcAddr;
    битetherType;
}


заглавие IPv4_h{
    битверсия;
    битihl;
    битdiffserv;
    битtotalLen;
    битидентификация;
    битфлагове;
    битfragOffset;
    битttl;
    битпротокол;
    битhdrChecksum;
    битsrcAddr;
    битdstAddr;
    varbitопции;
}


Парсери — тяхната задача е да разберат заглавията.

Следващият пример за парсер ще определи прехода на крайното състояние на машината от едно начално състояние в едно от двете крайни:

парсер MyParser(){
 състояние старт{преход parse_ethernet;}
 състояние parse_ethernet{
    пакет.извличане(hdr.ethernet);
    преход избери(hdr.ethernet.etherType){
        TYPE_IPV4: parse_ipv4;
        по подразбиране: приемай;
        }
    }…
}


Таблици — съдържат състояния на машината, свързващи потребителски ключове с действия. Действия — описание на начина, по който трябва да се манипулира пакета.

Таблиците съдържат състояния (определени на управленско ниво) за пренасочване на пакети, описват единицата на действие Match-Action

Съответствието на пакетите се извършва по:

• Точно съответствие
• Най-дългото съответствие с префикс (LPM)
• Тройно съответствие (маскиране)

table ipv4_lpm{
    чита{
        ipv4.dstAddr: lpm;
    } actions {
        пренасочване();
    }
}

Всички възможни действия трябва да бъдат предварително определени в таблиците.

Действията се състоят от код и данни. Данните идват от управленското ниво (например, IP адреси / номера на портове). Определени, безциклови примитиви могат да бъдат зададени директно в действието, но броят на командите трябва да бъде предсказуем. Следователно действията не могат да съдържат цикли или условни оператори.

действие ipv4_forward(macAddr_t dstAddr, egressSpec_t port){
    standard_metadata.egress_spec = port;
    hdr.ethernet.srcAddr = hdr.ethernet.dstAddr;
    hdr.ethernet.dstAddr = dstAddr;
    hdr.ipv4.ttl = hdr.ipv4.ttl - 1;
}


Модули Match-Action — действия за създаване на ключ за търсене, търсене в таблицата, изпълнение на действия.

Типичен пример за модул е показан на фигурата:

Поток на управление — указва реда на прилагане на модулите Match-Action. Това е императивна програма, която определя логиката на високо ниво и последователността на Match-Action. Потокът на управление свързва всички обекти, задавайки ниво на контрол.

Външни обекти — това са специфични обекти с ясно описана архитектура и интерфейси на API. Например, изчисление на контрольни суми, регистри, броячи и т.н.

външен регистрирай{
    регистрирай(bit размер);
    празен чети(out T резултат, in bit индекс);
    празен пиши(in bit индекс, in T стойност);
}


външен Контролна сума16{
  Контролна сума16();    //конструктор
  празен изчисти();    //подготовка на единицата за изчисление
  празен актуализирай(в T данни);    //добави данни към контролната сума
  празен премахни(в T данни);  //премахни данни от съществуващата контролна сума
  битполучи(); //вземи контролната сума за данните, добавени след последното изчистване
}

Метаданни — структури от данни, свързани с всеки пакет.

Има два вида метаданни:

  Потребителски метаданни (празна структура за всички пакети)
    Можете да поставите тук всичко, което искате
    Достъпно през целия pipeline
    удобно за употреба за вашите цели, например, за съхранение на хеш на пакета

  Вътрешни метаданни — осигурява се от архитектурата
    Входният порт и изходният порт се определят тук
    Времеви етикет, когато пакетът е добавен в опашката, дълбочина на опашката
    мултикаст хеш / мултикаст опашка
    Приоритет на пакета, важност на пакета
    Спецификация на изходния порт (например, изходна опашка)

Компилатор P4

P4 компилатор (P4C) генерира:

1. Времева среда за данни
2. API за управление на състоянието на машината в времевата среда за данни

Пример за програмен суич на езика P4

Изходният код може да се изтегли от репозитория.

p4lang/p4c-bm: създава JSON конфигурация за bmv2
p4lang/bmv2: програмният суич, който разбира JSON конфигурации версия bmv2

На схемата е представена компилацията на проекта:

Манипулации с таблици, регистри за четене, броячи:

• настройки по подразбиране на таблицата <table name> <action name> <action parameters>
• добавяне на таблица <table name> <action name> <match fields> => &lt;действие
  parameters> [priority]
• изтриване на таблица <table name> <entry handle>

В изходния код е включена програмата simple_switch_CLI за удобно използване на API на програмния суич.

Този и други примери можете да изтеглите от репозитория.

P.S. В началото на лятото компания Intel подписа споразумение за придобиване на Barefoot Networks, с цел бързо удовлетворяване на нуждите на потребителите на Hyperscale Cloud. Както заяви Navin Shenoy (изпълнителен вицепрезидент и генерален мениджър на групата за центрове за данни в Intel Corporation) - това ще позволи на Intel да предоставя по-големи работни натоварвания и повече възможности за клиентите на ЦОД.

Лично аз не мисля, че трябва да забравяме, че компания Intel е лидер в производството на FPGA чипове и има отлична среда Quartus. Следователно, можем да очакваме, че с пристигането в Intel, Barefoot не само ще разшири производствената си линия, но и Quartus и P4 Studio очакват сериозни актуализации и разширение с новата серия Toffino и Toffino 2.

Официален участник в общността P4 - компанията Фактор груп.

Източник: habr.com