Програмен език P4

P4 е език за програмиране, предназначен за програмиране на правила за маршрутизиране на пакети. В отличие от езиците за общо предназначение, като C или Python, P4 е предметно ориентиран език с множество конструкции, оптимизирани за мрежово маршрутизиране.

P4 е език с отворен код, лицензирано и поддържано от неправителствена организация, наречена P4 Language Consortium. Той също така се поддържа от Open Networking Foundation (ONF) и Linux Foundation (LF) — две от най-големите мрежови организации в проектите с отворен код.
Езикът е създаден първоначално през 2013 година и е описан през 2014 г. в документа SIGCOMM CCR под заглавие „Независимо от протоколите, програмиране на процесора за маршрутизиране на пакети“.

От създаването си P4 експоненциално расте и се развива, бързо ставайки стандарт за описание на предаването на пакети от мрежови устройства, включително мрежови адаптери, комутатори и маршрутизатори.

„SDN преобрази мрежовата индустрия, а P4 издига SDN на ново ниво, осигурявайки програмируемост в областта на маршрутирането“, каза Гуру Парулкар, изпълнителен директор на Open Networking Foundation.

Езикът P4 е създаден първоначално от група инженери и изследователи от Google, Intel, Microsoft Research, Barefoot, Принстън и Станфорд. Целта беше проста: да се създаде лесен за употреба език, който разработчикът на софтуер да може да научи за един ден и да използва за точно описание на начина, по който пакетите се предават в мрежата.

От самото си начало P4 е разработен като независим от целта (т.е. програма, написана на P4, може да бъде компилирана без промени за изпълнение на различни цели, като ASIC, FPGA, CPU, NPU и GPU).

Също така езикът е независим от протоколите (т.е. програма P4 може да описва съществуващи стандартни протоколи или да се използва за специфициране на нови конфигурируеми режими на адресиране).

В индустрията P4 се използва за програмиране на устройства. Възможно е в бъдеще Internet-RFC и стандартите IEEE също да включват спецификацията P4.

P4 може да се използва както за програмирани, така и за устройства с фиксирана функция. Например, той се използва за точно записване на поведението на конвейера на суичера в API интерфейсите на абстракцията на суичера (SAI), които се използват от операционната система на суичера с отворен код SONiC. P4 също се използва в проекта ONF Stratum за описание на поведението на комутация чрез множество стационарни и програмирани устройства.

Описание на поведението на суичера и мрежовите адаптери за пръв път позволява създаването на точен изпълним модел на цялата мрежа преди разгръщането. Големи облачни доставчици могат напълно да тестват и отстраняват грешки в мрежата с помощта на софтуер, което значително намалява времето и разходите за тестване на взаимодействия в лабораторни условия, без да е необходимо скъпо оборудване.

Използвайки P4, доставчиците на мрежово оборудване могат да разчитат на общо основно поведение на маршрутизиране във всички продукти, което позволява повторна употреба на тестовата инфраструктура, опростява разработката на софтуер за управление и в крайна сметка гарантира съвместимост.

Разбира се, P4 може да се използва за писане на програми, описващи съвсем нови начини на маршрутизиране. Например, P4 се използва широко за телеметрия и измервания в центрове за данни, мрежи на предприятия и доставчици на услуги.

Изследователската общност също се активизира. Няколко водещи академични изследователски групи в областта на мрежовите технологии публикуваха интересни нови приложения на базата на програми P4, включително балансировка на натоварването, синхронизирани протоколи и кеширане на стойността на ключа. Създава се нова парадигма на програмиране, иновациите преминават от хардуера към софтуера, което позволява появата на множество неочаквани, нови и гениални идеи.

Обществото на разработчиците внесе значителен принос в разработката на кода, включително компилатори, конвейерни програми, поведенчески модели, API интерфейси, тестови среди, приложения и много друго. Посветени разработчици се намират в компании като Alibaba, AT&T, Barefoot, Cisco, Fox Networks, Google, Intel, IXIA, Juniper Networks, Mellanox, Microsoft, Netcope, Netronome, VMware, Xilinx и ZTE; от университети, включително BUPT, Cornell, Harvard, MIT, NCTU, Princeton, Stanford, Technion, Tsinghua, UMass и USI; и проекти с отворен код, включително CORD, FD.io, OpenDaylight, ONOS, OvS, SAI и Stratum, подчертават факта, че P4 е независим обществен проект.

Типична генерация на контролери за езика P4:

Перспективи за приложение

Тъй като езикът е предназначен за приложения за маршрутизиране, списъкът с изисквания и опции за дизайн се различава в сравнение с езици за програмиране с общо предназначение. Основни характеристики на езика включват:

1. Независимост от целевата реализация;
2. Независимост от използвания протокол(и);
3. Реконфигурируемост на полетата.

Независимост от целевата реализация

Програмите P4 са проектирани така, че да не зависят от реализацията, т.е. те могат да бъдат компилирани за множество различни типове изпълнителни машини, като процесори с общо предназначение, FPGA, системи на чип, мрежови процесори и ASIC. Тези различни типове машини са известни като цели на P4, и за всяка цел е необходим компилатор, за да преобразува изходния код на P4 в модел на целевия комутатор. Компилаторът може да бъде внедрен в целевото устройство, външно софтуерно решение или дори облачен сервис. Тъй като много от първоначалните цели за програми P4 са били използвани за проста комутация на пакети, много често може да се чуе термина „P4 комутатор“, дори и употребата на „цел P4“ да е по-точна.

Независимост от използвания протокол(и)

P4 е независим от протоколите. Това означава, че езикът няма вградена поддръжка за разпространени протоколи, като IP, Ethernet, TCP, VxLAN или MPLS. Вместо това програмистът на P4 описва форматите на заглавията и имената на полетата на изискваните протоколи в програмата, които от своя страна се интерпретират и обработват от компилираната програма и целевото устройство.

Реконфигурируемост на полетата

Независимостта от протокола и моделата на абстрактния език позволяват реконфигурируемост — целите на P4 трябва да могат да променят обработката на пакети след внедряването на системата. Тази възможност традиционно се свързва с маршрутизацията чрез процесори с общо предназначение или мрежови процесори, а не с интегрални схеми с фиксирани функции.

Въпреки че в езика няма нищо, което да пречи на оптимизацията на определен набор от протоколи, тези оптимизации са невидими за автора на езика и в крайна сметка могат да намалят гъвкавостта на системата и целите и тяхната реконфигурируемост.

Тези характеристики на езика първоначално са заложени от неговите създатели с ориентация към широко използване в мрежовата инфраструктура.

Вече сега езикът се използва в много компании:

1) Хипермасштабни центрове за данни;

Китайската компания Tencent е най-голямата инвестиционна компания в света и една от най-големите рискови компании. Дъщерните компании на Tencent, както в самия Китай, така и в други страни, се специализират в различни области на високи технологии, включително различни интернет услуги, разработки в областта на изкуствения интелект и електронни развлечения.

P4 и програмираната маршрутизация са авангардни технологии, които се използват в архитектурата на мрежата на компанията.

Като един от създателите, Google с гордост отбелязва бързото внедряване на P4 в мрежовата индустрия и в частност в сферата на архитектурното проектиране на центрове за данни.

2) Комерсиални компании;

Goldman Sachs, използвайки предимствата на работата с общността с открит код и разработването на общи стандарти и решения, вече внася иновации в мрежовата инфраструктура и предоставя най-добрите решения за клиентите.

3) Производство;

Цялата мрежова индустрия ще спечели от такъв език като P4, който недвусмислено определя поведението на пренасочване. Такова мнение споделят и в Cisco, пренасяйки своите продуктовите линии към използването на този език.

Juniper Networks включи P4 и P4 Runtime в редица продукти и осигурява софтуерен достъп до вграденото ядро на Juniper и неговия програмен код.

Ruijie Networks е активен поддръжник на P4 и предимствата, които тя носи на мрежите. С помощта на P4 компанията може да създава и предлага решения с клас, които са най-добри в своята област за широк спектър от клиенти.

4) Телекомуникационни доставчици;

AT&T беше един от първите поддръжници на P4, един от първите, който използва P4 за определяне на поведението, което искаше да види в мрежите, и използва устройства за програмирана препратка P4 в своята мрежа.

В Deutsche Telekom езикът се използва за протotyping ключови мрежови функции в рамките на програмата Access 4.0.

5) Полупроводниковата индустрия;

Езикът позволи реализирането на нова парадигма за предаване на софтуерни функционалности в плоскостта на маршрутизацията на мрежата от компанията Barefoot.

Xilinx беше един от основателите на P4.org и активно участва в разработването на езика P4 и внедри го в програмирани платформи, базирани на FPGA за оборудването SmartNIC и NFV, пускайки един от първите компилатори P416 като част от дизайна SDNet.

6) Софтуер.

В компанията VMware смятат, че P4 създава огромна енергия, иновации и общност, която води до значими и необходими преобразования в мрежата. VMware първоначално беше част от това индустриално движение, тъй като новата вълна иновации е предизвикана от софтуерни подходи, които разширяват възможностите на инфраструктурата и ги реализират в най-новите продукти.

Така че, P4 е език за програмиране, независим от цел и протокол, който се използва от индустрията и научната общност за недвусмислено определяне на поведението на маршрутизация на пакети като програма, която може да бъде компилирана за няколко цели. Днес целите включват хардуерни и софтуерни комутатори, хипервизорни комутатори, NPU, графични процесори, FPGA, SmartNIC и ASIC.

Основните черти на езика значително разширяват сферите на приложение и осигуряват бърза имплементация в архитектурите на мрежите.

С какво да започнете

P4 е открит проект, цялата актуална информация се намира на сайта P4.org

Линк към репозитория https://github.com/p4lang, където можете да получите изходните кодове на примери и обучителни материали.

Плъгин за Eclipse с поддръжка на P4, но можем да препоръчаме P4 Studio от компанията Barefoot.

Нека разгледаме основните абстракции на ядрото:

Определение заглавия — с тяхна помощ се определят заглавията на протокола.

В определението на заглавията се задават:

• описания на формати на пакети и имена на полета на заглавия
• фиксирани и променливи разрешени полета

Например

заглавие Ethernet_h{
    битdstAddr;
    битsrcAddr;
    битetherType;
}


заглавие IPv4_h{
    битверсия;
    битihl;
    битdiffserv;
    битtotalLen;
    битидентификация;
    битфлагове;
    битfragOffset;
    битttl;
    битпротокол;
    битhdrChecksum;
    битsrcAddr;
    битdstAddr;
    varbitопции;
}


Парсери — тяхната задача е да анализират заглавията.

Следният пример на парсер ще определи прехода на крайното състояние на машината от едно начално състояние към едно от двете крайни:

парсер MyParser(){
 состояние  начало{переход parse_ethernet;}
 состояние  parse_ethernet{
    пакет.extract(hdr.ethernet);
    переход select(hdr.ethernet.etherType){
        TYPE_IPV4: parse_ipv4;
        по умолчанию: принять;
        }
    }…
}


Таблици — съдържат състояния на машината, свързващи потребителски ключове с действия. Действия — описание на начина, по който следва да се манипулира с пакета.

Таблиците съдържат състояния (определено на управленско ниво) за пренос на пакети, описват единицата на действие Match-Action.

Сравняването на пакети се осъществява по:

• Точно съвпадение
• Най-дългото съвпадение с префикс (LPM)
• Тройно съвпадение (маскиране)

table ipv4_lpm{
    чете{
        ipv4.dstAddr: lpm;
    } actions {
        предава();
    }
}

Всички възможни действия трябва да бъдат предварително определени в таблиците.

Действията се състоят от код и данни. Данните идват от управленското ниво (например, IP адреси / номера на портове). Определени, безциклови примитиви могат да бъдат зададени директно в действието, но броят на командите трябва да бъде предсказуем. Затова действията не могат да съдържат цикли или условни оператори.

action ipv4_forward(macAddr_t dstAddr, egressSpec_t port){
    standard_metadata.egress_spec = port;
    hdr.ethernet.srcAddr = hdr.ethernet.dstAddr;
    hdr.ethernet.dstAddr = dstAddr;
    hdr.ipv4.ttl = hdr.ipv4.ttl - 1;
}


Модули Match-Action — действия за създаване на ключ за търсене, търсене в таблицата, изпълнение на действия.

Типичен пример на модул е показан на изображението:

Поток на управление — указва реда на приложение на модулите Match-Action. Това е императивна програма, която определя логика на високо ниво и последователност на Match-Action. Потокът на управление свързва всички обекти, задавайки ниво на управление.

Външни обекти — това са специфични обекти с ясно определена архитектура и интерфейси на API. Например, изчисляване на контролни суми, регистри, броячи и т.н.

външен регистрирай{
    регистрирай(bit размер);
    void чети(изход T резултат, във bit индекс);
    void пиши(във bit индекс, във T стойност);
}


външен Контролна сума16{
  Контролна сума16();    //конструктор
  void изчисти();    //подготвя модула за изчисление
  void обнови(in T данни);    //добавя данни към контролната сума
  void премахни(in T данни);  //премахва данни от съществуващата контролна сума
  битвземи(); //вземи контролната сума за данните, добавени след последното изчистване
}

Метаданни — структури от данни, свързани с всеки пакет.

Съществуват 2 вида метаданни:

  Потребителски метаданни (празна структура за всички пакети)
    Можете да поставите тук всичко, което искате
    Достъпно на целия участък на приходите
    удобно за използване за ваши цели, например за съхранение на хеш на пакета

  Вътрешни метаданни — осигурени от архитектурата
    Входният порт, изходният порт се определят тук
    Времеви етикет, когато пакетът е бил поставен в опашка, дълбочина на опашката
    мултикаст хеш / мултикаст опашка
    Приоритет на пакета, важност на пакета
    Спецификация на изходния порт (например, опашка за изход)

Компилатор P4

P4 компилатор (P4C) генерира:

1. Изпълнение на данни
2. API за управление на състоянието на машината в изходната плоскост

Пример на програмния комутатор на езика P4

Изходните кодове могат да се изтеглят от репозитория.

p4lang/p4c-bm: създава JSON конфигурация за bmv2
p4lang/bmv2: програмният комутатор, който разбира JSON конфигурации от версия bmv2

На изображението е показана схемата на компилиране на проекта:

Манипулации с таблици, регистри за четене, броячи:

• набор_таблици_по_по_DEFAULT <table name> <action name> <action parameters>
• добавяне на таблица <table name> <action name> <match fields> => &lt;действие
  параметри> [приоритет]
• изтриване на таблица <table name> <entry handle>

В изходните кодове е предоставена програмата simple_switch_CLI за удобно използване на API на програмния комутатор.

Този и други примери можете да изтеглите от репозитория.

P.S. В началото на лятото компанията Intel подписа споразумение за придобиване на Barefoot Networks, с цел бързо удовлетворяване на нуждите на потребителите в Hyperscale Cloud. Както заяви Navin Shenoy (изпълнителен вицепрезидент и генерален мениджър на Групата за центрове за данни в Intel Corporation) — това ще позволи на Intel да предоставя по-големи работни натоварвания и повече възможности за клиентите на ЦОД.

На лично мнение смятам, че не бива да се забравя, че компанията Intel е лидер в производството на FPGA чипове и разполага с отлична среда Quartus. Значи, можем да очакваме, че с идването на Barefoot в Intel, компанията не само ще разшири производствената си гама, но и Quartus, и P4 Studio очакват сериозни обновления и разширяване с линията Toffino и Toffino 2.

Официален участник в общността P4 — компания Фактор груп.

Източник: habr.com