Език за програмиране P4

P4 е език за програмиране, предназначен да програмира правила за маршрутизиране на пакети. За разлика от език с общо предназначение като C или Python, P4 е специфичен за домейн език с редица дизайни, оптимизирани за мрежово маршрутизиране.

P4 е език с отворен код, лицензиран и поддържан от организация с нестопанска цел, наречена P4 Language Consortium. Също така се поддържа от Open Networking Foundation (ONF) и Linux Foundation (LF), две от най-големите организации-чадъри за мрежови проекти с отворен код.
Езикът първоначално е създаден през 2013 г. и е описан в документ на SIGCOMM CCR от 2014 г., озаглавен „Програмиране на процесора за маршрутизиране на пакети, независимо от протокола“.

От създаването си P4 нарасна и се разви експоненциално, бързо се превърна в стандарт за описание на предаването на пакети от мрежови устройства, включително мрежови адаптери, комутатори и рутери.

„SDN трансформира мрежовата индустрия и P4 извежда SDN на следващото ниво, като внася програмируемост в маршрутизирането“, каза Гуру Парулкар, изпълнителен директор на Open Networking Foundation.

Езикът P4 първоначално е създаден от група инженери и изследователи от Google, Intel, Microsoft Research, Barefoot, Princeton и Stanford. Целта беше проста: създаване на лесен за използване език, който разработчикът на софтуер може да научи за един ден и да го използва, за да опише точно как се изпращат пакетите в мрежите.

От самото начало P4 е проектиран да бъде независим от цели (т.е. програма, написана на P4, може да бъде компилирана непроменена, за да работи на различни цели като ASIC, FPGA, CPU, NPU и GPU).

Езикът също е независим от протокола (т.е. P4 програма може да опише съществуващи стандартни протоколи или да се използва за указване на нови персонализирани режими на адресиране).

В индустрията P4 се използва за програмиране на устройства. Може би в бъдеще стандартите Internet-RFC и IEEE ще включват и спецификацията P4.

P4 може да се използва както за програмируеми, така и за устройства с фиксирана функция. Например, той се използва за точно записване на поведението на конвейера на превключвателя в API на интерфейса за абстракция на превключвателя (SAI), използван от OS с отворен код SONiC превключвател. P4 се използва и в проекта ONF Stratum, за да опише поведението на превключване между различни фиксирани и програмируеми устройства.

За първи път описанието на поведението на комутатора и мрежовите адаптери ви позволява да създадете точен изпълним модел на цялата мрежа преди внедряването. Големите облачни доставчици могат да тестват и отстраняват грешки в мрежата изцяло с помощта на софтуер, което значително намалява времето и разходите за тестване на оперативната съвместимост в лабораторията, без да изисква скъп хардуер.

Чрез използването на P4 доставчиците на мрежово оборудване могат да очакват общо поведение при маршрутизиране във всички продукти, което позволява повторно използване на тестова инфраструктура, опростяване на разработването на софтуер за управление и в крайна сметка осигуряване на оперативна съвместимост.

Разбира се, P4 може да се използва за писане на програми, които описват напълно нови начини за маршрутизиране. Например P4 се използва широко за телеметрия и измервания в центрове за данни, корпоративни мрежи и мрежи на доставчици на услуги.

Изследователската общност също се засили. Няколко водещи изследователски групи за академични мрежи публикуваха вълнуващи нови приложения, базирани на P4 програми, включително балансиране на натоварването, консенсусни протоколи и кеширане на ключови стойности. Създава се нова програмна парадигма, иновациите преминават от хардуер към софтуер, което позволява да се появят много неочаквани, нови и гениални идеи.

Общността на разработчиците има значителен принос в разработването на код, включително компилатори, конвейери, поведенчески модели, API, тестови рамки, приложения и др. Компании като Alibaba, AT&T, Barefoot, Cisco, Fox Networks, Google, Intel, IXIA, Juniper Networks, Mellanox, Microsoft, Netcope, Netronome, VMware, Xilinx и ZTE имат специализирани разработчици; от университети, включително BUPT, Cornell, Harvard, MIT, NCTU, Princeton, Stanford, Technion, Tsinghua, UMass и USI; и проекти с отворен код, включително CORD, FD.io, OpenDaylight, ONOS, OvS, SAI и Stratum, подчертават факта, че P4 е независим проект на общността.

Типично поколение контролери за езика P4:

Перспективи за приложение

Тъй като езикът е предназначен за приложения за маршрутизиране, списъкът с изисквания и опции за дизайн е различен в сравнение с езиците за програмиране с общо предназначение. Основните характеристики на езика са:

1. Независимост от изпълнението на целта;
2. Независимост на използвания протокол(и);
3. Реконфигурируемост на полето.

Независимост от изпълнението на целта

Програмите P4 са проектирани да бъдат независими от внедряването, което означава, че могат да бъдат компилирани за много различни типове изпълнителни машини, като процесори с общо предназначение, FPGA, SoC, мрежови процесори и ASIC. Тези различни типове машини са известни като P4 цели и всяка цел изисква компилатор, който да преобразува изходния код на P4 в модел на целеви комутатор. Компилаторът може да бъде вграден в целевото устройство, външен софтуер или дори облачна услуга. Тъй като много от първоначалните цели за P4 програмите бяха за просто комутиране на пакети, много често се чува терминът "P4 switch", въпреки че "P4 target" е по-точен.

Независимост на използвания протокол(и).

P4 е независим от протокола. Това означава, че езикът няма естествена поддръжка за общи протоколи като IP, Ethernet, TCP, VxLAN или MPLS. Вместо това програмистът P4 описва форматите на заглавките и имената на полетата на необходимите протоколи в програмата, които от своя страна се интерпретират и обработват от компилираната програма и целевото устройство.

Реконфигурируемост на полето

Независимостта на протокола и моделът на абстрактния език позволяват реконфигурируемост - P4 целите трябва да могат да променят обработката на пакети, след като системата бъде разгърната. Тази възможност традиционно се свързва с маршрутизиране чрез процесори с общо предназначение или мрежови процесори, а не чрез интегрални схеми с фиксирана функция.

Въпреки че няма нищо в езика, което би попречило на оптимизирането на производителността на конкретен набор от протоколи, тези оптимизации са невидими за автора на езика и в крайна сметка могат да намалят гъвкавостта на системата и целите и тяхната възможност за преконфигуриране.

Тези характеристики на езика първоначално са били заложени от създателите му с акцент върху широкото му използване в мрежовата инфраструктура.

Езикът вече се използва в много компании:

1) Хипермащабни центрове за данни;

Китайската компания Tencent е най-голямата инвестиционна компания в света и една от най-големите компании за рисков капитал. Дъщерните компании на Tencent, както в Китай, така и в други страни по света, са специализирани в различни области на високотехнологичния бизнес, включително различни интернет услуги, разработки в областта на изкуствения интелект и електронните забавления.

P4 и програмируемото маршрутизиране са усъвършенствани технологии, които се използват в мрежовата архитектура на компанията.

Като един от създателите, Google с гордост отбелязва бързото приемане на P4 в мрежовата индустрия и по-специално в архитектурния дизайн на центрове за данни.

2) Търговски дружества;

Goldman Sachs се възползва от работата с общността с отворен код и разработването на общи стандарти и решения за иновация на мрежовата инфраструктура и предоставяне на по-добри решения за клиентите.

3) Производство;

Цялата мрежова индустрия ще се възползва от език като P4, който уникално дефинира поведението при пренасочване. Cisco също вярва в прехвърлянето на своите продуктови линии, за да използват този език.

Juniper Networks включи P4 и P4 Runtime в редица продукти и предоставя програмен достъп до вградения процесор Juniper и неговия софтуерен код.

Ruijie Networks е силен поддръжник на P4 и ползите, които носи за мрежите. С P4 компанията може да създава и доставя най-добрите в класа си решения на широк кръг клиенти.

4) Телекомуникационни доставчици;

AT&T беше ранен приемник на P4, един от първите, които използваха P4, за да определят поведението, което искаха да видят в своите мрежи, и да използват P4 програмируеми пренасочващи устройства в своята мрежа.

В Deutsche Telekom езикът се използва за прототип на ключови мрежови функции като част от програмата Access 4.0.

5) Полупроводникова индустрия;

Езикът позволи на Barefoot да приложи нова парадигма за предоставяне на софтуерни възможности в равнината на мрежово маршрутизиране.

Xilinx беше един от основателите на P4.org и участва активно в разработването на езика P4 и го внедри в базирани на FPGA програмируеми платформи за хардуер SmartNIC и NFV, пускайки един от първите компилатори P416 като част от дизайна на SDNet.

6) Софтуер.

VMware вярва, че P4 създава огромна енергия, иновации и общност, които водят до значима и необходима трансформация в мрежата. VMware е част от това индустриално движение от самото начало, тъй като нова вълна от иновации се задвижва от базирани на софтуер подходи, които разширяват инфраструктурните възможности и ги внедряват в най-новите продукти.

По този начин P4 е независим от целта и протокола език за програмиране, който се използва от индустрията и академичните среди за еднозначно дефиниране на поведението при маршрутизиране на пакети като програма, която от своя страна може да бъде компилирана за множество цели. Днес целите включват хардуерни и софтуерни комутатори, хипервайзорни комутатори, NPU, GPU, FPGA, SmartNIC и ASIC.

Основните характеристики на езика значително разширяват обхвата на неговото приложение и осигуряват бързото му внедряване в мрежови архитектури.

Първи стъпки

P4 е отворен проект, цялата необходима информация е на уебсайта P4.org

Връзка към хранилище https://github.com/p4lang, където можете да получите примерен изходен код и уроци.

плъгин за Eclipse с поддръжка на P4, но можем да препоръчаме P4 Studio от Босите.

Нека да разгледаме основните абстракции на ядрото:

Дефиниране на заглавки — с тяхна помощ се определят заглавките на протокола.

Дефиницията на заглавката уточнява:

• описание на форматите на пакетите и имената на полетата в заглавката
• разрешени фиксирани и променливи полета

Например

header Ethernet_h{
    bit<48>  dstAddr;
    bit<48>  srcAddr;
    bit<16>  etherType;
}


header IPv4_h{
    bit<4>  version;
    bit<4>  ihl;
    bit<8>  diffserv;
    bit<16>  totalLen;
    bit<16>  identification;
    bit<3>  flags;
    bit<13>  fragOffset;
    bit<8>  ttl;
    bit<8>  protocol;
    bit<16>  hdrChecksum;
    bit<32>  srcAddr;
    bit<32>  dstAddr;
    varbit<320>  options;
}


Парсери — тяхната задача е да анализират заглавията.

Следният пример за анализатор ще определи прехода на крайното състояние на машината от едно първоначално състояние към едно от двете крайни състояния:

parser MyParser(){
 state  start{transition parse_ethernet;}
 state  parse_ethernet{
    packet.extract(hdr.ethernet);
    transition select(hdr.ethernet.etherType){
        TYPE_IPV4: parse_ipv4;
        default: accept;
        }
    }…
}


маси — съдържа състояния на машината, свързващи потребителски ключове с действия. Дейност — описание на това как трябва да се манипулира опаковката.

Таблиците съдържат състояния (дефинирани на ниво управление) за препращане на пакети, описват единицата Match-Action

Пакетите се съпоставят по:

• Точно съвпадение
• Най-дълго съвпадение на префикса (LPM)
• Тройно съвпадение (маскиране)

table ipv4_lpm{
    reads{
        ipv4.dstAddr: lpm;
    } actions {
        forward();
    }
}

Всички възможни действия трябва да бъдат дефинирани предварително в таблици.

Действията се състоят от код и данни. Данните идват от нивото на управление (напр. IP адреси/номера на портове). Някои примитиви без цикли могат да бъдат зададени директно в действието, но броят на инструкциите трябва да бъде предвидим. Следователно действията не могат да съдържат никакви цикли или условни изрази.

action ipv4_forward(macAddr_t dstAddr, egressSpec_t port){
    standard_metadata.egress_spec = port;
    hdr.ethernet.srcAddr = hdr.ethernet.dstAddr;
    hdr.ethernet.dstAddr = dstAddr;
    hdr.ipv4.ttl = hdr.ipv4.ttl - 1;
}


Модули Match-Action — действия за създаване на ключ за търсене, търсене в таблица, извършване на действия.

Типичен пример за модул е ​​показан на фигурата:

Контролен поток — показва реда, в който се използват модулите Match-Action. Това е императивна програма, която дефинира логиката на високо ниво и последователността на съвпадение-действие. Контролният поток свързва всички обекти, като определя нивото на контрол.

Външни обекти са специфични обекти с ясно дефинирана архитектура и API интерфейси. Например изчисляване на контролна сума, регистри, броячи, броячи и т.н.

extern register{
    register(bit<32> size);
    void read(out T result, in bit<32> index);
    void write(in bit<32> index, in T value);
}


extern Checksum16{
  Checksum16();    //constructor
  void clear();    //prepare unit for computation
  void update(in T data);    //add data to checksum
  void remove(in T data);  /remove data from existing checksum
  bit<16> get(); //get the checksum for the data added since last clear
}

Метаданни — структури от данни, свързани с всеки пакет.

Има 2 вида метаданни:

  Персонализирани метаданни (празна структура за всички пакети)
    Можете да поставите каквото искате тук
    Предлага се в целия тръбопровод
    удобен за използване за ваши собствени цели, например за съхраняване на хеш пакет

  Вътрешни метаданни – предоставени от архитектурата
    Входен порт, изходен порт са определени тук
    Времево клеймо, когато пакетът е поставен на опашка, дълбочина на опашката
    мултикаст хеш / мултикаст опашка
    Приоритет на пакета, важност на пакета
    Спецификация на изходния порт (напр. изходна опашка)

P4 компилатор

Компилаторът P4 (P4C) генерира:

1. Време за изпълнение на равнина на данни
2. API за управление на състоянието на машината в равнината на данни

Пример за софтуерен превключвател на език P4

Изходните кодове могат да бъдат изтеглени от хранилището.

p4lang/p4c-bm: създава JSON конфигурация за bmv2
p4lang/bmv2: софтуерен превключвател, който разбира JSON конфигурации на bmv2 версия

Фигурата показва диаграмата за компилиране на проекта:

Манипулации с таблици, регистри за четене, броячи:

• table_set_default <table name> <action name> <action parameters>
• table_add <table name> <action name> <match fields> => <action
  parameters> [priority]
• table_delete <table name> <entry handle>

Изходният код съдържа програмата simple_switch_CLI за удобно използване на API за софтуерен превключвател.

Можете да изтеглите този и други примери от хранилището.

PS В началото на това лято Intel подписа споразумение за придобиване на Barefoot Networks в опит да отговори бързо на нуждите на потребителите на Hyperscale Cloud. Както каза Navin Shenoy (изпълнителен вицепрезидент и генерален мениджър на Data Center Group в Intel Corporation), това ще позволи на Intel да осигури по-големи натоварвания и повече възможности за клиентите на центрове за данни.

Според мен лично не бива да забравяме, че Intel е лидер в производството на FPGA чипове и има отлична среда Quartus. Това означава, че можем да очакваме, че с пристигането на Intel, Barefoot не само ще разшири своята продуктова линия, но и Quartus и P4 Studio ще получат сериозни актуализации и допълнения към линията Toffino и Toffino 2.

Официален член на общността P4 - компания Факторна група.

Източник: www.habr.com