Издаване на мрежовия стек F-Stack 1.13, изпълняван в пространството на потребителя

След една година и половина разработка се състоя пуск на проекта F-Stack 1.13, който развива работещ в пространството на потребителите високопроизводителен мрежови стек, основан на фреймворка DPDK и TCP/IP стека на FreeBSD (F-Stack не е зависим от FreeBSD и разглежда Linux като основна платформа за приложение). Проектът се използва в различни продукти и услуги Tencent, най-голямата телекомуникационна компания в Китай. Кодът се разпространява е с лиценз BSD. Поддържа работа в Linux и FreeBSD.

F-Stack предоставя възможност за организиране на мрежовото взаимодействие в приложения, като вместо мрежовия стек на операционната система използва собствен мрежови стек, функциониращ в пространството на потребителите и работещ директно с мрежовото оборудване. Предоставят се специализирани версии на Nginx и Redis, адаптирани за използване с F-Stack.

За разработка на приложения поддържа се съществува както стандартен Posix API (Socket, Epoll, Kqueue), улесняващ прехвърлянето на съществуващи приложения на F-Stack, така и собствен интерфейс за програмиране, базиран на сътрудничества (микропотокове), който опростява създаването на мрежови приложения и позволява избягването на сложна логика за асинхронна обработка на заявки. F-Stack също така предоставя средства за улесняване на приложение в приложения с многопроцесна архитектура.

За взаимодействие с мрежовата карта, заобикаляйки интерфейсите на ядрото на операционната система, се използва фреймворкът DPDK (Data Plane Development Kit), предоставящ набор от библиотеки за нискоуровнева работа с мрежови адаптери, взаимодействие в многоядрени системи, активиране на пръстенови буфери и големи страници памет („huge page“). Използването на DPDK позволява приемане и изпращане на мрежови пакети с минимален брой цикли на CPU (около 80 цикъла на пакет) и разработване на високопроизводителни компоненти на мрежовия стек. Функционалността на TCP/IP стека е заимствана от FreeBSD 11.1 и е отделена в независима от операционната система библиотека.

F-Stack се позиционира като решение, което може да се прилага за повишаване на производителността на обработчиците на мрежови заявки в условия, при които стандартният TCP/IP стек на ядрото на Linux става тясно място и ограничава мащабируемостта. В същото време, използването на F-Stack осигурява достатъчна оптимизация и позволява в някои ситуации да се увеличи числото на обработваните малки заявки многократно.

Увеличението на производителността се постига чрез изключване на операции като копиране на мрежови пакети, планиране на потоци, обработка на прекъсвания и прилагане на системни повици. F-Stack позволява да се достигне тавана на мрежовата производителност, възможен за използваната мрежова карта. Например, решения на база F-Stack демонстрираха възможността за обработка на 10 милиона паралелни връзки, 5 милиона заявки в секунда и 1 милион връзки в секунда.

В новото издание:

• Добавена е поддръжка на VLAN;
• Осигурена е възможност за работа в изолирани контейнери на база Docker;
• Реализирани са интерфейси ff_dup, ff_dup2, ff_ioctl_freebsd, ff_getsockopt_freebsd и ff_setsockopt_freebsd;
• Добавен е параметърът "idle_sleep" за намаляване на натоварването на CPU в случаи на липса на входящи пакети.
• Добавена е поддръжка за компилиране за архитектурата ARM64;
• В преведената на F-Stack версия на Nginx са заменени обработчиците getpeername, getsockname и shutdown;
• Осъществен е преход към новата версия DPDK 17.11.4 LTS;
• В състава е добавен инструментът traffic за показване на текущия трафик, обработван от приложенията на база F-Stack (напомня trafshow).

От плановете за бъдеще се отбелязва поддръжка на IPv6, предоставяне на API за езици Python, PHP и Go, поддръжка на API Cyptodev (Intel QAT), използване на zerocopy при изпращане на пакети, поддръжка SPDK и възможност за стартиране под формата на фонов процес.

Източник: opennet.ru