Издание на HTTP/TCP-балансировщика HAProxy 2.0

Публикувано релиз на балансировчика на натоварване HAProxy 2.0, позволяващ разпределение на HTTP трафик и произволни TCP заявки между група сървъри, като взема предвид множество фактори (например, проверява наличността на сървъри, оценява натоварването, предлага средства за защита срещу DDoS атаки) и извършва първична филтрация на данни (например, може да анализира HTTP заглавия, да филтрира предаване на некоректни параметри на заявката, да блокира SQL инжекции и XSS, да свързва агенти за обработка на съдържанието). HAProxy също може да се използва за координиране на взаимодействието на компонентите в системи, базирани на архитектура на микросервизи. Кодът на проекта е написан на C и се предоставя е под лицензия GPLv2. Проектът се използва на много големи сайтове, включително Airbnb, Alibaba, GitHub, Imgur, Instagram, Reddit, StackOverflow, Tumblr, Twitter и Vimeo.

Ключови характеристики на версията:

• Представен е нов API Data Plan, позволяващ на лета управление на настройките на HAProxy чрез REST Web API. Включително е възможно динамично добавяне и премахване на бекенди и сървъри, създаване на ACL, промяна на маршрутизацията на заявките, промяна на свързването на обработващите IP;
• Добавена е директива nbthread, позволяваща настройка на броя на потоковете, използвани в HAProxy за оптимизация на работата на многоядрени CPU. По подразбиране броят на работните потоци се избира в зависимост от наличните ядра CPU в текущата среда, а в облачни среди по подразбиране се задава един поток. За задаване на строги лимити са добавени опции за компилиране MAX_THREADS и MAX_PROCS, които ограничават горната граница за броя на потоковете и процесите;
• Оптимизирано е използването на директивата bind за свързване на обработчици към мрежови адреси. При настройката вече не е задължително определянето на параметри на процеса — по подразбиране връзките ще се разпределят между потоковете в зависимост от броя на активните връзки.
• Оптимизирано е настройването на логовете при стартиране в изолирани контейнери — логовете сега могат да бъдат насочени към stdout и stderr, както и към всеки съществуващ файлов дескриптор (например, "log fd@1 local0");
• По подразбиране е включена поддръжка на HTX (Native HTTP Representation), което осигурява балансировка при използване на разширени възможности като end-to-end HTTP/2, Layer 7 Retries и gRPC. HTX не заменя заглавията на място, а свежда операцията на модификация до премахване и добавяне на ново заглавие в края на списъка, което позволява манипулиране с всякакви разширени варианти на протокола HTTP, запазвайки първоначалната семантика на заглавията и позволявайки постигане на по-висока производителност при транслация на HTTP/2 в HTTP/1.1 и обратно;
• Добавена е официална поддръжка на режима End-to-End HTTP/2 (обработка на всички етапи в HTTP/2, включително запитвания към бекенд, а не само взаимодействие на прокси с клиента);
• Реализирана е пълна поддръжка на двупосочно проксиране на протокола gRPC с възможност за разбиране на потоците gRPC, отделяйки индивидуални съобщения, отразявайки трафика на gRPC в логовете и филтрирайки съобщения с помощта на ACL. gRPC позволява организиране на работа на микросервизи на различни езици за програмиране, които взаимодействат помежду си чрез универсален API. Мрежовото взаимодействие в gRPC е реализирано над протокола HTTP/2 и се основава на използването на Protocol Buffers за сериализация на данните.
• Добавена е поддръжка на режима "Layer 7 Retries", позволяваща изпращане на повторни HTTP-запитвания в случай на софтуерни сривове, несвързани с проблеми при установяването на мрежова връзка (например, при липса на отговор или празен отговор на POST-запитване). За деактивиране на режима в опцията "http-request" е добавен флаг "disable-l7-retry", а за фина настройка в секции defaults, listen и backend е добавена опция "retry-on". На разположение са следните признаци за повторно изпращане: all-retryable-errors, none, conn-failure, empty-response, junk-response, response-timeout, 0rtt-rejected, както и привързване към връщаните кодове на състояние (404 и др.);
• Реализиран е нов мениджър на процеси (Process Manager), позволяващ настройка на извикване на външни изпълними файлове с обработчици за HAProxy.
  Например, в ролята на такъв външен обработчик е реализиран API Data Plan ( /usr/sbin/dataplaneapi), както и различни механизми за Offload-обработка на потоците;
• Добавени са биндинги за разработка на разширения за SPOE (Stream Processing Offload Engine) и SPOP (Stream Processing Offload Protocol) за .NET Core, Go, Lua и Python. По-рано поддръжката на разработка на разширения беше само на C;
• Добавен е външен обработчик spoa-mirror (\/usr\/sbin\/spoa-mirror) за зеркалене на заявки към отделен сървър (например за копиране на част от работния трафик за тестване на експериментална среда с реално натоварване);
• Представен HAProxy Kubernetes Ingress контролер за осигуряване на интеграция с платформата Kubernetes;
• Добавена е вградена поддръжка за експортиране на статистика в мониторингова система Prometheus;
• Разширен е протоколът Peers Protocol, използван за обмен на информация с други възли с HAProxy. Включително е добавена поддръжка за Heartbeat и криптиране на данни;
• В директивата „log“ е добавен параметърът „sample“, позволяващ записване в лог само на част от заявките, например 1 от 10, за формиране на аналитична извадка;
• Добавен е режим на автоматично профилиране (директива profiling.tasks, която може да приема стойности auto, on и off). Автоматичното профилиране се активира, ако средната стойност на забавянето надвиши 1000 мс. За преглед на данните за профилиране в Runtime API е добавена команда „show profiling“ или възможност за нулиране на статистиката в лог;
• Добавена е поддръжка за достъп до бекенд сървъри с използване на протокол SOCKS4;
• Добавена е крайна (end-to-end, по време на обработката на заявката, обхващаща бекенда) поддръжка на механизма за бързо отваряне на TCP съединения (TFO — TCP Fast Open, RFC 7413), който позволява намаляване на стъпките за установяване на връзка чрез комбиниране на първите и вторите стъпки от класическия 3-степенен процес по установяване на връзка и позволява изпращане на данни на ранния етап от установяването на връзката;
• Добавени са нови действия:
  • „http-request replace-uri“ за замяна на URL с използване на регулярни изрази;
  • „tcp-request content do-resolve“ и „http-request do-resolve“ за резолвиране на името на хоста;
  • „tcp-request content set-dst“ и „tcp-request content set-dst-port“ за замяна на целевия IP адрес и порт.
• Добавени са нови модули за конвертиране:
  • aes_gcm_dev за декриптиране на потоци с използване на алгоритми AES128-GCM, AES192-GCM и AES256-GCM;
  • protobuf за извличане на полета от съобщения Protocol Buffers;
  • ungrpc за извличане на полета от съобщения gRPC.

  Източник: opennet.ru