Пускане на HTTP/TCP балансьор HAProxy 2.0

публикувани освобождаване на балансиращото натоварване HA прокси 2.0, който ви позволява да разпределяте HTTP трафик и произволни TCP заявки между група сървъри, като вземете предвид много фактори (например проверява наличността на сървъри, оценява нивото на натоварване, има противодействие на DDoS) и извършва първично филтриране на данни ( например можете да анализирате HTTP заглавки, да филтрирате предаването на неправилни параметри на заявката, да блокирате SQL и XSS заместване, да свързвате агенти за обработка на съдържание). HAProxy също може Приложи за координиране на взаимодействието на компоненти в системи, базирани на архитектура на микроуслуги. Кодът на проекта е написан на C и предоставени лицензиран под GPLv2. Проектът се използва в много големи сайтове, включително Airbnb, Alibaba, GitHub, Imgur, Instagram, Reddit, StackOverflow, Tumblr, Twitter и Vimeo.

Основни характеристики на изданието:

• Въведен нов API План за данни, което ви позволява да управлявате настройките на HAProxy в движение чрез REST Web API. Включително, можете динамично да добавяте и премахвате бекендове и сървъри, да създавате ACL, да променяте маршрутизирането на заявки, да променяте обвързванията на манипулатора към IP;
• Добавена е директивата nbthread, която ви позволява да конфигурирате броя на нишките, използвани в HAProxy, за да оптимизирате производителността на многоядрени процесори. По подразбиране броят на работните нишки се избира в зависимост от наличните CPU ядра в текущата среда, а в облачните среди по подразбиране е една нишка. За задаване на твърди ограничения са добавени опции за асемблиране MAX_THREADS и MAX_PROCS, ограничаващи горната граница на броя на нишките и процесите;
• Използването на директивата за свързване за свързване на манипулатори към мрежови адреси е опростено. При настройката вече не е необходимо да се определят параметри на процеса - по подразбиране връзките ще бъдат разпределени между нишките в зависимост от броя на активните връзки.
• Настройването на регистрационни файлове при работа в изолирани контейнери е опростено - регистрационният файл вече може да бъде изпратен до stdout и stderr, както и до всеки съществуващ файлов дескриптор (например „log fd@1 local0“);
• Поддръжката за HTX (Native HTTP Representation) е активирана по подразбиране, което позволява балансиране при използване на разширени функции като HTTP/2 от край до край, Layer 7 Retries и gRPC. HTX не замества заглавките на място, но намалява операцията по модификация до премахване и добавяне на нова заглавка в края на списъка, което ви позволява да манипулирате всички разширени варианти на HTTP протокола, като запазвате оригиналната семантика на заглавките и ви позволяват за постигане на по-висока производителност при превод на HTTP/2 в HTTP/1.1 и обратно;
• Добавена е официална поддръжка за режим HTTP/2 от край до край (обработка на всички етапи в HTTP/2, включително извиквания към бекенда, а не само взаимодействие между проксито и клиента);
• Пълна поддръжка за двупосочно прокси на gRPC протокола е внедрена с възможност за анализиране на gRPC потоци, подчертаване на отделни съобщения, отразяване на gRPC трафика в регистрационния файл и филтриране на съобщения чрез ACL. gRPC ви позволява да организирате работата на микроуслуги на различни езици за програмиране, които взаимодействат помежду си с помощта на универсален API. Мрежовата комуникация в gRPC се реализира върху HTTP/2 протокола и се основава на използването на протоколни буфери за сериализиране на данни.
• Добавена е поддръжка за режима „Layer 7 Retries“, който ви позволява да изпращате повтарящи се HTTP заявки в случай на софтуерни повреди, които не са свързани с проблеми при установяване на мрежова връзка (например, ако няма отговор или празен отговор на POST заявка). За да деактивирате режима, флагът „disable-l7-retry“ е добавен към опцията „http-request“ и опцията „retry-on“ е добавена за фина настройка в секциите по подразбиране, слушане и бекенд. Следните знаци са налични за повторно изпращане: all-retryable-errors, none, conn-failure, empty-response, junk-response, response-timeout, 0rtt-rejected, както и обвързване за връщане на кодове за състояние (404 и т.н.) ;
• Въведен е нов мениджър на процеси, който ви позволява да конфигурирате извикването на външни изпълними файлове с манипулатори за HAProxy.
  Например, Data Plan API (/usr/sbin/dataplaneapi), както и различни машини за обработка на потоци за разтоварване, са внедрени под формата на такъв външен манипулатор;

• Добавени са обвързвания за .NET Core, Go, Lua и Python за разработване на SPOE (Stream Processing Offload Engine) и SPOP (Stream Processing Offload Protocol) разширения. Преди това разработката на разширения се поддържаше само в C;
• Добавен външен манипулатор на spoa-mirror (/usr/sbin/spoa-mirror) за отразяване на заявки към отделен сървър (например за копиране на част от производствения трафик за тестване на експериментална среда при реално натоварване);
• Изпратено от HAProxy Kubernetes входен контролер за осигуряване на интеграция с платформата Kubernetes;
• Добавена е вградена поддръжка за експортиране на статистика към системата за мониторинг Прометей;
• Протоколът Peers, използван за обмен на информация с други възли, работещи с HAProxy, е разширен. Включително добавена поддръжка за Heartbeat и криптирано предаване на данни;
• Параметърът „проба“ е добавен към директивата „дневник“, което ви позволява да изхвърлите само част от заявките в журнала, например 1 от 10, за да формирате аналитична извадка;
• Добавен автоматичен режим на профилиране (директива profiling.tasks, която може да приема стойностите auto, on и off). Автоматичното профилиране е активирано, ако средната латентност надвишава 1000 ms. За да видите данните за профилиране, командата „покажи профилиране“ е добавена към API за изпълнение или е възможно да нулирате статистиката в дневника;
• Добавена е поддръжка за достъп до бекенд сървъри с помощта на протокола SOCKS4;
• Добавена е поддръжка от край до край за механизма за бързо отваряне на TCP връзки (TFO - TCP Fast Open, RFC 7413), което ви позволява да намалите броя на стъпките за настройка на връзката, като комбинирате първата в една заявка и втората стъпка на класическият процес на договаряне на връзка в 3 стъпки и дава възможност за изпращане на данни в началния етап на установяване на връзка;
• Добавени нови действия:
  • "http-request replace-uri" за замяна на URL с помощта на регулярен израз;
  • „tcp-request content do-resolve“ и „http-request do-resolve“ за разрешаване на името на хоста;
  • „tcp-request content set-dst“ и „tcp-request content set-dst-port“ за заместване на целевия IP адрес и порт.
• Добавени нови модули за преобразуване:
  • aes_gcm_dev за дешифриране на потоци с помощта на алгоритми AES128-GCM, AES192-GCM и AES256-GCM;
  • protobuf за извличане на полета от съобщения на протоколни буфери;
  • ungrpc за извличане на полета от gRPC съобщения.

  Източник: opennet.ru