Cloudflare est passé de NGINX à son propre proxy Pingora, écrit en langage Rust

La société Cloudflare a annoncé le passage de son réseau de livraison de contenu à l'utilisation du proxy Pingora, développé en Rust. Ce nouveau proxy remplace la configuration basée sur NGINX avec des scripts Lua, et traite plus d'un trillion de requêtes par jour. Il est à noter que la transition vers un proxy spécialisé a non seulement permis de réaliser de nouvelles fonctionnalités et d'augmenter la sécurité grâce à une gestion sécurisée de la mémoire, mais a également conduit à une amélioration significative des performances et à des économies de ressources - la solution basée sur Pingora nécessite 70 % de ressources CPU en moins et 67 % de mémoire en moins lors du traitement du même volume de trafic.

Pendant longtemps, le système de proxy pour le trafic entre les utilisateurs et les destinataires serveurs très chargés basé sur NGINX et des scripts Lua a satisfait les besoins de Cloudflare, mais avec la croissance du réseau et l'augmentation de sa complexité, la solution universelle s'est révélée insuffisante tant en termes de performance qu'en raison de limitations en matière d'évolutivité et de mise en œuvre de nouvelles fonctionnalités pour les clients. En particulier, des difficultés sont apparues pour ajouter des fonctionnalités dépassant le simple rôle de passerelle et d'équilibreur de charge. Par exemple, il est devenu nécessaire, en cas d'échec de traitement de la requête, serveur de rediriger la requête vers un autre serveur en lui fournissant un autre ensemble d'en-têtes HTTP.

Au lieu d'une architecture divisant les requêtes entre différents processus de traitement (worker), Pingora utilise un modèle multithread qui, dans les scénarios d'utilisation de Cloudflare (haute concentration de trafic provenant de différents sites avec un important décalage statistique), a montré une distribution des ressources plus efficace entre les cœurs CPU. En particulier, l'affectation de requêtes déséquilibrées aux processus dans nginx entraînait une charge déséquilibrée sur les cœurs CPU, ce qui ralentissait le traitement d'autres requêtes en raison de requêtes gourmandes en ressources et d'entrées/sorties bloquantes. De plus, l'affectation de pools de connexions aux processus de traitement empêchait la réutilisation des connexions déjà établies par d'autres processus de traitement, ce qui diminuaient l'efficacité du travail avec un grand nombre de processus de traitement.

NGINX :

Pingora :

L'implémentation de Pingora a permis de réduire de 160 fois le nombre d'opérations d'établissement de nouvelles connexions et d'augmenter la part des requêtes réutilisées de 87,1 % à 99,92 %. En plus de réduire les connexions répétées et d'utiliser plus efficacement les cœurs CPU, l'amélioration des performances du nouveau proxy a principalement été favorisée par l'élimination des gestionnaires lents en Lua utilisés avec nginx.

Le langage Rust a été choisi pour sa capacité à offrir de hautes performances tout en fournissant des outils pour assurer une gestion sécurisée de la mémoire. Il est mentionné que malgré le haut niveau de compétence des ingénieurs de Cloudflare et la révision du code écrit en C, il n’a pas été possible d'éviter les erreurs entraînant des problèmes de mémoire (par exemple, une vulnérabilité dans le parseur HTML). En ce qui concerne le nouveau code, des cas d'échec dans Pingora ont été rapportés comme étant causés non par des problèmes dans l'application, mais par une erreur dans le noyau Linux et des pannes matérielles.

On peut également noter le commentaire de Linus Torvalds sur l'inclusion du support du langage Rust dans le noyau Linux, exprimé lors de la conférence Open-Source Summit Europe. Dans le noyau 6.0, les patchs pour le développement de pilotes en Rust n'ont pas été inclus, mais selon Linus, ils devraient probablement être acceptés dans le noyau 6.1, car il ne souhaite pas retarder l'intégration. Comme motivation pour ajouter le support de Rust, en plus de l'impact positif sur la sécurité, Linus mentionne également la possibilité d'accroître l'intérêt pour le travail sur le noyau de nouveaux participants, ce qui est pertinent dans le contexte du vieillissement des vétérans.

Source : opennet.ru