![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/5e4fece0f5039f0fb1af5ead9e0e0089.jpg\")
<\/p>\n
<\/a><\/p>\n Configurer un frontal pour un seul site, m\u00eame tr\u00e8s grand, c\u2019est simple. Nous prenons nginx ou haproxy ou lighttpd, nous le configurons selon les guides et nous oublions. Si nous devons changer quelque chose, nous faisons un reload et nous oublions encore.<\/p>\n Tout change lorsque vous traitez en temps r\u00e9el de gros volumes de trafic, \u00e9valuez la l\u00e9gitimit\u00e9 des requ\u00eates, compressez et mettez en cache le contenu utilisateur, tout en modifiant les param\u00e8tres plusieurs fois par seconde. L'utilisateur veut voir le r\u00e9sultat sur tous les n\u0153uds externes imm\u00e9diatement apr\u00e8s avoir modifi\u00e9 les param\u00e8tres dans son espace personnel. De plus, l'utilisateur peut t\u00e9l\u00e9charger via l'API plusieurs milliers (parfois m\u00eame des dizaines de milliers) de domaines avec des param\u00e8tres de traitement du trafic individuels. Tout cela doit \u00e9galement fonctionner imm\u00e9diatement en Am\u00e9rique, en Europe et en Asie \u2014 une t\u00e2che pas si triviale, sachant que rien qu'\u00e0 Moscou, il y a plusieurs n\u0153uds de filtrage physiques dispers\u00e9s.<\/p>\n Les configurations des services doivent \u00eatre diffus\u00e9es le plus rapidement possible (de pr\u00e9f\u00e9rence instantan\u00e9ment) sur tous les n\u0153uds frontaux. Il n'est pas acceptable de simplement modifier les fichiers de configuration texte et de red\u00e9marrer les d\u00e9mons \u00e0 chaque changement \u2014 le m\u00eame nginx maintient des processus en cours (worker shutting down) pendant encore quelques minutes (voire quelques heures si des sessions websocket longues sont en cours).<\/p>\n Lors du red\u00e9marrage de la configuration, il est tout \u00e0 fait normal d'observer le tableau suivant :<\/p>\n Concernant l'utilisation de la m\u00e9moire :<\/p>\n Les anciens travailleurs consomment de la m\u00e9moire, y compris celle qui n'est pas lin\u00e9airement d\u00e9pendante du nombre de connexions, ce qui est normal. Lorsque les connexions des clients seront ferm\u00e9es, cette m\u00e9moire sera lib\u00e9r\u00e9e.<\/p>\n Pourquoi cela n'\u00e9tait-il pas un probl\u00e8me lorsque nginx a commenc\u00e9 \u00e0 se d\u00e9velopper ? Il n'y avait ni HTTP\/2, ni WebSocket, ni connexions keep-alive longues massivement utilis\u00e9es. 70 % de notre trafic web utilise HTTP\/2, ce qui repr\u00e9sente des connexions tr\u00e8s longues.<\/p>\n La solution est simple : ne pas utiliser nginx, ne pas g\u00e9rer les fronts sur la base de fichiers texte, et surtout, ne pas envoyer des configurations texte compress\u00e9es par les canaux transpacifiques. Les canaux, bien s\u00fbr, sont garantis et r\u00e9serv\u00e9s, mais cela ne les rend pas moins transcontinentaux.<\/p>\n Nous avons notre propre serveur frontal-balanceur, dont je parlerai dans les prochains articles. La principale capacit\u00e9 est qu'il peut appliquer des milliers de modifications de configuration par seconde en temps r\u00e9el, sans red\u00e9marrages, rechargements, ni pics de consommation de m\u00e9moire, et tout \u00e7a. C'est tr\u00e8s similaire au Hot Code Reload, par exemple en Erlang. Les donn\u00e9es sont stock\u00e9es dans une base de donn\u00e9es cl\u00e9-valeur g\u00e9odistribu\u00e9e et sont lues imm\u00e9diatement par les m\u00e9canismes d'ex\u00e9cution en frontal. C'est-\u00e0-dire que vous avez charg\u00e9 le certificat SSL via l'interface web ou l'API \u00e0 Moscou, et en quelques secondes, il est d\u00e9j\u00e0 pr\u00eat \u00e0 fonctionner dans notre centre de purification \u00e0 Los Angeles. Si jamais une guerre mondiale se produisait et que l'internet disparaissait dans le monde entier, nos n\u0153uds continueraient \u00e0 fonctionner de mani\u00e8re autonome et r\u00e9pareraient le split-brain d\u00e8s qu'un des canaux d\u00e9di\u00e9s Los Angeles-Amsterdam-Moscou, Moscou-Amsterdam-Hong Kong-Los Angeles ou au moins l'un des GRE de secours serait disponible.<\/p>\n Ce m\u00eame m\u00e9canisme nous permet de publier et de prolonger instantan\u00e9ment certificats Let's Encrypt.<\/a> Tr\u00e8s sch\u00e9matiquement, cela fonctionne comme suit :<\/p>\n En ce moment m\u00eame, nous rotatif en temps r\u00e9el 350 000 certificats de mani\u00e8re totalement transparente pour les utilisateurs.<\/p>\n Dans les prochains articles de la s\u00e9rie, je parlerai d'autres caract\u00e9ristiques du traitement en temps r\u00e9el d'un important trafic web - par exemple, de l'analyse du RTT avec des donn\u00e9es incompl\u00e8tes pour am\u00e9liorer la qualit\u00e9 de service des clients de transit, et en g\u00e9n\u00e9ral de la protection du trafic de transit contre les attaques de plusieurs t\u00e9rabits, de la livraison et de l'agr\u00e9gation des informations sur le trafic, du WAF, d'un CDN presque illimit\u00e9 et de nombreux m\u00e9canismes d'optimisation de la restitution du contenu.<\/p>\n Seuls les utilisateurs enregistr\u00e9s peuvent participer au sondage. Connectez-vous<\/a>, s'il vous pla\u00eet.<\/p>\nPourquoi avoir beaucoup de n\u0153uds fiables et importants \u00e0 travers le monde ?<\/h3>\n
\n
Comment g\u00e9rer tout cela ?<\/h3>\n
![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/6a1ffc01ad9bac1e51d46c3130ea2a37.jpg\")
<\/p>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/d356134b0866b8c92a3d5f7a3a8df208.jpg\")
<\/p>\n\n
![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/20830ee7c4ea57ec1d0833f0bc25412d.jpg\")
<\/li>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/1c8b295065f27c1b69c810ff74ce4018.jpg\")
<\/li>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/e4fc349089fbf7cbe7824ea539865daf.jpg\")
<\/li>\nSur quoi aimeriez-vous en savoir plus en premier ?<\/h2>\n