![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/5e4fece0f5039f0fb1af5ead9e0e0089.jpg\")
<\/p>\n
<\/a><\/p>\n Het instellen van de front-end voor \u00e9\u00e9n site, hoe groot ook, is eenvoudig. We nemen nginx of haproxy of lighttpd, configureren deze volgens de handleidingen en vergeten het. Als er iets moet worden gewijzigd, doen we een reload en vergeten het opnieuw.<\/p>\n Alles verandert als je grote hoeveelheden verkeer in real-time verwerkt, de legitimiteit van aanvragen beoordeelt, gebruikersinhoud comprimeert en cachet, en tegelijkertijd parameters meerdere keren per seconde wijzigt. De gebruiker wil de resultaten op alle externe nodes zien zodra hij de instellingen in zijn persoonlijke omgeving heeft gewijzigd. Bovendien kan de gebruiker via de API duizenden (en soms tienduizenden) domeinen met specifieke verkeersbehandelingsparameters uploaden. Dit moet ook onmiddellijk functioneren in Amerika, Europa en Azi\u00eb \u2014 een niet triviale taak, gezien het feit dat in Moskou alleen al verschillende fysiek gespreide filternodes bestaan.<\/p>\n Serviceconfiguraties moeten zo snel mogelijk (bij voorkeur onmiddellijk) worden uitgerold naar alle frontnodes. Je kunt niet gewoon tekstconfiguraties aanpassen en demon opnieuw opstarten bij elke wijziging - zelfs nginx houdt aflopende processen (worker shutting down) nog een paar minuten vast (en soms zelfs uren als daar lange websocket-sessies zijn).<\/p>\n Bij het herstarten van de configuratie van nginx is de volgende situatie heel normaal:<\/p>\n Over geheugengebruik:<\/p>\n Oude workers gebruiken geheugen, ook dat wat niet lineair afhankelijk is van het aantal verbindingen - dit is normaal. Wanneer de klantverbindingen sluiten, komt dit geheugen weer vrij.<\/p>\n Waarom was dit geen probleem toen nginx net begon? Er was geen HTTP\/2, geen WebSocket, en geen massale lange keep-alive verbindingen. 70% van ons webverkeer is HTTP\/2, wat zeer langdurige verbindingen met zich meebrengt.<\/p>\n De oplossing is eenvoudig - gebruik geen nginx, beheer de fronten niet op basis van tekstbestanden, en stuur zeker geen gecomprimeerde tekstconfiguraties over transpacifische kanalen. De kanalen zijn natuurlijk gegarandeerd en gereserveerd, maar dat maakt ze niet minder transcontinentaal.<\/p>\n Wij hebben een eigen frontserver-balancer, waarvan ik in de volgende artikelen meer zal vertellen. Het belangrijkste is dat hij in staat is om duizenden configuratiewijzigingen per seconde on-the-fly toe te passen, zonder herstarts, herlaadacties, een plotselinge toename van het geheugengebruik en dat soort dingen. Dit lijkt veel op Hot Code Reload, bijvoorbeeld in Erlang. Gegevens worden opgeslagen in een geografisch gedistribueerde key-value database en worden onmiddellijk door de uitvoeringsmechanismen van de fronten gelezen. Dat wil zeggen, je hebt een SSL-certificaat via de webinterface of API in Moskou ge\u00fcpload, en binnen enkele seconden is het al klaar voor gebruik in ons schoonmaakcentrum in Los Angeles. Mocht er ooit een wereldoorlog uitbreken en het internet wereldwijd verdwijnen, dan blijven onze nodes autonoom functioneren en lossen ze split-brain op zodra een van de speciale verbindingen Los Angeles-Amsterdam-Moskou, Moskou-Amsterdam-Hongkong-Los Angeles of minstens een van de reserve overlay GRE-kanalen beschikbaar is.<\/p>\n Ditzelfde mechanisme stelt ons in staat om certificaten van Let\u2019s Encrypt onmiddellijk uit te geven en te verlengen. Let's Encrypt certificaten.<\/a> Zodra we een enkele HTTPS-verzoek voor het domein van onze klant zonder certificaat (of met een verlopen certificaat) zien, meldt de externe node die het verzoek heeft ontvangen dit aan het interne certificeringscentrum.<\/p>\n In de volgende artikelen van de cyclus zal ik vertellen over andere kenmerken van real-time verwerking van groot webverkeer, zoals het analyseren van RTT op onvolledige gegevens om de kwaliteit van de dienstverlening voor transitklanten te verbeteren, en over de bescherming van transitverkeer tegen terabits-aanvallen, het leveren en aggregeren van informatie over verkeer, over WAF, bijna onbeperkte CDN en een groot aantal optimalisatiemechanismen voor de contentlevering.<\/p>\n Waarover zou je in de eerste plaats meer willen weten?<\/p>\n Alleen geregistreerde gebruikers kunnen deelnemen aan de enqu\u00eate. Log in<\/a>, alstublieft.<\/p>\nWaarom veel grote betrouwbare nodes over de hele wereld?<\/h3>\n
\n
Hoe te beheren?<\/h3>\n
![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/6a1ffc01ad9bac1e51d46c3130ea2a37.jpg\")
<\/p>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/d356134b0866b8c92a3d5f7a3a8df208.jpg\")
<\/p>\n\n
![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/20830ee7c4ea57ec1d0833f0bc25412d.jpg\")
<\/li>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/1c8b295065f27c1b69c810ff74ce4018.jpg\")
<\/li>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/e4fc349089fbf7cbe7824ea539865daf.jpg\")
<\/li>\nWaar zou je eerst meer over willen weten?<\/h2>\n