{"id":39302,"date":"2019-10-31T22:29:40","date_gmt":"2019-10-31T19:29:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh\/"},"modified":"2019-10-31T22:29:40","modified_gmt":"2019-10-31T19:29:40","slug":"kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","title":{"rendered":"Comment AWS \u00ab pr\u00e9pare \u00bb ses services \u00e9lastiques. Mise \u00e0 l'\u00e9chelle des serveurs et des bases de donn\u00e9es","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Les clouds sont semblables \u00e0 une bo\u00eete magique \u2014 vous demandez ce dont vous avez besoin, et les ressources apparaissent comme par magie. Les machines virtuelles, les bases de donn\u00e9es, le r\u00e9seau \u2014 tout cela vous appartient. Il existe d'autres locataires dans le cloud, mais dans votre univers, vous \u00eates le souverain unique. Vous \u00eates s\u00fbr d'obtenir toujours les ressources n\u00e9cessaires, sans avoir \u00e0 vous soucier des autres, et vous d\u00e9cidez vous-m\u00eame comment sera le r\u00e9seau. Comment cette magie fonctionne-t-elle, permettant au cloud d'allouer des ressources de mani\u00e8re \u00e9lastique et d'isoler compl\u00e8tement les locataires les uns des autres ?<\/p>\n

\"Comment
\n
\nLe cloud AWS est un syst\u00e8me m\u00e9ga-super-complexe qui \u00e9volue depuis 2006. Une partie de cette \u00e9volution a \u00e9t\u00e9 v\u00e9cue Vassili Pantioukhine<\/strong> \u2014 architecte des Amazon Web Services. En tant qu'architecte, il voit non seulement le r\u00e9sultat final, mais aussi les d\u00e9fis que surmonte AWS. Plus vous comprenez le fonctionnement du syst\u00e8me, plus vous avez confiance. C'est pourquoi Vassili partagera les secrets des services cloud d'AWS. Sous ce lien, d\u00e9couvrez l'architecture des serveurs physiques d'AWS, l'\u00e9lasticit\u00e9 des bases de donn\u00e9es, la base de donn\u00e9es personnalis\u00e9e d'Amazon et les m\u00e9thodes d'augmentation de la performance des machines virtuelles tout en r\u00e9duisant leurs co\u00fbts. Conna\u00eetre les approches architecturales d'Amazon vous aidera \u00e0 mieux utiliser les services d'AWS et peut-\u00eatre vous donnera de nouvelles id\u00e9es pour construire vos propres solutions.
\n<\/a><\/noindex>
\n\u00c0 propos du conf\u00e9rencier : Vassili Pantioukhine (Hen<\/a><\/noindex>) a commenc\u00e9 comme admin Unix dans des entreprises .ru, a travaill\u00e9 pendant 6 ans sur de gros mat\u00e9riels Sun Microsystem, et a pr\u00each\u00e9 pendant 11 ans la centralit\u00e9 des donn\u00e9es chez EMC. Il a naturellement \u00e9volu\u00e9 vers les clouds priv\u00e9s et, en 2017, il a fait le saut vers les clouds publics. Actuellement, il offre des conseils techniques pour vivre et prosp\u00e9rer dans le cloud AWS.<\/p>\n

Avertissement : tout ce qui suit est l'opinion personnelle de Vassili et peut ne pas refl\u00e9ter la position d'Amazon Web Services. L'enregistrement vid\u00e9o<\/a><\/noindex> de la pr\u00e9sentation sur laquelle cet article est bas\u00e9 est disponible sur notre cha\u00eene YouTube.<\/i><\/p>\n

Pourquoi je parle de l'architecture d'Amazon<\/h2>\n

\nMa premi\u00e8re voiture avait une 'manuelle' \u2014 avec une bo\u00eete de vitesses m\u00e9canique. C'\u00e9tait g\u00e9nial car cela me donnait un sentiment de pouvoir sur la voiture et de contr\u00f4le total. J'aimais aussi le fait que je comprenais au moins en gros son fonctionnement. Naturellement, je visualisais le fonctionnement de la bo\u00eete de vitesses de mani\u00e8re assez primitive \u2014 un peu comme une bo\u00eete de vitesses de bicyclette.<\/p>\n

\"Comment
\n
\nTout \u00e9tait merveilleux, sauf un d\u00e9tail : le temps pass\u00e9 dans les embouteillages. On a beau \u00eatre assis sans rien faire, on doit constamment changer de vitesses, actionner l'embrayage, acc\u00e9l\u00e9rer, freiner \u2014 c'est vraiment fatigant. Le probl\u00e8me des bouchons a \u00e9t\u00e9 en partie r\u00e9solu lorsque nous avons acquis une voiture automatique. Au volant, j'ai eu le temps de r\u00e9fl\u00e9chir \u00e0 certaines choses et d'\u00e9couter des livres audio.<\/p>\n

Une \u00e9nigme est \u00e9galement apparue dans ma vie, car je ne comprends plus du tout comment fonctionne ma voiture. Une voiture moderne est un dispositif complexe. Elle s'adapte simultan\u00e9ment \u00e0 des dizaines de param\u00e8tres diff\u00e9rents : pression sur l'acc\u00e9l\u00e9rateur, freinage, style de conduite, qualit\u00e9 de la route. Je ne comprends plus comment tout cela fonctionne.<\/p>\n

Lorsque j'ai commenc\u00e9 \u00e0 travailler avec le cloud Amazon, cela \u00e9tait aussi un myst\u00e8re pour moi. Mais cette \u00e9nigme est d'un niveau sup\u00e9rieur, car dans une voiture, il n'y a qu'un seul conducteur, tandis que dans AWS, il y en a des millions. Tous les utilisateurs conduisent, acc\u00e9l\u00e8rent et freinent en m\u00eame temps. C'est incroyable de constater qu'ils arrivent \u00e0 se diriger l\u00e0 o\u00f9 ils veulent \u2014 pour moi, c'est un miracle ! Le syst\u00e8me s'adapte automatiquement, se redimensionne et se configure de mani\u00e8re \u00e9lastique pour chaque utilisateur, au point qu'il semble \u00eatre le seul dans cet univers.<\/p>\n

La magie s'est un peu dissip\u00e9e lorsque je suis devenu architecte chez Amazon. J'ai vu les probl\u00e8mes auxquels nous faisons face, comment nous les r\u00e9solvons, comment nous d\u00e9veloppons les services. Avec une compr\u00e9hension accrue du fonctionnement du syst\u00e8me, la confiance dans le service grandit. C'est pourquoi je souhaite partager un aper\u00e7u de ce qui se trouve sous le capot du cloud AWS.<\/p>\n

De quoi allons-nous parler<\/h2>\n

\nJ'ai choisi une approche diversifi\u00e9e \u2014 j'ai s\u00e9lectionn\u00e9 4 services int\u00e9ressants dont il vaut la peine de parler.<\/p>\n

Optimisation des serveurs<\/strong>. Des clouds \u00e9ph\u00e9m\u00e8res avec une manifestation physique : des centres de donn\u00e9es physiques, o\u00f9 se trouvent des serveurs physiques qui ronronnent, chauffent et clignotent.<\/p>\n

Fonctions serverless <\/strong>(Lambda) \u2014 sans doute le service le plus scalable du cloud.<\/p>\n

Mise \u00e0 l'\u00e9chelle de la base de donn\u00e9es<\/strong>. Je vais parler de la mani\u00e8re dont nous construisons nos propres bases de donn\u00e9es \u00e9volutives.<\/p>\n

Mise \u00e0 l'\u00e9chelle du r\u00e9seau<\/strong>. La derni\u00e8re partie, o\u00f9 je d\u00e9voilerai l'architecture de notre r\u00e9seau. C'est une chose merveilleuse \u2014 chaque utilisateur du cloud se sent comme s'il \u00e9tait le seul sur le cloud et ne voit absolument pas les autres locataires.<\/p>\n

Remarque. Cet article traite de l'optimisation des serveurs et de l'\u00e9volutivit\u00e9 des bases de donn\u00e9es. L'\u00e9volutivit\u00e9 du r\u00e9seau sera abord\u00e9e dans l'article suivant. O\u00f9 sont donc les fonctions serverless ? Une explication s\u00e9par\u00e9e a \u00e9t\u00e9 publi\u00e9e \u00e0 ce sujet.Petit mais puissant. Unboxing de la microvirtualisation Firecracker.<\/a><\/noindex>Elle d\u00e9crit plusieurs m\u00e9thodes diff\u00e9rentes d'\u00e9volutivit\u00e9 et examine en d\u00e9tail la solution Firecracker \u2014 une combinaison des meilleures caract\u00e9ristiques des machines virtuelles et des conteneurs.<\/i><\/p><\/blockquote>\n

<\/p>\n

Serveurs<\/h2>\n

\nLe cloud est \u00e9ph\u00e9m\u00e8re. Mais cette \u00e9ph\u00e9m\u00e9rit\u00e9 a tout de m\u00eame une incarnation physique \u2014 des serveurs. Au d\u00e9part, leur architecture \u00e9tait classique. Un jeu de puces x86 standard, des cartes r\u00e9seau, Linux, un hyperviseur Xen qui faisait fonctionner les machines virtuelles.<\/p>\n

\"Comment
\n
\nEn 2012, cette architecture r\u00e9pondait parfaitement \u00e0 ses t\u00e2ches. Xen est un excellent hyperviseur, mais avec un s\u00e9rieux inconv\u00e9nient. Il a des frais g\u00e9n\u00e9raux \u00e9lev\u00e9s pour l'\u00e9mulation des appareils.<\/strong>Avec l'apparition de nouvelles cartes r\u00e9seau plus rapides ou de disques SSD, ces frais deviennent trop \u00e9lev\u00e9s. Comment faire face \u00e0 ce probl\u00e8me ? Nous avons d\u00e9cid\u00e9 d'op\u00e9rer sur deux fronts \u2014 optimiser \u00e0 la fois le mat\u00e9riel et l'hyperviseur.<\/strong>La t\u00e2che est tr\u00e8s s\u00e9rieuse.<\/p>\n

Optimisation du mat\u00e9riel et de l'hyperviseur.<\/h3>\n

\nIl n'est pas possible de tout faire bien en m\u00eame temps. Qu'est-ce que \"bien\", cela a \u00e9galement \u00e9t\u00e9 au d\u00e9part peu clair.<\/p>\n

Nous avons d\u00e9cid\u00e9 d'adopter une approche \u00e9volutive \u2014 modifier un \u00e9l\u00e9ment important de l'architecture et le d\u00e9ployer en production.<\/p><\/blockquote>\n

Nous tr\u00e9buchons sur des obstacles, \u00e9coutons les plaintes et les suggestions. Puis nous modifions un autre composant. Ainsi, par petites \u00e9tapes, nous changeons radicalement toute l'architecture sur la base des retours des utilisateurs et du support.<\/p>\n

Les transformations ont commenc\u00e9 en 2013 avec le plus complexe \u2014 le r\u00e9seau. Dans les instances C3, une carte Network Accelerator sp\u00e9ciale a \u00e9t\u00e9 ajout\u00e9e \u00e0 la carte r\u00e9seau standard. Elle \u00e9tait connect\u00e9e simplement par un court c\u00e2ble loopback \u00e0 l'avant du ch\u00e2ssis. Pas tr\u00e8s esth\u00e9tique, mais cela ne se voit pas dans le cloud. En revanche, l'interaction directe avec le mat\u00e9riel a consid\u00e9rablement am\u00e9lior\u00e9 le jitter et la bande passante du r\u00e9seau.<\/strong> Ensuite, nous avons d\u00e9cid\u00e9 d'am\u00e9liorer l'acc\u00e8s au stockage de blocs EBS \u2014 Elastic Block Storage. C'est une combinaison de r\u00e9seau et de stockage. La difficult\u00e9 r\u00e9side dans le fait que, alors que des cartes Network Accelerator existaient sur le march\u00e9, il n'\u00e9tait tout simplement pas possible d'acheter du mat\u00e9riel de Storage Accelerator. Nous avons donc contact\u00e9 la startup<\/p>\n

Annapurna Labs. Annapurna Labs<\/strong>, qui a d\u00e9velopp\u00e9 pour nous des puces ASIC sp\u00e9ciales. Elles ont permis de connecter des volumes EBS distants comme des dispositifs NVMe.<\/p>\n

Dans les instances C4<\/strong> , nous avons r\u00e9solu deux probl\u00e8mes. Le premier - nous avons r\u00e9alis\u00e9 une avanc\u00e9e vers une technologie NVMe prometteuse mais nouvelle \u00e0 l'\u00e9poque. Le second - nous avons consid\u00e9rablement d\u00e9charg\u00e9 le processeur central en d\u00e9pla\u00e7ant le traitement des requ\u00eates EBS vers une nouvelle carte. Cela a bien fonctionn\u00e9, c'est pourquoi Annapurna Labs fait d\u00e9sormais partie d'Amazon.<\/p>\n

D'ici novembre 2017, nous avons compris qu'il \u00e9tait temps de changer l'hyperviseur lui-m\u00eame.<\/p>\n

Le nouvel hyperviseur a \u00e9t\u00e9 d\u00e9velopp\u00e9 sur la base de modules du noyau KVM retravaill\u00e9s.<\/p><\/blockquote>\n

Il a permis de r\u00e9duire consid\u00e9rablement les frais g\u00e9n\u00e9raux d'\u00e9mulation des dispositifs et de travailler directement avec les nouvelles ASIC. Les instances C5<\/strong> \u00e9taient les premi\u00e8res machines virtuelles sous le capot desquelles fonctionnait le nouvel hyperviseur. Nous l'avons nomm\u00e9 Nitro<\/strong>.<\/p>\n

\"Comment\u00c9volution des instances sur la ligne du temps.<\/em><\/p>\n

Tous les nouveaux types de machines virtuelles apparus depuis novembre 2017 fonctionnent sur cet hyperviseur. Les instances Bare Metal n'ont pas d'hyperviseur<\/strong>, mais elles sont \u00e9galement appel\u00e9es Nitro, car elles utilisent des cartes Nitro sp\u00e9cialis\u00e9es.<\/p>\n

Au cours des deux ann\u00e9es suivantes, le nombre de types d'instances Nitro a d\u00e9pass\u00e9 une paire de dizaines : A1, C5, M5, T3 et d'autres.<\/p>\n

\"Comment
\nTypes d'instances.<\/em><\/p>\n

Comment fonctionnent les machines Nitro modernes<\/h3>\n

\nElles ont trois composants principaux : l'hyperviseur Nitro (mentionn\u00e9 pr\u00e9c\u00e9demment), une puce de s\u00e9curit\u00e9 et les cartes Nitro.<\/p>\n

La puce de s\u00e9curit\u00e9<\/strong> est int\u00e9gr\u00e9e directement sur la carte m\u00e8re. Elle contr\u00f4le de nombreuses fonctions importantes, comme le contr\u00f4le du d\u00e9marrage du syst\u00e8me d'exploitation h\u00f4te.<\/p>\n

Les cartes Nitro<\/strong> sont au nombre de quatre types. Elles ont toutes \u00e9t\u00e9 d\u00e9velopp\u00e9es par Annapurna Labs et sont bas\u00e9es sur des ASIC communs. Une partie de leur firmware est \u00e9galement commune.<\/p>\n

\"Comment
\nQuatre types de cartes Nitro.<\/em><\/p>\n

Une des cartes est destin\u00e9e \u00e0 fonctionner avec le r\u00e9seau<\/strong>VPC<\/strong>. C'est celle-ci qui est visible dans les machines virtuelles comme carte r\u00e9seau ENA - Elastic Network Adaptor<\/strong>. Elle encapsule \u00e9galement le trafic lors de son transfert \u00e0 travers le r\u00e9seau physique (nous en parlerons dans la deuxi\u00e8me partie de l'article), contr\u00f4le le pare-feu des Groupes de s\u00e9curit\u00e9, g\u00e8re le routage et d'autres aspects r\u00e9seau.<\/p>\n

Certaines cartes fonctionnent avec le stockage par blocs EBS<\/strong> et les disques int\u00e9gr\u00e9s au serveur. Pour la machine virtuelle h\u00f4te, elles sont pr\u00e9sent\u00e9es comme des adaptateurs NVMe<\/strong>. Elles sont \u00e9galement responsables du chiffrement des donn\u00e9es et du suivi des disques.<\/p>\n

Le syst\u00e8me de cartes Nitro, d'hyperviseur et de puce de s\u00e9curit\u00e9 est int\u00e9gr\u00e9 dans un r\u00e9seau SDN ou Software Defined Network<\/strong>. La gestion de ce r\u00e9seau (Control Plane) est assur\u00e9e par carte de contr\u00f4leur<\/strong>.<\/p>\n

Bien s\u00fbr, nous continuons \u00e0 d\u00e9velopper de nouveaux ASIC. Par exemple, \u00e0 la fin de 2018, nous avons lanc\u00e9 la puce Inferentia, qui permet de travailler plus efficacement avec des t\u00e2ches d'apprentissage automatique.<\/p>\n

\"Comment
\nPuce Inferentia pour le traitement des donn\u00e9es d'apprentissage automatique.<\/em><\/p>\n

Base de donn\u00e9es \u00e9volutive<\/h2>\n

\nUne base de donn\u00e9es traditionnelle a une structure en couches. Pour simplifier, on peut distinguer les niveaux suivants.<\/p>\n