AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

Dans le dernier article sur PDU nous avons mentionné que certains racks sont équipés de l'AVR — l'alimentation de secours automatique. Mais en réalité, dans un centre de données, l'AVR n'est pas seulement installé dans le rack, mais aussi sur tout le chemin de l'électricité. À différents endroits, ils remplissent différentes fonctions :

  • dans les tableaux de distribution principaux, l'AVR bascule la charge entre l'alimentation de la ville et l'alimentation de secours des groupes électrogènes diesel (GED) ; 
  • dans les onduleurs (UPS), l'AVR bascule la charge de l'alimentation principale vers le bypass (nous en parlerons un peu plus bas) ; 
  • dans les racks, l'AVR bascule la charge d'une entrée à une autre en cas de problème avec l'une des entrées. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
L'AVR dans le schéma standard d'alimentation des centres de données DataLine.

Nous allons donc parler aujourd'hui des types d'AVR et de leurs utilisations. 

Il existe deux principaux types d'AVR : ATS (automatic transfer switch) et STS (static transfer switch). Ils se distinguent par leurs principes de fonctionnement et leur matériel, et sont utilisés pour différentes tâches. En bref, le STS est un ATS plus « intelligent ». Il bascule la charge plus rapidement et est plus souvent utilisé pour des charges/courants importants. Il est plus flexible à paramétrer, mais peut être « capricieux » vis-à-vis du réseau : il peut refuser de fonctionner si les 2 entrées proviennent de sources différentes, par exemple : d'un transformateur et d'un GED.  

L'AVR dans le tableau de distribution principal

 
L'AVR principal du centre de données, il y a vingt ans, ressemblait à un système complexe de contacteurs et de relais.

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
L'AVR du début des années 2000.

Actuellement, l'AVR est un dispositif compact et multifonctionnel.

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

Le système d'AVR dans le tableau de distribution principal gère les disjoncteurs d'entrée et donne des commandes pour démarrer et arrêter les GED. Avec une charge supérieure à 2 MW au niveau du tableau de distribution principal, il n'est pas judicieux de rechercher la rapidité. Même s'il bascule rapidement, il faut du temps pour que le GED démarre. Dans ce système, des ATS plus « lents » sont utilisés et des délais sont réglés (paramètres). Voici comment cela fonctionne : lorsque l'alimentation du centre de données par les transformateurs disparaît, l'AVR ordonne aux appareils : « Transformateur, éteins-toi. Maintenant, attendons 10 secondes (paramètre), GED, allume-toi, nous attendons encore 10 secondes ». 

L'AVR dans les UPS  

Prenons l'exemple de l'onduleur pour voir comment fonctionne le deuxième type d'AVR — le STS ou interrupteur de transfert statique.

Dans les UPS, le courant alternatif est converti en courant continu dans le redresseur. Ensuite, à l'onduleur, il est reconverti en courant alternatif, mais avec des paramètres stables. Cela élimine les interférences et améliore la qualité de l'énergie. Lorsqu'une source d'alimentation principale est coupée. L'UPS se bascule sur des batteries et alimente le centre de données, tandis que le groupe électrogène est mis en service. 

Mais que se passe-t-il si l'un des éléments tombe en panne : redresseur, onduleur ou batteries ? Dans ce cas, chaque UPS dispose d'un mécanisme de contournement, ou bypass. Avec celui-ci, l'appareil continue de fonctionner en contournant les éléments principaux, directement à partir de la tension d'entrée. Le bypass est également utilisé lorsque l'UPS doit être éteint et mis hors service pour réparation. 

Le STS dans l'UPS est nécessaire pour passer en toute sécurité à l'entrée bypass. En résumé, le STS contrôle les paramètres du réseau à l'entrée et à la sortie, attend qu'ils coïncident et bascule dans des conditions sûres. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

AVR dans le rack 

Ainsi, deux entrées d'alimentation électrique sont connectées au rack. Si votre équipement a deux blocs d'alimentation, vous pouvez facilement le connecter à différents PDU, et la perte d'une entrée ne vous inquiète pas. Et si votre serveur n'a qu'un seul bloc d'alimentation ? 
Dans le rack, l'AVR est utilisé pour que le profit des deux entrées ne soit pas gaspillé. En cas de problème avec l'une des entrées, l'AVR bascule la charge sur l'autre entrée.

Avertissement : Si possible, évitez les équipements avec un seul bloc d'alimentation pour ne pas créer un point de défaillance dans le système. Par la suite, nous montrerons en quoi cette configuration présente des inconvénients. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

La tâche de l'AVR dans le rack est de basculer l'équipement sur l'entrée de travail aussi rapidement que possible, afin qu'il n'y ait pas d'interruption dans son fonctionnement. La vitesse nécessaire a été déterminée empiriquement : pas plus de 20 ms. Voyons comment cela a été découvert.

Les pannes de fonctionnement des équipements serveurs se produisent en raison de chutes de tension (en raison de travaux sur les sous-stations, de l'alimentation de charges élevées ou d'accidents). Pour illustrer comment les équipements supportent différentes amplitudes et durées de fluctuations de tension, des courbes de fonctionnement sûr des équipements électriques CBEMA (Computer and Business Equipment Manufacturers Association) ont été développées. Elles sont maintenant connues sous le nom de courbes ITIC (Information Technology Industry Council), leurs variantes sont incluses dans les normes IEEE 446 ANSI (c'est l'équivalent de nos GOST).

Consultons le graphique. Notre tâche est que les appareils fonctionnent dans la "zone verte". Sur la courbe ITIC, nous voyons que l'équipement est prêt à "supporter" une chute de maximum 20 ms. Par conséquent, nous visons à ce que l'AVR dans le rack fonctionne en 20 ms, voire mieux — encore plus vite.   

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
Source : meandr.ru.

Appareil AVR. Un AVR typique (ATS) dans notre centre de données occupe 1 unité et supporte une charge de 16 A. 

Sur l'écran, nous voyons quelle entrée alimente l'AVR, et combien les appareils connectés consomment en ampères. Avec un bouton séparé, nous choisissons de donner la priorité à la première ou à la deuxième entrée. À droite, se trouvent les ports de connexion à l'AVR : 

  • Port Ethernet — connecter la surveillance ;
  • Port série — se connecter via un ordinateur portable et consulter les journaux pour voir ce qui se passe ; 
  • USB — insérer une clé USB et mettre à jour le firmware. 

Les ports sont interchangeables : il est possible d'effectuer toutes ces opérations, même si l'on a accès à seulement l'un d'eux. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

À l'arrière se trouvent les prises pour connecter les entrées principales et de secours, ainsi qu'un groupe de prises pour brancher l'équipement IT.

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

Nous examinons les caractéristiques détaillées de l'AVR via l'interface web. C'est là que la sensibilité de commutation est réglée et les journaux sont visibles. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
Interface web de l'AVR.

Installation et connexion de l'AVR. Il est préférable d'installer l'AVR à mi-hauteur dans le rack. Si nous ne connaissons pas à l'avance la configuration du rack, alors cet équipement avec une seule alimentation pourra tirer des câbles aussi bien du bas que du haut.  

Mais au-delà, il y a des nuances : la profondeur du rack standard est beaucoup plus grande que celle de l'AVR. Nous recommandons de l'installer aussi près que possible du couloir froid pour deux raisons :

  1. Accès au panneau avant. Si l'AVR est installé plus près du couloir chaud, nous verrons l'indication, mais nous ne pourrons pas y accéder via les ports. Cela signifie que nous ne pourrons pas consulter les journaux ou redémarrer l'appareil.

    AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

    AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
    Là-dedans, au fond, l'AVR clignote — on ne peut déjà plus accéder au port.

  2. Refroidissement. Il est recommandé d'utiliser l'AVR à une température ne dépassant pas 45 °C. Il n'a pas de ventilateurs intégrés pour le refroidissement ; c'est simplement un appareil métallique avec un circuit électronique. Il maintient la température requise de deux manières : 

  • des flux d'air soufflant sur lui depuis l'extérieur ; 
  • des dispositifs de fixation qui dissipent la chaleur excessive.

Si l'AVR est installé du côté du couloir chaud et en plus est coincé avec une couche de serveurs, alors nous obtenons un four. Au mieux, l'AVR grillera ses circuits et perdra le contact avec le monde extérieur ; au pire, il commencera à commuter la charge de manière aléatoire ou l'abandonnera.

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
L'AVR se retrouve face au couloir chaud.

Il y a eu un cas. Un ingénieur, lors de son inspection, a entendu des clics inhabituels.
Dans les entrailles du couloir chaud sous un tas de serveurs, un UPS a été découvert, alternant sans cesse entre l'entrée principale et la sauvegarde. 

L'UPS a été remplacé. Les journaux ont montré qu'il changeait de source toutes les secondes pendant une semaine, totalisant plus d'un demi-million de commutations. Voici comment cela c'était

Quels autres types d'UPS existent en rack

ATS d'entrée pour le rack. Dans notre datacenter, cet UPS est la seule source de distribution d'énergie dans le rack : il fonctionne comme un UPS + PDU. Il occupe quelques unités, supporte une charge de 32 A, se connecte avec des prises industrielles et peut alimenter jusqu'à 6 kW d'équipement. Son utilisation est possible lorsque l'installation de PDU standard n'est pas envisageable, et lorsque l'équipement en rack ne prend pas en charge des charges critiques. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center

STS de rack. Le STS en rack est utilisé pour les équipements sensibles aux variations de tension. Cet UPS commute plus rapidement qu'un ATS. 
 
AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
Ce STS particulier occupe 6 unités et a une interface un peu « vintage ».

Mini-UPS. Il existe aussi de petits modèles, mais nous n'en avons pas dans notre datacenter. C'est un mini-UPS pour un serveur. 

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
Cet UPS se connecte directement à l'alimentation du serveur.

Comment nous recherchons l'UPS idéal

Nous testons différents modèles d'UPS et vérifions leur comportement dans des conditions de haute température.

Voici comment nous les malmenons pour cela : 

  • nous les connectons à un enregistreur de qualité réseau, à un serveur et à quelques autres appareils pour la charge;
  • nous isolons le rack avec des bouchons ou du film pour atteindre une haute température;
  • nous chauffons jusqu'à 50 °C;
  • nous coupons les entrées 20 fois chacune en alternance;
  • nous vérifions s'il y a eu des coupures de courant et comment le serveur se comporte;
  • si l'UPS réussit le test, nous chauffons jusqu'à 70 °C.

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
Photo avec une caméra thermique d'un des essais.

AVR et tout, tout, tout : mise en service automatique de la réserve dans le Data Center
L'analyseur de réseau enregistre la tension au fil du temps. Sur l'enregistrement, nous voyons combien de temps la commutation a dure : à ce moment-là, la sinusoïde a été interrompue.

Au fait, nous prenons l'UPS à tester : nous vérifierons la robustesse de votre appareil et vous ferons savoir ce qu'il en est 😉 

UPS en rack : une menace cachée

Le principal problème avec l'AVR en rack est qu'il ne fait que passer la charge de l'entrée principale à l'entrée de secours, sans protéger contre les courts-circuits ou les surcharges. Si un court-circuit se produit dans l'alimentation, le disjoncteur de protection de niveau supérieur s'enclenche : sur le PDU ou dans le tableau de distribution. En conséquence, une entrée est déconnectée, et l'AVR le comprend et passe à la seconde entrée. Si le court-circuit persiste, le disjoncteur de la seconde entrée s'enclenche également. Ainsi, un problème sur un équipement peut entraîner la perte d'alimentation de tout le rack.

Alors, je vais le répéter une fois de plus : pensez-y mille fois avant d'installer un AVR dans un rack et d'utiliser un équipement avec une seule alimentation.

Source : habr.com

Acheter un hébergement fiable pour les sites avec protection DDoS, serveurs VPS VDS 🔥 Acheter un hébergement fiable pour les sites avec protection DDoS, serveurs VPS VDS | ProHoster