Annonce du processeur Cerebras ― Cerebras Wafer Scale Engine (WSE) ou Cerebras wafer scale engine ― dans le cadre de la conférence annuelle Hot Chips 31. En regardant ce monstre de silicium, ce qui est surprenant n’est même pas le fait qu’ils aient pu le libérer en chair et en os. Le courage de la conception et le travail des développeurs qui ont risqué de développer un cristal d'une superficie de 46 225 millimètres carrés avec des côtés de 21,5 cm sont surprenants : il faut une tranche entière de 300 mm pour fabriquer un processeur. À la moindre erreur, le taux de défauts atteint 100 % et le coût du problème est difficile à imaginer.
Cerebras WSE est produit par TSMC. Processus technologique : FinFET 16 nm. Ce constructeur taïwanais mérite également un monument pour la sortie de Cerebras. La production d'une telle puce nécessitait la plus haute compétence et résolvait de nombreux problèmes, mais cela en valait la peine, assurent les développeurs. La puce Cerebras est essentiellement un supercalculateur sur puce avec un débit incroyable, une consommation d'énergie minimale et un parallélisme fantastique. Il s’agit actuellement de la solution idéale d’apprentissage automatique qui permettra aux chercheurs de commencer à résoudre des problèmes d’une extrême complexité.
Chaque puce Cerebras WSE contient 1,2 billion de transistors, organisés en 400 000 cœurs de calcul optimisés pour l'IA et 18 Go de SRAM distribuée locale. Tout cela est relié par un réseau maillé avec un débit total de 100 pétabits par seconde. La bande passante mémoire atteint 9 PB/s. La hiérarchie de la mémoire est à un seul niveau. Il n'y a pas de mémoire cache, pas de chevauchement et des délais d'accès minimes. C'est une architecture idéale pour accélérer les tâches liées à l'IA. Chiffres nus : par rapport aux cœurs graphiques les plus modernes, la puce Cerebras offre 3000 10 fois plus de mémoire sur puce et 000 XNUMX fois plus de vitesse de transfert de mémoire.
Les cœurs de calcul de Cerebras - SLAC (Sparse Linear Algebra Cores) - sont entièrement programmables et peuvent être optimisés pour fonctionner avec n'importe quel réseau neuronal. De plus, l'architecture du noyau filtre intrinsèquement les données représentées par des zéros. Cela libère les ressources informatiques de la nécessité d'effectuer une multiplication inactive par zéro opération, ce qui, pour des charges de données clairsemées, signifie des calculs plus rapides et une efficacité énergétique extrême. Ainsi, le processeur Cerebras s’avère des centaines voire des milliers de fois plus efficace pour le machine learning en termes de surface de puce et de consommation que les solutions actuelles pour l’IA et le machine learning.
Fabriquer une puce de taille similaire beaucoup de solutions uniques. Il a même fallu l'emballer presque à la main dans la mallette. Il y avait des problèmes pour alimenter le cristal et le refroidir. L'évacuation de la chaleur n'est devenue possible qu'avec du liquide et uniquement avec l'organisation d'un apport zonal à circulation verticale. Cependant, tous les problèmes ont été résolus et la puce a fonctionné. Il sera intéressant de connaître son application pratique.
Source: 3dnews.ru