Annonce du processeur Cerebras ― Cerebras Wafer Scale Engine (WSE) ou moteur Cerebras à échelle de plaque de silicium ― dans le cadre de la conférence annuelle Hot Chips 31. En regardant ce monstre de silicium, ce qui étonne n'est même pas le fait qu'il ait pu être fabriqué. Ce qui impressionne, c'est l'audace de son concept et le travail des développeurs qui ont risqué de concevoir un cristal d'une superficie de 46 225 millimètres carrés avec des côtés de 21,5 cm. La fabrication d'un seul processeur nécessite une plaque de 300 mm. En cas de la moindre erreur, le taux de défaut atteint 100 %, et il est difficile d'imaginer le coût de la question.
La production du Cerebras WSE est gérée par la société TSMC. Le processus technologique est de 16 nm FinFET. Ce fabricant taïwanais mérite également un monument pour la fabricación du Cerebras. La production d'une telle puce a exigé un savoir-faire de haut niveau et la résolution de nombreux problèmes, mais cela en valait la peine, assurent les développeurs. La puce Cerebras est en fait un superordinateur sur une puce avec une capacité de traitement incroyable, une consommation minimale et un parallèle fantastique. À l'heure actuelle, c'est la solution idéale pour l'apprentissage automatique, permettant aux chercheurs de commencer à résoudre des problèmes d'une complexité exceptionnelle.
Chaque cristal Cerebras WSE contient 1,2 trillion de transistors, organisés en 400 000 cœurs de calcul optimisés pour l'IA et 18 Go de mémoire SRAM distribuée locale. Tout cela est interconnecté par un réseau maillé avec une performance totale de 100 pétaoctets par seconde. La bande passante de la mémoire atteint 9 Po/s. La hiérarchie de la mémoire est à un niveau unique. Il n'y a pas de mémoire cache, pas de recoupement, et les latences d'accès sont minimales. C'est l'architecture idéale pour accélérer les tâches liées à l'IA. En chiffres : par rapport aux cœurs graphiques les plus modernes, la puce Cerebras offre 3000 fois plus de mémoire sur la puce et une vitesse d'échange avec la mémoire 10 000 fois plus élevée.
Les cœurs de calcul Cerebras — SLAC (cœurs d'algèbre linéaire éparse) — sont entièrement programmables et peuvent être optimisés pour travailler avec n'importe quel réseau neuronal. De plus, l'architecture des cœurs filtre dès le départ les données présentées sous forme de zéros. Cela libère les ressources de calcul de la nécessité d'effectuer des opérations de multiplication par zéro, ce qui, pour une charge de données éparses, signifie un accélération des calculs et une efficacité énergétique maximale. Ainsi, le processeur Cerebras se révèle être des centaines, voire des milliers de fois plus efficace pour l'apprentissage machine en termes de surface de puce utilisée et de consommation d'énergie, par rapport aux solutions actuelles pour l'IA et l'apprentissage machine.
La fabrication d'une puce de cette taille une multitude de solutions uniques. Son emballage a presque dû être fait à la main. Des problèmes ont surgi concernant l'alimentation du cristal et son refroidissement. Le transfert de chaleur n'a été possible que par liquide, et seulement avec l'organisation d'une alimentation zonée avec circulation verticale. Néanmoins, tous les problèmes ont été résolus et la puce est devenue fonctionnelle. Il sera intéressant de voir son application pratique.
Source : 3dnews.ru
