Google a présenté Coral NPU, une plateforme ouverte pour la création d'accélérateurs AI.

L'entreprise Google a présenté la plateforme ouverte Coral NPU (Neural Processing Unit), qui propose un accélérateur matériel ouvert pour les modèles d'apprentissage automatique ainsi qu'un ensemble d'outils logiciels pour son utilisation avec des moteurs d'IA standards. Coral peut servir de base pour créer des systèmes sur puce (SoC) énergétiquement efficaces, adaptés à des applications dans l'Internet des objets, le Edge computing et les cartes de collecte de données de capteurs, ainsi que pour des appareils portables à très faible consommation d'énergie comme des écouteurs, des lunettes de réalité augmentée et des montres intelligentes. Les avancées du projet sont diffusées sous licence Apache 2.0.

Le Coral NPU est conçu pour exécuter en permanence des applications d'IA sur des dispositifs portables avec une consommation d'énergie minimale. La mise en œuvre de base du Coral NPU offre des performances de 512 milliards d'opérations par seconde (GOPS) pour une consommation énergétique de seulement quelques milliwatts. Le NPU est conçu pour une modification flexible de l'architecture en fonction des besoins des fabricants de SoC. La première entreprise à commencer la production de puces basées sur le Coral NPU sera Synaptics, qui a annoncé une série de processeurs pour appareils de l'Internet des objets, Astra SL2610, incluant un sous-système Torq NPU, réalisé sur l'architecture de Coral NPU.

Parmi les applications typiques du Coral NPU, on mentionne l'utilisation de l'IA pour le traitement d'images et de sons, l'interaction avec l'utilisateur et la prise en compte du contexte. Par exemple, les dispositifs peuvent exécuter de grands modèles de langage et des applications de reconnaissance faciale et d'objets, de recherche visuelle, de reconnaissance vocale, de traduction en direct, de transcription vocale, d'extraction de mots-clés dans la parole, de contrôle par gestes et commandes vocales, ainsi que de détection d'activités de l'utilisateur (marcher, courir, dormir) et de type d'environnement (intérieur, extérieur).

Le NPU utilise une architecture de jeu d'instructions 32 bits RISC-V RV32IMF_Zve32x, un bus AXI4, un pipeline de traitement des instructions à quatre étages avec dispatching ordonné, une terminaison non ordonnée de l'exécution des instructions, un dispatching scalaire à quatre voies et un dispatching vectoriel à deux voies. Le processeur prend en charge les opérations SIMD pour le traitement simultané de vecteurs de 128 bits et est équipé de 8 Ko de mémoire ITCM pour les instructions et de 32 Ko de mémoire DTCM pour les données.

Le NPU comprend trois composants processeurs fonctionnant ensemble :

• Un noyau pour les calculs scalaires — un frontend RISC-V léger programmé en C, qui gère le flux de données vers les cœurs principaux et utilise le modèle « exécution jusqu'à la fin » (run-to-completion) pour assurer la fonctionnalité des CPU traditionnels tout en minimisant la consommation d'énergie.
• Un coprocesseur SIMD vectoriel, supportant les extensions vectorielles de l'ensemble d'instructions RISC-V (RVV v1.0) et permettant d'exécuter simultanément plusieurs opérations sur de grands volumes de données.
• Un coprocesseur matriciel, exécutant efficacement les opérations de multiplication-addition (MAC) et conçu pour accélérer les opérations fondamentales des réseaux neuronaux.

Pour les développeurs d'applications, un ensemble de compilateurs pour modèles AI (IREE et TFLM), un compilateur pour programmes en C et un simulateur sont fournis. La compilation de modèles utilisés dans des applications AI basées sur les frameworks TensorFlow, JAX et PyTorch est supportée. Le modèle est compilé en une représentation intermédiaire universelle, qui est ensuite convertie en un ensemble d'instructions RISC-V bas niveau supporté par Coral NPU grâce à LLVM.

Source : opennet.ru