L'azienda Google ha presentato la piattaforma aperta Coral NPU (Neural Processing Unit), che offre un acceleratore hardware aperto per modelli di machine learning e strumenti software per il suo utilizzo con motori AI standard. Coral può essere utilizzato come base per creare sistemi energy-efficient su chip (SoC), adatti per applicazioni nell'internet delle cose, nel calcolo edge e nelle schede di raccolta dati dai sensori, oltre che in dispositivi indossabili per consumatori con bassissimo consumo energetico, come auricolari, occhiali per la realtà aumentata e smartwatch. I risultati del progetto sono distribuiti con licenza Apache 2.0.
Coral NPU è progettato per eseguire applicazioni AI sempre attive su dispositivi portatili con un consumo energetico minimo. L'implementazione base di Coral NPU offre prestazioni di 512 miliardi di operazioni al secondo (GOPS) con un consumo energetico di sole poche milliwatt. L'NPU è progettato per una modifica architetturale flessibile a seconda delle esigenze dei produttori di SoC. Il primo produttore a iniziare la produzione di chip basati su Coral NPU sarà Synaptics, che ha annunciato una linea di processori per dispositivi IoT Astra SL2610, comprendente un sottosistema Torq NPU realizzato sull'architettura di Coral NPU.
Tra le applicazioni standard di Coral NPU si menzionano l'impiego dell'AI per l'elaborazione di immagini e suoni, l'interazione con l'utente e la comprensione del contesto. Ad esempio, i dispositivi possono eseguire modelli linguistici avanzati e applicazioni per il riconoscimento di volti e oggetti, ricerca visiva, riconoscimento vocale, traduzione simultanea, trascrizione vocale, estrazione di parole chiave dal parlato, gestione tramite gesture e comandi vocali, identificazione dell'attività dell'utente (camminare, correre, dormire) e del tipo di ambiente (a casa, all'aperto).
L'NPU utilizza un'architettura a 32 bit del set di istruzioni RISC-V RV32IMF_Zve32x, un bus AXI4, una pipeline di elaborazione delle istruzioni a quattro stadi con dispatch ordinato, completamento delle istruzioni disordinato, dispatch scalare a quattro vie e dispatch vettoriale a due vie. Il processore supporta operazioni SIMD per l'elaborazione simultanea di vettori a 128 bit ed è dotato di 8 KB di memoria ITCM per le istruzioni e 32 KB di memoria DTCM per i dati.
L'NPU include tre componenti di elaborazione che lavorano insieme:
- Il nucleo per calcoli scalari è un frontend RISC-V programmabile in C, leggero, che gestisce i flussi di dati verso i core principali e utilizza un modello di "esecuzione fino al completamento" per garantire le funzionalità delle CPU tradizionali e un consumo energetico estremamente ridotto.
- Un coprocessore SIMD vettoriale, che supporta le estensioni vettoriali del set di istruzioni RISC-V (RVV v1.0) e consente di eseguire simultaneamente più operazioni su grandi volumi di dati.
- Un coprocessore matriciale che esegue in modo efficiente le operazioni di moltiplicazione-addizione (MAC) ed è progettato per accelerare le operazioni fondamentali delle reti neurali.
Per gli sviluppatori di applicazioni, è disponibile un insieme di compilatori per modelli AI (IREE e TFLM), un compilatore per programmi in linguaggio C e un simulatore. È supportata la compilazione di modelli utilizzati in applicazioni AI basate sui framework TensorFlow, JAX e PyTorch. Il modello viene compilato in una rappresentazione intermedia universale, che viene poi trasformata in un set di istruzioni RISC-V a basso livello supportato nel Coral NPU tramite LLVM.
Fonte: opennet.ru
