Podjetje Google je predstavilo odprto platformo Coral NPU (Neposredna obdelava nevronskih enot), ki ponuja odprti strojni pospeševalnik modelov strojnega učenja in programsko orodje za njegovo uporabo z običajnimi AI pogoni. Coral se lahko uporablja kot osnova za ustvarjanje energetsko učinkovitih sistemov na čipu (SoC), primernih za uporabo v sistemih interneta stvari, Edge računalništvu in ploščah za zbiranje podatkov s senzorjev, pa tudi v potrošniških prenosnih napravah z izjemno nizko porabo energije, kot so slušalke, očala z obogateno resničnostjo in pametne ure. Izdelki projekta so širjeni pod licenco Apache 2.0.
Coral NPU je usmerjen v izvajanje AI aplikacij na strani prenosnih naprav, ki non-stop delujejo z minimalno porabo energije. Osnovna implementacija Coral NPU zagotavlja zmogljivost 512 milijard operacij na sekundo (GOPS) pri porabi le nekaj milivatov energije. NPU je zasnovan za prilagodljivo modificiranje arhitekture glede na potrebe proizvajalcev SoC. Prvi proizvajalec, ki bo začel proizvodnjo čipov na podlagi Coral NPU, bo podjetje Synaptics, ki je napovedalo serijo procesorjev za naprave interneta stvari Astra SL2610, ki vključujejo podsklop Torq NPU, izveden na osnovi arhitekture Coral NPU.
Med tipičnimi aplikacijami Coral NPU je omenjena uporaba AI za obdelavo slik in zvoka, interakcijo s uporabnikom ter upoštevanje konteksta. Na napravah se lahko izvajajo obsežni jezikovni modeli ter aplikacije za prepoznavanje obrazov in predmetov, vizualno iskanje, prepoznavanje govora, takojšnje prevajanje, transkripcijo govora, izločanje ključnih besed iz govora, upravljanje z gibi in glasovnimi ukazi ter prepoznavanje aktivnosti uporabnika (hoja, tek, spanje) in vrste okolja (doma, na prostem).
NPU vključuje 32-bitno arhitekturo naborov ukazov RISC-V RV32IMF_Zve32x, AXI4 vodilo, štiristopenjski cevovod obdelave ukazov z urejeno razporeditvijo, neurejenim dokončanjem izvrševanja ukazov, štirikoledarsko skalarno in dvo-koledarsko vektorsko razporeditvijo. Procesor podpira SIMD operacije za hkratno obdelavo 128-bitnih vektorjev in je opremljen z 8 KB ITCM pomnilnika za ukaze ter 32 KB DTCM pomnilnika za podatke.
NPU vključuje tri sodelujoče procesorske komponente:
- Jedro za skalarné izračune — lahka programsko opremljena RISC-V prednja stran, ki upravlja tokove podatkov do glavnih jeder in uporablja model 'izvršitve do konca' (run-to-completion) za zagotavljanje funkcionalnosti tradicionalnih CPU in izjemno nizke porabe energije.
- Vektorski SIMD-soprocesor, ki podpira vektorske razširitve nabora ukazov RISC-V (RVV v1.0) in omogoča sočasno izvajanje več operacij na velikih količinah podatkov.
- Matrčni soprocessor, ki učinkovito izvaja operacije združenega množenja-seštevanja (MAC) in je zasnovan za pospešitev osnovnih operacij nevronaskih mrež.
Za razvijalce aplikacij je na voljo niz kompilatorjev AI-modelov (IREE in TFLM), kompilator programov v jeziku C in simulator. Podprta je kompilacija modelov, ki se uporabljajo v AI-aplikacijah, temelječih na ogrodjih TensorFlow, JAX in PyTorch. Model se kompilira v univerzalno vmesno predstavitev, ki jo nato z LLVM pretvorimo v nizko nivojski nabor ukazov RISC-V, podprt v Coral NPU.
Izvor: opennet.ru
