Google esitles Coral NPU, avatud platvormi AI-kiirendite loomiseks

Google esitles avatud Coral NPU (Neuraalprotsessor), mis pakub avatud riistvarakiirendit masinõppe mudelite jaoks ja tarkvaraarendustööriistu nende kasutamiseks tavapärastel AI-mootoritel. Coral'i saab kasutada baasi loomise aluseks energiatõhusate süsteemide ehitamiseks integreeritud lahendustes (SoC), mis sobivad IoT-süsteemide, Edge-arvutuse ja andmete kogumise plaatide jaoks sensoritest, samuti tarbija kantavate seadmete jaoks, millel on äärmiselt madal energiatarve, nagu kõrvaklapid, täiendatud reaalsuse prillid ja nutikellad. Projekti saavutused on litsentsitud Apache 2.0 alusel.

Coral NPU eesmärk on toetada pidevalt töötavaid AI-rakendusi kaasaskantavates seadmetes, minimoides samas energiatarbimist. Coral NPU põhiversioon pakub 512 miljardit tehingut sekundis (GOPS) vaid mõne millivatti energiatarbimise juures. NPU on kavandatud arhitektuuri paindlikuks kohandamiseks vastavalt SoC tootjate vajadustele. Esimene tootja, kes alustab Coral NPU põhjal kiipide tootmist, on Synaptics, kes kuulutas välja IoT-seadmete protsessorite seeria Astra SL2610, mis sisaldab Torq NPU alamsüsteemi, mis on realiseeritud Coral NPU arhitektuuril.

Coral NPU puhul mainitakse standardsetes rakendustes AI kasutamist piltide ja heli töötlemiseks, kasutajaga suhtlemiseks ja konteksti arvestamiseks. Näiteks võivad seadmed käitada suuri keele mudeleid ja rakendusi näotuvastuseks ja objektide tuvastamiseks, visuaalseks otsimiseks, kõnetuvastuseks, reaalajas tõlkimiseks, kõne transkribeerimiseks, märksõnade eristamiseks kõnes, žestide ja häälkäskluste juhtimiseks, kasutaja tegevuse määramiseks (jalutamine, jooksmine, magamine) ja keskkonna tüübi määramiseks (siseruumides, välistingimustes).

NPU-s kasutatakse 32-bitist RISC-V RV32IMF_Zve32x arkkitekti, AXI4 bussi, neljaastmelist käskluste töötlemise toru korrastatud jaotusega, mittesorteeritud käskluste lõpetamisega, nelja lõime skalaarsed ja kahe lõime vektorisorteerimisega. Protsessor toetab SIMD-operatsioone 128-bitiste vektorite samal ajal töötlemiseks ja on varustatud 8 KB ITCM-mäluga käskluste jaoks ning 32 KB DTCM-mäluga andmete jaoks.

NPU sisaldab kolme ühiselt töötavat protsessorikomponenti:

• Skalaarkalkulatsioonide südamik - kerge RISC-V, C-keeles programmeeritav, mis juhib andmevooge pearakkude poole ja kasutab "täitmiseni lõpuni" (run-to-completion) mudelit traditsiooniliste CPU-de funktsionaalsuse ja üliväikese energiatarbimise tagamiseks.
• Vektori SIMD-kooprotsessor, mis toetab RISC-V (RVV v1.0) vektori käsu laiendusi ja võimaldab samal ajal teostada mitmeid operatsioone suurte andmehulkadega.
• Maatriksi kooprotsessor, mis täidab tõhusalt kombineeritud korrutamise-summamise (MAC) operatsioone ja on loodud neuronvõrkude põhitoimingute kiirendamiseks.

Rakenduse arendajatele on ette valmistatud AI mudelite kompilaatorite komplekt (IREE ja TFLM), C-keeles programmide kompilaator ja simulaator. Toetatakse mudelite kompileerimist, mida kasutatakse AI rakendustes TensorFlow, JAX ja PyTorch raamistike baasil. Mudel kompileeritakse universaalseks vaheesitluseks, mille seejärel LLVM abil muudetakse RISC-V madala taseme käsu kogumiks, mida toetatakse Coral NPU-s.

Allikas: opennet.ru