Google esitles avatud platvormi Coral NPU (Neuronaalprotsessor), mis pakub avatud riistvarakiirendit masinõppe mudelite jaoks ja tarkvara tööriistu nende kasutamiseks tavapäraste AI-mootoritega. Corali saab kasutada energiatõhusate süsteemide (SoC) väljatöötamiseks, mis sobivad Interneti-asjade, Edge-arvutuste ja andmesensorite kogumisseadmete süsteemide jaoks, samuti tarbijasoovimiste väikesete energia tarbimisega seadmetes, nagu kõrvaklapid, liitreaalsuse prillid ja nutikellad. Projekti tulemused jagatakse Apache 2.0 litsentsi alusel.
Coral NPU on suunatud pidevalt töötavate AI-rakenduste välisele täitmisele, mis töötavad kaasaskantavatel seadmetel madala energiatarbimisega. Coral NPU põhiversioon tagab 512 miljardit operatsiooni sekundis (GOPS), kulutades vaid paar millivatti energiat. NPU on disainitud paindlikuks arhitektuuri kohandamiseks vastavalt SoC tootjate vajadustele. Esimene tootja, kes alustab Coral NPU baasil valmistatavate kiipide tootmist, on ettevõte Synaptics, mis kuulutas välja Astra SL2610 seadmete Interneti-asjade protsessorite seeria, mis sisaldab Torq NPU alamsüsteemi, mis on ellu viidud Coral NPU arhitektuuril.
Coral NPU tüüpilised rakendused hõlmavad tehisintellekti kasutamist piltide ja heli töötlemiseks, kasutaja suhtlemiseks ning konteksti arvestamiseks. Näiteks saavad seadmed käitada suuri keelemudeleid ja rakendusi näotuvastuseks, objektide tuvastamiseks, visuaalseks otsinguks, kõnetuvastuseks, reaalaja tõlkimiseks, kõne transkribeerimiseks, võtmesõnade eristamiseks kõnes, žestide ja häälkäskluste juhtimiseks, kasutaja aktiivsuse (kõndimine, jooksmine, magamine) ja keskkonna tüübi (koosolek, väljas) määramiseks.
NPU-s on kasutusel 32-bitine RISC-V RV32IMF_Zve32x käsu komplekti arhitektuur, AXI4 buss, neljastastme käsu töötlemise siirdetoode, korralik registreerimine, mittesorteeritud täitmise lõpetamine, neljapoolne skalaarka ja kahepoolsed vektorkoormused. Protsessor toetab SIMD-tehteid üheaegselt 128-bitiste vektorite töötlemiseks ning on varustatud 8 KB ITCM-mälu jaoks ja 32 KB DTCM-mälu jaoks andmete säilitamiseks.
NPU koosneb kolmest koostööd tegevast protsessorikomponendist:
- Skalaarsete arvutuste tuum on kergekaaluline, C keeles programmeeritav RISC-V front-end, mis haldab andmevooge peamistele tuumadele ja kasutab "täitmise kuni lõpuni" (run-to-completion) mudelit, et tagada traditsiooniliste CPU funktsionaalsus ja äärmiselt madal energiatarve.
- Vektoris SIMD-assistent, mis toetab RISC-V (RVV v1.0) vektorite pikendusi ja võimaldab samal ajal teostada mitmeid toiminguid suurte andmemahtudega.
- Maatriksi assisteerija, mis täidab efektiivselt koosmoodustatud korrutamise-ja-summamise (MAC) operatsioone ning on loodud närvivõrkude põhioperatsioonide kiirendamiseks.
Rakenduste arendajate jaoks on valmistatud AI mudelite kompilaatorite komplekt (IREE ja TFLM), C keele programmide kompilaator ja simulaator. Toetatakse mudelite kompileerimist, mida kasutatakse AI rakendustes TensorFlow, JAX ja PyTorch raamistikud. Mudel kompileeritakse universaalseks vahepealseks esitamiseks, misjärel muudetakse see madalama taseme RISC-V käsu kogumiks, mida toetab Coral NPU läbi LLVM.
Allikas: opennet.ru
