ProHoster > Blogs > Interneta ziņas > Qwenputer ā€” Qwen3.5 AI modeļa izdevums, kas spēj simulēt RISC-V CPU, lai izpildÄ«tu C un MicroPython kodu

Qwenputer ā€” Qwen3.5 AI modeļa izdevums, kas spēj simulēt RISC-V CPU, lai izpildÄ«tu C un MicroPython kodu

Qwenputer projekta ietvaros pētnieki ir izstrādājuÅ”i paplaÅ”inātu AI modeļa Qwen3.5-4B versiju, kurā ir iebÅ«vēts pilnvērtÄ«ga 32-bit CPU simulatora risinājums, balstÄ«ts uz RISC-V (RV32IM) arhitektÅ«ru, kas atbalsta Zba paplaÅ”inājumu un ir aprÄ«kots ar bignum ko-procesoru, lai veiktu aritmētiskas operācijas ar lieliem skaitļiem. CPU kodola realizācija ir kompilēta svaru kopā un integrēta lielajā valodas modelÄ« ar 11 papildu transformatoru slāņiem, kas pievienoti pirms galvenajiem Qwen slāņiem. Aprēķini tiek veikti tieÅ”i neironu tÄ«kla tieŔās caurlaides (forward pass) procesā bez ārēju rÄ«ku vai spraudņu pieslēgÅ”anas.

Realizācija veiksmÄ«gi iztur visus oficiālo riscv-tests testu pārbaudes un spēj veikt kompilētu kodu C un MicroPython. Veicot aritmētiskas operācijas ar lieliem skaitļiem, Qwenputer nodroÅ”ina precizitāti 97.5-100%, kas ir salÄ«dzināma vai pārsniedz Qwen3.5 pamata modelis ar pieslēgtu ārēju Python interpretatoru rezultātus.

Lai simulētu operatÄ«vo atmiņu modelÄ«, tiek izmantoti atseviŔķi Gated DeltaNet slāņi (lineārie RNN), kas tiek lietoti standarta AI modelÄ« Qwen, lai saglabātu mainÄ«go stāvokli, strādājot ar lieliem konteksta logiem. Ar vārtiņu stāvokļa fiksÄ“Å”anu un vienotā kodÄ“Å”anas (one-hot) piemēroÅ”anu katrs ieraksta pieprasÄ«jums pārraksta tieÅ”i vienu stāvokļa matricas rindu, ļaujot izmantot DeltaNet stāvokli kā adresējamu fiksēta izmēra atmiņu, izvairoties no KV keÅ”atmiņas (Key-Value) lineārās izaugsmes, palielinoties konteksta garumam. Šādā atmiņā tika novietoti CPU reÄ£istri, dati un izpildāmais maŔīnkods.

Procesora instrukcijas, piemēram, reÄ£istru lasÄ«Å”ana, aritmētiskas operācijas un nosacÄ«jumu pārejas, tiek kompilētas tieÅ”i transformatoru slāņu svaros. Katram instrukcijai tiek piesaistÄ«ti speciāli kodi (ADDR, VAL, STEP), kurus AI modeļa slāņi interpretē kā CPU darbÄ«bas loÄ£iku. CPU inicializācijai un programmatÅ«ras ielādei tiek izmantots neliels ārējs RvChat vadÄ«tājs, taču pats maŔīnkods tiek pilnÄ«bā apstrādāts modeļa svaru iekÅ”ienē.

Projektā ir minētas ierobežojumi, kas saistÄ«ti ar aptuveni divkārÅ”u pieaugumu salÄ«dzinājumā ar sākotnējo Qwen modeli (18,8 GB), saglabājot stāvokļa slāņus (checkpoint), kas galvenokārt ir saistÄ«ts ar papildināmo slāņu piepildÄ«jumu. Tāpat tiek atzÄ«mēta relatÄ«vi zema aprēķinu ātruma rādÄ«tājs (apmēram 3200 tokenu sekundē uz GPU L4), kā rezultātā sarežģīti aprēķini var ilgt sekundes, nevis milisekundes.

Papildus ir ieviesta AI modeļa varianta eksperimentālā failu sistēma, kas ļauj saglabāt AI modeļa svaros lÄ«dz 512 failiem ar 53 tÅ«kstoÅ”iem tokenu teksta. Tāpat kā operatÄ«vās atmiņas Ä«stenojumā, krātuve ir organizēta attiecÄ«bā uz DeltaNet stāvokļiem, bet atŔķiras ar to, ka failu sistēma nodroÅ”ina pastāvÄ«gu uzglabāŔanu, kas nezaudē stāvokli starp sesijām.

Qwenputer attÄ«stÄ«bas darbi ir kalpojuÅ”i par pamatu jaunu potenciālo droŔības problēmu pētÄ«jumam AI. Qwenputer piemērs parāda, kā Ä«paÅ”i modificēts AI modelis var slēpt savas apspriedes RNN stāvoklÄ« un apiet modeļa apspriedes uzraudzÄ«bas mehānismus (CoT, Chain-of-Thought). Tāpat ir demonstrēta
iespēja izveidot droŔības uzraudzÄ«bas un kontroles mehānismus, kas iebÅ«vēti AI modeļa svaros un kurus pati modeļa nevar deaktivizēt vai mainÄ«t.

Avots: opennet.lv

Iegādājieties uzticamu tÄ«mekļa hostingu ar DDoS aizsardzÄ«bu, VPS VDS serveriem šŸ”„ Iegādājieties uzticamu tÄ«mekļa hostingu ar DDoS aizsardzÄ«bu, VPS VDS serveriem | ProHoster