Įgyvendinant „Qwenputer“ projektą, tyrėjai sukūrė išplėstinę „Qwen3.5-4B“ dirbtinio intelekto modelio versiją, kurioje įdiegtas įterptinis visaverčio 32 bitų procesoriaus, pagrįsto RISC-V architektūra (RV32IM), simuliatorius, palaikantis „Zba“ plėtinį ir turintis „bignum“ koprocesorių didelių skaičių aritmetikai. CPU branduolio įgyvendinimas yra kompiliuojamas į svorių rinkinį ir integruojamas į didesnį kalbos modelį kaip 11 papildomų transformatorių sluoksnių, pridedamų prieš pagrindinius „Qwen“ sluoksnius. Skaičiavimai atliekami tiesiogiai neuroninio tinklo perdavimo metu, nereikalaujant išorinių įrankių ar papildinių.
Įgyvendinimas sėkmingai išlaikė visus oficialaus „riscv-tests“ rinkinio testus ir gali vykdyti kompiliuotą C ir „MicroPython“ kodą. Atlikdamas aritmetinius skaičiavimus su dideliais skaičiais, „Qwenputer“ pasiekia 97.5–100 % tikslumą, kuris yra panašus arba geresnis už bazinį „Qwen3.5“ modelį su išoriniu „Python“ interpretatoriumi.
RAM modeliavimui modelis naudoja atskirus uždaromus „DeltaNet“ sluoksnius (tiesinius RNN), kurie naudojami standartiniame „Qwen“ dirbtinio intelekto modelyje, siekiant išsaugoti modifikuotą būseną dirbant su dideliais kontekstiniais langais. Užfiksuojant uždaromą būseną ir naudojant vienkartinį kodavimą, kiekviena rašymo užklausa perrašo tiksliai vieną būsenos matricos eilutę, todėl „DeltaNet“ būseną galima naudoti kaip fiksuoto dydžio adresuojamą atmintį, išvengiant linijinio rakto-reikšmės (KV) talpyklos augimo didėjant konteksto ilgiui. Šioje atmintyje talpinami procesoriaus registrai, duomenys ir vykdomasis mašininis kodas.
Procesoriaus instrukcijos, tokios kaip registrų skaitymas, aritmetinės operacijos ir sąlyginiai šuoliai, yra tiesiogiai kompiliuojamos į transformatoriaus sluoksnio svorius. Kiekviena instrukcija yra susieta su specialiais žetonais (ADDR, VAL, STEP), kuriuos dirbtinio intelekto modelio sluoksniai interpretuoja kaip procesoriaus logiką. Maža išorinė tvarkyklė „RvChat“ naudojama procesoriaus inicijavimui ir programinės įrangos įkėlimui, tačiau pats mašininis kodas yra apdorojamas tik modelio svorių ribose.
Projekto apribojimai apima maždaug dvigubai padidėjusį dydį (18.8 GB), palyginti su originaliu „Qwen“ modeliu, išsaugant būsenos pjūvius (kontrolinius taškus), daugiausia dėl papildomų sluoksnių užpildymo. Taip pat pastebimas santykinai mažas skaičiavimo greitis (maždaug 3200 žetonų per sekundę L4 GPU), o tai reiškia, kad sudėtingi skaičiavimai gali užtrukti sekundes, o ne milisekundes.
Be to, buvo įdiegtas DI modelio variantas su eksperimentine failų sistema, leidžiančia saugoti iki 512 failų su 53 000 teksto žetonų, neviršijant DI modelio svorio. Kaip ir RAM įdiegimo atveju, saugykla organizuojama pagal „DeltaNet“ būsenas, tačiau skiriasi tuo, kad FS teikia nuolatinę saugyklą, kuri nepraranda būsenos tarp sesijų.
Qwenputerio darbas taip pat tapo naujų galimų DI saugumo problemų tyrimų pagrindu. Naudojant Qwenputerio pavyzdį, buvo pademonstruota, kaip specialiai modifikuotas DI modelis gali paslėpti savo samprotavimus RNN būsenoje ir apeiti modelio samprotavimo stebėjimo mechanizmus (CoT, Chain-of-Thought). Taip pat buvo pademonstruota, kad
galimybė sukurti į dirbtinio intelekto modelio svorius integruotus saugumo kontrolės ir stebėjimo mechanizmus, kurių pats modelis negali išjungti ar modifikuoti.
Šaltinis: opennet.ru
