Keelemudel, millel on 28,9 miljonit parameetrit, töötas ESP32-S3-l.

Arendaja Viacheslav Serbov, kes esineb hüüdnimega slvDev, demonstreeris täiesti lokaalset tekstigeneratsiooni mikrokontrolleril ESP32-S3. Tema loodud keele mudel sisaldab 28,9 miljonit parameetrit ja genereerib umbes 9,9 tokenit sekundis, ilma serverite või teiste välistest arvutusressurssidest sõltumata. Genereeritud lühijutud kuvatakse ühendatud OLED-ekraanil.

Projekt esp32-ai katsetati ESP32-S3 N16R8 moodulil, millel on 512 KB sisseehitatud SRAM, 8 MB PSRAM ja 16 MB flash-mälu. Nelja bitti kvantitud mudel võtab 14,9 MB. Repos on avaldatud C keeles kirjaliku keskkonna lähtekood, koolitus- ja kvantimisvahendid, püsivara, testid ja laadimisstsenaariumid plaadile.

Deklaritud 28,9 miljonit parameetrit ei tohiks vahetult võrrelda tavaliste lauaarvutite LLM-i parameetrite arvuga. Vastavalt arendaja üksikasjalikule aruandele, koosneb mudel tihedast arvutuskeerust, millel on umbes 559 tuhat parameetrit, väljundkihist, millel on 3,1 miljoni parameetrit ja kihtidevahelistest vektorite esindustest, millel on umbes 25 miljonit parameetrit. Just viimane tagab mudeli ametliku suuruse suure osa, kuid ei töödeldud täielikult iga tokeni genereerimise ajal.

Mudeli paigutamiseks kasutatakse kolme mälu taset. Kõige sagedamini kasutatavad andmed asuvad sisseehitatud SRAM-is, väljundkiht, KV-cache ja ajutised bufferid – PSRAM-is, ja 25-miljoniline tabel jääb flash-mällu ja on juurdepääsetav läbi aadressiruumi kaardistamise. Iga tokeni jaoks loetakse sellest vaid umbes kuus rida kogumahus umbes 450 baiti.

See seade põhineb Per-Layer Embeddings tehnoloogial, mille Google rakendas Gemma 3n. Vastavalt Google'i dokumentatsioonile, võivad PLE parameetrid olla salvestatud mudeli töömälu väliselt ja lisatud väljundprotsessi käigus, kui töödeldakse eraldi kihte. esp32-ai-s on see lähenemine kantud mikrokontrolleri mäluhierarhiasse, kus kiire SRAM on eriti piiratud.

Esimene õigesti kirjutatud C täitekeskkond andis ainult 0,57 tokenit sekundis. Pärast väljundkihti PSRAM-i paigutamist, üleminekut kaheksabitiseks aktiveerimiseks, arvutuste jaotamist kahe Xtensa LX7 tuuma vahel ning muid optimeerimisi vähenes viivitus mudeli sammu kohta 94,9 ms-ni. Lõplik mõõdetud kiirus saavutas 9,88 tokenit sekundis, arvestades kogu genereerimisprotsessi. Peamiseks piiranguks on nüüd PSRAM-i läbilaskevõime väljundkihti lugedes.

Mudelit õpetati sünteetilisel andmekogul TinyStories, mis koosneb lihtsatest ingliskeelsetest lugudest piiratud sõnavaraga. Seetõttu on ta suuteline lauseid jätkama ja väikeseid sidusaid lugusid looma, kuid ei ole mõeldud küsimustele vastamiseks, juhiste täitmiseks, programmeerimiseks või faktiteadlikkuse esitamiseks. Arendaja käsitleb seda tööd peamiselt mudeli tõhusaks paigutamiseks mikrokontrolleri mällu, mitte valmis autonoomse vestlusroboti loomisena.

Aktiivses dokumentatsioonis rõhutab autor eraldi, et esp32-ai on iseseisev arendus. Projektid llama2.c Andrei Karpaty ja varasem 260 000 parameetri mudeli käitamine ESP32-S3-l on toodud vaid suuniste ja eelnevate tööde näidistena: kood, kontrollpunktid ja meetod ei ole otseselt neist laenatud. Esp32-ai lähtekood levitatakse MIT litsentsi alusel..

Allikas: linux.org.ru