{"id":182824,"date":"2026-08-11T04:54:15","date_gmt":"2026-08-11T02:54:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3"},"modified":"2026-08-11T04:54:15","modified_gmt":"2026-08-11T02:54:15","slug":"yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","title":{"rendered":"Il modello linguistico con 28,9 milioni di parametri ha funzionato su ESP32-S3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

<\/i><\/a>
1 <\/p>\n

Lo sviluppatore Vyacheslav Serbov, noto con lo pseudonimo slvDev, ha dimostrato<\/a> ha implementato una generazione di testo completamente locale su microcontrollore ESP32-S3. Il modello linguistico da lui creato contiene 28,9 milioni di parametri e produce circa 9,9 token al secondo, senza ricorrere a server o ad altre risorse di calcolo esterne. I racconti brevi generati vengono visualizzati su un display OLED connesso.<\/p>\n

<\/noindex> <\/p>\n

Progetto esp32-ai<\/a> \u00e8 stato testato su un modulo ESP32-S3 N16R8, dotato di 512 KB di SRAM incorporata, 8 MB di PSRAM e 16 MB di memoria flash. Il modello quantizzato a quattro bit occupa 14,9 MB. Nel repository \u00e8 pubblicato il codice sorgente dell'ambiente di esecuzione in C, gli strumenti per l'addestramento e la quantizzazione del modello, il firmware, i test e gli script per il caricamento sulla scheda.<\/p>\n

<\/noindex> <\/p>\n

I dichiarati 28,9 milioni di parametri non devono essere confrontati direttamente con il numero di parametri dei normali LLM da desktop. Secondo un dettagliato rapporto dello sviluppatore<\/a>, il modello \u00e8 costituito da un nucleo computazionale denso di circa 559.000 parametri, uno strato di uscita di 3,1 milioni di parametri e una tabella di rappresentazioni vettoriali per strato di circa 25 milioni di parametri. \u00c8 proprio quest'ultima a fornire la maggior parte della dimensione formale del modello, ma non viene elaborata completamente durante la generazione di ogni token.<\/p>\n

<\/noindex> <\/p>\n

Per allocare il modello sono coinvolti tre livelli di memoria. I dati pi\u00f9 frequentemente utilizzati si trovano nella SRAM interna, lo strato di uscita, KV-cache e buffer temporanei sono nella PSRAM, mentre la tabella da 25 milioni rimane nella memoria flash e accessibile tramite mapping nello spazio degli indirizzi. Per ogni token, vengono lette solo circa sei righe per un totale di circa 450 byte.<\/p>\n

<\/p>\n

Questo dispositivo si basa sulla tecnologia Per-Layer Embeddings, applicata da Google in Gemma 3n. Secondo la documentazione di Google<\/a>, i parametri PLE possono essere memorizzati al di fuori della memoria di lavoro del modello e aggiunti al processo di output man mano che vengono elaborati i singoli strati. In esp32-ai questo approccio \u00e8 stato trasferito alla gerarchia della memoria del microcontrollore, dove la SRAM veloce \u00e8 particolarmente limitata.<\/p>\n

<\/noindex> <\/p>\n

La prima versione corretta dell'ambiente di esecuzione scritta in C restituiva solo 0,57 token al secondo. Dopo aver messo il layer di output nella PSRAM, passando ad attivazioni a 8 bit, distribuendo i calcoli tra i due nuclei Xtensa LX7 e altre ottimizzazioni, la latenza \u00e8 stata ridotta a 94,9 ms per passo del modello. La velocit\u00e0 finale misurata ha raggiunto 9,88 token al secondo considerando l'intero processo di generazione. Il principale limite ora \u00e8 stata la larghezza di banda della PSRAM durante la lettura del layer di output.<\/p>\n

<\/p>\n

Il modello \u00e8 stato addestrato su un insieme di dati sintetico TinyStories<\/a>, composto da semplici racconti in inglese con un vocabolario limitato. Pertanto, \u00e8 in grado di continuare le frasi e inventare piccole storie coerenti, ma non \u00e8 progettato per rispondere a domande, eseguire istruzioni, programmare o riprodurre conoscenze factuali. Lo sviluppatore considera il lavoro principalmente come una dimostrazione di un efficace posizionamento del modello nella memoria di un microcontrollore, e non come un chatbot autonomo pronto all'uso.<\/p>\n

<\/noindex> <\/p>\n

Nella documentazione attuale, l'autore sottolinea che esp32-ai \u00e8 uno sviluppo autonomo. I progetti llama2.c<\/a> di Andrei Karpathy e un lancio precedente del modello da 260.000 su ESP32-S3 vengono citati solo come punti di riferimento e esempi di lavori precedenti: il codice, i punti di controllo e la metodologia non sono stati direttamente presi da essi. Il codice sorgente di esp32-ai viene distribuito con licenza MIT<\/a>.<\/p>\n

<\/noindex><\/p>\n

Fonte: linux.org.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

1 \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0412\u044f\u0447\u0435\u0441\u043b\u0430\u0432 \u0421\u0435\u0440\u0431\u043e\u0432, \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0434 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u043c slvDev, \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0435 ESP32-S3. \u0421\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u0438\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043b\u043e 9,9 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c. \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0439 OLED-\u0434\u0438\u0441\u043f\u043b\u0435\u0439. \u041f\u0440\u043e\u0435\u043a\u0442 esp32-ai \u0438\u0441\u043f\u044b\u0442\u0430\u043d \u043d\u0430 \u043c\u043e\u0434\u0443\u043b\u0435 ESP32-S3 N16R8, \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0449\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":9,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-182824","post","type-post","status-publish","format-standard","hentry","category-novosti-interneta"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Il modello linguistico con 28,9 milioni di parametri \u00e8 stato attivato su ESP32-S3 | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u042f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0430 ESP32-S3 | ProHoster","og:url":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2026-08-11T02:54:15+00:00","article:modified_time":"2026-08-11T02:54:15+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":[],"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/182824","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=182824"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/182824\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=182824"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=182824"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=182824"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}