{"id":182824,"date":"2026-08-11T04:54:15","date_gmt":"2026-08-11T02:54:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3"},"modified":"2026-08-11T04:54:15","modified_gmt":"2026-08-11T02:54:15","slug":"yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","title":{"rendered":"Ein Sprachmodell mit 28,9 Millionen Parametern funktioniert auf dem ESP32-S3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

<\/i><\/a>
1 <\/p>\n

Der Entwickler Wjatscheslaw Serbow, der unter dem Pseudonym slvDev auftritt, eine Demonstration gezeigt<\/a> bietet eine vollst\u00e4ndig lokale Textgenerierung auf dem Mikrocontroller ESP32-S3 an. Das von ihm geschaffene Sprachmodell enth\u00e4lt 28,9 Millionen Parameter und erzeugt etwa 9,9 Token pro Sekunde, ohne auf einen Server oder andere externe Rechenressourcen zuzugreifen. Die generierten kurzen Geschichten werden auf ein angeschlossenes OLED-Display ausgegeben.<\/p>\n

<\/noindex> <\/p>\n

Projekt esp32-ai<\/a> wurde auf dem ESP32-S3 N16R8-Modul getestet, das \u00fcber 512 KB integrierte SRAM, 8 MB PSRAM und 16 MB Flash-Speicher verf\u00fcgt. Das auf vier Bits quantisierte Modell ben\u00f6tigt 14,9 MB. Im Repository sind der Quellcode der Laufzeitumgebung in C, Schulungs- und Quantisierungstools, die Firmware, Tests und Szenarien f\u00fcr das Hochladen auf das Board ver\u00f6ffentlicht.<\/p>\n

<\/noindex> <\/p>\n

Die angegebenen 28,9 Millionen Parameter sollten nicht direkt mit der Anzahl der Parameter g\u00e4ngiger Desktop-LLMs verglichen werden. Laut einem ausf\u00fchrlichen Bericht des Entwicklers<\/a>besteht das Modell aus einem dichten Rechenkern mit etwa 559.000 Parametern, einer Ausgabeschicht mit 3,1 Millionen Parametern und einer Tabelle mit schichtweisen Vektor-Representationen mit etwa 25 Millionen Parametern. Letztere macht den Gro\u00dfteil der formalen Gr\u00f6\u00dfe des Modells aus, wird jedoch nicht vollst\u00e4ndig bei der Generierung jedes Tokens verarbeitet.<\/p>\n

<\/noindex> <\/p>\n

F\u00fcr die Unterbringung des Modells werden drei Speicherebenen verwendet. Die am h\u00e4ufigsten verwendeten Daten befinden sich im internen SRAM, die Ausgabeschicht, der KV-Cache und tempor\u00e4re Puffer im PSRAM, w\u00e4hrend die 25-Millionen-Tabelle im Flash-Speicher bleibt und \u00fcber eine Abbildung in den Adressraum zug\u00e4nglich ist. F\u00fcr jedes Token werden dabei nur etwa sechs Zeilen mit einem Gesamtvolumen von etwa 450 Byte gelesen.<\/p>\n

<\/p>\n

Ein solches Ger\u00e4t basiert auf der Per-Layer Embeddings-Technologie, die Google in Gemma 3n verwendet hat. Laut der Google-Dokumentation<\/a>k\u00f6nnen PLE-Parameter au\u00dferhalb des Arbeitsspeichers des Modells gespeichert und w\u00e4hrend des Ausgabeverfahrens beim Verarbeiten einzelner Schichten hinzugef\u00fcgt werden. In esp32-ai wurde dieser Ansatz auf die Speicherhierarchie des Mikrocontrollers \u00fcbertragen, wo die schnelle SRAM besonders begrenzt ist.<\/p>\n

<\/noindex> <\/p>\n

Die erste korrekte Version der in C geschriebenen Laufzeitumgebung gab nur 0,57 Token pro Sekunde aus. Nach der Anordnung der Ausgabeschicht in PSRAM, dem Wechsel zu achtbitigen Aktivierungen, der Verteilung der Berechnungen zwischen zwei Xtensa LX7-Kernen und weiteren Optimierungen wurde die Verz\u00f6gerung auf 94,9 ms pro Modellschritt verringert. Die letztendlich gemessene Geschwindigkeit erreichte 9,88 Token pro Sekunde unter Ber\u00fccksichtigung des gesamten Generierungsprozesses. Die Hauptbeschr\u00e4nkung ist jetzt die Bandbreite von PSRAM beim Lesen der Ausgabeschicht.<\/p>\n

<\/p>\n

Das Modell wurde auf einem synthetischen Datensatz trainiert TinyStories<\/a>, der aus einfachen englischsprachigen Geschichten mit einem begrenzten Wortschatz besteht. Daher ist es in der Lage, S\u00e4tze fortzusetzen und kleine zusammenh\u00e4ngende Geschichten zu erfinden, ist jedoch nicht f\u00fcr das Beantworten von Fragen, das Ausf\u00fchren von Anweisungen, Programmieren oder das Wiedergeben von Faktenwissen gedacht. Der Entwickler betrachtet die Arbeit in erster Linie als Demonstration einer effizienten Platzierung des Modells im Speicher eines Mikrocontrollers und nicht als fertigen eigenst\u00e4ndigen Chatbot.<\/p>\n

<\/noindex> <\/p>\n

In der aktuellen Dokumentation hebt der Autor besonders hervor, dass esp32-ai eine eigenst\u00e4ndige Entwicklung ist. Die Projekte llama2.c<\/a> von Andrei Karpathy und der fr\u00fchere Einsatz eines 260.000-Parameter-Modells auf ESP32-S3 werden lediglich als Richtwerte und Beispiele fr\u00fcherer Arbeiten angef\u00fchrt: Code, Checkpoints und Methodik wurden direkt aus diesen nicht entnommen. Der Quellcode von esp32-ai wird unter der MIT-Lizenz verbreitet<\/a>.<\/p>\n

<\/noindex><\/p>\n

Quelle: linux.org.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

1 \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0412\u044f\u0447\u0435\u0441\u043b\u0430\u0432 \u0421\u0435\u0440\u0431\u043e\u0432, \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0434 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u043c slvDev, \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0435 ESP32-S3. \u0421\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u0438\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043b\u043e 9,9 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c. \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0439 OLED-\u0434\u0438\u0441\u043f\u043b\u0435\u0439. \u041f\u0440\u043e\u0435\u043a\u0442 esp32-ai \u0438\u0441\u043f\u044b\u0442\u0430\u043d \u043d\u0430 \u043c\u043e\u0434\u0443\u043b\u0435 ESP32-S3 N16R8, \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0449\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":9,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-182824","post","type-post","status-publish","format-standard","hentry","category-novosti-interneta"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Das Sprachmodell mit 28,9 Millionen Parametern l\u00e4uft auf dem ESP32-S3 | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u042f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0430 ESP32-S3 | ProHoster","og:url":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2026-08-11T02:54:15+00:00","article:modified_time":"2026-08-11T02:54:15+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":[],"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/182824","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=182824"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/182824\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=182824"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=182824"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=182824"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}