Die Entwickler von Firefox haben Pläne zur Erweiterung der Nutzung von Funktionen auf der Grundlage von Machine-Learning-Mechanismen im Browser bekannt gegeben. Ab der Version Firefox 130, die für den 3. September angesetzt ist, wird der Browser eine Funktion zur automatischen Generierung von Textbeschreibungen für Bilder enthalten. Die Testphase der Implementierung hat bereits in den Nachtausgaben von Firefox begonnen, in denen eine solche Funktion im PDF-Viewer eingebaut ist. In der ersten Testphase wird die Beschreibung nur bei der Hinzufügung neuer Bilder als Eingabeaufforderung generiert, jedoch ist geplant, diese Funktionalität auch auf bestehende Bilder anzuwenden.
Es wird erwartet, dass das Vorhandensein von Textbeschreibungen, die über Screenreader ausgegeben werden können, die Arbeit von Menschen mit Sehbehinderungen erleichtert. Die Funktion wird durch die Integration eines auf dem lokalen System des Nutzers ausgeführten Machine-Learning-Modells realisiert, ohne externe Dienste zu nutzen, ähnlich wie es bereits bei der integrierten Übersetzung von einer Sprache in eine andere funktioniert.
Das Modell zur Generierung von Textbeschreibungen benötigt etwa 200 MB Speicherplatz, verwendet Daten des DistilGPT2-Modells und umfasst 182 Millionen Parameter. Für die Analyse von Bildern kommt ein Dekoder basierend auf dem Vision Transformer (ViT) zum Einsatz. Um mit dem Modell zu arbeiten, ist der ONNX Runtime, der in das WASM-Format kompiliert wurde, sowie die Bibliothek Transformers.js im Browser integriert. Das Modell wird dynamisch vor der ersten Verwendung geladen.
Quelle: opennet.ru
