Die neueste Technologie von Microsoft, die in Azure AI eingeführt wurde, beschreibt Bilder ebenso gut wie Menschen.

Forscher von Microsoft haben ein KI-System entwickelt, das in der Lage ist, Bildbeschreibungen zu generieren, die in vielen Fällen präziser sind als von Menschen erstellte. Dieser Durchbruch stellt einen wichtigen Meilenstein im Bestreben von Microsoft dar, seine Produkte und Dienstleistungen inklusiv und für alle Nutzer zugänglich zu machen.

„Bildbeschreibungen sind eine der Hauptfunktionen des maschinellen Sehens, die die Arbeit einer Vielzahl von Diensten ermöglichen“, sagte Xuedong Huang (Xuedong Huang), technischer Mitarbeiter von Microsoft und Chief Technical Officer für Azure AI Cognitive Services in Redmond (Washington).

Das neue Modell ist nun über Computer Vision in Azure Cognitive Services, das Teil von Azure AI ist, für Entwickler zugänglich und ermöglicht die Verbesserung der Barrierefreiheit ihrer Dienste. Es wird auch in die App Seeing AI integriert und wird Ende dieses Jahres in Microsoft Word und Outlook für Windows und Mac sowie in PowerPoint für Windows, Mac und in der Webversion verfügbar sein.

Die automatische Beschreibung hilft Nutzern, auf wichtige Inhalte von Bildern zuzugreifen, sei es ein Foto, das in den Suchergebnissen angezeigt wird, oder eine Illustration für eine Präsentation.

„Die Verwendung von Bildunterschriften, die den Inhalt der Bilder beschreiben (der sogenannte alternative oder Ersatztext), auf Webseiten und in Dokumenten ist besonders wichtig für blinde oder sehbehinderte Menschen“, bemerkte Saqib Shaikh (Saqib Shaikh), Software-Manager in der AI-Plattform-Gruppe von Microsoft in Redmond.

Sein Team nutzt beispielsweise die verbesserte Funktion zur Bildbeschreibung in der Anwendung für blinde und sehbehinderte Menschen Seeing AI, die erkennt, was die Kamera aufnimmt, und darüber berichtet. Die Anwendung verwendet generierte Bildunterschriften, um Fotos, einschließlich solcher aus sozialen Medien, zu beschreiben.

Idealerweise sollten alle alternativen Texte für Bilder in Dokumenten, im Internet und in sozialen Medien hinzugefügt werden, da dies blinden Menschen den Zugang zu Inhalten und die Teilnahme am Gespräch ermöglicht. Leider tun dies jedoch die Menschen nicht, sagt Sheikh. Es gibt jedoch mehrere Anwendungen, die die Funktion zur Bildbeschreibung nutzen, um alternativen Text hinzuzufügen, wenn dieser fehlt.
  


Lijuan Wang, Hauptmanagerin für Forschung im Microsoft-Labor in Redmond, leitete ein Forschungsteam, das Ergebnisse erzielte, die mit menschlichen Leistungen vergleichbar sind und diese übertrafen. Foto: Dan DeLong.

Beschreibung neuer Objekte

„Die Beschreibung von Bildern ist eine der Hauptaufgaben der Computer Vision, die ein KI-System erfordert, um den grundlegenden Inhalt oder die Handlung, die im Bild dargestellt ist, zu verstehen und zu beschreiben“, erklärte Lijuan Wang (Lijuan Wang), Hauptmanagerin für Forschung im Microsoft-Labor in Redmond.

„Es ist wichtig zu verstehen, was passiert, die Beziehungen zwischen Objekten und Aktionen herauszufinden und dann alles in einem für den Menschen verständlichen Satz zusammenzufassen“, sagte sie.

Wang leitete eine Forschungsgruppe, die bei der Benchmarks für das nocaps (novel object captioning at scale) Ergebnisse erzielte, die mit menschlichen Resultaten vergleichbar sind und diese sogar übertreffen. Diese Tests bewerten, wie gut KI-Systeme Beschreibungen von abgebildeten Objekten generieren, die nicht im Datensatz enthalten sind, auf dem das Modell trainiert wurde.

Typischerweise werden Bildbeschreibungs-Systeme auf Datensätzen trainiert, die Bilder mit begleitenden Textbeschreibungen enthalten, also auf beschrifteten Bilddatensätzen.

„Der nocaps-Test zeigt, wie gut das System in der Lage ist, neue Objekte zu beschreiben, die in den Trainingsdaten nicht vorkommen“, sagt Wang.

Um diese Aufgabe zu lösen, hat das Microsoft-Team ein großes KI-Modell auf einem umfangreichen Datensatz mit Bildern und Textbeschriftungen vortrainiert, wobei jede Beschriftung mit einem bestimmten Objekt im Bild verknüpft wurde.

Datensätze mit Bildbeschriftungen anstelle vollständiger Beschreibungen sind effizienter zu erstellen, was dem Team von Wang ermöglichte, viele Daten in ihr Modell einzuführen. Durch diesen Ansatz erhielt das Modell, was das Team als visuellen Wortschatz bezeichnet.

Wie Juan erklärte, ähnelt der Ansatz des Vortrainings mit einem visuellen Wortschatz der Vorbereitung von Kindern auf das Lesen: Zunächst wird ein Bilderbuch verwendet, in dem einzelne Wörter mit Bildern assoziiert werden, beispielsweise steht unter einem Foto eines Apfels 'Apfel', und unter einem Foto einer Katze steht das Wort 'Katze'.

„Diese Art der Vorbereitung mit einem visuellen Wortschatz ist im Grunde die Grundbildung, die notwendig ist, um das System zu schulen. So versuchen wir, eine Art motorisches Gedächtnis aufzubauen“, sagte Juan.

Das vortrainierte Modell wird anschließend mit einem Datensatz verfeinert, der signierte Bilder umfasst. In dieser Trainingsphase lernt das Modell, Sätze zu formulieren. Wenn ein Bild mit neuen Objekten erscheint, nutzt das KI-System ein visuelles Lexikon, um präzise Beschreibungen zu erstellen.

„Um mit neuen Objekten bei Tests umzugehen, kombiniert das System, was es während des Vortrainings und der nachfolgenden Verfeinerung gelernt hat“, sagt Wang.
Laut den Ergebnissen Forschungen, schnitt das KI-System in nocaps-Tests besser ab und erstellte bedeutungsvollere und genauere Beschreibungen als Menschen für dieselben Bilder.

Beschleunigter Übergang in die Arbeitsumgebung 

Überdies ist das neue Bildbeschreibungsystem doppelt so gut wie das Modell, das seit 2015 in Microsoft-Produkten und -Diensten verwendet wird, basierend auf einem Vergleich mit einem anderen Branchenstandard.

Angesichts der Vorteile, die alle Nutzer von Microsoft-Produkten und -Diensten durch diese Verbesserung erhalten werden, hat Juan die Integration des neuen Modells in die Arbeitsumgebung von Azure beschleunigt.

„Wir nutzen diese bahnbrechende KI-Technologie auf Azure als Plattform, um eine breitere Kundenbasis zu bedienen“, sagte er. „Und dieser Durchbruch ist nicht nur in der Forschung bemerkenswert. Die Zeit, die benötigt wurde, um diesen Durchbruch in die Azure-Umgebung zu integrieren, war ebenfalls revolutionär.“

Juan fügte hinzu, dass die Erzielung von Ergebnissen, die mit menschlichen Leistungen vergleichbar sind, den bereits etablierten Trend in Microsofts kognitiven Intelligenzsystemen fortsetzt.

„In den letzten fünf Jahren haben wir in fünf wichtigen Bereichen Ergebnisse erreicht, die mit menschlichen Fähigkeiten vergleichbar sind: in der Sprach­erkennung, maschinellen Übersetzung, Beantwortung von Fragen, maschinellem Lesen und Textverständnis. Und im Jahr 2020, trotz COVID-19, auch im Bildbeschreiben“, sagte Juan.

Thema

• Besuchen Sie die Website Azure Cognitive Services um mehr über Computer Vision zu erfahren (Computer Vision)
• Lesen Sie den Artikel Historischer Erfolg – Forscher von Microsoft haben das Niveau menschlicher Fähigkeiten im automatischen Sprach­verständnis erreicht 

Vergleichen Sie die Ergebnisse der Bildbeschreibung, die das System früher und jetzt mit KI lieferte.

Foto aus der Getty Images-Bibliothek. Vorherige Beschreibung: Nahaufnahme einer Person, die einen Hotdog auf einem Schneidebrett zubereitet. Neue Beschreibung: Eine Person macht Brot.

Foto aus der Getty Images-Bibliothek. Vorherige Beschreibung: Eine Person sitzt bei Sonnenuntergang. Neue Beschreibung: Ein Lagerfeuer am Strand.



Foto aus der Getty Images-Bibliothek. Vorherige Beschreibung: Ein Mann in einem blauen Hemd. Neue Beschreibung: Mehrere Personen mit chirurgischen Masken.

Foto aus der Getty Images-Bibliothek. Vorherige Beschreibung: Ein Mann auf einem Skateboard, der an einer Wand hochfährt. Neue Beschreibung: Ein Baseballspieler fängt einen Ball.

Quelle: habr.com