Das OpenAI-Projekt, das sich mit der Entwicklung von Open-Source-Projekten im Bereich der künstlichen Intelligenz beschäftigt, hat Ergebnisse zur Spracherkennungssystem Whisper veröffentlicht. Es wird behauptet, dass das System für die englische Sprache Zuverlässigkeits- und Genauigkeitsniveaus bei der automatischen Spracherkennung bietet, die mit denen eines Menschen vergleichbar sind. Der Code der Referenzimplementierung basiert auf dem PyTorch-Framework und eine Reihe bereits trainierter Modelle, die zur Nutzung bereitstehen, sind veröffentlicht worden. Der Code ist unter der MIT-Lizenz offen zugänglich.
Für das Training des Modells wurden 680.000 Stunden an Sprachdaten verwendet, die aus mehreren Sammlungen stammen und verschiedene Sprachen sowie Themenbereiche abdecken. Etwa ein Drittel der im Training verwendeten Sprachdaten stammt aus Sprachen, die sich vom Englischen unterscheiden. Das vorgeschlagene System verarbeitet solche Situationen wie Akzentaussprachen, Hintergrundgeräusche und den Einsatz von Fachjargon korrekt. Neben der Transkription von Sprache in Text kann das System auch Sprache von einer beliebigen Sprache ins Englische übersetzen und das Auftreten von Sprache im Audiofluss erkennen.
Die Modelle wurden in zwei Darstellungen entwickelt: ein Modell für die englische Sprache und ein mehrsprachiges Modell, das unter anderem Russisch, Ukrainisch und Weißrussisch unterstützt. Jede Darstellung wird ihrerseits in 5 Varianten unterteilt, die sich in ihrer Größe und der Anzahl der im Modell abgedeckten Parameter unterscheiden. Je größer die Größe, desto höher die Genauigkeit und die Qualität der Erkennung, jedoch auch größere Anforderungen an den Grafikspeicher und geringere Leistung. Zum Beispiel umfasst die minimalste Variante 39 Millionen Parameter und benötigt 1 GB Grafikspeicher, während die maximalste 1550 Millionen Parameter umfasst und 10 GB Grafikspeicher benötigt. Die minimalste Variante ist 32-mal schneller als die maximalste.
Im System wird die Architektur des neuronalen Netzwerks „Transformer“ verwendet, die einen miteinander interagierenden Encoder und Decoder umfasst. Der Ton wird in 30-Sekunden-Fragmenten zerlegt, die in ein log-Mel-Spektrum umgewandelt und an den Encoder übergeben werden. Das Ergebnis der Arbeit des Encoders wird an den Decoder weitergeleitet, der die textuelle Darstellung, gemischt mit speziellen Tokens, vorhersagt, die es ermöglichen, in einem gemeinsamen Modell Aufgaben wie die Spracherkennung, die Berücksichtigung der Chronologie der Aussprache von Phrasen, die Transkription von Sprache in verschiedenen Sprachen und die Übersetzung ins Englische zu lösen.
Quelle: opennet.ru
