Das OpenAI-Projekt, das sich mit der Entwicklung öffentlicher KI-Projekte beschäftigt, hat Fortschritte im Zusammenhang mit dem Spracherkennungssystem Whisper veröffentlicht. Es wird behauptet, dass die Zuverlässigkeit und Genauigkeit der automatischen Spracherkennung für die englische Sprache ähnlich hoch ist wie die Erkennung durch Menschen. Der Quellcode der Referenzimplementierung auf Basis des PyTorch-Frameworks sowie eine Sammlung vortrainierter Modelle, die einsatzbereit sind, wurden offen zugänglich gemacht. Der Code ist unter der MIT-Lizenz veröffentlicht.
Für das Training des Modells wurden 680.000 Stunden an Sprachdaten verwendet, die aus mehreren Sammlungen stammen und verschiedene Sprachen sowie Themenbereiche abdecken. Etwa ein Drittel der im Training verwendeten Sprachdaten entfallen auf Sprachen, die nicht Englisch sind. Das vorgeschlagene System verarbeitet korrekt Szenarien wie Akzentuierung, Hintergrundgeräusche und den Gebrauch von Fachjargon. Neben der Transkription von Sprache in Text kann das System auch Sprache von beliebigen Sprachen ins Englische übersetzen und die Anwesenheit von Sprache im Audiosignal erkennen.
Die Modelle sind in zwei Varianten erstellt: ein Modell für die englische Sprache und ein mehrsprachiges Modell, das auch Russisch, Ukrainisch und Weißrussisch unterstützt. Jedes Modell ist in 5 Varianten unterteilt, die sich in der Größe und der Anzahl der in dem Modell abgedeckten Parameter unterscheiden. Je größer das Modell, desto höher die Genauigkeit und Qualität der Erkennung, jedoch auch die Anforderungen an den Grafikspeicher und die geringere Leistung. Zum Beispiel umfasst die minimalste Variante 39 Millionen Parameter und benötigt 1 GB Grafikspeicher, während die maximale Variante 1550 Millionen Parameter enthält und 10 GB Grafikspeicher erfordert. Die minimalste Variante ist 32 Mal schneller als die maximale.
Das System nutzt die Architektur des neuronalen Netzwerks "Transformer", das einen interagierenden Encoder und Decoder umfasst. Der Klang wird in 30-sekündige Segmente unterteilt, die in ein log-Mel-Spektrum umgewandelt und an den Encoder weitergeleitet werden. Das Ergebnis des Encoders wird an den Decoder gesendet, der die textuelle Darstellung vorhersagt, gemischt mit speziellen Tokens, die es ermöglichen, in einem gemeinsamen Modell Aufgaben wie die Spracherkennung, die Berücksichtigung der Chronologie bei der Aussprache von Phrasen, die Transkription von Sprache in verschiedenen Sprachen und die Übersetzung ins Englische zu lösen.
Quelle: opennet.ru
