De bedrijven NVIDIA en Mozilla hebben een update gepresenteerd van de stemdataset die is verzameld als onderdeel van het Common Voice-initiatief, inclusief spraakvoorbeelden van 182.000 mensen, 25% meer dan zes maanden geleden. De gegevens zijn gepubliceerd als publiek domein (CC0). De aangeboden datasets kunnen worden gebruikt in machine learning-systemen voor het bouwen van spraakherkennings- en synthesemodellen.
In vergelijking met de vorige update is de hoeveelheid spraakmateriaal in de collectie gestegen van 9 naar 13,9 duizend uur spraak. Het aantal ondersteunde talen is toegenomen van 60 naar 76, met voor het eerst de toevoeging van ondersteuning voor het Wit-Russisch, Kazachs, Oezbeeks, Bulgaars, Armeens, Azerbeidzjaans en Baskisch. De dataset voor het Russisch omvat 2.136 deelnemers en 173 uur spraakmateriaal (eerder 1.412 deelnemers en 111 uur), terwijl de dataset voor het Oekraïens 615 deelnemers en 66 uur dekt (eerder 459 deelnemers en 30 uur).
Bij het opstellen van materialen in het Engels waren meer dan 75.000 mensen betrokken, die 2.637 uur bevestigde spraak hebben ingesproken (eerder 66.000 deelnemers en 1.686 uur). Interessant is dat het Kinyarwanda, met 2.260 uur, de tweede plaats bezet qua verzamelde gegevens. Vervolgens komen het Duits (1.040 uur), Catalaans (920 uur) en Esperanto (840 uur). De meest dynamisch groeiende talen in spraakgegevens zijn het Thais (20 keer groei, van 12 naar 250 uur), het Loeya (van 8 naar 80 uur), Esperanto (van 100 naar 840 uur) en Tamil (van 24 naar 220 uur).
In het kader van haar deelname aan het Common Voice-project heeft NVIDIA kant-en-klare getrainde modellen ontwikkeld op basis van verzamelde gegevens voor machine learning systemen (ondersteuning voor PyTorch). De modellen worden verspreid als onderdeel van de gratis en open toolset NVIDIA NeMo, die bijvoorbeeld al wordt gebruikt in de geautomatiseerde spraakdiensten van MTS en Sberbank. De modellen zijn gericht op gebruik in spraakherkenningssystemen, spraaksynthese en natuurlijke taalverwerking, en kunnen nuttig zijn voor onderzoekers die zich bezighouden met het creëren van spraakdialogensystemen, transcriptieplatforms en geautomatiseerde callcenters. In tegenstelling tot eerder beschikbare projecten zijn de gepubliceerde modellen niet beperkt tot de herkenning van de Engelse taal en bestrijken ze verschillende talen, accenten en spreekstijlen.
Ter herinnering, het Common Voice-project is gericht op het organiseren van samenwerking voor het opbouwen van een database van spraakpatronen die de diversiteit van stemmen en spraakstijlen weerspiegelt. Gebruikers wordt gevraagd om de op het scherm weergegeven zinnen in te spreken of de kwaliteit van gegevens die door andere gebruikers zijn toegevoegd te beoordelen. De verzamelde database met opnames van verschillende uitspraak van standaardzinnen in menselijke spraak kan zonder beperkingen worden gebruikt in machine learning systemen en onderzoeksprojecten.
Volgens de auteur van de spraakherkenningsbibliotheek Vosk zijn de nadelen van de Common Voice-set de eentonigheid van het stemmateriaal (overheersing van mannen van 20-30 jaar, en een tekort aan materiaal met de stemmen van vrouwen, kinderen en ouderen), het gebrek aan variëteit in de woordenschat (herhaling van dezelfde zinnen) en het gebruik van opnames in een vervormd MP3-formaat.
Bron: opennet.ru
