Standard Intelligence heeft de publicatie aangekondigd van hertz-dev, het eerste open AI-model voor spraaksynthese in full-duplex modus, dat kan worden gebruikt als basis voor het creƫren van systemen voor realtime spraakcommunicatie of het genereren van conversaties. Dit model kan spraak genereren die dicht in de buurt komt van de spraakgegevens waarop het is getraind en biedt interactie in de stijl van menselijke communicatie zonder vertragingen die doen denken aan een haperend telefoongesprek. De resultaten van dit project worden verspreid onder de Apache 2.0-licentie.
Op een systeem met een NVIDIA GeForce RTX 4090-gpu bedraagt de gemiddelde vertraging voordat de generatie plaatsvindt 120 ms (theoretisch tot 65 ms), wat ongeveer twee keer zo snel is als de bestaande open models. De gepubliceerde variant is gebouwd met behulp van een 'transformer'-architectuur, bestrijkt 8,5 miljard parameters en is getraind met 500 miljard tokens. De grootte van de context die het model in aanmerking neemt (het aantal tokens dat het model kan verwerken en onthouden bij het genereren van spraak) is 2048 tokens of ongeveer 4 minuten spraak.
Bron: opennet.ru
