De release van het automatische vertaalsysteem OpenNMT 0.28.0 (Open Neural Machine Translation), dat gebruik maakt van machine learning-methoden, is gepubliceerd. Om een neuraal netwerk te bouwen, maakt het project gebruik van de mogelijkheden van de TensorFlow deep machine learning-bibliotheek. De code van de door het OpenNMT-project ontwikkelde modules is geschreven in Python en gedistribueerd onder de MIT-licentie. Er zijn kant-en-klare modellen voorbereid voor de Engelse, Duitse en Catalaanse talen; voor andere talen kunt u zelfstandig een model maken op basis van een dataset uit het OPUS-project (voor training worden twee bestanden naar het systeem overgebracht - één met zinnen in de brontaal, en de tweede met een hoogwaardige vertaling van deze zinnen in de doeltaal).
Het project wordt ontwikkeld met medewerking van SYSTRAN, een bedrijf dat gespecialiseerd is in het creëren van machinevertalingstools, en een groep Harvard-onderzoekers die menselijke taalmodellen ontwikkelen voor machine learning-systemen. De gebruikersinterface is zo vereenvoudigd mogelijk en vereist alleen het opgeven van een invoerbestand met tekst en een bestand om het vertaalresultaat op te slaan. Het uitbreidingssysteem maakt het mogelijk om extra functionaliteit te implementeren op basis van OpenNMT, bijvoorbeeld automatisch samenvatten, tekstclassificatie en het genereren van ondertitels.
Door het gebruik van TensorFlow kunt u de mogelijkheden van de GPU gebruiken (om het proces van het trainen van een neuraal netwerk te versnellen. Om de distributie van het product te vereenvoudigen, ontwikkelt het project ook een zelfvoorzienende versie van de vertaler in C++ - CTranslate2 , dat vooraf getrainde modellen gebruikt zonder verwijzing naar aanvullende afhankelijkheden.
De nieuwe versie voegt de parameter initial_learning_rate toe en implementeert verschillende nieuwe argumenten (mha_bias en output_layer_bias) om de Transformer-modelgenerator te configureren. De rest wordt gekenmerkt door bugfixes.
Bron: opennet.ru