Se ha publicado la versión 2.30.0 del sistema de traducción automática OpenNMT-tf (Traducción Automática Neural Abierta), que utiliza métodos de aprendizaje automático. El código de los módulos desarrollados por el proyecto OpenNMT-tf está escrito en Python, utiliza la biblioteca TensorFlow y se distribuye bajo la licencia MIT.
Paralelamente, se desarrolla una variante de OpenNMT basada en la biblioteca PyTorch, que se diferencia a nivel de capacidades soportadas. Además, OpenNMT basado en PyTorch se presenta como más fácil de usar y multimodal, mientras que la versión basada en TensorFlow se destaca como modular, estable y permite aprovechar las capacidades de la GPU para acelerar el proceso de entrenamiento de la red neuronal. Para simplificar la difusión del producto, el proyecto también desarrolla una variante autónoma del traductor en C++: CTranslate2, que utiliza modelos previamente entrenados sin dependencia adicional.
Los modelos están preparados para los idiomas inglés, alemán y catalán; para otros idiomas, se puede formar un modelo basado en un conjunto de datos del proyecto OPUS (se transmiten dos archivos al sistema para el entrenamiento: uno con oraciones en el idioma original y otro con la traducción de calidad de esas oraciones al idioma de destino).
El proyecto se desarrolla con la participación de la empresa SYSTRAN, especializada en la creación de herramientas de traducción automática, y un grupo de investigadores de Harvard que desarrollan modelos de lenguaje humano para sistemas de aprendizaje automático. La interfaz de usuario se ha simplificado al máximo y solo requiere la especificación de un archivo de entrada con el texto y un archivo para guardar el resultado de la traducción. El sistema de extensiones permite implementar funcionalidades adicionales sobre OpenNMT, como autorreferencia, clasificación de textos y generación de subtítulos.
En la nueva versión:
- Se ha añadido soporte para la biblioteca TensorFlow 2.11, pero los nuevos optimizadores Keras aún no son compatibles (se requiere el uso del modo tf.keras.optimizers.legacy).
- Se ha añadido soporte para la nueva rama del motor CTranslate2 3.x, diseñado para la ejecución eficiente de modelos con arquitectura de 'transformador'.
- Se ha añadido el parámetro de entrenamiento de modelos pad_to_bucket_boundary para incluir el relleno adicional que ajusta el tamaño del bloque a valores que son múltiplos de length_bucket_width.
- Se ha integrado el soporte para las métricas chrf y chrf++ del proyecto SacreBLEU, que comparan la traducción automática con la traducción humana de referencia.
- Se ha eliminado el atributo modelo ctranslate2_spec, que ya no se utiliza en CTranslate2.
Fuente: opennet.ru
