Foi publicado o lançamento do sistema de tradução automática OpenNMT-tf 2.30.0 (Open Neural Machine Translation), que utiliza métodos de aprendizado de máquina. O código dos módulos desenvolvidos pelo projeto OpenNMT-tf é escrito em Python, utiliza a biblioteca TensorFlow e é distribuído sob a licença MIT.
Paralelamente, está em desenvolvimento uma versão do OpenNMT baseada na biblioteca PyTorch, que se diferencia em termos de recursos suportados. Além disso, o OpenNMT baseado em PyTorch é apresentado como mais fácil de usar e multimodal, enquanto a versão baseada em TensorFlow é destacada por ser modular, estável e permitir o uso de GPUs para acelerar o processo de treinamento da rede neural. Para simplificar a distribuição do produto, o projeto também está desenvolvendo uma versão autônoma do tradutor em C++ — CTranslate2, que utiliza modelos pré-treinados sem dependências adicionais.
Modelos foram preparados para os idiomas inglês, alemão e catalão; para os demais idiomas, é possível criar um modelo com base em um conjunto de dados do projeto OPUS (para treinar o sistema, são fornecidos dois arquivos — um com frases no idioma original e outro com a tradução de qualidade dessas frases no idioma de destino).
O projeto é desenvolvido com a participação da empresa SYSTRAN, especializada na criação de ferramentas de tradução automática, e de um grupo de pesquisadores de Harvard, que desenvolvem modelos de linguagem humana para sistemas de aprendizado de máquina. A interface do usuário é maximamente simplificada e requer apenas a indicação de um arquivo de entrada com o texto e um arquivo para salvar o resultado da tradução. O sistema de extensões permite implementar funcionalidade adicional baseada no OpenNMT, como autorreferenciamento, classificação de textos e geração de legendas.
Na nova versão:
- Suporte à biblioteca TensorFlow 2.11 foi adicionado, mas novos otimizadores do Keras ainda não são suportados (é necessário usar o modo tf.keras.optimizers.legacy).
- Suporte à nova versão do motor CTranslate2 3.x, destinado à execução eficiente de modelos com arquitetura de "transformer", foi adicionado.
- Adicionado o parâmetro de treinamento de modelos pad_to_bucket_boundary para incluir preenchimento adicional, alinhando o tamanho do bloco a valores múltiplos de length_bucket_width.
- Suporte integrado para métricas chrf e chrf++ do projeto SacreBLEU, que comparam a tradução automática com a tradução humana de referência.
- O atributo model ctranslate2_spec foi removido, pois não é mais utilizado no CTranslate2.
Fonte: opennet.ru
