{"id":106018,"date":"2022-12-13T09:36:49","date_gmt":"2022-12-13T07:36:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-sistemy-mashinnogo-perevoda-opennmt-tf-2-30"},"modified":"2022-12-13T09:36:49","modified_gmt":"2022-12-13T07:36:49","slug":"vypusk-sistemy-mashinnogo-perevoda-opennmt-tf-2-30","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/vypusk-sistemy-mashinnogo-perevoda-opennmt-tf-2-30","title":{"rendered":"Lan\u00e7amento do sistema de tradu\u00e7\u00e3o autom\u00e1tica OpenNMT-tf 2.30","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Foi publicado o lan\u00e7amento do sistema de tradu\u00e7\u00e3o autom\u00e1tica OpenNMT-tf 2.30.0 (Open Neural Machine Translation), que utiliza m\u00e9todos de aprendizado de m\u00e1quina. O c\u00f3digo dos m\u00f3dulos desenvolvidos pelo projeto OpenNMT-tf \u00e9 escrito em Python, utiliza a biblioteca TensorFlow e \u00e9 distribu\u00eddo sob a licen\u00e7a MIT. <\/p>\n
Paralelamente, uma vers\u00e3o do OpenNMT baseada na biblioteca PyTorch est\u00e1 se desenvolvendo, que se diferencia em termos de recursos suportados. Al\u00e9m disso, o OpenNMT baseado em PyTorch \u00e9 apresentado como mais f\u00e1cil de usar e multimodal, enquanto a vers\u00e3o baseada em TensorFlow \u00e9 destacada como modular, est\u00e1vel e capaz de utilizar recursos de GPU para acelerar o processo de treinamento da rede neural. Para simplificar a distribui\u00e7\u00e3o do produto, o projeto tamb\u00e9m est\u00e1 desenvolvendo uma vers\u00e3o autossuficiente do tradutor em C++ \u2014 CTranslate2, que utiliza modelos pr\u00e9-treinados sem a necessidade de depend\u00eancias adicionais. <\/p>\n
Modelos est\u00e3o preparados para os idiomas ingl\u00eas, alem\u00e3o e catal\u00e3o; para os demais idiomas, \u00e9 poss\u00edvel criar um modelo com base no conjunto de dados do projeto OPUS (para treinar o sistema, dois arquivos s\u00e3o enviados \u2014 um com as senten\u00e7as no idioma fonte e o segundo com a tradu\u00e7\u00e3o de qualidade dessas senten\u00e7as para o idioma alvo). <\/p>\n
O projeto \u00e9 desenvolvido com a participa\u00e7\u00e3o da empresa SYSTRAN, especializada na cria\u00e7\u00e3o de ferramentas de tradu\u00e7\u00e3o autom\u00e1tica, e de um grupo de pesquisadores de Harvard, que desenvolvem modelos de linguagem humana para sistemas de aprendizado de m\u00e1quina. A interface do usu\u00e1rio \u00e9 maximamente simplificada e requer apenas a indica\u00e7\u00e3o de um arquivo de entrada com o texto e um arquivo para salvar o resultado da tradu\u00e7\u00e3o. O sistema de extens\u00f5es permite implementar funcionalidade adicional baseada no OpenNMT, como autorreferenciamento, classifica\u00e7\u00e3o de textos e gera\u00e7\u00e3o de legendas. <\/p>\n
Na nova vers\u00e3o: <\/p>\n
\n
Suporte \u00e0 biblioteca TensorFlow 2.11 foi adicionado, mas novos otimizadores do Keras ainda n\u00e3o s\u00e3o suportados (\u00e9 necess\u00e1rio usar o modo tf.keras.optimizers.legacy).\n
Adicionada a suporte para a nova vers\u00e3o do motor CTranslate2 3.x, projetada para a execu\u00e7\u00e3o eficiente de modelos com arquitetura \u2018transformer\u2019.\n
Adicionado o par\u00e2metro de treinamento de modelos pad_to_bucket_boundary para incluir preenchimento adicional, alinhando o tamanho do bloco a valores m\u00faltiplos de length_bucket_width.\n
Suporte integrado para m\u00e9tricas chrf e chrf++ do projeto SacreBLEU, que comparam a tradu\u00e7\u00e3o autom\u00e1tica com a tradu\u00e7\u00e3o humana de refer\u00eancia.\n
O atributo model ctranslate2_spec foi removido, pois n\u00e3o \u00e9 mais utilizado no CTranslate2. <\/ul>\n