È stata pubblicata la versione 2.30.0 del sistema di traduzione automatica OpenNMT-tf (Open Neural Machine Translation), che utilizza metodi di apprendimento automatico. Il codice dei moduli sviluppati dal progetto OpenNMT-tf è scritto in Python, utilizza la libreria TensorFlow ed è distribuito con licenza MIT.
Parallelamente, si sviluppa una versione di OpenNMT basata sulla libreria PyTorch, che si differenzia per le funzionalità supportate. Inoltre, OpenNMT basato su PyTorch è presentato come più facile da usare e multimodale, mentre la versione basata su TensorFlow è contraddistinta come modulare, stabile e capace di sfruttare le capacità delle GPU per accelerare il processo di addestramento della rete neurale. Per semplificare la distribuzione del prodotto, il progetto sta sviluppando anche una versione autonoma del traduttore in C++ — CTranslate2, che utilizza modelli pre-addestrati senza dipendenze aggiuntive.
I modelli sono stati preparati per le lingue inglese, tedesca e catalana; per le altre lingue è possibile creare autonomamente un modello basato su un insieme di dati dal progetto OPUS (per addestrare il sistema vengono forniti due file: uno con le frasi nella lingua sorgente e l'altro con la traduzione di alta qualità di queste frasi nella lingua target).
Il progetto è sviluppato con la partecipazione dell'azienda SYSTRAN, specializzata nella creazione di strumenti per la traduzione automatica, e da un gruppo di ricercatori di Harvard, che sta sviluppando modelli di linguaggio umano per sistemi di apprendimento automatico. L'interfaccia utente è stata semplificata al massimo e richiede solo di indicare un file di ingresso con il testo e un file per salvare il risultato della traduzione. Il sistema di estensioni consente di implementare funzionalità aggiuntive basate su OpenNMT, come l'autoreferenziazione, la classificazione dei testi e la generazione di sottotitoli.
Nella nuova versione:
- È stato aggiunto il supporto per la libreria TensorFlow 2.11, ma i nuovi ottimizzatori di Keras non sono ancora supportati (è necessario utilizzare la modalità tf.keras.optimizers.legacy).
- È stato aggiunto il supporto per un nuovo ramo del motore CTranslate2 3.x, progettato per l'esecuzione efficiente dei modelli con architettura "trasformativa".
- È stato aggiunto il parametro di addestramento dei modelli pad_to_bucket_boundary per includere il riempimento aggiuntivo, che allinea la dimensione del blocco a valori multipli di length_bucket_width.
- È stata integrata la supporto delle metriche chrf e chrf++ dal progetto SacreBLEU, che confrontano la traduzione automatica con la traduzione umana di riferimento.
- Rimosso l'attributo modello ctranslate2_spec, che non è più utilizzato in CTranslate2.
Fonte: opennet.ru
