A fost lansată versiunea sistemului de traducere automată OpenNMT-tf 2.30.0 (Open Neural Machine Translation), care utilizează metode de învățare automată. Codul modulelor dezvoltate de proiectul OpenNMT-tf este scris în Python, folosește biblioteca TensorFlow și este distribuit sub licența MIT.
Paralel se dezvoltă o variantă OpenNMT bazată pe biblioteca PyTorch, care se distinge prin capabilitățile sale suportate. În plus, OpenNMT pe baza PyTorch este prezentat ca fiind mai ușor de utilizat și multimodal, iar varianta bazată pe TensorFlow este recunoscută ca fiind modulară, stabilă și capabilă să utilizeze resursele GPU pentru accelerarea procesului de învățare a rețelei neuronale. Pentru a simplifica distribuția produsului, proiectul dezvoltă de asemenea o variantă autonomă a translatorului în C++ — CTranslate2, care folosește modele pre-antrenate fără a necesita dependențe suplimentare.
Modelele sunt pregătite pentru limbile engleză, germană și catalană; pentru celelalte limbi, se poate forma singur un model pe baza setului de date de la proiectul OPUS (pentru a antrena sistemul, sunt transmise două fișiere — unul cu propoziții în limba sursă și celălalt cu traducerea de calitate a acestor propoziții în limba țintă).
Proiectul se dezvoltă cu contribuția companiei SYSTRAN, specializată în crearea instrumentelor de traducere automată, și a unui grup de cercetători de la Harvard, care dezvoltă modele de limbaj uman pentru sistemele de învățare automată. Interfața utilizatorului este maxim simplificată și necesită doar indicarea fișierului de intrare cu textul și a fișierului pentru salvarea rezultatului traducerii. Sistemul de extensii permite realizarea de funcționalități suplimentare pe baza OpenNMT, cum ar fi autoreferințierea, clasificarea textelor și generarea de subtitrări.
În noua versiune:
- A fost adăugată suportul pentru biblioteca TensorFlow 2.11, dar noii optimizatori Keras nu sunt încă suportați (este necesară utilizarea modului tf.keras.optimizers.legacy).
- A fost adăugată suportul pentru noua ramură a motorului CTranslate2 3.x, destinat executării eficiente a modelului cu arhitectura „transformer”.
- A fost adăugat parametrul de antrenare a modelelor pad_to_bucket_boundary pentru a include umplutura suplimentară, care aliniază dimensiunea blocului la valori care sunt múltipli de length_bucket_width.
- A fost integrat suportul pentru metricile chrf și chrf++ din proiectul SacreBLEU, care compară traducerea automată cu traducerea umană de referință.
- A fost eliminat atributul modelului ctranslate2_spec, care nu mai este utilizat în CTranslate2.
Sursa: opennet.ro
