Δημοσιεύτηκε η κυκλοφορία του συστήματος μηχανικής μετάφρασης OpenNMT 0.28.0 (Open Neural Machine Translation), το οποίο χρησιμοποιεί μεθόδους μηχανικής μάθησης. Για τη δημιουργία ενός νευρωνικού δικτύου, το έργο χρησιμοποιεί τις δυνατότητες της βιβλιοθήκης βαθιάς μηχανικής εκμάθησης TensorFlow. Ο κώδικας των ενοτήτων που αναπτύχθηκε από το έργο OpenNMT είναι γραμμένος σε Python και διανέμεται με την άδεια MIT. Τα έτοιμα μοντέλα προετοιμάζονται για αγγλικές, γερμανικές και καταλανικές γλώσσες· για άλλες γλώσσες, μπορείτε να δημιουργήσετε ανεξάρτητα ένα μοντέλο που βασίζεται σε ένα σύνολο δεδομένων από το έργο OPUS (για εκπαίδευση, δύο αρχεία μεταφέρονται στο σύστημα - ένα με προτάσεις στο γλώσσα πηγής και η δεύτερη με μετάφραση υψηλής ποιότητας αυτών των προτάσεων στη γλώσσα-στόχο ).
Το έργο αναπτύσσεται με τη συμμετοχή της SYSTRAN, μιας εταιρείας που ειδικεύεται στη δημιουργία εργαλείων μηχανικής μετάφρασης, και μιας ομάδας ερευνητών του Χάρβαρντ που αναπτύσσουν μοντέλα ανθρώπινης γλώσσας για συστήματα μηχανικής μάθησης. Η διεπαφή χρήστη είναι όσο το δυνατόν πιο απλοποιημένη και απαιτεί μόνο τον καθορισμό ενός αρχείου εισόδου με κείμενο και ένα αρχείο για την αποθήκευση του αποτελέσματος της μετάφρασης. Το σύστημα επέκτασης καθιστά δυνατή την υλοποίηση πρόσθετων λειτουργιών με βάση το OpenNMT, για παράδειγμα, αυτόματη σύνοψη, ταξινόμηση κειμένου και δημιουργία υποτίτλων.
Η χρήση του TensorFlow σάς επιτρέπει να χρησιμοποιείτε τις δυνατότητες της GPU (για να επιταχύνετε τη διαδικασία εκπαίδευσης ενός νευρωνικού δικτύου. Για να απλοποιήσετε τη διανομή του προϊόντος, το έργο αναπτύσσει επίσης μια αυτάρκη έκδοση του μεταφραστή σε C++ - CTranslate2 , το οποίο χρησιμοποιεί προεκπαιδευμένα μοντέλα χωρίς αναφορά σε πρόσθετες εξαρτήσεις.
Η νέα έκδοση προσθέτει την παράμετρο initial_learning_rate και εφαρμόζει πολλά νέα ορίσματα (mha_bias και output_layer_bias) για τη διαμόρφωση της γεννήτριας μοντέλου Transformer. Τα υπόλοιπα επισημαίνονται με διορθώσεις σφαλμάτων.
Πηγή: opennet.ru