Opublikowano wersję systemu tłumaczenia maszynowego OpenNMT-tf 2.30.0 (Open Neural Machine Translation), wykorzystującą metody uczenia maszynowego. Kod rozwijanych przez projekt OpenNMT-tf modułów napisany jest w języku Python, używa biblioteki TensorFlow i jest rozpowszechniany na licencji MIT.
Równolegle rozwijana jest wersja OpenNMT oparta na bibliotece PyTorch, która różni się pod względem wspieranych możliwości. Co więcej, OpenNMT oparty na PyTorch jest przedstawiany jako prostszy w użyciu i multimodalny, podczas gdy wersja oparta na TensorFlow jest opisywana jako modułowa, stabilna i umożliwiająca wykorzystanie możliwości GPU do przyspieszenia procesu uczenia sieci neuronowej. Aby uprościć dystrybucję produktu, projekt rozwija również samodzielną wersję translatora napisaną w języku C++ — CTranslate2, która wykorzystuje wstępnie wytrenowane modele bez powiązania z dodatkowymi zależnościami.
Modele przygotowane są dla języków angielskiego, niemieckiego i katalońskiego, dla pozostałych języków można samodzielnie utworzyć model na podstawie zbioru danych z projektu OPUS (do uczenia systemu przekazywane są dwa pliki — jeden z zdaniami w języku źródłowym, a drugi z jakościowym tłumaczeniem tych zdań na język docelowy).
Projekt rozwija się we współpracy z firmą SYSTRAN, specjalizującą się w tworzeniu narzędzi do tłumaczenia maszynowego, oraz grupą badaczy z Harvardu, którzy opracowują modele języka naturalnego dla systemów uczenia maszynowego. Interfejs użytkownika jest maksymalnie uproszczony i wymaga jedynie wskazania pliku wejściowego z tekstem oraz pliku do zapisania wyniku tłumaczenia. System rozszerzeń umożliwia dodawanie dodatkowej funkcjonalności bazującej na OpenNMT, na przykład autoryzację, klasyfikację tekstów i generowanie napisów.
W nowej wersji:
- Dodano wsparcie dla biblioteki TensorFlow 2.11, ale nowe optymalizatory Keras nie są jeszcze wspierane (wymaga to użycia trybu tf.keras.optimizers.legacy).
- Dodano wsparcie dla nowej gałęzi silnika CTranslate2 3.x, przeznaczonej do efektywnego uruchamiania modeli z architekturą „transformer”.
- Dodano parametr treningu modeli pad_to_bucket_boundary, który włącza dodatkowe wypełnienie, wyrównujące rozmiar bloku do wartości wielokrotnych length_bucket_width.
- Zintegrowana obsługa metryk chrf i chrf++ z projektu SacreBLEU, porównujących tłumaczenia maszynowe z wzorcowym tłumaczeniem ludzkim.
- Usunięto atrybut modelu ctranslate2_spec, który nie jest już używany w CTranslate2.
Źródło: opennet.ru
