Выпуск сістэмы машыннага перакладу OpenNMT 2.28.0

Апублікаваны выпуск сістэмы машыннага перакладу OpenNMT 0.28.0 (Open Neural Machine Translation), якая выкарыстоўвае метады машыннага навучання. Для пабудовы нейронавай сеткі праект выкарыстоўвае магчымасці бібліятэкі глыбіннага машыннага навучання TensorFlow. Код модуляў OpenNMT напісаны на мове Python і распаўсюджваецца пад ліцэнзіяй MIT. Гатовыя мадэлі падрыхтаваны для англійскай, нямецкай і каталанскай моў, для астатніх моў можна самастойна сфарміраваць мадэль на аснове набору даных ад праекта OPUS (для навучання сістэме перадаецца два файлы — адзін з прапановамі на зыходнай мове, а другі з якасным перакладам гэтых прапаноў на мэтавую мову ).

Праект развіваецца пры ўдзеле кампаніі SYSTRAN, якая спецыялізуецца на стварэнні сродкаў машыннага перакладу, і групы даследчыкаў Harvard, якая распрацоўвае мадэлі чалавечай мовы для сістэм машыннага навучання. Інтэрфейс карыстальніка максімальна спрошчаны і патрабуе толькі ўказанні ўваходнага файла з тэкстам і файла для захавання выніку перакладу. Сістэма пашырэнняў дае магчымасць рэалізоўваць на базе OpenNMT дадатковую функцыянальнасць, напрыклад, аўтарэфераванне, класіфікацыю тэкстаў і генерацыю субтытраў.

Ужыванне TensorFlow дазваляе задзейнічаць магчымасці GPU (для паскарэння працэсу навучання нейронавай сеткі. Для спрашчэння распаўсюджвання прадукта праектам таксама развіваецца самадастатковы варыянт транслятара на мове C++ - CTranslate2, які выкарыстоўвае папярэдне натрэніраваныя мадэлі без прывязкі да дадатковых залежнасцяў.

У новай версіі дададзены параметр initial_learning_rate і рэалізавана некалькі новых аргументаў (mha_bias і output_layer_bias) для наладкі генератара мадэляў Transformer. У астатнім адзначаецца выпраўленьнем памылак.

Крыніца: opennet.ru

Дадаць каментар