Version 2.30.0 av översÀttningssystemet OpenNMT-tf (Open Neural Machine Translation) har publicerats, vilket anvÀnder metoder för maskininlÀrning. Koden för modulerna som utvecklas av OpenNMT-tf-projektet Àr skriven i Python, anvÀnder TensorFlow-biblioteket och distribueras under MIT-licensen.
Samtidigt utvecklas en version av OpenNMT baserad pĂ„ PyTorch-biblioteket, som skiljer sig Ă„t nĂ€r det gĂ€ller stödda funktioner. Dessutom presenteras OpenNMT pĂ„ PyTorch som mer anvĂ€ndarvĂ€nligt och multimodalt, medan versionen baserad pĂ„ TensorFlow anges vara modulĂ€r, stabil och möjliggör anvĂ€ndning av GPU-kapacitet för att pĂ„skynda processen att trĂ€na neurala nĂ€tverk. För att förenkla distributionen av produkten utvecklas ocksĂ„ en fristĂ„ende översĂ€ttare i C++ â CTranslate2, som anvĂ€nder förtrĂ€nade modeller utan beroenden.
Modeller har förberetts för engelska, tyska och katalanska sprĂ„k; för övriga sprĂ„k kan man sjĂ€lva skapa en modell baserad pĂ„ datamĂ€ngden frĂ„n projektet OPUS (tvĂ„ filer överförs för att trĂ€na systemet â en med meningar pĂ„ kĂ€llsprĂ„ket och en med kvalitativa översĂ€ttningar av dessa meningar pĂ„ mĂ„lsprĂ„ket).
Projektet utvecklas med deltagande av företaget SYSTRAN, som specialiserar sig pÄ att skapa verktyg för maskinöversÀttning, och en forskargrupp frÄn Harvard som utvecklar modeller för mÀnskligt sprÄk för maskininlÀrningssystem. AnvÀndargrÀnssnittet Àr sÄ enkelt som möjligt och krÀver bara angivande av en indatafil med text och en fil för att spara resultatet av översÀttningen. Utvidgningssystemet möjliggör att implementera ytterligare funktionalitet baserat pÄ OpenNMT, som automatisk referenshantering, textklassificering och generering av undertexter.
I den nya versionen:
- Stöd för TensorFlow 2.11 har lagts till, men nya Keras-optimerare stöds för tillfÀllet inte (lÀget tf.keras.optimizers.legacy mÄste anvÀndas).
- Stöd för den nya versionen av CTranslate2 3.x har lagts till, vilket Àr avsett för effektiv körning av modeller med "transformer"-arkitektur.
- En parameter för trÀning av modeller, pad_to_bucket_boundary, har lagts till för att inkludera fyllnad som justerar blockstorleken till vÀrden som Àr multipler av length_bucket_width.
- Integrerat stöd för mÀtvÀrdena chrf och chrf++ frÄn projektet SacreBLEU, som jÀmför maskinöversÀttning med standard mÀnsklig översÀttning.
- Attributet ctranslate2_spec har tagits bort, eftersom det inte lÀngre anvÀnds i CTranslate2.
KĂ€lla: opennet.ru
