Facebook აქვეყნებს მანქანური თარგმანის მოდელს, რომელიც მხარს უჭერს 200 ენას

Facebook-მა (რუსეთის ფედერაციაში აკრძალული) გამოაქვეყნა NLLB (No Language Left Behind) პროექტის განვითარება, რომელიც მიზნად ისახავს უნივერსალური მანქანათმცოდნეობის მოდელის შექმნას ტექსტის ერთი ენიდან მეორეზე პირდაპირ თარგმნისთვის, ინგლისურ ენაზე შუალედური თარგმანის გვერდის ავლით. შემოთავაზებული მოდელი მოიცავს 200-ზე მეტ ენას, მათ შორის აფრიკელი და ავსტრალიელი ხალხების იშვიათ ენებს. პროექტის საბოლოო მიზანია უზრუნველყოს კომუნიკაციის საშუალება ნებისმიერი ადამიანისთვის, მიუხედავად იმისა, თუ რა ენაზე საუბრობენ.

მოდელი ლიცენზირებულია Creative Commons BY-NC 4.0 ლიცენზიით, რომელიც იძლევა კოპირებას, გადანაწილებას, პერსონალიზაციას და წარმოებულ სამუშაოებს, იმ პირობით, რომ თქვენ ანიჭებთ ატრიბუტს, შეინარჩუნებთ ლიცენზიას და იყენებთ მას მხოლოდ არაკომერციული მიზნებისთვის. მოდელებთან მუშაობის ინსტრუმენტები მოცემულია MIT ლიცენზიით. NLLB მოდელის გამოყენებით განვითარების სტიმულირებისთვის, გადაწყდა 200 ათასი აშშ დოლარის გამოყოფა მკვლევარებისთვის გრანტების გასაცემად.

შემოთავაზებული მოდელის გამოყენებით პროექტების შექმნის გასამარტივებლად, აპლიკაციების კოდი, რომელიც გამოიყენება მოდელების ტესტირებისა და ხარისხის შესაფასებლად (FLORES-200, NLLB-MD, Toxicity-200), კოდი სასწავლო მოდელებისა და ენკოდერებისთვის, LASER3 ბიბლიოთეკის საფუძველზე ( ენა-აგნოსტიკური წინადადება) დამატებით ღია წყაროებია.წარმომადგენლობა). საბოლოო მოდელი ორი ვერსიით არის შემოთავაზებული - სრული და შემოკლებული. შემოკლებული ვერსია მოითხოვს ნაკლებ რესურსებს და შესაფერისია ტესტირებისთვის და კვლევით პროექტებში გამოსაყენებლად.

მანქანური სწავლების სისტემებზე დაფუძნებული სხვა მთარგმნელობითი სისტემებისგან განსხვავებით, Facebook-ის გადაწყვეტა აღსანიშნავია იმით, რომ ის გთავაზობთ ერთ ზოგად მოდელს 200-ვე ენაზე, რომელიც მოიცავს ყველა ენას და არ საჭიროებს ცალკეული მოდელების გამოყენებას თითოეული ენისთვის. თარგმანი ხორციელდება უშუალოდ საწყისი ენიდან სამიზნე ენაზე, ინგლისურ ენაზე შუალედური თარგმანის გარეშე. უნივერსალური თარგმანის სისტემების შესაქმნელად დამატებით არის შემოთავაზებული LID მოდელი (Language IDentification), რომელიც შესაძლებელს ხდის გამოყენებული ენის განსაზღვრას. იმათ. სისტემას შეუძლია ავტომატურად ამოიცნოს რომელ ენაზეა მოწოდებული ინფორმაცია და თარგმნოს იგი მომხმარებლის ენაზე.

თარგმანი მხარდაჭერილია ნებისმიერი მიმართულებით, 200 მხარდაჭერილ ენას შორის. ნებისმიერ ენას შორის თარგმანის ხარისხის დასადასტურებლად მომზადდა FLORES-200 საცნობარო ტესტის ნაკრები, რომელმაც აჩვენა, რომ NLLB-200 მოდელი თარგმანის ხარისხის თვალსაზრისით საშუალოდ 44%-ით აღემატება ადრე შემოთავაზებულ მანქანურ სწავლაზე დაფუძნებულ კვლევის სისტემებს გამოყენებისას. BLEU მეტრიკა ადარებს მანქანურ თარგმანს სტანდარტულ ადამიანურ თარგმანთან. იშვიათი აფრიკული ენებისა და ინდური დიალექტებისთვის ხარისხის უპირატესობა 70%-ს აღწევს. თარგმანის ხარისხის ვიზუალურად შეფასება შესაძლებელია სპეციალურად მომზადებულ დემო საიტზე.

წყარო: opennet.ru