Фејсбук (забрањен у Руској Федерацији) објавио је развој пројекта НЛЛБ (Но Лангуаге Лефт Бехинд), чији је циљ стварање универзалног модела машинског учења за директно превођење текста са једног језика на други, заобилазећи средње превођење на енглески. Предложени модел покрива више од 200 језика, укључујући ретке језике афричких и аустралијских народа. Крајњи циљ пројекта је да обезбеди средство за комуникацију за све људе, без обзира на језик којим говоре.
Модел је лиценциран под лиценцом Цреативе Цоммонс БИ-НЦ 4.0, која дозвољава копирање, редистрибуцију, прилагођавање и изведена дела, под условом да наведете атрибуцију, одржавате лиценцу и користите је само у некомерцијалне сврхе. Алати за рад са моделима су обезбеђени под МИТ лиценцом. Да би се стимулисао развој коришћењем НЛЛБ модела, одлучено је да се издвоји 200 хиљада долара за обезбеђивање грантова истраживачима.
Да би се поједноставило креирање пројеката коришћењем предложеног модела, користи се код апликација за тестирање и процену квалитета модела (ФЛОРЕС-200, НЛЛБ-МД, Токицити-200), код за обуку модела и енкодера засновани на ЛАСЕР3 библиотеци ( Лангуаге-Агностиц Сентенце) су додатно опен соурце.Репресентатион). Коначни модел се нуди у две верзије - пуној и скраћеној. Скраћена верзија захтева мање ресурса и погодна је за тестирање и употребу у истраживачким пројектима.
За разлику од других система превођења заснованих на системима машинског учења, Фацебоок-ово решење је значајно по томе што нуди један општи модел за свих 200 језика, који покрива све језике и не захтева употребу посебних модела за сваки језик. Превод се врши директно са изворног језика на циљни језик, без средњег превода на енглески. За креирање универзалних система превођења, додатно се предлаже ЛИД модел (Лангуаге ИДентифицатион), који омогућава одређивање језика који се користи. Оне. систем може аутоматски препознати на ком су језику информације и превести их на језик корисника.
Превод је подржан у било ком смеру, између било ког од 200 подржаних језика. Да би се потврдио квалитет превода између било ког језика, припремљен је референтни сет тестова ФЛОРЕС-200, који је показао да је модел НЛЛБ-200 у погледу квалитета превода у просеку 44% супериорнији у односу на раније предложене истраживачке системе засноване на машинском учењу када се користе БЛЕУ метрика која упоређује машинско превођење са стандардним људским преводом. За ретке афричке језике и индијске дијалекте супериорност квалитета достиже 70%. Могуће је визуелно проценити квалитет превода на посебно припремљеном демо сајту.
Извор: опеннет.ру