Facebook એ મશીન ટ્રાન્સલેશન મોડલ પ્રકાશિત કરે છે જે 200 ભાષાઓને સપોર્ટ કરે છે

ફેસબુક (રશિયન ફેડરેશનમાં પ્રતિબંધિત) એ NLLB (નો લેન્ગ્વેજ લેફ્ટ બિહાઇન્ડ) પ્રોજેક્ટના વિકાસને પ્રકાશિત કર્યો છે, જેનો હેતુ અંગ્રેજીમાં મધ્યવર્તી અનુવાદને બાયપાસ કરીને એક ભાષામાંથી બીજી ભાષામાં ટેક્સ્ટનો સીધો અનુવાદ કરવા માટે સાર્વત્રિક મશીન લર્નિંગ મોડલ બનાવવાનો છે. પ્રસ્તાવિત મોડલ આફ્રિકન અને ઓસ્ટ્રેલિયન લોકોની દુર્લભ ભાષાઓ સહિત 200 થી વધુ ભાષાઓને આવરી લે છે. પ્રોજેક્ટનો અંતિમ ધ્યેય કોઈપણ લોકો માટે વાતચીતનું માધ્યમ પૂરું પાડવાનું છે, તેઓ ગમે તે ભાષા બોલે છે.

મૉડલને ક્રિએટિવ કૉમન્સ BY-NC 4.0 લાઇસેંસ હેઠળ લાઇસન્સ આપવામાં આવ્યું છે, જે કૉપિ, પુનઃવિતરણ, કસ્ટમાઇઝેશન અને વ્યુત્પન્ન કાર્યોની પરવાનગી આપે છે, જો કે તમે એટ્રિબ્યુશન આપો, લાયસન્સ જાળવી રાખો અને તેનો ઉપયોગ માત્ર બિન-વ્યાવસાયિક હેતુઓ માટે કરો. મોડેલો સાથે કામ કરવા માટેના સાધનો MIT લાયસન્સ હેઠળ પ્રદાન કરવામાં આવે છે. NLLB મોડલનો ઉપયોગ કરીને વિકાસને ઉત્તેજીત કરવા માટે, સંશોધકોને અનુદાન આપવા માટે $200 હજાર ફાળવવાનું નક્કી કરવામાં આવ્યું હતું.

સૂચિત મોડલનો ઉપયોગ કરીને પ્રોજેક્ટના નિર્માણને સરળ બનાવવા માટે, મોડેલોની ગુણવત્તાના પરીક્ષણ અને મૂલ્યાંકન માટે ઉપયોગમાં લેવાતા એપ્લિકેશન્સનો કોડ (FLORES-200, NLLB-MD, Toxicity-200), ટ્રેનિંગ મોડલ માટે કોડ અને LASER3 લાઇબ્રેરી પર આધારિત એન્કોડર ( ભાષા-અજ્ઞેયાત્મક વાક્ય) વધુમાં ઓપન સોર્સ છે. પ્રતિનિધિત્વ). અંતિમ મોડેલ બે સંસ્કરણોમાં ઓફર કરવામાં આવે છે - સંપૂર્ણ અને ટૂંકું. ટૂંકા સંસ્કરણને ઓછા સંસાધનોની જરૂર છે અને તે સંશોધન પ્રોજેક્ટ્સમાં પરીક્ષણ અને ઉપયોગ માટે યોગ્ય છે.

મશીન લર્નિંગ સિસ્ટમ્સ પર આધારિત અન્ય અનુવાદ પ્રણાલીઓથી વિપરીત, ફેસબુકનું સોલ્યુશન નોંધપાત્ર છે કે તે તમામ 200 ભાષાઓ માટે એક સામાન્ય મોડલ ઓફર કરે છે, જે બધી ભાષાઓને આવરી લે છે અને દરેક ભાષા માટે અલગ મોડલનો ઉપયોગ કરવાની જરૂર નથી. અંગ્રેજીમાં મધ્યવર્તી અનુવાદ વિના, સ્રોત ભાષામાંથી લક્ષ્ય ભાષામાં અનુવાદ સીધો કરવામાં આવે છે. યુનિવર્સલ ટ્રાન્સલેશન સિસ્ટમ્સ બનાવવા માટે, એક LID મોડલ (ભાષાની ઓળખ) પણ પ્રસ્તાવિત છે, જે વપરાયેલી ભાષાને નિર્ધારિત કરવાનું શક્ય બનાવે છે. તે. સિસ્ટમ આપમેળે ઓળખી શકે છે કે માહિતી કઈ ભાષામાં પ્રદાન કરવામાં આવી છે અને તેનો વપરાશકર્તાની ભાષામાં અનુવાદ કરી શકે છે.

200 સમર્થિત ભાષાઓમાંથી કોઈપણની વચ્ચે, કોઈપણ દિશામાં અનુવાદ સમર્થિત છે. કોઈપણ ભાષાઓ વચ્ચેના અનુવાદની ગુણવત્તાની પુષ્ટિ કરવા માટે, FLORES-200 સંદર્ભ પરીક્ષણ સેટ તૈયાર કરવામાં આવ્યો હતો, જે દર્શાવે છે કે અનુવાદની ગુણવત્તાના સંદર્ભમાં NLLB-200 મોડલ અગાઉ સૂચિત મશીન લર્નિંગ-આધારિત સંશોધન પ્રણાલીઓ કરતાં સરેરાશ 44% ચડિયાતું છે. BLEU મેટ્રિક્સ પ્રમાણભૂત માનવ અનુવાદ સાથે મશીન અનુવાદની તુલના કરે છે. દુર્લભ આફ્રિકન ભાષાઓ અને ભારતીય બોલીઓ માટે, ગુણવત્તા શ્રેષ્ઠતા 70% સુધી પહોંચે છે. ખાસ તૈયાર કરેલ ડેમો સાઇટ પર અનુવાદની ગુણવત્તાનું દૃષ્ટિની રીતે મૂલ્યાંકન કરવું શક્ય છે.

સોર્સ: opennet.ru