Facebook মেশিন অনুবাদ মডেল প্রকাশ করে যা 200টি ভাষা সমর্থন করে

Facebook (রাশিয়ান ফেডারেশনে নিষিদ্ধ) NLLB (নো ল্যাঙ্গুয়েজ লেফট বিহাইন্ড) প্রকল্পের উন্নয়ন প্রকাশ করেছে, যার লক্ষ্য ইংরেজিতে মধ্যবর্তী অনুবাদকে বাইপাস করে সরাসরি এক ভাষা থেকে অন্য ভাষায় পাঠ্য অনুবাদ করার জন্য একটি সর্বজনীন মেশিন লার্নিং মডেল তৈরি করা। প্রস্তাবিত মডেল আফ্রিকান এবং অস্ট্রেলিয়ান জনগণের বিরল ভাষা সহ 200 টিরও বেশি ভাষা কভার করে। প্রকল্পের চূড়ান্ত লক্ষ্য হল যে কোনো মানুষের জন্য যোগাযোগের একটি মাধ্যম প্রদান করা, তারা যে ভাষায় কথা বলুক না কেন।

মডেলটি ক্রিয়েটিভ কমন্স BY-NC 4.0 লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত, যা অনুলিপি, পুনর্বন্টন, কাস্টমাইজেশন এবং ডেরিভেটিভ কাজের অনুমতি দেয়, যদি আপনি অ্যাট্রিবিউশন দেন, লাইসেন্স বজায় রাখেন এবং এটি শুধুমাত্র অ-বাণিজ্যিক উদ্দেশ্যে ব্যবহার করেন। মডেলগুলির সাথে কাজ করার জন্য সরঞ্জামগুলি MIT লাইসেন্সের অধীনে সরবরাহ করা হয়। এনএলএলবি মডেল ব্যবহার করে উন্নয়নকে উদ্দীপিত করার জন্য, গবেষকদের অনুদান প্রদানের জন্য $200 হাজার বরাদ্দ করার সিদ্ধান্ত নেওয়া হয়েছিল।

প্রস্তাবিত মডেল ব্যবহার করে প্রকল্প তৈরিকে সহজ করার জন্য, মডেলের গুণমান পরীক্ষা এবং মূল্যায়নের জন্য ব্যবহৃত অ্যাপ্লিকেশনের কোড (FLORES-200, NLLB-MD, Toxicity-200), ট্রেনিং মডেলের কোড এবং LASER3 লাইব্রেরির উপর ভিত্তি করে এনকোডার ( ভাষা-অজ্ঞেয়বাদী বাক্য) অতিরিক্ত ওপেন সোর্স। প্রতিনিধিত্ব)। চূড়ান্ত মডেল দুটি সংস্করণে দেওয়া হয় - সম্পূর্ণ এবং সংক্ষিপ্ত। সংক্ষিপ্ত সংস্করণের জন্য কম সংস্থান প্রয়োজন এবং এটি গবেষণা প্রকল্পে পরীক্ষা ও ব্যবহারের জন্য উপযুক্ত।

মেশিন লার্নিং সিস্টেমের উপর ভিত্তি করে অন্যান্য অনুবাদ পদ্ধতির বিপরীতে, Facebook এর সমাধানটি উল্লেখযোগ্য যে এটি 200টি ভাষার জন্য একটি সাধারণ মডেল অফার করে, সমস্ত ভাষাকে কভার করে এবং প্রতিটি ভাষার জন্য আলাদা মডেল ব্যবহারের প্রয়োজন হয় না। ইংরেজিতে মধ্যবর্তী অনুবাদ ছাড়াই সরাসরি উৎস ভাষা থেকে লক্ষ্য ভাষায় অনুবাদ করা হয়। সার্বজনীন অনুবাদ ব্যবস্থা তৈরি করতে, একটি LID মডেল (ভাষা সনাক্তকরণ) অতিরিক্ত প্রস্তাবিত, যা ব্যবহৃত ভাষা নির্ধারণ করা সম্ভব করে তোলে। সেগুলো. সিস্টেম স্বয়ংক্রিয়ভাবে সনাক্ত করতে পারে কোন ভাষায় তথ্য প্রদান করা হয়েছে এবং ব্যবহারকারীর ভাষায় অনুবাদ করতে পারে।

অনুবাদ 200টি সমর্থিত ভাষার মধ্যে যেকোনো দিক থেকে সমর্থিত। যেকোনো ভাষার মধ্যে অনুবাদের গুণমান নিশ্চিত করার জন্য, FLORES-200 রেফারেন্স টেস্ট সেট প্রস্তুত করা হয়েছিল, যা দেখায় যে অনুবাদের মানের দিক থেকে NLLB-200 মডেলটি ব্যবহার করার সময় পূর্বে প্রস্তাবিত মেশিন লার্নিং-ভিত্তিক গবেষণা সিস্টেমের তুলনায় গড়ে 44% উচ্চতর। প্রমিত মানব অনুবাদের সাথে মেশিন অনুবাদের তুলনা করে BLEU মেট্রিক্স। বিরল আফ্রিকান ভাষা এবং ভারতীয় উপভাষার জন্য, গুণমানের শ্রেষ্ঠত্ব 70% এ পৌঁছেছে। একটি বিশেষভাবে প্রস্তুত ডেমো সাইটে অনুবাদের গুণমানকে দৃশ্যত মূল্যায়ন করা সম্ভব।

উত্স: opennet.ru