হুইস্পার স্পিচ রিকগনিশন এবং ট্রান্সলেশন সিস্টেম কোড খোলা হয়েছে

কৃত্রিম বুদ্ধিমত্তায় ওপেন-সোর্স প্রকল্প উন্নয়নকারী একটি সংস্থা ওপেনএআই (OpenAI), তাদের হুইস্পার (Whisper) স্পিচ রিকগনিশন সিস্টেমের কাজ প্রকাশ করেছে। তাদের দাবি, ইংরেজি ভাষার ক্ষেত্রে এই সিস্টেমটি মানুষের শনাক্তকরণের কাছাকাছি নির্ভরযোগ্যতা ও নির্ভুলতা প্রদান করে। পাইটর্চ (PyTorch) ফ্রেমওয়ার্কের উপর ভিত্তি করে তৈরি রেফারেন্স ইমপ্লিমেন্টেশনের কোড এবং ব্যবহারের জন্য প্রস্তুত এক সেট প্রি-ট্রেইনড মডেল প্রকাশ করা হয়েছে। কোডটি এমআইটি (MIT) লাইসেন্সের অধীনে ওপেন-সোর্স করা হয়েছে।

বিভিন্ন ভাষা ও বিষয়বস্তু অন্তর্ভুক্ত একাধিক সংগ্রহ থেকে সংগৃহীত ৬৮০,০০০ ঘণ্টার স্পিচ ডেটা ব্যবহার করে মডেলটিকে প্রশিক্ষণ দেওয়া হয়েছিল। প্রশিক্ষণের জন্য ব্যবহৃত স্পিচ ডেটার প্রায় এক-তৃতীয়াংশ ইংরেজি ছাড়া অন্য ভাষার ছিল। প্রস্তাবিত সিস্টেমটি অ্যাকসেন্টযুক্ত উচ্চারণ, পারিপার্শ্বিক কোলাহল এবং প্রযুক্তিগত পরিভাষার মতো পরিস্থিতি সঠিকভাবে সামাল দেয়। স্পিচকে টেক্সটে রূপান্তর করার পাশাপাশি, সিস্টেমটি যেকোনো ভাষা থেকে ইংরেজিতে স্পিচ অনুবাদ করতে এবং একটি অডিও স্ট্রিমে স্পিচের উপস্থিতি শনাক্ত করতেও সক্ষম।

মডেলগুলো দুটি উপস্থাপনায় তৈরি করা হয়: একটি ইংরেজি ভাষার মডেল এবং একটি বহুভাষিক মডেল, যা রুশ, ইউক্রেনীয় এবং বেলারুশীয় ভাষাও সমর্থন করে। প্রতিটি উপস্থাপনাকে আবার পাঁচটি ভ্যারিয়েন্টে বিভক্ত করা হয়, যেগুলো আকার এবং মডেলের অন্তর্ভুক্ত প্যারামিটারের সংখ্যার দিক থেকে ভিন্ন। বড় মডেলগুলোর ফলে উচ্চতর নির্ভুলতা এবং শনাক্তকরণের মান পাওয়া যায়, কিন্তু এর জন্য জিপিইউ মেমরির প্রয়োজনীয়তাও বেশি হয় এবং পারফরম্যান্স কমে যায়। উদাহরণস্বরূপ, সর্বনিম্ন মডেলে ৩৯ মিলিয়ন প্যারামিটার রয়েছে এবং এর জন্য ১ জিবি ভিডিও মেমরি প্রয়োজন, যেখানে সর্বোচ্চ মডেলে ১,৫৫০ মিলিয়ন প্যারামিটার রয়েছে এবং এর জন্য ১০ জিবি ভিডিও মেমরি প্রয়োজন। সর্বনিম্ন মডেলটি সর্বোচ্চ মডেলের চেয়ে ৩২ গুণ দ্রুততর।

সিস্টেমটি "ট্রান্সফরমার" নিউরাল নেটওয়ার্ক আর্কিটেকচার ব্যবহার করে, যার মধ্যে একটি পারস্পরিক ক্রিয়াশীল এনকোডার এবং ডিকোডার রয়েছে। অডিওকে ৩০-সেকেন্ডের খণ্ডে বিভক্ত করে লগ-মেল স্পেকট্রোগ্রামে রূপান্তর করা হয় এবং এনকোডারে পাঠানো হয়। এনকোডারের আউটপুট ডিকোডারে পাঠানো হয়, যা বিশেষ টোকেন মিশ্রিত একটি টেক্সট উপস্থাপনা অনুমান করে। এর ফলে একটি একক মডেলই ভাষা শনাক্তকরণ, কালানুক্রমিক উচ্চারণ, বিভিন্ন ভাষায় বক্তৃতার প্রতিলিপি তৈরি এবং ইংরেজিতে অনুবাদের মতো কাজগুলো করতে পারে।

উত্স: opennet.ru