পাঠ্য বিবরণের উপর ভিত্তি করে চিত্র সংশ্লেষণের জন্য একটি মেশিন লার্নিং সিস্টেমের বাস্তবায়ন

ওপেনএআই দ্বারা প্রস্তাবিত মেশিন লার্নিং সিস্টেম DALL-E 2-এর একটি উন্মুক্ত বাস্তবায়ন প্রকাশিত হয়েছে এবং এটি আপনাকে প্রাকৃতিক ভাষায় একটি পাঠ্য বর্ণনার উপর ভিত্তি করে বাস্তবসম্মত চিত্র এবং পেইন্টিংগুলিকে সংশ্লেষণ করতে দেয়, সেইসাথে চিত্রগুলি সম্পাদনা করতে প্রাকৃতিক ভাষায় কমান্ড প্রয়োগ করতে দেয় ( উদাহরণস্বরূপ, ছবিতে বস্তু যোগ করুন, মুছুন বা সরান)। OpenAI এর আসল DALL-E 2 মডেলগুলি প্রকাশ করা হয়নি, তবে পদ্ধতির বিস্তারিত একটি কাগজ পাওয়া যায়। বিদ্যমান বর্ণনার উপর ভিত্তি করে, স্বাধীন গবেষকরা পাইথনে লিখিত একটি বিকল্প বাস্তবায়ন প্রস্তুত করেছেন, Pytorch কাঠামো ব্যবহার করে এবং MIT লাইসেন্সের অধীনে বিতরণ করা হয়েছে।

প্রথম প্রজন্মের DALL-E-এর পূর্বে প্রকাশিত বাস্তবায়নের তুলনায়, নতুন সংস্করণটি বর্ণনার সাথে চিত্রের আরও সঠিক মিল প্রদান করে, বৃহত্তর ফটোরিয়ালিজমের অনুমতি দেয় এবং উচ্চতর রেজোলিউশনে ছবি তৈরি করা সম্ভব করে তোলে। মডেলকে প্রশিক্ষিত করার জন্য সিস্টেমের জন্য বড় সম্পদের প্রয়োজন হয়, উদাহরণস্বরূপ, DALL-E 2-এর মূল সংস্করণের প্রশিক্ষণের জন্য GPU-তে 100-200 হাজার ঘণ্টার কম্পিউটিং প্রয়োজন হয়; 2 NVIDIA Tesla V4 GPU সহ প্রায় 256-100 সপ্তাহের গণনা।

একই লেখক একটি বর্ধিত সংস্করণ বিকাশ শুরু করেছেন - DALLE2 ভিডিও, একটি পাঠ্য বিবরণ থেকে ভিডিও সংশ্লেষণ করার লক্ষ্যে। আলাদাভাবে, আমরা Sberbank দ্বারা বিকশিত ru-dalle প্রকল্পটি নোট করতে পারি, প্রথম প্রজন্মের DALL-E-এর উন্মুক্ত বাস্তবায়নের সাথে, রাশিয়ান ভাষায় বর্ণনাগুলিকে স্বীকৃতি দেওয়ার জন্য অভিযোজিত।

উত্স: opennet.ru