রেডপাজামা প্রকল্পটি কৃত্রিম বুদ্ধিমত্তা সিস্টেমের জন্য একটি উন্মুক্ত ডেটাসেট তৈরি করে

রেডপাজামা প্রবর্তন করেছে, একটি সহযোগী প্রকল্প যার লক্ষ্য ওপেন মেশিন লার্নিং মডেল তৈরি করা এবং প্রশিক্ষণ ইনপুট সহ যা বুদ্ধিমান সহকারী তৈরি করতে ব্যবহার করা যেতে পারে যা ChatGPT-এর মতো বাণিজ্যিক পণ্যগুলির সাথে প্রতিযোগিতা করে। ওপেন সোর্স ডেটা এবং বৃহৎ ভাষার মডেলের প্রাপ্যতা স্বাধীন মেশিন লার্নিং গবেষণা দলগুলিকে মুক্ত করবে এবং কাস্টম কথোপকথন ব্যবস্থা তৈরি করা সহজ করবে বলে আশা করা হচ্ছে। সংস্থা এবং সম্প্রদায়গুলি যেমন টুগেদার, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research এবং MILA Québec AI Institute এই প্রকল্পে যোগদান করেছে৷

প্রথম ধাপটি ছিল 1 ট্রিলিয়ন টোকেন সমন্বিত কথোপকথনমূলক মডেলের প্রশিক্ষণের জন্য RedPajama-Data-1.2T ডেটাসেট প্রকাশ করা। রেডপাজামা স্যুট ফেসবুক দ্বারা তার LLaMA মডেল (মূল্য 1.25 ট্রিলিয়ন টোকেন) তৈরি করতে ব্যবহৃত সর্বজনীনভাবে উপলব্ধ ডেটা পুনরুত্পাদন করে, তবে এটি একটি উন্মুক্ত, অ-নিষেধমূলক লাইসেন্সের অধীনে সরবরাহ করা হয় (LLaMA ডেটা এবং মডেলগুলি শুধুমাত্র গবেষকদের জন্য বিশেষ অনুরোধে উপলব্ধ করা হয়েছিল। -বাণিজ্যিক ব্যবহার). RedPajama-Data-1T ডাউনলোডযোগ্য সেটটির আকার 2.67 TB এবং এতে রয়েছে কমন ক্রল-ইনডেক্স করা ওয়েব পেজ, উইকিপিডিয়া আর্কাইভ, গিটহাবের সোর্স কোড, গুটেনবার্গ লাইব্রেরি থেকে পাবলিক ডোমেইন বই, ArXiv আর্কাইভ থেকে বৈজ্ঞানিক প্রবন্ধ এবং আলোচনা স্ট্যাক ওভারফ্লো এবং অন্যান্য স্ট্যাক এক্সচেঞ্জ সাইট।

প্রস্তুত-তৈরি মডেল, একটি প্রস্তুত ডেটা সেটের ভিত্তিতে প্রশিক্ষিত এবং আলপাকা এবং ওপেনচ্যাটকিট প্রকল্পগুলি থেকে নির্দেশনা-নির্বাহের আকারে সংলাপের তৈরি উদাহরণগুলি ব্যবহার করে অপ্টিমাইজ করা, আগামী কয়েক সপ্তাহের মধ্যে তৈরি করার পরিকল্পনা করা হয়েছে৷ অনুরূপ ভাষা মডেল উদ্যোগের মধ্যে রয়েছে আংশিকভাবে ওপেন-সোর্স প্রকল্প LLaMA, Alpaca, Vicuna, এবং Koala, পাশাপাশি সম্পূর্ণরূপে ওপেন-সোর্স উদ্যোগগুলি Pythia, OpenChatKit, Open Assistant, এবং Dolly অন্তর্ভুক্ত।

উপরন্তু, মেশিন লার্নিং সম্পর্কিত বেশ কয়েকটি নতুন প্রকল্প উল্লেখ করা যেতে পারে:

• MiniGPT-4 - এমন ক্ষমতা সহ প্রথাগত ইন্টারেক্টিভ চ্যাটবটগুলিকে প্রসারিত করে যা ভিজ্যুয়াল তথ্য বিবেচনা করে, যা আপনাকে চিত্রগুলি বিশ্লেষণ করতে এবং সিস্টেমের সাথে ইন্টারঅ্যাক্ট করার সময় হাতে লেখা পাঠ্য বিবেচনা করতে দেয় (উদাহরণস্বরূপ, আপনি জিজ্ঞাসা করতে পারেন ছবিতে কী ধরণের বস্তু দেখানো হয়েছে , বটকে ফটোগ্রাফে দেখানো একটির উপর ভিত্তি করে একটি গল্প লিখতে বলুন বা একটি পরিকল্পিত স্কেচের উপর ভিত্তি করে একটি ওয়েবসাইট তৈরি করতে বলুন)। MiniGPT-4 বাস্তবায়ন পাইথনে লেখা এবং বিএসডি লাইসেন্সের অধীনে বিতরণ করা হয়েছে।
• Facebook প্রকাশ করেছে সরঞ্জাম এবং একটি স্ব-শিক্ষা (SSL, স্ব-তত্ত্বাবধানে শিক্ষা, প্রশিক্ষণের সময় মানব-প্রস্তুত লেবেল এবং টীকা ব্যবহার করে না) কম্পিউটার ভিশন মডেল DINOv2, সাধারণীকৃত ভিজ্যুয়াল ডেটা প্রক্রিয়াকরণের সমস্যা সমাধানের জন্য উপযুক্ত (চিত্রের শ্রেণিবিন্যাস, তথ্য আহরণ ছবিতে বস্তু, ভিডিওতে কী ঘটছে তা বোঝা) এবং পিক্সেল স্তরে ম্যানিপুলেশন (গভীর পূর্বাভাস, বিভাজন)। মডেলটি 142 মিলিয়ন ছবির সংগ্রহে প্রশিক্ষিত হয়েছিল। বাস্তবায়নটি পাইথনে লেখা এবং ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন-অবাণিজ্যিক 4.0 লাইসেন্সের অধীনে বিতরণ করা হয়েছে, অ-বাণিজ্যিক ব্যবহারের অনুমতি দেয়।
• GPT4All হল আপনার নিজের হার্ডওয়্যারে একক চ্যাটবট দ্রুত চালু করার জন্য একটি টুলকিট (তারা বাহ্যিক পরিষেবাগুলি অ্যাক্সেস করে না এবং কার্যকর করার জন্য AVX2 সমর্থন সহ একটি CPU ব্যবহার করে)। GPT-J এবং LLaMa এর উপর ভিত্তি করে বড় ভাষার মডেলের সংযোগ সমর্থন করে। কোডটি পাইথনে লেখা এবং MIT লাইসেন্সের অধীনে বিতরণ করা হয়।

উত্স: opennet.ru