RedPajama متعارف کرایا، ایک باہمی تعاون پر مبنی پروجیکٹ جس کا مقصد اوپن مشین لرننگ ماڈلز بنانا اور اس کے ساتھ تربیتی ان پٹس ہیں جن کا استعمال ذہین اسسٹنٹ بنانے کے لیے کیا جا سکتا ہے جو تجارتی مصنوعات جیسے ChatGPT کا مقابلہ کریں۔ اوپن سورس ڈیٹا اور بڑے لینگویج ماڈلز کی دستیابی سے آزاد مشین لرننگ ریسرچ ٹیموں کو آزاد کرنے اور حسب ضرورت بات چیت کے نظام کی تعمیر کو آسان بنانے کی امید ہے۔ تنظیمیں اور کمیونٹیز جیسے Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research اور MILA Québec AI انسٹی ٹیوٹ نے اس منصوبے میں شمولیت اختیار کی۔
پہلا مرحلہ RedPajama-Data-1T ڈیٹاسیٹ کی اشاعت تھا جس میں 1.2 ٹریلین ٹوکنز شامل تھے۔ RedPajama سویٹ فیس بک کے ذریعے اپنے LLaMA ماڈل (1.25 ٹریلین ٹوکن کی مالیت) بنانے کے لیے استعمال کیے جانے والے عوامی طور پر دستیاب ڈیٹا کو دوبارہ تیار کرتا ہے، لیکن یہ ایک کھلے، غیر پابندی والے لائسنس کے تحت فراہم کیا جاتا ہے (LLaMA ڈیٹا اور ماڈلز صرف محققین کے لیے خصوصی درخواست پر دستیاب کیے گئے تھے۔ -تجارتی استعمال). RedPajama-Data-1T ڈاؤن لوڈ کے قابل سیٹ کا سائز 2.67 TB ہے اور اس میں کامن کرال-انڈیکس کردہ ویب پیجز، ویکیپیڈیا آرکائیوز، گٹ ہب سے سورس کوڈ، گٹن برگ لائبریری سے پبلک ڈومین کی کتابیں، ArXiv آرکائیو سے سائنسی مضامین، اور مباحثے شامل ہیں۔ اسٹیک اوور فلو اور دیگر اسٹیک ایکسچینج سائٹس۔
تیار شدہ ماڈلز، جو کہ تیار کردہ ڈیٹا سیٹ کی بنیاد پر تربیت یافتہ ہیں اور الپاکا اور اوپن چیٹ کٹ پروجیکٹس سے ہدایات پر عمل درآمد کی شکل میں مکالموں کی تیار مثالوں کا استعمال کرتے ہوئے بہتر بنائے گئے ہیں، اگلے چند ہفتوں میں تشکیل دینے کا منصوبہ ہے۔ اسی طرح کی زبان کے ماڈل کے اقدامات میں جزوی طور پر اوپن سورس پروجیکٹس LLaMA، Alpaca، Vicuna، اور Koala کے ساتھ ساتھ مکمل طور پر اوپن سورس اقدامات Pythia، OpenChatKit، Open Assistant، اور Dolly شامل ہیں۔
مزید برآں، مشین لرننگ سے متعلق کئی نئے منصوبوں کو نوٹ کیا جا سکتا ہے:
- MiniGPT-4 - روایتی انٹرایکٹو چیٹ بوٹس کو ان صلاحیتوں کے ساتھ پھیلاتا ہے جو بصری معلومات کو مدنظر رکھتے ہیں، جو آپ کو تصاویر کا تجزیہ کرنے اور سسٹم کے ساتھ بات چیت کرتے وقت ہاتھ سے لکھے ہوئے متن کو مدنظر رکھنے کی اجازت دیتا ہے (مثال کے طور پر، آپ پوچھ سکتے ہیں کہ تصویر میں کس قسم کی چیز دکھائی گئی ہے۔ ، بوٹ سے تصویر میں دکھائی گئی کہانی کی بنیاد پر کہانی لکھنے کو کہیں، یا اسکیمیٹک خاکے کی بنیاد پر، ویب سائٹ بنانے کے لیے کہیں)۔ MiniGPT-4 کا نفاذ Python میں لکھا گیا ہے اور BSD لائسنس کے تحت تقسیم کیا گیا ہے۔
- فیس بک نے ٹولز اور ایک سیلف لرننگ (SSL، سیلف سپروائزڈ لرننگ، تربیت کے دوران انسانوں کے تیار کردہ لیبلز اور تشریحات کا استعمال نہیں کرتا) شائع کیا ہے، کمپیوٹر وژن ماڈل DINOv2، جو عمومی بصری ڈیٹا پروسیسنگ کے مسائل کو حل کرنے کے لیے موزوں ہے (تصویر کی درجہ بندی، معلومات کو نکالنا۔ امیجز میں موجود اشیاء، ویڈیو پر کیا ہو رہا ہے اس کو سمجھنا) اور پکسل لیول پر ہیرا پھیری (گہرائی کی پیشن گوئی، سیگمنٹیشن)۔ ماڈل کو 142 ملین تصاویر کے مجموعے پر تربیت دی گئی تھی۔ عمل درآمد Python میں لکھا گیا ہے اور اسے Creative Commons Attribution-Non Commercial 4.0 لائسنس کے تحت تقسیم کیا گیا ہے، جو غیر تجارتی استعمال کی اجازت دیتا ہے۔
- GPT4All آپ کے اپنے ہارڈویئر پر اسٹینڈ اکیلے چیٹ بوٹس کو تیزی سے لانچ کرنے کے لیے ایک ٹول کٹ ہے (وہ بیرونی خدمات تک رسائی حاصل نہیں کرتے اور عمل درآمد کے لیے AVX2 سپورٹ کے ساتھ CPU استعمال کرتے ہیں)۔ GPT-J اور LLaMa پر مبنی بڑے زبان کے ماڈلز کے کنکشن کو سپورٹ کرتا ہے۔ کوڈ Python میں لکھا گیا ہے اور MIT لائسنس کے تحت تقسیم کیا گیا ہے۔
ماخذ: opennet.ru