रेडपाजामा प्रकल्प कृत्रिम बुद्धिमत्ता प्रणालीसाठी खुला डेटासेट विकसित करतो

ChatGPT सारख्या व्यावसायिक उत्पादनांशी स्पर्धा करणारे बुद्धिमान सहाय्यक तयार करण्यासाठी वापरले जाऊ शकणारे ओपन मशीन लर्निंग मॉडेल आणि त्यासोबतचे प्रशिक्षण इनपुट तयार करण्यासाठी रेडपाजामा सहयोगी प्रकल्प सादर केला जातो. ओपन सोर्स डेटा आणि मोठ्या भाषा मॉडेल्सच्या उपस्थितीमुळे मशीन लर्निंगच्या क्षेत्रात संशोधनात गुंतलेल्या स्वतंत्र संघांचे निर्बंध दूर होतील आणि विशेष संवाद प्रणालीची निर्मिती सुलभ होईल अशी अपेक्षा आहे. Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research आणि MILA Québec AI इन्स्टिट्यूट यासारख्या संस्था आणि समुदाय प्रकल्पाच्या कामात सामील झाले आहेत.

पहिली पायरी म्हणजे संभाषणात्मक मॉडेल्सच्या प्रशिक्षणासाठी 1 ट्रिलियन टोकन RedPajama-Data-1.2T डेटासेटचे प्रकाशन. RedPajama सेट फेसबुकद्वारे त्याचे LLaMA मॉडेल (एकूण 1.25 ट्रिलियन टोकन) तयार करण्यासाठी वापरल्या जाणार्‍या सार्वजनिक स्त्रोतांकडील डेटाचे पुनरुत्पादन करते, परंतु ते खुल्या परवान्याअंतर्गत पुरवले जाते जे वापराच्या व्याप्तीवर मर्यादा घालत नाही (LLaMA डेटा आणि मॉडेल केवळ संशोधकांना विशेष द्वारे पुरवले गेले होते. गैर-व्यावसायिक वापरासाठी विनंती). RedPajama-Data-1T डाउनलोड करण्यायोग्य संच 2.67 TB आहे आणि त्यात कॉमन क्रॉल अनुक्रमित वेब पृष्ठे, विकिपीडिया संग्रहण, GitHub मधील स्त्रोत कोड, गुटेनबर्ग लायब्ररीतील सार्वजनिक पुस्तके, ArXiv संग्रहणातील वैज्ञानिक लेख आणि स्टॅक ओव्हरफ्लो आणि इतर स्टॅकसह चर्चा समाविष्ट आहे. एक्सचेंज साइट्स.

तयार केलेल्या डेटासेटच्या आधारे प्रशिक्षित आणि अल्पाका आणि ओपनचॅटकिट प्रकल्पांमधून सूचना-अंमलबजावणीच्या स्वरूपात संवादांची तयार उदाहरणे वापरून ऑप्टिमाइझ केलेले रेडीमेड मॉडेल्स पुढील काही आठवड्यांत तयार करण्याचे नियोजित आहे. तत्सम भाषा मॉडेल उपक्रमांमध्ये LLaMA, अल्पाका, विकुना आणि कोआला हे अर्धवट मुक्त स्रोत प्रकल्प तसेच पायथिया, ओपनचॅटकिट, ओपन असिस्टंट आणि डॉली या पूर्णतः मुक्त स्रोत उपक्रमांचा समावेश आहे.

याव्यतिरिक्त, मशीन लर्निंगशी संबंधित अनेक नवीन प्रकल्प आहेत:

• MiniGPT-4 - व्हिज्युअल माहिती विचारात घेणार्‍या क्षमतांसह पारंपारिक संभाषणात्मक चॅटबॉट्सचा विस्तार करते, जे तुम्हाला प्रतिमांचे विश्लेषण करण्यास आणि सिस्टमशी संवाद साधण्याच्या प्रक्रियेत हस्तलिखित मजकूर विचारात घेण्यास अनुमती देते (उदाहरणार्थ, आपण कोणत्या प्रकारची वस्तू दर्शविली आहे हे विचारू शकता. चित्रात, बॉटला फोटोमध्ये जे दाखवले आहे त्यावर आधारित कथा लिहायला सांगा किंवा योजनाबद्ध स्केचवर आधारित, वेबसाइट तयार करण्यास सांगा). MiniGPT-4 अंमलबजावणी Python मध्ये लिहिलेली आहे आणि BSD परवान्याअंतर्गत वितरित केली आहे.
• Facebook ने एक टूलकिट आणि सेल्फ-लर्निंग (SSL, सेल्फ-पर्यवेक्षित शिक्षण, मानवी-तयार लेबले आणि भाष्ये वापरत नाही) प्रकाशित केले आहे DINOv2 मशीन व्हिजन मॉडेल जे सामान्यीकृत व्हिज्युअल डेटा प्रोसेसिंग (प्रतिमा वर्गीकरण, वस्तूंबद्दल माहिती काढणे) च्या समस्या सोडवण्यासाठी योग्य आहे. प्रतिमा, व्हिडिओवर काय चालले आहे ते समजून घेणे) आणि पिक्सेल स्तरावर हाताळणी (खोली अंदाज, विभाजन). मॉडेल 142 दशलक्ष प्रतिमांच्या संग्रहावर प्रशिक्षित आहे. अंमलबजावणी पायथनमध्ये लिहिलेली आहे आणि क्रिएटिव्ह कॉमन्स अॅट्रिब्युशन-नॉन कमर्शियल 4.0 परवान्याअंतर्गत वितरित केली आहे जी गैर-व्यावसायिक वापरास परवानगी देते.
• GPT4All हे त्यांच्या स्वतःच्या हार्डवेअरवर स्टँड-अलोन चॅटबॉट्स त्वरीत लॉन्च करण्यासाठी टूलकिट आहे (ते बाह्य सेवांमध्ये प्रवेश करत नाहीत आणि कार्यान्वित करण्यासाठी AVX2 समर्थनासह CPUs वापरतात). GPT-J आणि LLaMa वर आधारित मोठ्या भाषा मॉडेलला जोडणे समर्थित आहे. कोड Python मध्ये लिहिलेला आहे आणि MIT परवान्याअंतर्गत वितरित केला आहे.

स्त्रोत: opennet.ru