RedPajama परियोजनाले कृत्रिम बुद्धिमत्ता प्रणालीहरूको लागि खुला डाटासेट विकास गर्दछ

एउटा RedPajama सहयोगी परियोजना खुला मेसिन लर्निंग मोडेलहरू र ChatGPT जस्ता व्यावसायिक उत्पादनहरूसँग प्रतिस्पर्धा गर्ने बौद्धिक सहायकहरू निर्माण गर्न प्रयोग गर्न सकिने प्रशिक्षण इनपुटहरू सिर्जना गर्न प्रस्तुत गरिएको छ। यो आशा गरिन्छ कि खुला स्रोत डाटा र ठूला भाषा मोडेलहरूको उपस्थितिले मेसिन लर्निंगको क्षेत्रमा अनुसन्धानमा संलग्न स्वतन्त्र टोलीहरूको प्रतिबन्ध हटाउनेछ, र विशेष संवाद प्रणालीहरूको सिर्जनालाई सरल बनाउनेछ। टुगेदर, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research र MILA Québec AI Institute जस्ता संस्था र समुदायहरू यस परियोजनाको काममा सामेल भएका छन्।

पहिलो चरण 1 ट्रिलियन टोकन RedPajama-Data-1.2T डाटासेट को प्रशिक्षण कुराकानी मोडेल को प्रकाशन थियो। RedPajama सेटले Facebook द्वारा यसको LLaMA मोडेल (कुल 1.25 ट्रिलियन टोकनहरू) सिर्जना गर्न प्रयोग गरिने सार्वजनिक स्रोतहरूबाट डेटा पुन: उत्पादन गर्दछ, तर प्रयोगको दायरालाई सीमित नगर्ने खुला इजाजतपत्र अन्तर्गत आपूर्ति गरिन्छ (LLaMA डाटा र मोडेलहरू विशेष द्वारा अनुसन्धानकर्ताहरूलाई मात्र आपूर्ति गरिएको थियो। गैर-व्यावसायिक प्रयोगको लागि अनुरोध)। डाउनलोड गर्न मिल्ने RedPajama-Data-1T सेट 2.67 TB हो र यसमा Common Crawl अनुक्रमित वेब पृष्ठहरू, Wikipedia अभिलेखहरू, GitHub बाट स्रोत कोड, गुटेनबर्ग पुस्तकालयबाट सार्वजनिक पुस्तकहरू, ArXiv अभिलेखबाट वैज्ञानिक लेखहरू, र Stack Overflow र अन्य छलफलहरू समावेश छन्। स्ट्याक एक्सचेंज साइटहरू।

तयार गरिएका मोडेलहरू, तयार गरिएको डाटासेटको आधारमा प्रशिक्षित र अल्पाका र ओपनच्याटकिट परियोजनाहरूबाट निर्देशन-कार्यान्वयनको रूपमा संवादहरूको तयार उदाहरणहरू प्रयोग गरेर अनुकूलित, आगामी केही हप्ताहरूमा गठन गर्ने योजना छ। समान भाषा मोडेल पहलहरूमा आंशिक रूपमा खुला स्रोत परियोजनाहरू LLaMA, Alpaca, Vicuna, र Koala, साथै पूर्ण रूपमा खुला स्रोत पहलहरू Pythia, OpenChatKit, Open Assistant, र Dolly समावेश छन्।

थप रूपमा, मेसिन लर्निङसँग सम्बन्धित धेरै नयाँ परियोजनाहरू छन्:

• MiniGPT-4 - क्षमताहरूसँग परम्परागत कुराकानीत्मक च्याटबटहरू विस्तार गर्दछ जुन दृश्य जानकारीलाई खातामा लिन्छ, जसले तपाईंलाई छविहरू विश्लेषण गर्न र प्रणालीसँग अन्तरक्रिया गर्ने प्रक्रियामा हस्तलिखित पाठलाई खातामा लिन अनुमति दिन्छ (उदाहरणका लागि, तपाइँ कुन प्रकारको वस्तु देखाइएको छ भनेर सोध्न सक्नुहुन्छ। तस्बिरमा, बटलाई फोटोमा देखाइएको कुरामा आधारित कथा लेख्न सोध्नुहोस्, वा योजनाबद्ध स्केचमा आधारित, वेबसाइट सिर्जना गर्न सोध्नुहोस्)। MiniGPT-4 कार्यान्वयन पाइथनमा लेखिएको छ र BSD इजाजतपत्र अन्तर्गत वितरण गरिएको छ।
• Facebook ले एउटा टुलकिट र सेल्फ-लर्निङ (SSL, Self-Spervised Learning, मानव-तयार लेबल र एनोटेसनहरू प्रयोग गर्दैन) प्रकाशित गरेको छ DINOv2 मेसिन भिजन मोडेल सामान्यीकृत भिजुअल डाटा प्रोसेसिङ (छवि वर्गीकरण, वस्तुहरूको बारेमा जानकारी निकाल्ने) को समस्याहरू समाधान गर्नका लागि उपयुक्त। छविहरू, भिडियोमा के भइरहेको छ भनेर बुझ्ने) र पिक्सेल स्तरमा हेरफेर (गहिराइ भविष्यवाणी, विभाजन)। मोडेल 142 मिलियन छविहरूको संग्रहमा प्रशिक्षित छ। कार्यान्वयन पाइथनमा लेखिएको छ र क्रिएटिभ कमन्स एट्रिब्युसन-नन कमर्शियल 4.0 इजाजतपत्र अन्तर्गत वितरण गरिएको छ जसले गैर-व्यावसायिक प्रयोगलाई अनुमति दिन्छ।
• GPT4All चाँडै आफ्नै हार्डवेयरमा स्ट्यान्ड-अलोन च्याटबटहरू सुरू गर्नका लागि एउटा टुलकिट हो (तिनीहरूले बाह्य सेवाहरू पहुँच गर्दैनन् र कार्यान्वयन गर्न AVX2 समर्थनको साथ CPU हरू प्रयोग गर्छन्)। GPT-J र LLaMa मा आधारित ठूला भाषा मोडेलहरू जडान गर्न समर्थित छ। कोड Python मा लेखिएको छ र MIT लाइसेन्स अन्तर्गत वितरित।

स्रोत: opennet.ru