റെഡ്പജാമ പ്രോജക്റ്റ് ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സിസ്റ്റങ്ങൾക്കായി ഒരു ഓപ്പൺ ഡാറ്റാസെറ്റ് വികസിപ്പിക്കുന്നു

ChatGPT പോലുള്ള വാണിജ്യ ഉൽപ്പന്നങ്ങളുമായി മത്സരിക്കുന്ന ഇന്റലിജന്റ് അസിസ്റ്റന്റുമാരെ നിർമ്മിക്കാൻ ഉപയോഗിക്കാവുന്ന ഓപ്പൺ മെഷീൻ ലേണിംഗ് മോഡലുകളും അനുബന്ധ പരിശീലന ഇൻപുട്ടുകളും സൃഷ്ടിക്കുന്നതിനായി ഒരു റെഡ്പജാമ സഹകരണ പദ്ധതി അവതരിപ്പിക്കുന്നു. ഓപ്പൺ സോഴ്സ് ഡാറ്റയുടെയും വലിയ ഭാഷാ മോഡലുകളുടെയും സാന്നിധ്യം മെഷീൻ ലേണിംഗ് മേഖലയിൽ ഗവേഷണത്തിൽ ഏർപ്പെട്ടിരിക്കുന്ന സ്വതന്ത്ര ടീമുകളുടെ നിയന്ത്രണങ്ങൾ നീക്കം ചെയ്യുമെന്നും പ്രത്യേക സംഭാഷണ സംവിധാനങ്ങൾ സൃഷ്ടിക്കുന്നത് ലളിതമാക്കുമെന്നും പ്രതീക്ഷിക്കുന്നു. Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research, MILA Québec AI ഇൻസ്റ്റിറ്റ്യൂട്ട് തുടങ്ങിയ ഓർഗനൈസേഷനുകളും കമ്മ്യൂണിറ്റികളും പ്രോജക്റ്റിന്റെ പ്രവർത്തനത്തിൽ ചേർന്നു.

സംഭാഷണ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിനായി 1 ട്രില്യൺ ടോക്കൺ റെഡ്പജാമ-ഡാറ്റ-1.2T ഡാറ്റാസെറ്റിന്റെ പ്രസിദ്ധീകരണമായിരുന്നു ആദ്യപടി. RedPajama സെറ്റ് അതിന്റെ LAMA മോഡൽ (മൊത്തം 1.25 ട്രില്യൺ ടോക്കണുകൾ) സൃഷ്‌ടിക്കാൻ Facebook ഉപയോഗിക്കുന്ന പൊതു ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ പുനർനിർമ്മിക്കുന്നു, എന്നാൽ ഉപയോഗത്തിന്റെ പരിധി പരിമിതപ്പെടുത്താത്ത ഒരു ഓപ്പൺ ലൈസൻസിന് കീഴിലാണ് വിതരണം ചെയ്യുന്നത് (LAMA ഡാറ്റയും മോഡലുകളും പ്രത്യേക ഗവേഷകർക്ക് മാത്രമാണ് വിതരണം ചെയ്തത്. വാണിജ്യേതര ഉപയോഗത്തിനുള്ള അഭ്യർത്ഥന). RedPajama-Data-1T ഡൗൺലോഡ് ചെയ്യാവുന്ന സെറ്റ് 2.67 TB ആണ്, അതിൽ Common Crawl indexed web pages, Wikipedia archives, GitHub-ൽ നിന്നുള്ള സോഴ്‌സ് കോഡ്, Gutenberg ലൈബ്രറിയിൽ നിന്നുള്ള പൊതു പുസ്തകങ്ങൾ, ArXiv ആർക്കൈവിൽ നിന്നുള്ള ശാസ്ത്രീയ ലേഖനങ്ങൾ, Stack Overflow, മറ്റ് Stack എന്നിവയുമായുള്ള ചർച്ചകൾ എന്നിവയിൽ നിന്നുള്ള വിവരങ്ങൾ ഉൾപ്പെടുന്നു. എക്സ്ചേഞ്ച് സൈറ്റുകൾ.

അൽപാക്ക, ഓപ്പൺചാറ്റ്കിറ്റ് പ്രോജക്റ്റുകളിൽ നിന്നുള്ള നിർദ്ദേശ-നിർവഹണ രൂപത്തിലുള്ള ഡയലോഗുകളുടെ റെഡിമെയ്ഡ് ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച് തയ്യാറാക്കിയ ഡാറ്റാസെറ്റിന്റെ അടിസ്ഥാനത്തിൽ പരിശീലിപ്പിച്ച റെഡിമെയ്ഡ് മോഡലുകൾ അടുത്ത ഏതാനും ആഴ്ചകൾക്കുള്ളിൽ രൂപീകരിക്കാൻ പദ്ധതിയിട്ടിട്ടുണ്ട്. സമാനമായ ഭാഷാ മാതൃകാ സംരംഭങ്ങളിൽ ഭാഗികമായി ഓപ്പൺ സോഴ്സ് പ്രോജക്ടുകളായ LAMA, Alpaca, Vicuna, Koala എന്നിവയും പൂർണ്ണമായ ഓപ്പൺ സോഴ്സ് സംരംഭങ്ങളായ Pythia, OpenChatKit, Open Assistant, Dolly എന്നിവയും ഉൾപ്പെടുന്നു.

കൂടാതെ, മെഷീൻ ലേണിംഗുമായി ബന്ധപ്പെട്ട നിരവധി പുതിയ പ്രോജക്ടുകൾ ഉണ്ട്:

• MiniGPT-4 - വിഷ്വൽ വിവരങ്ങൾ കണക്കിലെടുക്കുന്ന കഴിവുകളുള്ള പരമ്പരാഗത സംഭാഷണ ചാറ്റ്ബോട്ടുകൾ വിപുലീകരിക്കുന്നു, ഇത് സിസ്റ്റവുമായി സംവദിക്കുന്ന പ്രക്രിയയിൽ ചിത്രങ്ങൾ വിശകലനം ചെയ്യാനും കൈയെഴുത്ത് വാചകം കണക്കിലെടുക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു (ഉദാഹരണത്തിന്, ഏത് തരം ഒബ്ജക്റ്റാണ് കാണിക്കുന്നതെന്ന് നിങ്ങൾക്ക് ചോദിക്കാം. ചിത്രത്തിൽ, ഫോട്ടോയിൽ കാണിച്ചിരിക്കുന്നതിനെ അടിസ്ഥാനമാക്കി ഒരു സ്റ്റോറി എഴുതാൻ ബോട്ടിനോട് ആവശ്യപ്പെടുക, അല്ലെങ്കിൽ ഒരു സ്കീമാറ്റിക് സ്കെച്ചിനെ അടിസ്ഥാനമാക്കി, ഒരു വെബ്സൈറ്റ് സൃഷ്ടിക്കാൻ ആവശ്യപ്പെടുക). MiniGPT-4 നടപ്പിലാക്കൽ പൈത്തണിൽ എഴുതുകയും BSD ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു.
• ഫേസ്ബുക്ക് ഒരു ടൂൾകിറ്റും ഒരു സ്വയം പഠനവും (SSL, സ്വയം മേൽനോട്ടത്തിലുള്ള പഠനം, മനുഷ്യൻ തയ്യാറാക്കിയ ലേബലുകളും വ്യാഖ്യാനങ്ങളും ഉപയോഗിക്കുന്നില്ല) DINOv2 മെഷീൻ വിഷൻ മോഡൽ സാമാന്യവൽക്കരിച്ച വിഷ്വൽ ഡാറ്റ പ്രോസസ്സിംഗിലെ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് അനുയോജ്യമാണ് (ഇമേജ് വർഗ്ഗീകരണം, വസ്തുക്കളെക്കുറിച്ചുള്ള വിവരങ്ങൾ വേർതിരിച്ചെടുക്കൽ ചിത്രങ്ങൾ, വീഡിയോയിൽ എന്താണ് സംഭവിക്കുന്നതെന്ന് മനസ്സിലാക്കൽ) കൂടാതെ പിക്സൽ തലത്തിലുള്ള കൃത്രിമത്വങ്ങളും (ഡെപ്ത് പ്രെഡിക്ഷൻ, സെഗ്മെന്റേഷൻ). 142 ദശലക്ഷം ചിത്രങ്ങളുടെ ശേഖരത്തിലാണ് മോഡൽ പരിശീലിപ്പിച്ചിരിക്കുന്നത്. നടപ്പാക്കൽ പൈത്തണിൽ എഴുതുകയും വാണിജ്യേതര ഉപയോഗം അനുവദിക്കുന്ന ക്രിയേറ്റീവ് കോമൺസ് ആട്രിബ്യൂഷൻ-നോൺ കൊമേഴ്‌സ്യൽ 4.0 ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു.
• സ്വന്തം ഹാർഡ്‌വെയറിൽ സ്റ്റാൻഡ്-എലോൺ ചാറ്റ്‌ബോട്ടുകൾ വേഗത്തിൽ സമാരംഭിക്കുന്നതിനുള്ള ഒരു ടൂൾകിറ്റാണ് GPT4All (അവ ബാഹ്യ സേവനങ്ങൾ ആക്‌സസ് ചെയ്യുന്നില്ല, കൂടാതെ എക്‌സിക്യൂട്ട് ചെയ്യുന്നതിന് AVX2 പിന്തുണയുള്ള CPU-കൾ ഉപയോഗിക്കുന്നു). GPT-J, LLaMa എന്നിവ അടിസ്ഥാനമാക്കി വലിയ ഭാഷാ മോഡലുകൾ ബന്ധിപ്പിക്കുന്നത് പിന്തുണയ്ക്കുന്നു. കോഡ് പൈത്തണിൽ എഴുതുകയും എംഐടി ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു.

അവലംബം: opennet.ru