Prezantoi RedPajama, një projekt bashkëpunues që synon krijimin e modeleve të hapura të mësimit të makinerive dhe inputeve shoqëruese të trajnimit që mund të përdoren për të krijuar asistentë inteligjentë që konkurrojnë me produktet komerciale si ChatGPT. Disponueshmëria e të dhënave me burim të hapur dhe modeleve të mëdha gjuhësore pritet të çlirojë ekipe të pavarura kërkimore për mësimin e makinerive dhe ta bëjë më të lehtë ndërtimin e sistemeve të personalizuara të bisedave. Organizata dhe komunitete të tilla si Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research dhe Instituti MILA Québec AI iu bashkuan projektit.
Hapi i parë ishte publikimi i grupit të të dhënave RedPajama-Data-1T për trajnimin e modeleve bisedore, që përmban 1.2 trilion argumente. Kompleti RedPajama riprodhon të dhënat e disponueshme publikisht të përdorura nga Facebook për të krijuar modelin e tij LLaMA (me vlerë 1.25 trilion argumente), por ofrohet nën një licencë të hapur, jo kufizuese (të dhënat dhe modelet LLaMA u viheshin në dispozicion vetëm studiuesve me kërkesë të veçantë për jo -perdorim komercial). Seti i shkarkimit RedPajama-Data-1T është 2.67 TB në madhësi dhe përfshin informacion nga faqet e internetit të indeksuara nga Common Crawl, arkivat e Wikipedia, kodi burimor nga GitHub, libra të domenit publik nga biblioteka Gutenberg, artikuj shkencorë nga arkivi ArXiv dhe diskutime nga Stack Overflow dhe sajte të tjera Stack Exchange.
Modele të gatshme, të trajnuara mbi bazën e një grupi të dhënash të përgatitur dhe të optimizuara duke përdorur shembuj të gatshëm të dialogëve në formën e ekzekutimit të udhëzimeve nga projektet Alpaca dhe OpenChatKit, janë planifikuar të formohen në javët e ardhshme. Iniciativa të ngjashme të modelit gjuhësor përfshijnë projektet pjesërisht me burim të hapur LLaMA, Alpaca, Vicuna dhe Koala, si dhe iniciativat plotësisht me burim të hapur Pythia, OpenChatKit, Open Assistant dhe Dolly.
Për më tepër, mund të vërehen disa projekte të reja që lidhen me mësimin e makinerive:
- MiniGPT-4 - zgjeron chatbot tradicionale interaktive me aftësi që marrin parasysh informacionin vizual, i cili ju lejon të analizoni imazhet dhe të merrni parasysh tekstin e shkruar me dorë kur ndërveproni me sistemin (për shembull, mund të pyesni se çfarë lloj objekti tregohet në foto , kërkojini robotit të shkruajë një histori bazuar në atë të paraqitur në fotografi, ose bazuar në një skicë skematike, kërkoni të krijojë një faqe interneti). Implementimi MiniGPT-4 është shkruar në Python dhe shpërndahet nën licencën BSD.
- Facebook ka publikuar mjete dhe modelin e vizionit kompjuterik DINOv2 të vetë-mësimit (SSL, Mësimi i vetë-mbikëqyrur, nuk përdor etiketa dhe shënime të përgatitura nga njeriu gjatë trajnimit) DINOv142, i përshtatshëm për zgjidhjen e problemeve të përpunimit të përgjithshëm vizual të të dhënave (klasifikimi i imazheve, nxjerrja e informacionit rreth objektet në imazhe, të kuptuarit e asaj që po ndodh në video) dhe manipulimet në nivelin e pikselit (parashikimi i thellësisë, segmentimi). Modelja u trajnua në një koleksion prej 4.0 milionë imazhesh. Implementimi është shkruar në Python dhe shpërndahet nën një licencë Creative Commons Attribution-NonCommercial XNUMX, duke lejuar përdorimin jokomercial.
- GPT4All është një paketë veglash për lëshimin e shpejtë të chatbot-eve të pavarura në harduerin tuaj (ata nuk kanë akses në shërbime të jashtme dhe përdorin një CPU me mbështetje AVX2 për ekzekutim). Mbështet lidhjen e modeleve të gjuhëve të mëdha të bazuara në GPT-J dhe LLaMa. Kodi është shkruar në Python dhe shpërndahet nën licencën MIT.
Burimi: opennet.ru