Enkondukis RedPjama, kunlabora projekto celanta krei malfermajn maŝinlernajn modelojn kaj akompanajn trejnajn enigaĵojn, kiuj povas esti uzataj por krei inteligentajn asistantojn, kiuj konkuras kun komercaj produktoj kiel ChatGPT. La havebleco de malfermfontaj datumoj kaj grandaj lingvomodeloj estas atendita liberigi sendependajn maŝinlernajn esplorteamojn kaj faciligi konstrui kutimajn konversaciajn sistemojn. Organizoj kaj komunumoj kiel Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research kaj MILA Québec AI Institute aliĝis al la projekto.
La unua paŝo estis la publikigo de la datumaro RedPjama-Data-1T por trejnado de konversaciaj modeloj, enhavanta 1.2 bilionojn da ĵetonoj. La RedPjama suite reproduktas la publike disponeblajn datumojn uzatajn de Facebook por krei sian LLaMA-modelon (valora je 1.25 duilionoj da ĵetonoj), sed estas disponigita sub malferma, malfermfonta licenco (LLaMA-datumoj kaj modeloj estas disponeblaj nur al esploristoj laŭ speciala peto por ne. -komerca uzo). La elŝutebla aro RedPjama-Data-1T estas 2.67 TB kaj inkluzivas informojn de Common Crawl-indeksitaj retpaĝoj, Vikipediaj arkivoj, fontkodon de GitHub, publikajn librojn de la Gutenberg-biblioteko, sciencajn artikolojn de la ArXiv-arkivo, kaj diskutojn de Stack Overflow kaj aliaj Stack Exchange-ejoj.
Pretaj modeloj, trejnitaj surbaze de preta datumaro kaj optimumigitaj per pretaj ekzemploj de dialogoj en formo de instrukcio-ekzekuto de la projektoj Alpaca kaj OpenChatKit, estas planitaj esti formitaj en la venontaj kelkaj semajnoj. Similaj lingvomodelaj iniciatoj inkluzivas la parte malfermfontajn projektojn LLaMA, Alpaca, Vicuna kaj Koala, same kiel la plene malfermfontajn iniciatojn Pythia, OpenChatKit, Open Assistant kaj Dolly.
Krome, pluraj novaj projektoj rilataj al maŝinlernado povas esti notitaj:
- MiniGPT-4 - pligrandigas tradiciajn interagajn babilejojn kun kapabloj, kiuj konsideras vidajn informojn, kiuj ebligas analizi bildojn kaj konsideri manskribitan tekston kiam vi interagas kun la sistemo (ekzemple, vi povas demandi, kia objekto estas montrita en la bildo). , petu al la bot verki rakonton bazitan sur tiu montrita en la foto, aŭ surbaze de skema skizo, petu krei retejon). La efektivigo de MiniGPT-4 estas skribita en Python kaj distribuita sub la BSD-licenco.
- Fejsbuko publikigis ilojn kaj memlernadon (SSL, Self-Supervised Learning, ne uzas hompreparitajn etikedojn kaj komentadojn dum trejnado) komputilvida modelo DINOv2, taŭga por solvi problemojn de ĝeneraligita vidadatumtraktado (bildklasifiko, ĉerpi informojn pri objektoj en bildoj, komprenante kio okazas en video) kaj manipuladoj je la piksela nivelo (profunda prognozo, segmentado). La modelo estis trejnita sur kolekto de 142 milionoj da bildoj. La efektivigo estas skribita en Python kaj estas distribuita laŭ Krea Komunaĵo Atribuite-Nekomerca 4.0 permesilo, permesante nekomercan uzon.
- GPT4All estas ilaro por rapide lanĉi memstarajn babilrotojn sur via propra aparataro (ili ne aliras eksterajn servojn kaj uzas CPU kun AVX2-subteno por ekzekuto). Subtenas konekton de grandaj lingvomodeloj bazitaj sur GPT-J kaj LLaMa. La kodo estas skribita en Python kaj estas distribuita sub la MIT-licenco.
fonto: opennet.ru