Taw qhia RedPajama, ib txoj haujlwm sib koom tes los tsim cov qauv kev kawm qhib tshuab thiab nrog rau kev cob qhia cov tswv yim uas tuaj yeem siv los tsim cov pab cuam ntse uas sib tw nrog cov khoom lag luam xws li ChatGPT. Qhov muaj cov ntaub ntawv qhib thiab cov qauv lus loj yuav tsum tso cov pab pawg tshawb fawb txog tshuab kev ywj pheej thiab ua kom yooj yim los tsim cov kev sib tham sib tham. Cov koom haum thiab cov zej zog xws li Ua Ke, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research thiab MILA QuΓ©bec AI Institute tau koom nrog txoj haujlwm.
Thawj kauj ruam yog kev tshaj tawm ntawm RedPajama-Data-1T dataset rau kev cob qhia kev sib tham qauv, muaj 1.2 trillion tokens. Lub RedPajama suite rov tsim dua cov ntaub ntawv tshaj tawm uas siv los ntawm Facebook los tsim nws cov qauv LLaMA (nqi 1.25 trillion tokens), tab sis yog muab raws li daim ntawv tso cai qhib, qhib qhov chaw (LLaMA cov ntaub ntawv thiab cov qauv tsuas yog muaj rau cov kws tshawb fawb ntawm kev thov tshwj xeeb rau cov tsis - kev lag luam siv). Lub RedPajama-Data-1T downloadable teeb yog 2.67 TB hauv qhov loj thiab suav nrog cov ntaub ntawv los ntawm Cov Nplooj Ntawv Crawl-indexed web pages, Wikipedia archives, qhov chaws los ntawm GitHub, cov ntawv sau pej xeem los ntawm lub tsev qiv ntawv Gutenberg, cov ntawv tshawb fawb los ntawm ArXiv archive, thiab kev sib tham los ntawm Stack Overflow thiab lwm qhov chaw sib pauv Stack.
Npaj ua qauv, tau kawm raws li kev npaj cov ntaub ntawv teeb tsa thiab ua kom zoo siv cov qauv npaj txhij ntawm kev sib tham hauv daim ntawv qhia-ua tiav los ntawm Alpaca thiab OpenChatKit cov haujlwm, tau npaj yuav tsim nyob rau ob peb lub lis piam tom ntej. Cov qauv lus zoo sib xws suav nrog qee qhov qhib qhov project LLaMA, Alpaca, Vicuna, thiab Koala, nrog rau cov kev pib qhib tag nrho Pythia, OpenChatKit, Qhib Assistant, thiab Dolly.
Tsis tas li ntawd, ob peb txoj haujlwm tshiab hais txog kev kawm tshuab tuaj yeem raug sau tseg:
- MiniGPT-4 - nthuav dav cov kev sib tham sib tham nrog cov peev txheej uas suav nrog cov ntaub ntawv pom, uas tso cai rau koj los tshuaj xyuas cov duab thiab coj mus rau hauv tus account sau cov ntawv sau thaum cuam tshuam nrog lub kaw lus (piv txwv li, koj tuaj yeem nug yam khoom dab tsi hauv daim duab. , hais kom tus bot sau ib zaj dab neeg raws li ib qho qhia hauv daim duab, lossis raws li daim duab kos duab, thov kom tsim lub vev xaib). Qhov kev siv MiniGPT-4 yog sau rau hauv Python thiab muab faib raws li BSD daim ntawv tso cai.
- Facebook tau tshaj tawm cov cuab yeej thiab kev kawm tus kheej (SSL, Kev Saib Xyuas Tus Kheej Kev Kawm, tsis siv tib neeg cov ntawv npaj thiab cov lus piav qhia thaum lub sijhawm kawm) lub khoos phis tawj pom kev qauv DINOv2, tsim nyog rau kev daws teeb meem ntawm kev ua cov ntaub ntawv pom dav dav (cov duab faib tawm, rho tawm cov ntaub ntawv hais txog cov khoom hauv cov duab, nkag siab txog dab tsi tshwm sim hauv video) thiab kev tswj hwm ntawm qib pixel (qhov tob tob, segmentation). Tus qauv tau raug cob qhia ntawm kev sau ntawm 142 lab dluab. Qhov kev siv yog sau rau hauv Python thiab muab faib raws li Creative Commons Attribution-NonCommercial 4.0 daim ntawv tso cai, tso cai siv tsis yog lag luam.
- GPT4All yog cov cuab yeej siv sai sai rau kev tshaj tawm ib leeg chatbots ntawm koj tus kheej kho vajtse (lawv tsis nkag mus rau cov kev pabcuam sab nraud thiab siv CPU nrog AVX2 txhawb nqa rau kev tua). Txhawb kev sib txuas ntawm cov qauv lus loj raws li GPT-J thiab LLaMa. Cov lej tau sau hauv Python thiab muab faib raws li MIT daim ntawv tso cai.
Tau qhov twg los: opennet.ru