Hoʻokomo ʻia ʻo RedPajama, kahi papahana hui pū i manaʻo ʻia e hoʻokumu i nā hiʻohiʻona aʻo mīkini wehe a me nā hoʻokomo hoʻomaʻamaʻa e hiki ke hoʻohana ʻia e hana i nā mea kōkua akamai e hoʻokūkū me nā huahana kalepa e like me ChatGPT. ʻO ka loaʻa ʻana o ka ʻikepili kumu wehe a me nā ʻano ʻōlelo nui e hoʻokuʻu i nā hui noiʻi aʻo mīkini kūʻokoʻa a maʻalahi ke kūkulu ʻana i nā ʻōnaehana kamaʻilio maʻamau. Ua hui pū nā hui a me nā kaiāulu e like me Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research a me MILA Québec AI Institute i ka papahana.
ʻO ka hana mua, ʻo ia ka paʻi ʻana i ka ʻikepili RedPajama-Data-1T no ka hoʻomaʻamaʻa ʻana i nā hiʻohiʻona kamaʻilio, aia nā 1.2 trillion hōʻailona. Hoʻopuka hou ka RedPajama suite i nā ʻikepili i loaʻa i ka lehulehu i hoʻohana ʻia e Facebook no ka hana ʻana i kāna kumu hoʻohālike LLaMA (pono 1.25 trillion tokens), akā hāʻawi ʻia ma lalo o kahi laikini wehe ʻole (LLaMA ʻikepili a me nā hiʻohiʻona i loaʻa i nā mea noiʻi ma ke noi kūikawā no ka mea ʻole. - hoʻohana kālepa). He 1 TB ka nui o ka RedPajama-Data-2.67T a loaʻa ka ʻike mai nā ʻaoʻao pūnaewele Common Crawl-indexed, Wikipedia archives, source code from GitHub, public domain book from the Gutenberg library, science articles from the ArXiv archive, and discussions from. ʻO Stack Overflow a me nā pūnaewele Stack Exchange ʻē aʻe.
ʻO nā hiʻohiʻona i hoʻomākaukau ʻia, i hoʻomaʻamaʻa ʻia ma ke kumu o kahi hoʻonohonoho ʻikepili i hoʻomākaukau ʻia a hoʻopaʻa ʻia me ka hoʻohana ʻana i nā hiʻohiʻona mākaukau o nā kūkākūkā ma ke ʻano o ka hoʻokō ʻana mai nā papahana Alpaca a me OpenChatKit, ua hoʻolālā ʻia e hana ʻia i nā pule e hiki mai ana. Loaʻa i nā kumu hoʻohālike ʻōlelo like nā papahana LLaMA, Alpaca, Vicuna, a me Koala, a me Pythia, OpenChatKit, Open Assistant, a me Dolly.
Eia kekahi, hiki ke ʻike ʻia kekahi mau papahana hou e pili ana i ka aʻo ʻana i ka mīkini:
- MiniGPT-4 - hoʻonui i nā kamaʻilio kamaʻilio kuʻuna me nā mana e noʻonoʻo i ka ʻike ʻike, hiki iā ʻoe ke nānā i nā kiʻi a noʻonoʻo i nā kikokikona lima i ka wā e launa pū ai me ka ʻōnaehana (no ka laʻana, hiki iā ʻoe ke nīnau i ke ʻano o ka mea i hōʻike ʻia ma ke kiʻi. , e noi i ka bot e kākau i kahi moʻolelo e pili ana i ka mea i hōʻike ʻia ma ke kiʻi, a i ʻole ma muli o kahi kiʻi schematic, noi e hana i kahi pūnaewele). Ua kākau ʻia ka hoʻokō MiniGPT-4 ma Python a māhele ʻia ma lalo o ka laikini BSD.
- Ua paʻi ʻo Facebook i nā mea hana a me kahi aʻo pilikino (SSL, Self-Supervised Learning, ʻaʻole ia e hoʻohana i nā lepili a me nā annotations i hoʻomākaukau ʻia e ke kanaka i ka wā o ka hoʻomaʻamaʻa ʻana) kamepiula ʻike hiʻohiʻona DINOv2, kūpono no ka hoʻoponopono ʻana i nā pilikia o ka hoʻoili ʻana i ka ʻike maʻamau. nā mea i nā kiʻi, ka hoʻomaopopo ʻana i nā mea e hana nei ma ke wikiō) a me nā manipulations ma ka pae pixel (ka wānana hohonu, ka ʻāpana). Ua aʻo ʻia ke kumu hoʻohālike ma kahi hōʻiliʻili o 142 miliona mau kiʻi. Ua kākau ʻia ka hoʻokō ʻana ma Python a ua māhele ʻia ma lalo o kahi laikini Creative Commons Attribution-NonCommercial 4.0, e ʻae ana i ka hoʻohana ʻole ʻana i ka ʻoihana.
- ʻO GPT4All kahi hāmeʻa no ka hoʻomaka koke ʻana i nā chatbots kū hoʻokahi ma kāu lako ponoʻī (ʻaʻole lākou e komo i nā lawelawe waho a hoʻohana i kahi CPU me ke kākoʻo AVX2 no ka hoʻokō ʻana). Kākoʻo i ka hoʻohui ʻana i nā kumu hoʻohālike ʻōlelo nui ma muli o GPT-J a me LLaMa. Ua kākau ʻia ke code ma Python a ua māhele ʻia ma lalo o ka laikini MIT.
Source: opennet.ru