แแแแชแแ RedPajama, แแ แแแแแแแ แแ แแแฅแขแ, แ แแแแแแช แแแแแแ แแกแแฎแแแก แจแแฅแแแแก แฆแแ แแแแฅแแแแแแชแแแแแแแแก แแแแแแแแ แแ แแแแแฎแแแแ แกแแกแฌแแแแ แกแแจแฃแแแแแแแ, แ แแแแแแแช แจแแแซแแแแ แแแแแงแแแแแฃแ แแฅแแแก แแแขแแแแฅแขแฃแแแฃแ แ แแกแแกแขแแแขแแแแก แจแแกแแฅแแแแแแ, แ แแแแแแแช แแแแแฃแ แแแชแแแก แฃแฌแแแแ แแแแแ แชแแฃแ แแ แแแฃแฅแขแแแก, แ แแแแ แแชแแ ChatGPT. แแแกแแแแแแแแแ, แ แแ แฆแแ แฌแงแแ แแก แแแแแชแแแแแแกแ แแ แแแแ แแแแแแก แแแแแแแแแก แฎแแแแแกแแฌแแแแแแแ แแแแแแแแกแฃแคแแแแก แแแแฅแแแฃแ แ แกแฌแแแแแแแก แแแแแฃแแแแแแแ แแแแแแแแ แแฃแแแแแก แแ แแแแแแแแแแแก แแแ แแแแฃแแ แกแแกแแฃแแ แ แกแแกแขแแแแแแก แจแแฅแแแแก. แแ แแแฅแขแก แจแแฃแแ แแแแแ แแ แแแแแแแชแแแแ แแ แกแแแแแแแแแแแแ, แ แแแแ แแชแแ Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research แแ MILA Quรฉbec AI Institute.
แแแ แแแแ แแแแแฏแ แแงแ RedPajama-Data-1T แแแแแชแแแแ แแแแ แแแแก แแแแแฅแแแงแแแแ แกแแกแแฃแแ แ แแแแแแแแแก แขแ แแแแแแแกแแแแก, แ แแแแแแช แจแแแชแแแแ 1.2 แขแ แแแแแ แแแขแแแก. RedPajama แแแแแแแฅแขแ แแกแแฎแแแก แกแแฏแแ แแ แฎแแแแแกแแฌแแแแ แแแแแชแแแแแก, แ แแแแแแกแแช Facebook แแงแแแแแก แแแแแกแ LLaMA แแแแแแแก แจแแกแแฅแแแแแแ (1.25 แขแ แแแแแแ แขแแแแแ), แแแแ แแ แแแฌแแแแแฃแแแ แฆแแ, แจแแฃแแฆแฃแแแแ แแแชแแแแแแ (LLaMA แแแแแชแแแแแ แแ แแแแแแแแ แฎแแแแแกแแฌแแแแแ แแงแ แแแแแแแแ แแแแกแแแแก แแฎแแแแ แกแแแชแแแแฃแ แ แแแแฎแแแแแ แแ แ -แแแแแ แชแแฃแแ แแแแแงแแแแแ). RedPajama-Data-1T แฉแแแแกแแขแแแ แแ แแแแ แแแ แแ แแก 2.67 แขแแแแขแ แแ แแแแชแแแก แแแคแแ แแแชแแแก Common Crawl-แแก แแแแแฅแกแแ แแแฃแแ แแแ แแแแ แแแแแแแ, แแแแแแแแแแก แแ แฅแแแแแแแแ, แฌแงแแ แแก แแแแแแแ GitHub-แแแ, แกแแฏแแ แ แแแแแแแก แฌแแแแแแก แแฃแขแแแแแ แแแก แแแแแแแแแแแแแ, แกแแแแชแแแแ แ แกแขแแขแแแแก ArXiv แแ แฅแแแแแแ แแ แแแกแแฃแกแแแแแแแ. Stack Overflow แแ แกแฎแแ Stack Exchange แกแแแขแแแ.
แแแ แแแแแแแแ, แแแแแแแแแฃแแ แแแแแชแแแแ แแแแ แแแแก แกแแคแฃแซแแแแแ แแแแแแแแแฃแแ แแ แแแขแแแแแแ แแแฃแแแ แแแแแแแแแแก แแแ แแแแแแแแแแแก แแแแแงแแแแแแ Alpaca-แกแ แแ OpenChatKit-แแก แแ แแแฅแขแแแแแแ แแแกแขแ แฃแฅแชแแแแแก แจแแกแ แฃแแแแแก แกแแฎแแ, แแแแแแแแแแ แแแแแแแแ แ แแแแแแแแ แแแแ แแก แแแแแแแแแแแจแ. แแแแก แแกแแแแกแ แแแแแแแก แแแแชแแแขแแแแแ แแแแชแแแก แแแฌแแแแแ แแ แฆแแ แแแแแก แแ แแแฅแขแแแก LLaMA, Alpaca, Vicuna แแ Koala, แแกแแแ แ แแแแ แช แกแ แฃแแแ แฆแแ แแแแแก แแแแชแแแขแแแแแก Pythia, OpenChatKit, Open Assistant แแ Dolly.
แแแ แแ แแแแกแ, แจแแแซแแแแ แแฆแแแแจแแแก แแแแฅแแแฃแ แกแฌแแแแแแแกแแแ แแแแแแจแแ แแแฃแแ แ แแแแแแแแ แแฎแแแ แแ แแแฅแขแ:
- MiniGPT-4 - แแคแแ แแแแแก แขแ แแแแชแแฃแ แแแขแแ แแฅแขแแฃแ แฉแแขแแแขแแแก แจแแกแแซแแแแแแแแแแ, แ แแแแแแแช แแแแแแแกแฌแแแแแก แแแแฃแแแฃแ แแแคแแ แแแชแแแก, แ แแช แกแแจแฃแแแแแแก แแแซแแแแ แแแแแแแแแแ แกแฃแ แแแแแ แแ แแแแแแแแแกแฌแแแแ แฎแแแแแฌแแ แ แขแแฅแกแขแ แกแแกแขแแแแกแแแ แฃแ แแแแ แแแแแกแแก (แแแแแแแแแ, แจแแแแซแแแแ แแแแแฎแแ, แ แ แกแแฎแแก แแแแแฅแขแแ แแแฉแแแแแแ แกแฃแ แแแแ , แกแแฎแแแแ แแแขแก แแแฌแแ แแก แแแแแแ แคแแขแแแ แแแฉแแแแแแแก แแแฎแแแแแ, แแ แกแฅแแแแขแฃแ แ แฉแแแแฎแแขแแก แกแแคแฃแซแแแแแ, แกแแฎแแแแ แจแแฅแแแแก แแแแกแแแขแ). MiniGPT-4 แแแแแแแแแขแแชแแ แแแฌแแ แแแแ แแแแแแจแ แแ แแแฌแแแแแแ BSD แแแชแแแแแแ.
- Facebook-แแ แแแแแแฅแแแงแแ แแแกแขแ แฃแแแแขแแแ แแ แแแแแกแฌแแแแแแแก (SSL, Self-Supervised Learning, แแ แแงแแแแแก แแแแแแแแแก แแแแ แแแแแแแแแฃแ แแขแแแแขแแแกแ แแ แแแแขแแชแแแแก แขแ แแแแแแแก แแ แแก) แแแแแแฃแขแแ แฃแแ แฎแแแแแก แแแแแแ DINOv2, แ แแแแแแช แจแแกแแคแแ แแกแแ แแแแแชแแแแ แแแแแแแแแแแฃแแ แแแแฃแแแฃแ แ แแแแฃแจแแแแแแก แแ แแแแแแแแแก แแแแแกแแญแ แแแแ (แกแฃแ แแแแแแก แแแแกแแคแแแแชแแ, แแแคแแ แแแชแแแก แแแแฆแแแ). แแแแแฅแขแแแ แกแฃแ แแแแแจแ, แแแแก แแแแแแ, แแฃ แ แ แฎแแแแ แแแแแแแ) แแ แแแแแแฃแแแชแแแแ แแแฅแกแแแแก แแแแแแ (แกแแฆแ แแแก แแ แแแแแแแ แแแ, แกแแแแแแขแแชแแ). แแแแแแ 142 แแแแแแแ แแแแแกแแฎแฃแแแแแก แแแแแฅแชแแแแ แแงแ แแแฌแแ แแแแแ. แแแแแแแแแขแแชแแ แแแฌแแ แแแแ แแแแแแจแ แแ แแแฌแแแแแแ Creative Commons Attribution-NonCommercial 4.0 แแแชแแแแแแ, แ แแช แแ แแแแแแ แชแแฃแแ แแแแแงแแแแแแก แกแแจแฃแแแแแแก แแซแแแแ.
- GPT4All แแ แแก แแแกแขแ แฃแแแแขแแ แแฃแแ, แ แแแแแแแช แจแแแแซแแแแ แกแฌแ แแคแแ แแแฃแจแแแ แแแแแฃแแแแแแแแ แฉแแแแแขแแแ แกแแแฃแแแ แแแแ แแขแแ (แแกแแแ แแ แฌแแแแแแแ แแแ แ แกแแ แแแกแแแก แแ แแงแแแแแแ CPU-แก AVX2 แแฎแแ แแแญแแ แแ แจแแกแ แฃแแแแแกแแแแก). แแฎแแ แก แฃแญแแ แก GPT-J แแ LLaMa-แแ แแแคแฃแซแแแแฃแแ แแแแ แแแแแ แแแ แแแแแแแแแก แแแแจแแ แก. แแแแ แแฌแแ แแแ แแแแแแจแ แแ แแแฌแแแแแแ MIT แแแชแแแแแแ.
แฌแงแแ แ: opennet.ru