විවෘත යන්ත්‍ර ඉගෙනුම් ආකෘති නිර්මාණය කිරීම සහ ChatGPT වැනි වාණිජ නිෂ්පාදන සමඟ තරඟ කරන බුද්ධිමත් සහායකයින් නිර්මාණය කිරීම සඳහා භාවිතා කළ හැකි පුහුණු යෙදවුම් නිර්මාණය කිරීම අරමුණු කරගත් සහයෝගිතා ව්‍යාපෘතියක් වන RedPjama හඳුන්වා දෙන ලදී. විවෘත මූලාශ්‍ර දත්ත සහ විශාල භාෂා ආකෘති තිබීම ස්වාධීන යන්ත්‍ර ඉගෙනුම් පර්යේෂණ කණ්ඩායම් නිදහස් කිරීමට සහ අභිරුචි සංවාද පද්ධති ගොඩනැගීමට පහසු කිරීමට අපේක්ෂා කෙරේ. Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research සහ MILA Québec AI ආයතනය වැනි සංවිධාන සහ ප්‍රජාවන් ව්‍යාපෘතියට සම්බන්ධ විය.
පළමු පියවර වූයේ ටෝකන ට්‍රිලියන 1 ක් අඩංගු සංවාද ආකෘති පුහුණු කිරීම සඳහා RedPjama-Data-1.2T දත්ත කට්ටලය ප්‍රකාශයට පත් කිරීමයි. RedPajama කට්ටලය Facebook විසින් එහි LLaMA ආකෘතිය (ටෝකන ට්‍රිලියන 1.25 ක් වටිනා) නිර්මාණය කිරීම සඳහා භාවිතා කරන ප්‍රසිද්ධියේ ලබා ගත හැකි දත්ත ප්‍රතිනිෂ්පාදනය කරයි, නමුත් විවෘත, සීමා රහිත බලපත්‍රයක් යටතේ සපයනු ලැබේ (LLaMA දත්ත සහ ආකෘති පර්යේෂකයන්ට විශේෂ ඉල්ලීමක් මත පමණක් ලබා දී ඇත. - වාණිජ භාවිතය). RedPajama-Data-1T බාගැනීම් කට්ටලය 2.67 TB ප්‍රමාණයෙන් යුක්ත වන අතර Common Crawl-indexed web pages, Wikipedia archives, GitHub වෙතින් මූලාශ්‍ර කේතය, Gutenberg පුස්තකාලයෙන් පොදු වසම් පොත්, ArXiv ලේඛනාගාරයෙන් විද්‍යාත්මක ලිපි සහ සාකච්ඡා ඇතුළත් වේ. Stack Overflow සහ අනෙකුත් Stack Exchange අඩවි.
Alpaca සහ OpenChatKit ව්‍යාපෘති වලින් උපදෙස් ක්‍රියාත්මක කිරීමේ ස්වරූපයෙන් සංවාදවල සූදානම් කළ උදාහරණ භාවිතා කරමින් සකස් කරන ලද දත්ත කට්ටලයක පදනම මත පුහුණු කරන ලද සහ ප්‍රශස්ත කරන ලද සූදානම් කළ ආකෘති ඉදිරි සති කිහිපය තුළ පිහිටුවීමට සැලසුම් කර ඇත. සමාන භාෂා ආකෘති මුල පිරීම්වලට අර්ධ වශයෙන් විවෘත මූලාශ්‍ර ව්‍යාපෘති වන LLaMA, Alpaca, Vicuna, සහ Koala මෙන්ම Pythia, OpenChatKit, Open Assistant, සහ Dolly යන පූර්ණ විවෘත මූලාශ්‍ර මුල පිරීම් ඇතුළත් වේ.
මීට අමතරව, යන්ත්‍ර ඉගෙනීමට අදාළ නව ව්‍යාපෘති කිහිපයක් සටහන් කළ හැක:
- MiniGPT-4 - දෘශ්‍ය තොරතුරු සැලකිල්ලට ගන්නා හැකියාවන් සහිත සාම්ප්‍රදායික අන්තර්ක්‍රියාකාරී චැට්බෝට් පුළුල් කරයි, එමඟින් ඔබට පින්තූර විශ්ලේෂණය කිරීමට සහ පද්ධතිය සමඟ අන්තර් ක්‍රියා කරන විට අතින් ලියන ලද පෙළ සැලකිල්ලට ගැනීමට ඉඩ සලසයි (උදාහරණයක් ලෙස, පින්තූරයේ දැක්වෙන වස්තුව කුමක්දැයි ඔබට විමසිය හැකිය. , ඡායාරූපයේ පෙන්වා ඇති එකක් මත පදනම්ව කතන්දරයක් ලිවීමට බොට්ගෙන් ඉල්ලා සිටින්න, නැතහොත් ක්‍රමානුරූප කටු සටහනක් මත පදනම්ව, වෙබ් අඩවියක් නිර්මාණය කිරීමට අසන්න). MiniGPT-4 ක්‍රියාත්මක කිරීම Python වලින් ලියා BSD බලපත්‍රය යටතේ බෙදා හැර ඇත.
- Facebook විසින් සාමාන්‍ය දෘශ්‍ය දත්ත සැකසීමේ ගැටළු විසඳීම සඳහා සුදුසු මෙවලම් සහ ස්වයං-ඉගෙනීමක් (SSL, ස්වයං-අධීක්‍ෂණ ඉගෙනීම, පුහුණුව අතරතුර මිනිසුන් විසින් සකස් කරන ලද ලේබල් සහ විවරණ භාවිතා නොකරයි) පරිගණක දර්ශන ආකෘතිය DINOv2 ප්‍රකාශයට පත් කර ඇත (රූප වර්ගීකරණය, තොරතුරු උපුටා ගැනීම රූපවල ඇති වස්තූන්, වීඩියෝවේ සිදුවන්නේ කුමක්ද යන්න තේරුම් ගැනීම) සහ පික්සෙල් මට්ටමේ හැසිරවීම් (ගැඹුරු අනාවැකි, ඛණ්ඩනය). මෙම ආකෘතිය රූප මිලියන 142 ක එකතුවක් මත පුහුණු කරන ලදී. ක්‍රියාත්මක කිරීම Python හි ලියා ඇති අතර වාණිජ නොවන භාවිතයට ඉඩ දෙමින් Creative Commons Attribution-NonCommercial 4.0 බලපත්‍රයක් යටතේ බෙදා හරිනු ලැබේ.
- GPT4All යනු ඔබේම දෘඪාංග මත තනිවම chatbots ඉක්මනින් දියත් කිරීම සඳහා වූ මෙවලම් කට්ටලයකි (ඔවුන් බාහිර සේවාවන් වෙත ප්‍රවේශ නොවන අතර ක්‍රියාත්මක කිරීම සඳහා AVX2 සහාය ඇති CPU භාවිතා කරයි). GPT-J සහ LLaMa මත පදනම් වූ විශාල භාෂා ආකෘති සම්බන්ධ කිරීමට සහය දක්වයි. කේතය Python වලින් ලියා ඇති අතර MIT බලපත්‍රය යටතේ බෙදා හරිනු ලැබේ.
මූලාශ්රය: opennet.ru