Tawagar masu bincike daga Jami'ar Stanford, Jami'ar California a Berkeley, ETH Zurich, Makarantar Tattalin Arziki ta Graduate, Jami'ar Carnegie Mellon, da Yandex da Meta, sun buga lambar tushe don injin sarrafa manyan samfuran harshe akan albarkatun. - ƙuntataccen tsarin. Misali, injin yana ba da damar ƙirƙirar ayyuka mai kama da ChatGPT da Copilot ta hanyar aiwatar da tsarin OPT-175B da aka riga aka horar, wanda ke rufe sigogin biliyan 175, akan kwamfutar yau da kullun tare da katin zane-zane na NVIDIA RTX3090 sanye take da 24GB na ƙwaƙwalwar bidiyo. An rubuta lambar a Python, tana amfani da tsarin PyTorch kuma ana rarraba ta ƙarƙashin lasisin Apache 2.0.
Ya haɗa da rubutun misali don ƙirƙirar bots wanda ke ba ku damar zazzage ɗayan nau'ikan yare na jama'a kuma fara sadarwa nan da nan (misali, ta hanyar aiwatar da umarnin “python apps/chatbot.py —model facebook/opt-30b — -percent 0) 100 100 0 100 0 "). A matsayin tushe, an ba da shawarar yin amfani da babban samfurin harshe da Facebook ya buga, wanda aka horar da shi akan tarin BookCorpus (littattafai dubu 10), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, da dai sauransu), Pushshift. io (dangane da bayanan Reddit) da CCNewsV2 (Taskar labarai). Samfurin ya ƙunshi kusan alamun biliyan 180 (800 GB na bayanai). Kwanaki 33 na aikin gungu tare da 992 NVIDIA A100 80GB GPUs an kashe su akan horar da ƙirar.
Lokacin gudanar da samfurin OPT-175B akan tsarin tare da NVIDIA T4 GPU guda ɗaya (16GB), injin FlexGen ya nuna aikin har zuwa sau 100 cikin sauri fiye da yadda aka bayar da mafita a baya, yana sa manyan samfuran harshe su sami dama kuma suna ba su damar aiki akan tsarin ba tare da sadaukarwa ba. accelerators. A lokaci guda, FlexGen na iya sikeli don daidaita lissafin tare da GPUs da yawa. Don rage girman samfurin, ana kuma amfani da tsarin matsawa na ma'auni na mallakar mallaka da injin caching samfurin.
A halin yanzu, FlexGen kawai yana goyan bayan ƙirar harshen OPT, amma a nan gaba masu haɓakawa kuma sun yi alƙawarin ƙara tallafi ga BLOOM ( sigogi biliyan 176, yana tallafawa yaruka 46 da harsunan shirye-shirye 13), CodeGen (na iya samar da lamba a cikin harsunan shirye-shirye 22) da Farashin GLM. Misali na tattaunawa tare da bot dangane da FlexGen da samfurin OPT-30B:
Dan Adam: Menene sunan dutse mafi tsayi a duniya?
Mataimaki: Everest.
Dan Adam: Ina shirin tafiya don bikin tunawa da mu. Wadanne abubuwa za mu iya yi?
Mataimaki: To, akwai abubuwa da yawa da za ku iya yi don bikin tunawa da ku. Na farko, kuna iya buga katunan. Na biyu, za ku iya tafiya don yawo. Na uku, za ku iya zuwa gidan kayan gargajiya.
source: budenet.ru