फ्लेक्सजेन हे सिंगल GPU सिस्टीमवर ChatGPT सारखे AI बॉट्स चालवणारे इंजिन आहे

स्टॅनफोर्ड युनिव्हर्सिटी, बर्कले येथील कॅलिफोर्निया युनिव्हर्सिटी, ईटीएच झुरिच, ग्रॅज्युएट स्कूल ऑफ इकॉनॉमिक्स, कार्नेगी मेलॉन युनिव्हर्सिटी, तसेच यांडेक्स आणि मेटा यांच्या संशोधकांच्या टीमने संसाधनांवर मोठ्या भाषेचे मॉडेल चालविण्यासाठी इंजिनचा स्त्रोत कोड प्रकाशित केला आहे. - प्रतिबंधित प्रणाली. उदाहरणार्थ, 175GB व्हिडीओ मेमरी असलेल्या NVIDIA RTX175 गेमिंग ग्राफिक्स कार्डसह नेहमीच्या संगणकावर पूर्व-प्रशिक्षित OPT-3090B मॉडेल, 24 अब्ज पॅरामीटर्स कव्हर करून ChatGPT आणि Copilot ची आठवण करून देणारी कार्यक्षमता निर्माण करण्याची क्षमता इंजिन प्रदान करते. कोड Python मध्ये लिहिलेला आहे, PyTorch फ्रेमवर्क वापरतो आणि Apache 2.0 लायसन्स अंतर्गत वितरित केला जातो.

यामध्ये बॉट्स तयार करण्यासाठी एक उदाहरण स्क्रिप्ट समाविष्ट आहे जी तुम्हाला सार्वजनिकरीत्या उपलब्ध असलेल्या भाषा मॉडेलपैकी एक डाउनलोड करण्याची आणि त्वरित संप्रेषण सुरू करण्यास अनुमती देते (उदाहरणार्थ, “python apps/chatbot.py —model facebook/opt-30b — -percent 0) कमांड चालवून 100 100 0 100 0 ”). आधार म्हणून, Facebook द्वारे प्रकाशित केलेले एक मोठे भाषा मॉडेल वापरण्याचा प्रस्ताव आहे, जो BookCorpus (10 हजार पुस्तके), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews इ.), पुशशिफ्टच्या संग्रहावर प्रशिक्षित आहे. io (Reddit डेटावर आधारित) आणि CCNewsV2 (वृत्त संग्रह). मॉडेल अंदाजे 180 अब्ज टोकन (800 GB डेटा) कव्हर करते. मॉडेलच्या प्रशिक्षणासाठी 33 NVIDIA A992 100GB GPU सह क्लस्टर ऑपरेशनचे 80 दिवस खर्च करण्यात आले.

सिंगल NVIDIA T175 GPU (4GB) असलेल्या सिस्टीमवर OPT-16B मॉडेल चालवताना, FlexGen इंजिनने पूर्वी ऑफर केलेल्या सोल्यूशन्सपेक्षा 100 पट अधिक जलद कामगिरी दाखवली, ज्यामुळे मोठ्या भाषेच्या मॉडेल्सचा वापर अधिक परवडण्याजोगा बनला आणि त्यांना चालण्याची परवानगी दिली. समर्पित प्रवेगक नसलेली प्रणाली. त्याच वेळी, फ्लेक्सजेन एकाधिक GPU सह गणना समांतर करण्यासाठी स्केल करू शकते. मॉडेलचा आकार कमी करण्यासाठी, प्रोप्रायटरी पॅरामीटर कॉम्प्रेशन स्कीम आणि मॉडेल कॅशिंग यंत्रणा देखील वापरली जाते.

सध्या, फ्लेक्सजेन केवळ OPT भाषा मॉडेल्सना समर्थन देते, परंतु भविष्यात विकासक BLOOM (176 अब्ज पॅरामीटर्स, 46 भाषा आणि 13 प्रोग्रामिंग भाषांना समर्थन देतात), कोडजेन (22 प्रोग्रामिंग भाषांमध्ये कोड तयार करू शकतात) आणि GLM मॉडेल. FlexGen आणि OPT-30B मॉडेलवर आधारित बॉटसह संवादाचे उदाहरण:

मानव: जगातील सर्वात उंच पर्वताचे नाव काय आहे?

सहाय्यक: एव्हरेस्ट.

मानव: मी आमच्या वर्धापनदिनानिमित्त सहलीची योजना आखत आहे. आपण कोणत्या गोष्टी करू शकतो?

सहाय्यक: बरं, तुमच्या वर्धापनदिनानिमित्त तुम्ही अनेक गोष्टी करू शकता. प्रथम, आपण पत्ते खेळू शकता. दुसरे, तुम्ही हायकसाठी जाऊ शकता. तिसरे, आपण संग्रहालयात जाऊ शकता.

स्त्रोत: opennet.ru