फ्लेक्सजेन हे सिंगल GPU सिस्टीमवर ChatGPT सारखे AI बॉट्स चालवणारे इंजिन आहे

स्टॅनफोर्ड विद्यापीठ, कॅलिफोर्निया विद्यापीठ, बर्कले, ETH झुरिच, उच्च माध्यमिक विद्यालय, कार्नेगी मेलॉन विद्यापीठ, तसेच यांडेक्स आणि मेटा येथील संशोधकांच्या पथकाने संसाधन-प्रतिबंधित प्रणालींवर मोठ्या भाषा मॉडेल चालविण्यासाठी इंजिनसाठी स्त्रोत कोड प्रकाशित केला आहे. उदाहरणार्थ, इंजिन NVIDIA RTX3090 गेमिंग ग्राफिक्स कार्ड आणि 24GB व्हिडिओ मेमरी असलेल्या सामान्य संगणकावर पूर्व-प्रशिक्षित OPT-175B मॉडेल चालवून ChatGPT आणि Copilot सारखी कार्यक्षमता निर्माण करण्यास सक्षम करते. हा कोड Python मध्ये लिहिलेला आहे, PyTorch फ्रेमवर्क वापरतो आणि Apache 2.0 परवान्याअंतर्गत वितरित केला जातो.

या किटमध्ये एक नमुना बॉट निर्मिती स्क्रिप्ट समाविष्ट आहे जी तुम्हाला सार्वजनिकरित्या उपलब्ध असलेल्या भाषा मॉडेलपैकी एक लोड करण्यास आणि ताबडतोब चॅटिंग सुरू करण्यास अनुमती देते (उदाहरणार्थ, "python apps/chatbot.py --model facebook/opt-30b -- -percent 0 100 100 0 100 0" ही कमांड चालवून). बेस मॉडेल हे फेसबुकने प्रकाशित केलेले एक मोठे भाषा मॉडेल आहे, जे BookCorpus (10 पुस्तके), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, इ.), Pushshift.io (Reddit डेटावर आधारित) आणि CCNewsV2 (न्यूज आर्काइव्ह) मधील संग्रहांवर प्रशिक्षित आहे. या मॉडेलमध्ये अंदाजे 180 अब्ज टोकन (800 GB डेटा) समाविष्ट आहेत. 992 NVIDIA A100 80GB GPU असलेल्या क्लस्टरवर मॉडेलला प्रशिक्षण देण्यासाठी 33 दिवस लागले.

एकाच NVIDIA T4 (16GB) GPU असलेल्या सिस्टीमवर OPT-175B मॉडेल चालवताना, FlexGen इंजिनने पूर्वी उपलब्ध असलेल्या सोल्यूशन्सपेक्षा 100 पट जास्त वेगाने कामगिरी दाखवली, ज्यामुळे मोठ्या भाषेतील मॉडेल्स अधिक सुलभ झाले आणि त्यांना विशेष अ‍ॅक्सिलरेटरशिवाय सिस्टमवर चालण्यास सक्षम केले. FlexGen अनेक GPU मध्ये संगणन समांतर करण्यासाठी देखील स्केल करू शकते. मालकी पॅरामीटर कॉम्प्रेशन स्कीम आणि मॉडेल कॅशिंग यंत्रणेसह मॉडेल आकार आणखी कमी केला जातो.

फ्लेक्सजेन सध्या फक्त ओपीटी भाषा मॉडेल्सना समर्थन देते, परंतु विकासक भविष्यात ब्लूम (१७६ अब्ज पॅरामीटर्स, ४६ भाषा आणि १३ प्रोग्रामिंग भाषांना समर्थन देते), कोडजेन (२२ प्रोग्रामिंग भाषांमध्ये कोड जनरेट करू शकते) आणि जीएलएम मॉडेल्ससाठी समर्थन जोडण्याचे वचन देतात. ओपीटी-३०बी मॉडेल वापरून फ्लेक्सजेन-आधारित बॉटशी संभाषणाचे उदाहरण येथे आहे:

मानव: जगातील सर्वात उंच पर्वताचे नाव काय आहे?

सहाय्यक: एव्हरेस्ट.

मानव: मी आमच्या वर्धापनदिनानिमित्त सहलीचे नियोजन करत आहे. आपण काय करू शकतो?

सहाय्यक: बरं, तुमच्या वर्धापनदिनानिमित्त तुम्ही अनेक गोष्टी करू शकता. पहिले, तुम्ही पत्ते खेळू शकता. दुसरे, तुम्ही हायकिंगला जाऊ शकता. तिसरे, तुम्ही संग्रहालयात जाऊ शकता.

स्त्रोत: opennet.ru