FlexGen एकल GPU सिस्टम पर ChatGPT-जैसे AI बॉट चलाने के लिए एक इंजन है

स्टैनफोर्ड विश्वविद्यालय, बर्कले में कैलिफोर्निया विश्वविद्यालय, ईटीएच ज्यूरिख, ग्रेजुएट स्कूल ऑफ इकोनॉमिक्स, कार्नेगी मेलन विश्वविद्यालय, साथ ही यांडेक्स और मेटा के शोधकर्ताओं की एक टीम ने संसाधन पर बड़े भाषा मॉडल चलाने के लिए एक इंजन का स्रोत कोड प्रकाशित किया है। -विवश प्रणालियाँ. उदाहरण के लिए, इंजन 175GB वीडियो मेमोरी से लैस NVIDIA RTX175 गेमिंग ग्राफिक्स कार्ड के साथ एक नियमित कंप्यूटर पर 3090 बिलियन मापदंडों को कवर करने वाले पूर्व-प्रशिक्षित OPT-24B मॉडल को चलाकर ChatGPT और Copilot की याद दिलाने वाली कार्यक्षमता बनाने की क्षमता प्रदान करता है। कोड Python में लिखा गया है, PyTorch फ्रेमवर्क का उपयोग करता है और Apache 2.0 लाइसेंस के तहत वितरित किया जाता है।

इसमें बॉट बनाने के लिए एक उदाहरण स्क्रिप्ट शामिल है जो आपको सार्वजनिक रूप से उपलब्ध भाषा मॉडल में से एक को डाउनलोड करने और तुरंत संचार शुरू करने की अनुमति देती है (उदाहरण के लिए, कमांड चलाकर "पायथन ऐप्स/चैटबॉट.पी-मॉडल फेसबुक/ऑप्ट-30बी---प्रतिशत 0 100 100 0 100 0” )। आधार के रूप में, फेसबुक द्वारा प्रकाशित एक बड़े भाषा मॉडल का उपयोग करने का प्रस्ताव है, जो बुककॉर्पस (10 हजार किताबें), सीसी-स्टोरीज़, पाइल (ओपनसबटाइटल्स, विकिपीडिया, डीएम गणित, हैकरन्यूज़ इत्यादि), पुशशिफ्ट के संग्रह पर प्रशिक्षित है। io (Reddit डेटा पर आधारित) और CCNewsV2 (समाचार संग्रह)। मॉडल में लगभग 180 बिलियन टोकन (800 जीबी डेटा) शामिल हैं। मॉडल के प्रशिक्षण पर 33 NVIDIA A992 100GB GPU के साथ क्लस्टर ऑपरेशन के 80 दिन खर्च किए गए।

एकल NVIDIA T175 GPU (4GB) वाले सिस्टम पर OPT-16B मॉडल चलाने पर, FlexGen इंजन ने पहले पेश किए गए समाधानों की तुलना में 100 गुना तेज प्रदर्शन किया, जिससे बड़े भाषा मॉडल का उपयोग अधिक किफायती हो गया और उन्हें चलाने की अनुमति मिली। समर्पित त्वरक के बिना सिस्टम। साथ ही, फ्लेक्सजेन कई जीपीयू के साथ गणनाओं को समानांतर करने के लिए स्केल कर सकता है। मॉडल के आकार को कम करने के लिए, एक मालिकाना पैरामीटर संपीड़न योजना और एक मॉडल कैशिंग तंत्र का अतिरिक्त उपयोग किया जाता है।

वर्तमान में, FlexGen केवल OPT भाषा मॉडल का समर्थन करता है, लेकिन भविष्य में डेवलपर्स BLOOM (176 बिलियन पैरामीटर, 46 भाषाओं और 13 प्रोग्रामिंग भाषाओं का समर्थन करता है), CodeGen (22 प्रोग्रामिंग भाषाओं में कोड उत्पन्न कर सकता है) और के लिए समर्थन जोड़ने का भी वादा करता है। जीएलएम मॉडल. FlexGen और OPT-30B मॉडल पर आधारित बॉट के साथ संवाद का एक उदाहरण:

मानव: विश्व के सबसे ऊँचे पर्वत का क्या नाम है?

सहायक: एवरेस्ट.

मानव: मैं हमारी सालगिरह के लिए एक यात्रा की योजना बना रहा हूं। हम क्या चीजें कर सकते हैं?

सहायक: ठीक है, आप अपनी सालगिरह के लिए कई चीजें कर सकते हैं। सबसे पहले, आप ताश खेल सकते हैं। दूसरा, आप पदयात्रा पर जा सकते हैं। तीसरा, आप किसी संग्रहालय में जा सकते हैं।

स्रोत: opennet.ru