FlexGen एकल GPU प्रणालीहरूमा ChatGPT-जस्तो AI बटहरू चलाउने इन्जिन हो

स्ट्यानफोर्ड युनिभर्सिटी, क्यालिफोर्निया विश्वविद्यालय बर्कले, ईटीएच जुरिच, ग्रेजुएट स्कूल अफ इकोनोमिक्स, कार्नेगी मेलन विश्वविद्यालय, साथै यान्डेक्स र मेटाका अनुसन्धानकर्ताहरूको टोलीले स्रोतमा ठूलो भाषा मोडेलहरू चलाउनको लागि इन्जिनको स्रोत कोड प्रकाशित गरेको छ। - सीमित प्रणालीहरू। उदाहरणका लागि, इन्जिनले 175GB भिडियो मेमोरीले सुसज्जित NVIDIA RTX175 गेमिङ ग्राफिक्स कार्डको साथ नियमित कम्प्युटरमा पूर्व-प्रशिक्षित OPT-3090B मोडेल चलाएर, 24 बिलियन प्यारामिटरहरू चलाएर ChatGPT र Copilot को सम्झना गराउने कार्यक्षमता सिर्जना गर्ने क्षमता प्रदान गर्दछ। कोड Python मा लेखिएको छ, PyTorch फ्रेमवर्क प्रयोग गर्दछ र Apache 2.0 लाइसेन्स अन्तर्गत वितरित गरिएको छ।

यसले बटहरू सिर्जना गर्नको लागि एउटा उदाहरण लिपि समावेश गर्दछ जसले तपाईंलाई सार्वजनिक रूपमा उपलब्ध भाषा मोडेलहरू मध्ये एउटा डाउनलोड गर्न र तुरुन्तै सञ्चार सुरु गर्न अनुमति दिन्छ (उदाहरणका लागि, "python apps/chatbot.py —model facebook/opt-30b — -percent 0) आदेश चलाएर। 100 100 0 100 0")। आधारको रूपमा, यो फेसबुक द्वारा प्रकाशित एक ठूलो भाषा मोडेल प्रयोग गर्न प्रस्ताव गरिएको छ, बुककर्पस (१० हजार पुस्तकहरू), सीसी-कथाहरू, पाइल (ओपनसबटाइटल, विकिपिडिया, डीएम गणित, ह्याकरन्युज, आदि), पुशशिफ्टको सङ्कलनमा प्रशिक्षित। io (Reddit डेटामा आधारित) र CCNewsV10 (समाचार संग्रह)। मोडेलले लगभग 2 बिलियन टोकनहरू (180 GB डाटा) कभर गर्दछ। 800 NVIDIA A33 992GB GPU को साथ क्लस्टर सञ्चालनको 100 दिन मोडेललाई प्रशिक्षण दिन खर्च गरियो।

एकल NVIDIA T175 GPU (4GB) सँग प्रणालीमा OPT-16B मोडेल चलाउँदा, FlexGen इन्जिनले पहिले प्रस्ताव गरिएका समाधानहरू भन्दा १०० गुणा छिटो कार्यसम्पादन देखाएको छ, ठूला भाषा मोडेलहरूको प्रयोगलाई अझ सस्तो बनाउँदै र तिनीहरूलाई चलाउन अनुमति दिँदै। समर्पित गतिवर्धक बिना प्रणाली। एकै समयमा, FlexGen ले धेरै GPU हरू संग समानान्तर गणना गर्न मापन गर्न सक्छ। मोडेलको साइज घटाउनको लागि, एक स्वामित्व प्यारामिटर कम्प्रेसन योजना र मोडेल क्यासिङ मेकानिज्म थप रूपमा प्रयोग गरिन्छ।

हाल, FlexGen ले OPT भाषा मोडेलहरू मात्र समर्थन गर्दछ, तर भविष्यमा विकासकर्ताहरूले BLOOM (१७६ बिलियन प्यारामिटरहरू, ४६ भाषाहरू र १३ प्रोग्रामिङ भाषाहरूलाई समर्थन गर्दछ), कोडजेन (२२ प्रोग्रामिङ भाषाहरूमा कोड उत्पन्न गर्न सक्छन्) र GLM मोडेलहरू। FlexGen र OPT-176B मोडेलमा आधारित बोटसँगको संवादको उदाहरण:

मानव: संसारको सबैभन्दा अग्लो हिमालको नाम के हो?

सहायक: सगरमाथा।

मानव: म हाम्रो वार्षिकोत्सवको लागि यात्राको योजना गर्दैछु। हामीले के गर्न सक्छौं?

सहायक: ठिकै छ, तपाईंले आफ्नो वार्षिकोत्सवको लागि गर्न सक्ने थुप्रै कुराहरू छन्। पहिलो, तपाईं कार्ड खेल्न सक्नुहुन्छ। दोस्रो, तपाईं पैदल यात्राको लागि जान सक्नुहुन्छ। तेस्रो, तपाईं संग्रहालय जान सक्नुहुन्छ।

स्रोत: opennet.ru