قام فريق من الباحثين من جامعة ستانفورد، وجامعة كاليفورنيا في بيركلي، والمعهد التقني الفدرالي العالي بزيورخ، وكلية الدراسات العليا في الاقتصاد، وجامعة كارنيجي ميلون، بالإضافة إلى ياندكس وميتا، بنشر الكود المصدري لمحرك لتشغيل نماذج لغوية كبيرة على الموارد - الأنظمة المقيدة. على سبيل المثال، يوفر المحرك القدرة على إنشاء وظائف تذكرنا بـ ChatGPT وCopilot من خلال تشغيل نموذج OPT-175B مُدرب مسبقًا، والذي يغطي 175 مليار معلمة، على جهاز كمبيوتر عادي مزود ببطاقة رسومات الألعاب NVIDIA RTX3090 المجهزة بذاكرة فيديو بسعة 24 جيجابايت. الكود مكتوب بلغة Python، ويستخدم إطار عمل PyTorch ويتم توزيعه بموجب ترخيص Apache 2.0.
يتضمن مثالًا لبرنامج نصي لإنشاء برامج الروبوت التي تسمح لك بتنزيل أحد نماذج اللغات المتاحة للجمهور والبدء فورًا في الاتصال (على سبيل المثال، عن طريق تشغيل الأمر "python apps/chatbot.py —model facebook/opt-30b — -percent 0) 100 100 0 100 0 "). كقاعدة، يُقترح استخدام نموذج لغوي كبير منشور بواسطة Facebook، تم تدريبه على مجموعات BookCorpus (10 آلاف كتاب)، وCC-Stories، وPile (OpenSubtitles، ويكيبيديا، وDM Mathematics، وHackerNews، وما إلى ذلك)، وPushshift. io (استنادًا إلى بيانات Reddit) وCCNewsV2 (أرشيف الأخبار). يغطي النموذج ما يقرب من 180 مليار رمز (800 جيجابايت من البيانات). تم قضاء 33 يومًا من التشغيل العنقودي مع 992 وحدة معالجة رسوميات NVIDIA A100 بسعة 80 جيجابايت في تدريب النموذج.
عند تشغيل طراز OPT-175B على نظام مزود بوحدة معالجة رسومات NVIDIA T4 واحدة (16 جيجابايت)، أظهر محرك FlexGen أداءً أسرع بما يصل إلى 100 مرة من الحلول المقدمة سابقًا، مما يجعل استخدام نماذج اللغات الكبيرة أقل تكلفة ويسمح لها بالعمل على أنظمة بدون مسرعات مخصصة. وفي الوقت نفسه، يمكن لـ FlexGen التوسع لموازاة العمليات الحسابية مع وحدات معالجة الرسومات المتعددة. لتقليل حجم النموذج، يتم أيضًا استخدام نظام ضغط المعلمات الخاص وآلية التخزين المؤقت للنموذج.
حاليًا، يدعم FlexGen نماذج لغة OPT فقط، ولكن في المستقبل يعد المطورون أيضًا بإضافة دعم لـ BLOOM (176 مليار معلمة، يدعم 46 لغة و13 لغة برمجة)، وCodeGen (يمكنه إنشاء تعليمات برمجية بـ 22 لغة برمجة) و نماذج جي إل إم. مثال على حوار مع روبوت يعتمد على FlexGen ونموذج OPT-30B:
الإنسان: ما اسم أطول جبل في العالم؟
المساعد: ايفرست.
الإنسان: أنا أخطط لرحلة للاحتفال بالذكرى السنوية لنا. ما هي الأشياء التي يمكننا القيام بها؟
المساعد: حسنًا، هناك عدد من الأشياء التي يمكنك القيام بها في ذكرى زواجك. أولاً، يمكنك لعب الورق. ثانيا، يمكنك الذهاب في نزهة على الأقدام. ثالثا، يمكنك الذهاب إلى المتحف.
المصدر: opennet.ru