اسٹینفورڈ یونیورسٹی، برکلے کی یونیورسٹی آف کیلیفورنیا، ای ٹی ایچ زیورخ، گریجویٹ اسکول آف اکنامکس، کارنیگی میلن یونیورسٹی کے ساتھ ساتھ یانڈیکس اور میٹا کے محققین کی ایک ٹیم نے وسائل پر بڑے زبان کے ماڈل چلانے کے لیے انجن کے لیے سورس کوڈ شائع کیا ہے۔ - محدود نظام. مثال کے طور پر، انجن 175GB ویڈیو میموری سے لیس NVIDIA RTX175 گیمنگ گرافکس کارڈ کے ساتھ ایک باقاعدہ کمپیوٹر پر پہلے سے تربیت یافتہ OPT-3090B ماڈل، 24 بلین پیرامیٹرز پر محیط، ChatGPT اور Copilot کی یاد دلانے والی فعالیت پیدا کرنے کی صلاحیت فراہم کرتا ہے۔ کوڈ Python میں لکھا گیا ہے، PyTorch فریم ورک کا استعمال کرتا ہے اور Apache 2.0 لائسنس کے تحت تقسیم کیا جاتا ہے۔
اس میں بوٹس بنانے کے لیے ایک مثال اسکرپٹ شامل ہے جو آپ کو عوامی طور پر دستیاب زبان کے ماڈلز میں سے ایک کو ڈاؤن لوڈ کرنے اور فوری طور پر بات چیت شروع کرنے کی اجازت دیتا ہے (مثال کے طور پر، "python apps/chatbot.py —model facebook/opt-30b — -percent 0 کمانڈ چلا کر۔ 100 100 0 100 0 ”)۔ ایک بنیاد کے طور پر، یہ تجویز ہے کہ فیس بک کے ذریعہ شائع کردہ ایک بڑے زبان کے ماڈل کو استعمال کیا جائے، جسے BookCorpus (10 ہزار کتابوں)، CC-Stories، Pile (OpenSubtitles، Wikipedia، DM Mathematics، HackerNews، وغیرہ)، Pushshift کے مجموعوں پر تربیت دی گئی ہے۔ io (Reddit ڈیٹا پر مبنی) اور CCNewsV2 (نیوز آرکائیو)۔ یہ ماڈل تقریباً 180 بلین ٹوکنز (800 GB ڈیٹا) کا احاطہ کرتا ہے۔ 33 NVIDIA A992 100GB GPUs کے ساتھ کلسٹر آپریشن کے 80 دن ماڈل کی تربیت پر خرچ ہوئے۔
ایک واحد NVIDIA T175 GPU (4GB) والے سسٹم پر OPT-16B ماڈل چلاتے وقت، FlexGen انجن نے پہلے پیش کیے گئے حلوں سے 100 گنا زیادہ تیز کارکردگی کا مظاہرہ کیا، بڑے زبان کے ماڈلز کو زیادہ قابل رسائی بنایا اور انہیں بغیر وقف کے سسٹم پر چلانے کی اجازت دی۔ ایکسلریٹر ایک ہی وقت میں، FlexGen متعدد GPUs کے ساتھ حسابات کو متوازی بنانے کے لیے پیمانہ بنا سکتا ہے۔ ماڈل کے سائز کو کم کرنے کے لیے، ایک ملکیتی پیرامیٹر کمپریشن اسکیم اور ایک ماڈل کیشنگ میکانزم کو اضافی طور پر استعمال کیا جاتا ہے۔
فی الحال، FlexGen صرف OPT زبان کے ماڈلز کو سپورٹ کرتا ہے، لیکن مستقبل میں ڈویلپرز BLOOM (176 بلین پیرامیٹرز، 46 زبانوں اور 13 پروگرامنگ زبانوں کو سپورٹ کرتے ہیں)، CodeGen (22 پروگرامنگ زبانوں میں کوڈ تیار کر سکتے ہیں) اور GLM ماڈلز۔ FlexGen اور OPT-30B ماڈل پر مبنی بوٹ کے ساتھ مکالمے کی ایک مثال:
انسان: دنیا کے سب سے اونچے پہاڑ کا نام کیا ہے؟
اسسٹنٹ: ایورسٹ۔
انسان: میں اپنی سالگرہ کے موقع پر ایک سفر کا منصوبہ بنا رہا ہوں۔ ہم کیا چیزیں کر سکتے ہیں؟
اسسٹنٹ: ٹھیک ہے، آپ اپنی سالگرہ کے لیے بہت سی چیزیں کر سکتے ہیں۔ سب سے پہلے، آپ تاش کھیل سکتے ہیں۔ دوسرا، آپ پیدل سفر کے لیے جا سکتے ہیں۔ تیسرا، آپ میوزیم جا سکتے ہیں۔
ماخذ: opennet.ru