اسٽنفورڊ يونيورسٽي، ڪيليفورنيا يونيورسٽي برڪلي، اي ٽي ايڇ زيورخ، گريجوئيٽ اسڪول آف اڪنامڪس، ڪارنيگي ميلن يونيورسٽي، ۽ گڏوگڏ ياندڪس ۽ ميٽا جي محققن جي هڪ ٽيم، وسيلن تي وڏي ٻولي ماڊلز کي هلائڻ لاءِ انجڻ جو سورس ڪوڊ شايع ڪيو آهي. - محدود نظام. مثال طور، انجڻ ChatGPT ۽ Copilot جي ياد ڏياريندڙ ڪارڪردگي پيدا ڪرڻ جي صلاحيت مهيا ڪري ٿي، اڳ-تربيت ٿيل OPT-175B ماڊل، 175 بلين پيرا ميٽرز کي ڍڪي، هڪ باقاعده ڪمپيوٽر تي NVIDIA RTX3090 گيمنگ گرافڪس ڪارڊ سان گڏ 24GB ويڊيو ميموري سان. ڪوڊ Python ۾ لکيل آهي، PyTorch فريم ورڪ استعمال ڪري ٿو ۽ Apache 2.0 لائسنس تحت ورهايو ويو آهي.
ان ۾ بوٽس ٺاهڻ لاءِ هڪ مثال اسڪرپٽ شامل آهي جيڪا توهان کي اجازت ڏئي ٿي ته توهان عوامي طور تي موجود ٻولي ماڊل مان هڪ ڊائون لوڊ ڪريو ۽ فوري طور تي گفتگو شروع ڪريو (مثال طور، ڪمانڊ هلائڻ سان “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0 ”). بنيادي طور تي، Facebook پاران شايع ٿيل هڪ وڏي ٻولي ماڊل استعمال ڪرڻ جي تجويز ڏني وئي آهي، جيڪا ڪتاب ڪارپس (10 هزار ڪتابن)، CC-ڪهاڻيون، پائل (اوپن سب ٽائيٽل، وڪيپيڊيا، ڊي ايم ميٿميٽڪس، هيڪر نيوز، وغيره)، Pushshift جي مجموعن تي تربيت ڪئي وئي آهي. io (Reddit ڊيٽا جي بنياد تي) ۽ CCNewsV2 (خبر آرڪائيو). ماڊل تقريبن 180 بلين ٽوڪن (800 GB ڊيٽا) تي مشتمل آهي. ڪلسٽر آپريشن جا 33 ڏينهن 992 NVIDIA A100 80GB GPUs سان ماڊل جي تربيت تي خرچ ڪيا ويا.
جڏهن هڪ سسٽم تي OPT-175B ماڊل کي هڪ واحد NVIDIA T4 GPU (16GB) سان هلائي رهيو آهي، FlexGen انجڻ اڳ ۾ پيش ڪيل حلن جي ڀيٽ ۾ 100 ڀيرا وڌيڪ تيز ڪارڪردگي ڏيکاري ٿي، وڏي ٻولي ماڊل جي استعمال کي وڌيڪ سستي بڻائي ٿي ۽ انهن کي هلائڻ جي اجازت ڏئي ٿي. سسٽم بغير سرشار تيز ڪندڙ. ساڳئي وقت، FlexGen ڪيترن ئي GPUs سان حساب ڪتاب کي متوازي ڪرڻ لاء ماپ ڪري سگھي ٿو. ماڊل جي سائيز کي گھٽائڻ لاء، ھڪڙي ملڪيت جي پيٽرولر ڪمپريشن اسڪيم ۽ ھڪڙي نموني ڪيشنگ ميڪانيزم اضافي طور تي استعمال ڪيا ويا آھن.
في الحال، FlexGen صرف OPT ٻولي جي ماڊل کي سپورٽ ڪري ٿو، پر مستقبل ۾ ڊولپر پڻ واعدو ڪن ٿا ته BLOOM (176 بلين پيرا ميٽرز، 46 ٻولين ۽ 13 پروگرامنگ ٻولين کي سپورٽ ڪري ٿو)، ڪوڊ جين (22 پروگرامنگ ٻولين ۾ ڪوڊ ٺاهي سگھي ٿو) ۽ GLM ماڊلز. FlexGen ۽ OPT-30B ماڊل تي ٻڌل بوٽ سان گفتگو جو هڪ مثال:
انسان: دنيا جي سڀ کان وڏي جبل جو نالو ڇا آهي؟
اسسٽنٽ: ايورسٽ.
انسان: مان اسان جي سالگره لاء سفر جو منصوبو ٺاهي رهيو آهيان. اسان ڪهڙيون شيون ڪري سگهون ٿا؟
اسسٽنٽ: خير، اتي ڪجھ شيون آھن جيڪي توھان ڪري سگھوٿا پنھنجي سالگره لاءِ. پهرين، توهان ڪارڊ کيڏي سگهو ٿا. ٻيو، توهان سفر لاء وڃي سگهو ٿا. ٽيون، توهان هڪ ميوزيم ڏانهن وڃو.
جو ذريعو: opennet.ru