د سټینفورډ پوهنتون د څیړونکو یوې ډلې، د کالیفورنیا پوهنتون په برکلي کې، ETH زیوریخ، د اقتصاد پوهنځي فارغ التحصیل، کارنیګي میلون پوهنتون، او همدارنګه د Yandex او Meta، په سرچینو باندې د لوی ژبې ماډلونو چلولو لپاره د انجن سرچینې کوډ خپور کړی. - محدود سیسټمونه. د مثال په توګه، انجن د مخکې روزل شوي OPT-175B ماډل په چلولو سره، په منظم کمپیوټر کې د NVIDIA RTX175 گیمینګ ګرافیک کارت سره چې د 3090GB ویډیو حافظې سره مجهز دی، د 24 ملیارد پیرامیټرو پوښلو له لارې د ChatGPT او Copilot په څیر فعالیت رامینځته کولو وړتیا چمتو کوي. کوډ په Python کې لیکل شوی، د PyTorch چوکاټ کاروي او د Apache 2.0 جواز لاندې ویشل شوی.
پدې کې د بوټونو رامینځته کولو لپاره یو مثال سکریپټ شامل دی چې تاسو ته اجازه درکوي د عامه موجود ژبې ماډلونو څخه یو ډاونلوډ کړئ او سمدلاسه اړیکه پیل کړئ (د مثال په توګه ، د کمانډ په چلولو سره "python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”). د بنسټ په توګه، دا وړاندیز شوی چې د فیسبوک لخوا خپور شوي لوی ژبې ماډل وکاروي، چې د بک کارپس (10 زره کتابونو) په راټولولو کې روزل شوي، CC-کیسې، پایل (اوپن سبټیټ، ویکیپیډیا، DM ریاضی، هیکر نیوز، او نور)، Pushshift. io (د Reddit ډیټا پراساس) او CCNewsV2 (د خبر آرشیف). ماډل شاوخوا 180 ملیارد ټوکن (800 GB ډیټا) پوښي. د 33 NVIDIA A992 100GB GPUs سره د کلستر عملیاتو 80 ورځې د ماډل روزنې لپاره مصرف شوي.
کله چې د واحد NVIDIA T175 GPU (4GB) سره په سیسټم کې د OPT-16B ماډل چلوي، د FlexGen انجن د مخکینیو وړاندیز شویو حلونو په پرتله 100 ځله ګړندی فعالیت ښودلی، د لوی ژبې ماډلونو کارول خورا ارزانه کوي او دوی ته اجازه ورکوي چې پرمخ بوځي. سیسټمونه پرته له وقف شوي سرعت کونکي. په ورته وخت کې، FlexGen کولی شي د ډیری GPUs سره حسابونه موازي کولو لپاره اندازه کړي. د ماډل اندازې کمولو لپاره، د ملکیت پیرامیټر کمپریشن سکیم او د ماډل کیچ کولو میکانیزم اضافي کارول کیږي.
اوس مهال، FlexGen یوازې د OPT ژبې ماډلونو ملاتړ کوي، مګر په راتلونکي کې پراختیا کونکي هم ژمنه کوي چې د BLOOM لپاره ملاتړ اضافه کړي (176 ملیارد پیرامیټونه، د 46 ژبو او 13 پروګرام کولو ژبو ملاتړ کوي)، CodeGen (کولی شي په 22 پروګرامینګ ژبو کې کوډ تولید کړي) او د GLM ماډلونه د FlexGen او OPT-30B ماډل پراساس د بوټ سره د خبرو اترو مثال:
انسان: د نړۍ تر ټولو لوړ غر نوم څه دی؟
مرستیال: ایوریسټ.
انسان: زه زموږ د کلیزې لپاره د سفر پلان لرم. موږ کوم شیان کولی شو؟
مرستیال: ښه، دلته یو شمیر شیان شتون لري چې تاسو د خپلې کلیزې لپاره کولی شئ. لومړی، تاسو کولی شئ کارتونه ولوبیږئ. دوهم، تاسو کولی شئ د سفر لپاره لاړ شئ. دریم، تاسو کولی شئ موزیم ته لاړ شئ.
سرچینه: opennet.ru