စတန်းဖို့ဒ်တက္ကသိုလ်၊ ဘာကလေရှိ ကယ်လီဖိုးနီးယားတက္ကသိုလ်၊ ETH Zurich၊ စီးပွားရေးဘွဲ့လွန်ကျောင်း၊ Carnegie Mellon University နှင့် Yandex နှင့် Meta တို့မှ သုတေသီအဖွဲ့တစ်ဖွဲ့သည် အရင်းအမြစ်ပေါ်တွင် ဘာသာစကားမော်ဒယ်ကြီးများ လုပ်ဆောင်ရန်အတွက် အင်ဂျင်၏အရင်းအမြစ်ကုဒ်ကို ထုတ်ပြန်ခဲ့သည်။ - ကန့်သတ်ထားသောစနစ်များ။ ဥပမာအားဖြင့်၊ အင်ဂျင်သည် NVIDIA RTX175 ဂိမ်းမမ်မိုရီ 175GB ဗီဒီယိုမမ်မိုရီပါရှိသော ပုံမှန်ကွန်ပျူတာတွင် လေ့ကျင့်ထားသော OPT-3090B မော်ဒယ်ကို လုပ်ဆောင်ခြင်းဖြင့် အင်ဂျင်သည် ChatGPT နှင့် Copilot ၏ လုပ်ဆောင်နိုင်စွမ်းကို ဖန်တီးပေးနိုင်သည်။ ကုဒ်ကို Python ဖြင့်ရေးသားထားပြီး PyTorch framework ကိုအသုံးပြုကာ Apache 24 လိုင်စင်အောက်တွင် ဖြန့်ဝေထားသည်။
၎င်းတွင် အများသူငှာရရှိနိုင်သော ဘာသာစကားမော်ဒယ်များထဲမှ တစ်ခုကို ဒေါင်းလုဒ်လုပ်ပြီး ချက်ချင်းဆက်သွယ်နိုင်စေရန် ခွင့်ပြုသော ဘော့တ်များဖန်တီးရန်အတွက် နမူနာ script တစ်ခုပါ၀င်သည် (ဥပမာ၊ "python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”)။ အခြေခံအနေဖြင့်၊ BookCorpus (စာအုပ်ပေါင်း 10,ဝဝဝ)၊ CC-Stories၊ Pile (OpenSubtitles၊ Wikipedia၊ DM Mathematics၊ HackerNews စသည်ဖြင့်)၊ Pushshift ကို လေ့ကျင့်သင်ကြားထားသည့် Facebook မှထုတ်ဝေသော ကြီးမားသောဘာသာစကားပုံစံကို အသုံးပြုရန် အဆိုပြုထားသည်။ io (Reddit ဒေတာအပေါ် အခြေခံ၍) နှင့် CCNewsV2 (သတင်းမှတ်တမ်း)။ မော်ဒယ်သည် ခန့်မှန်းခြေအားဖြင့် 180 ဘီလီယံ တိုကင်များ (ဒေတာ 800 GB) ပါဝင်သည်။ မော်ဒယ်ကို လေ့ကျင့်ရေးတွင် 33 NVIDIA A992 100GB GPU များဖြင့် 80 ရက်ကြာ အစုလိုက်အပြုံလိုက်လည်ပတ်ခဲ့သည်။
OPT-175B မော်ဒယ်ကို NVIDIA T4 GPU (16GB တစ်ခုတည်းဖြင့် စနစ်တစ်ခုတွင်) လုပ်ဆောင်သောအခါ၊ FlexGen အင်ဂျင်သည် ယခင်ကမ်းလှမ်းထားသည့် ဖြေရှင်းချက်ထက် အဆ 100 အထိ စွမ်းဆောင်ရည်ကို ပြသခဲ့ပြီး ကြီးမားသောဘာသာစကားမော်ဒယ်များကို ပိုမိုတတ်နိုင်စေပြီး ၎င်းတို့ကို လည်ပတ်နိုင်စေပါသည်။ သီးခြား အရှိန်မြှင့်စက်များ မပါဘဲ စနစ်များ။ တစ်ချိန်တည်းမှာပင်၊ FlexGen သည် GPU များစွာဖြင့် တွက်ချက်မှုများကို အပြိုင်လုပ်ဆောင်ရန် အတိုင်းအတာကို လုပ်ဆောင်နိုင်သည်။ မော်ဒယ်၏ အရွယ်အစားကို လျှော့ချရန်အတွက် မူပိုင် ကန့်သတ်ဘောင်ချုံ့မှု အစီအစဉ်နှင့် မော်ဒယ် ကက်ချခြင်း ယန္တရားကို ထပ်လောင်း အသုံးပြုပါသည်။
လက်ရှိတွင် FlexGen သည် OPT ဘာသာစကားမော်ဒယ်များကိုသာ ပံ့ပိုးပေးသော်လည်း နောင်တွင် developer များသည် BLOOM (176 billion parameters, 46 languages and 13 programming languages) ကို ပံ့ပိုးပေးမည့် CodeGen (ကုဒ်ကို ပရိုဂရမ်းမင်းဘာသာစကား 22 မျိုးဖြင့် ထုတ်လုပ်နိုင်သည်) နှင့် GLM မော်ဒယ်များ။ FlexGen နှင့် OPT-30B မော်ဒယ်အပေါ် အခြေခံထားသော ဘော့တ်တစ်ခုနှင့် ဆွေးနွေးမှုတစ်ခု၏ ဥပမာ-
လူသား : ကမ္ဘာပေါ်မှာ အမြင့်ဆုံးတောင်ရဲ့ နာမည်က ဘာလဲ။
လက်ထောက်- ဧဝရက်။
Human: ငါတို့နှစ်ပတ်လည်အတွက် ခရီးထွက်ဖို့ စီစဉ်နေတယ်။ ကျွန်ုပ်တို့ ဘာလုပ်နိုင်သလဲ။
Assistant- သင်၏နှစ်ပတ်လည်နေ့အတွက် သင်လုပ်ဆောင်နိုင်သည့်အရာများစွာရှိပါသည်။ ပထမဦးစွာ သင်သည် ဖဲချပ်များကို ကစားနိုင်သည်။ ဒုတိယအနေနဲ့ တောင်တက်လို့ရပါတယ်။ တတိယအနေနဲ့ ပြတိုက်ကို သွားလို့ရပါတယ်။
source: opennet.ru