Սթենֆորդի համալսարանի, Կալիֆորնիայի Բերքլիի համալսարանի, Ցյուրիխի ETH-ի, Տնտեսագիտության ավարտական դպրոցի, Քարնեգի Մելլոնի համալսարանի, ինչպես նաև Yandex-ի և Meta-ի հետազոտողների թիմը հրապարակել է ռեսուրսների վրա մեծ լեզուներով մոդելներ գործարկելու շարժիչի սկզբնական կոդը: - սահմանափակ համակարգեր. Օրինակ, շարժիչը հնարավորություն է տալիս ստեղծելու ChatGPT և Copilot-ը հիշեցնող ֆունկցիոնալությունը՝ 175 ԳԲ վիդեո հիշողությամբ հագեցած NVIDIA RTX175 խաղային գրաֆիկական քարտով սովորական համակարգչի վրա գործարկելով OPT-3090B մոդելը, որն ընդգրկում է 24 միլիարդ պարամետր: Կոդը գրված է Python-ով, օգտագործում է PyTorch շրջանակը և տարածվում է Apache 2.0 լիցենզիայի ներքո:
Այն ներառում է բոտերի ստեղծման օրինակ սցենար, որը թույլ է տալիս ներբեռնել հանրային հասանելի լեզվի մոդելներից մեկը և անմիջապես սկսել հաղորդակցվել (օրինակ՝ գործարկելով «python apps/chatbot.py —model facebook/opt-30b — տոկոս 0» հրամանը։ 100 100 0 100 0”): Որպես հիմք առաջարկվում է օգտագործել Facebook-ի կողմից հրատարակված մեծ լեզվական մոդել, որը վերապատրաստվել է BookCorpus (10 հազար գիրք), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews և այլն), Pushshift հավաքածուների վրա։ io (հիմնված Reddit տվյալների վրա) և CCNewsV2 (նորությունների արխիվ): Մոդելը ներառում է մոտավորապես 180 միլիարդ նշան (800 ԳԲ տվյալներ): Մոդելի վերապատրաստման վրա ծախսվել է 33 NVIDIA A992 100 ԳԲ GPU-ով կլաստերի աշխատանքի 80 օր:
OPT-175B մոդելը մեկ NVIDIA T4 GPU (16 ԳԲ) համակարգով գործարկելիս FlexGen-ի շարժիչը ցույց է տվել մինչև 100 անգամ ավելի արագ աշխատանք, քան նախկինում առաջարկված լուծումները՝ ավելի մատչելի դարձնելով լայնալեզու մոդելների օգտագործումը և թույլ տալով նրանց աշխատել: համակարգեր առանց հատուկ արագացուցիչների: Միևնույն ժամանակ, FlexGen-ը կարող է սանդղակավորել բազմաթիվ GPU-ների հետ հաշվարկները զուգահեռացնելու համար: Մոդելի չափը նվազեցնելու համար լրացուցիչ օգտագործվում են պարամետրի սեղմման սխեման և մոդելի քեշավորման մեխանիզմ:
Ներկայումս FlexGen-ն աջակցում է միայն OPT լեզվի մոդելներին, սակայն ապագայում մշակողները խոստանում են նաև աջակցություն ավելացնել BLOOM-ին (176 միլիարդ պարամետր, աջակցում է 46 լեզուների և 13 ծրագրավորման լեզուների), CodeGen-ին (կարող է ստեղծել կոդ 22 ծրագրավորման լեզուներով) և GLM մոդելներ. FlexGen-ի և OPT-30B մոդելի վրա հիմնված բոտի հետ երկխոսության օրինակ.
Մարդ. Ինչպե՞ս է կոչվում աշխարհի ամենաբարձր լեռը:
Օգնական՝ Էվերեստ։
Մարդ. Ես ծրագրում եմ ճամփորդություն մեր տարեդարձի կապակցությամբ: Ի՞նչ բաներ կարող ենք անել:
Օգնական. Դե, կան մի շարք բաներ, որոնք կարող եք անել ձեր տարեդարձի համար: Նախ, դուք կարող եք խաղաթղթեր խաղալ: Երկրորդ, դուք կարող եք գնալ արշավի: Երրորդ, դուք կարող եք գնալ թանգարան:
Source: opennet.ru