ස්ටැන්ෆර්ඩ් විශ්ව විද්යාලය, කැලිෆෝනියා විශ්ව විද්යාලය, බර්ක්ලි, ETH සූරිච්, උසස් ආර්ථික විද්යා පාසල, කානගී මෙලන් විශ්ව විද්යාලය මෙන්ම Yandex සහ Meta යන ආයතනවල පර්යේෂකයින් කණ්ඩායමක් සම්පත්-සීමිත පද්ධති මත විශාල භාෂා ආකෘති ධාවනය කිරීම සඳහා එන්ජිමක් සඳහා මූලාශ්ර කේතය ප්රකාශයට පත් කර ඇත. උදාහරණයක් ලෙස, එන්ජිම NVIDIA RTX3090 ක්රීඩා ග්රැෆික් කාඩ්පතක් සහ 24GB වීඩියෝ මතකයක් සහිත සාමාන්ය පරිගණකයක, පරාමිති බිලියන 175 ක් ආවරණය කරමින්, පෙර-පුහුණු OPT-175B ආකෘතිය ධාවනය කිරීමෙන් ChatGPT සහ Copilot වලට සමාන ක්රියාකාරීත්වයක් නිර්මාණය කිරීමට හැකියාව ලබා දෙයි. කේතය Python හි ලියා ඇත, PyTorch රාමුව භාවිතා කරයි, සහ Apache 2.0 බලපත්රය යටතේ බෙදා හරිනු ලැබේ.
කට්ටලයට නියැදි බොට් නිර්මාණ ස්ක්රිප්ට් එකක් ඇතුළත් වන අතර එමඟින් ඔබට ප්රසිද්ධියේ ලබා ගත හැකි භාෂා ආකෘතිවලින් එකක් පූරණය කර වහාම කතාබස් කිරීම ආරම්භ කළ හැකිය (නිදසුනක් ලෙස, "python apps/chatbot.py --model facebook/opt-30b -- -percent 0 100 100 0 100 0" විධානය ක්රියාත්මක කිරීමෙන්). මූලික ආකෘතිය යනු Facebook විසින් ප්රකාශයට පත් කරන ලද විශාල භාෂා ආකෘතියක් වන අතර එය BookCorpus (පොත් 10), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, ආදිය), Pushshift.io (Reddit දත්ත මත පදනම්ව) සහ CCNewsV2 (ප්රවෘත්ති ලේඛනාගාරය) වෙතින් එකතු කිරීම් මත පුහුණු කර ඇත. ආකෘතිය ආසන්න වශයෙන් ටෝකන් බිලියන 180 ක් (දත්ත 800 GB) ආවරණය කරයි. ආකෘතිය පුහුණු කිරීම සඳහා NVIDIA A100 80GB GPU 992 ක් සහිත පොකුරක් මත දින 33 ක් ගත විය.
තනි NVIDIA T4 (16GB) GPU එකක් සහිත පද්ධතියක OPT-175B ආකෘතිය ක්රියාත්මක කරන විට, FlexGen එන්ජිම කලින් ලබා ගත හැකි විසඳුම් වලට වඩා 100x දක්වා වේගවත් කාර්ය සාධනයක් පෙන්නුම් කළ අතර, විශාල භාෂා ආකෘති වඩාත් ප්රවේශ විය හැකි අතර විශේෂිත ත්වරණකාරක නොමැතිව පද්ධති මත ධාවනය කිරීමට ඒවාට හැකියාව ලබා දුන්නේය. බහු GPU හරහා ගණනය කිරීම් සමාන්තර කිරීමට FlexGen හට පරිමාණය කළ හැකිය. හිමිකාර පරාමිති සම්පීඩන යෝජනා ක්රමයක් සහ ආකෘති හැඹිලි යාන්ත්රණය සමඟ ආකෘති ප්රමාණය තවදුරටත් අඩු වේ.
FlexGen දැනට OPT භාෂා ආකෘති සඳහා පමණක් සහය දක්වයි, නමුත් සංවර්ධකයින් අනාගතයේදී BLOOM (පරාමිතීන් බිලියන 176, භාෂා 46 ක් සහ ක්රමලේඛන භාෂා 13 ක් සඳහා සහය දක්වයි), CodeGen (ක්රමලේඛන භාෂා 22 කින් කේත ජනනය කළ හැකිය) සහ GLM ආකෘති සඳහා සහය එක් කිරීමට පොරොන්දු වේ. OPT-30B ආකෘතිය භාවිතා කරමින් FlexGen-පාදක බොට් එකක් සමඟ සංවාදයක උදාහරණයක් මෙන්න:
මිනිසා: ලෝකයේ උසම කන්දේ නම කුමක්ද?
සහකාර: එවරස්ට්.
මිනිසා: අපේ සංවත්සරයට ගමනක් සැලසුම් කරනවා. අපිට කරන්න පුළුවන් දේවල් මොනවද?
සහකාර: හොඳයි, ඔබේ සංවත්සරය වෙනුවෙන් ඔබට කළ හැකි දේවල් ගණනාවක් තිබේ. පළමුව, ඔබට කාඩ් සෙල්ලම් කළ හැකිය. දෙවනුව, ඔබට කඳු නැගීමකට යා හැකිය. තෙවනුව, ඔබට කෞතුකාගාරයකට යා හැකිය.
මූලාශ්රය: opennet.ru
