Turma inquisitoriae Universitatis Stanfordiae, Universitatis Californiae apud Berkeley, ETH Zurich, Scholae Oeconomicae Graduatae, Universitatis Carnegie Mellon, necnon Yandex et Meta, ediderunt fontem codicem machinae ad magnas linguarum exempla currens ad res. systems-constrictum. Exempli gratia, machina praebet facultatem ad munus creandi simile de ChatGPT et Copilot currendo praeordinatum OPT-175B exemplar, 175 miliarda parametri obtegens, in iusto computatro cum NVIDIA RTX3090 graphicae card aleaturae instructum cum 24GB memoriae video. Codex in Pythone scriptus est, compage PyTorch utitur et sub Apache 2.0 licentia distribuitur.
Exemplar scriptum includit pro automata creandi quae te permittit ut unum ex exemplaribus linguae publice promptis prehendas et statim communicando incipias (exempli gratia, currendo mandatum "python apps/chatbot.py -model facebook/opt-30b - -percent 0 C C 100 C 100 β ). Basi proponitur ut magna lingua exemplar editum ab Facebook, in collectionibus Libri Corpi (mille libris X), CC-Stories, Pile (OpenSubtitles, Vicipaedia, DM Mathematica, HackerNews, etc.), pushshift. io (ex reddit data ) et CCNewsV0 (archive novi). Exemplar circiter 100 miliarda signa tegit (0 GB e notitia). 10 dies botri cum 2 NVIDIA A180 800GB GPUs operationis exemplar in formandis absumpti sunt.
Cum exemplar OPT-175B in systemate currens cum uno NVIDIA T4 GPU (16GB), machina FlexGen demonstrata perficiendi usque ad 100 tempora citius quam antea solutiones obtulit, usus exemplorum magnarum linguae magis parabilis et permittens eas currere. systemata sine acceleratoribus dicata. Eodem tempore, FlexGen potest ascendere ad calculum parallelismum multiplicibus GPUs. Ad magnitudinem exemplaris minuendam, schema pressionis parametri proprietatis et exemplar mechanismi caching superadditur.
In praesenti, FlexGen solum exempla linguae OPT sustinet, sed in posterum tincidunt etiam subsidia addere pollicentur pro FLOS (176 parametri decies centena millia, subsidia 46 linguarum et 13 programmandi linguas), CodeGen (can codicem generare in 22 linguis programmandi) et exempla GLM. Exemplum dialogi cum autocineto secundum FlexGen et OPT-30B exemplar:
Humanum: Quod nomen altissimi montis in mundo?
Assistant: Everest.
Humanum: Iter pro anniversario nostro cogito. Quid facere possumus?
Adiutor: Bene, multae res pro anniversario tuo facere potes. Primum, chartulas ludere possis. Secundo, potes ire in hike. Tertio, ad museum ire potes.
Source: opennet.ru