เดธเดฟเด‚เด—เดฟเตพ เดœเดฟเดชเดฟเดฏเต เดธเดฟเดธเตเดฑเตเดฑเด™เตเด™เดณเดฟเตฝ ChatGPT เดชเต‹เดฒเต†เดฏเตเดณเตเดณ AI เดฌเต‹เดŸเตเดŸเตเด•เตพ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดชเตเดชเดฟเด•เตเด•เตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เด’เดฐเต เดŽเดžเตเดšเดฟเดจเดพเดฃเต FlexGen

เดธเตเดฑเตเดฑเดพเตปเดซเต‹เตผเดกเต เดฏเต‚เดฃเดฟเดตเต‡เดดเตเดธเดฟเดฑเตเดฑเดฟ, เดฌเต†เตผเด•เตเด•เตเดฒเดฟเดฏเดฟเดฒเต† เด•เดพเดฒเดฟเดซเต‹เตผเดฃเดฟเดฏ เดฏเต‚เดฃเดฟเดตเต‡เดดเตเดธเดฟเดฑเตเดฑเดฟ, ETH เดธเต‚เดฑเดฟเดšเตเดšเต, เด—เตเดฐเดพเดœเตเดตเต‡เดฑเตเดฑเต เดธเตเด•เต‚เตพ เด“เดซเต เด‡เด•เตเด•เดฃเต‹เดฎเดฟเด•เตเดธเต, เด•เดพเตผเดจเต†เด—เต€ เดฎเต†เดฒเต‹เตบ เดฏเต‚เดฃเดฟเดตเต‡เดดเตเดธเดฟเดฑเตเดฑเดฟ, Yandex, Meta เดŽเดจเตเดจเดฟเดตเดฟเดŸเด™เตเด™เดณเดฟเตฝ เดจเดฟเดจเตเดจเตเดณเตเดณ เด’เดฐเต เดธเด‚เด˜เด‚ เด—เดตเต‡เดทเด•เตผ เดฑเดฟเดธเต‹เดดเตเดธเดฟเตฝ เดตเดฒเดฟเดฏ เดญเดพเดทเดพ เดฎเต‹เดกเดฒเตเด•เตพ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดชเตเดชเดฟเด•เตเด•เตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เด’เดฐเต เดŽเดžเตเดšเดฟเดจเตเดฑเต† เดธเต‹เดดเตเดธเต เด•เต‹เดกเต เดชเตเดฐเดธเดฟเดฆเตเดงเต€เด•เดฐเดฟเดšเตเดšเต. - เดจเดฟเดฏเดจเตเดคเตเดฐเดฟเดค เดธเด‚เดตเดฟเดงเดพเดจเด™เตเด™เตพ. เด‰เดฆเดพเดนเดฐเดฃเดคเตเดคเดฟเดจเต, 175GB เดตเต€เดกเดฟเดฏเต‹ เดฎเต†เดฎเตเดฎเดฑเดฟเดฏเตเดณเตเดณ NVIDIA RTX175 เด—เต†เดฏเดฟเดฎเดฟเด‚เด—เต เด—เตเดฐเดพเดซเดฟเด•เตเดธเต เด•เดพเตผเดกเตเดณเตเดณ เด’เดฐเต เดธเดพเดงเดพเดฐเดฃ เด•เดฎเตเดชเตเดฏเต‚เดŸเตเดŸเดฑเดฟเตฝ, 3090 เดฌเดฟเดฒเตเดฏเตบ เดชเดพเดฐเดพเดฎเต€เดฑเตเดฑเดฑเตเด•เตพ เด‰เตพเด•เตเด•เตŠเดณเตเดณเตเดจเตเดจ, เดฎเตเตปเด•เต‚เดŸเตเดŸเดฟ เดชเดฐเดฟเดถเต€เดฒเดฟเดชเตเดชเดฟเดšเตเดš OPT-24B เดฎเต‹เดกเตฝ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดชเตเดชเดฟเดšเตเดšเต ChatGPT, Copilot เดŽเดจเตเดจเดฟเดตเดฏเต† เด…เดจเตเดธเตเดฎเดฐเดฟเดชเตเดชเดฟเด•เตเด•เตเดจเตเดจ เดชเตเดฐเดตเตผเดคเตเดคเดจเด•เตเดทเดฎเดค เดธเตƒเดทเตเดŸเดฟเด•เตเด•เดพเดจเตเดณเตเดณ เด•เดดเดฟเดตเต เดŽเดžเตเดšเดฟเตป เดจเตฝเด•เตเดจเตเดจเต. เด•เต‹เดกเต เดชเตˆเดคเตเดคเดฃเดฟเตฝ เดŽเดดเตเดคเดฟเดฏเดฟเดฐเดฟเด•เตเด•เตเดจเตเดจเต, เดชเตˆเดŸเต‹เตผเดšเตเดšเต เดšเดŸเตเดŸเด•เตเด•เต‚เดŸเต เด‰เดชเดฏเต‹เด—เดฟเด•เตเด•เตเดจเตเดจเต, เด…เดชเตเดชเดพเดšเตเดšเต† 2.0 เดฒเตˆเดธเตปเดธเดฟเดจเต เด•เต€เดดเดฟเตฝ เดตเดฟเดคเดฐเดฃเด‚ เดšเต†เดฏเตเดฏเตเดจเตเดจเต.

เดชเตŠเดคเตเดตเดพเดฏเดฟ เดฒเดญเตเดฏเดฎเดพเดฏ เดญเดพเดทเดพ เดฎเต‹เดกเดฒเตเด•เดณเดฟเดฒเตŠเดจเตเดจเต เดกเต—เตบเดฒเต‹เดกเต เดšเต†เดฏเตเดฏเดพเดจเตเด‚ เด‰เดŸเตป เด†เดถเดฏเดตเดฟเดจเดฟเดฎเดฏเด‚ เด†เดฐเด‚เดญเดฟเด•เตเด•เดพเดจเตเด‚ เดจเดฟเด™เตเด™เดณเต† เด…เดจเตเดตเดฆเดฟเด•เตเด•เตเดจเตเดจ เดฌเต‹เดŸเตเดŸเตเด•เตพ เดธเตƒเดทเตเดŸเดฟเด•เตเด•เตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เด’เดฐเต เด‰เดฆเดพเดนเดฐเดฃ เดธเตเด•เตเดฐเดฟเดชเตเดฑเตเดฑเต เด‡เดคเดฟเตฝ เด‰เตพเดชเตเดชเต†เดŸเตเดจเตเดจเต (เด‰เดฆเดพเดนเดฐเดฃเดคเตเดคเดฟเดจเต, โ€œpython apps/chatbot.py โ€”model facebook/opt-30b โ€” -percent 0 เดŽเดจเตเดจ เด•เดฎเดพเตปเดกเต เดชเตเดฐเดตเตผเดคเตเดคเดฟเดชเตเดชเดฟเดšเตเดšเต 100 100 0 100 0" ). เด…เดŸเดฟเดธเตเดฅเดพเดจเดฎเต†เดจเตเดจ เดจเดฟเดฒเดฏเดฟเตฝ, BookCorpus (10 เดชเตเดธเตเดคเด•เด™เตเด™เตพ), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etc.), Pushshift เดŽเดจเตเดจเดฟเดตเดฏเตเดŸเต† เดถเต‡เด–เดฐเด™เตเด™เดณเดฟเตฝ เดชเดฐเดฟเดถเต€เดฒเดฟเดชเตเดชเดฟเดšเตเดš, Facebook เดชเตเดฐเดธเดฟเดฆเตเดงเต€เด•เดฐเดฟเดšเตเดš เด’เดฐเต เดตเดฒเดฟเดฏ เดญเดพเดทเดพ เดฎเดพเดคเตƒเด• เด‰เดชเดฏเต‹เด—เดฟเด•เตเด•เดพเตป เดจเดฟเตผเดฆเตเดฆเต‡เดถเดฟเด•เตเด•เตเดจเตเดจเต. io (เดฑเต†เดกเดฟเดฑเตเดฑเต เดกเดพเดฑเตเดฑ เด…เดŸเดฟเดธเตเดฅเดพเดจเดฎเดพเด•เตเด•เดฟ) เด•เต‚เดŸเดพเดคเต† CCNewsV2 (เดตเดพเตผเดคเตเดค เด†เตผเด•เตเด•เตˆเดตเต). เดˆ เดฎเต‹เดกเตฝ เดเด•เดฆเต‡เดถเด‚ 180 เดฌเดฟเดฒเตเดฏเตบ เดŸเต‹เด•เตเด•เดฃเตเด•เตพ (800 GB เดกเดพเดฑเตเดฑ) เด‰เตพเด•เตเด•เตŠเดณเตเดณเตเดจเตเดจเต. 33 NVIDIA A992 100GB GPU-เด•เตพ เด‰เดณเตเดณ 80 เดฆเดฟเดตเดธเดคเตเดคเต† เด•เตเดฒเดธเตเดฑเตเดฑเตผ เดชเตเดฐเดตเตผเดคเตเดคเดจเด‚ เดฎเต‹เดกเดฒเดฟเดจเต† เดชเดฐเดฟเดถเต€เดฒเดฟเดชเตเดชเดฟเด•เตเด•เตเดจเตเดจเดคเดฟเดจเดพเดฏเดฟ เดšเต†เดฒเดตเดดเดฟเดšเตเดšเต.

เด’เดฐเตŠเดฑเตเดฑ NVIDIA T175 GPU (4GB) เด‰เดณเตเดณ เด’เดฐเต เดธเดฟเดธเตเดฑเตเดฑเดคเตเดคเดฟเตฝ OPT-16B เดฎเต‹เดกเตฝ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดชเตเดชเดฟเด•เตเด•เตเดฎเตเดชเต‹เตพ, FlexGen เดŽเดžเตเดšเดฟเตป เดฎเตเดฎเตเดชเต เดตเดพเด—เตเดฆเดพเดจเด‚ เดšเต†เดฏเตเดค เดธเตŠเดฒเตเดฏเต‚เดทเดจเตเด•เดณเต‡เด•เตเด•เดพเตพ 100 เดฎเดŸเด™เตเด™เต เดตเต‡เด—เดคเตเดคเดฟเดฒเตเดณเตเดณ เดชเตเดฐเด•เดŸเดจเด‚ เดชเตเดฐเด•เดŸเดฎเดพเด•เตเด•เดฟ, เดตเดฒเดฟเดฏ เดญเดพเดทเดพ เดฎเต‹เดกเดฒเตเด•เดณเตเดŸเต† เด‰เดชเดฏเต‹เด—เด‚ เด•เต‚เดŸเตเดคเตฝ เดคเดพเด™เตเด™เดพเดจเดพเดตเตเดจเตเดจเดคเดพเด•เตเด•เดฟ เด…เดต เดชเตเดฐเดตเตผเดคเตเดคเดฟเดชเตเดชเดฟเด•เตเด•เดพเตป เด…เดจเตเดตเดฆเดฟเด•เตเด•เตเดจเตเดจเต. เดธเดฎเตผเดชเตเดชเดฟเดค เด†เด•เตเดธเดฟเดฒเดฑเต‡เดฑเตเดฑเดฑเตเด•เตพ เด‡เดฒเตเดฒเดพเดคเตเดค เดธเดฟเดธเตเดฑเตเดฑเด™เตเด™เตพ. เด…เดคเต‡ เดธเดฎเดฏเด‚, FlexGen-เดจเต เด’เดจเตเดจเดฟเดฒเดงเดฟเด•เด‚ GPU-เด•เตพ เด‰เดชเดฏเต‹เด—เดฟเดšเตเดšเต เด•เดฃเด•เตเด•เตเด•เต‚เดŸเตเดŸเดฒเตเด•เตพ เดธเดฎเดพเดจเตเดคเดฐเดฎเดพเด•เตเด•เดพเตป เด•เดดเดฟเดฏเตเด‚. เดฎเต‹เดกเดฒเดฟเดจเตเดฑเต† เดตเดฒเตเดชเตเดชเด‚ เด•เตเดฑเดฏเตเด•เตเด•เตเดจเตเดจเดคเดฟเดจเต, เด’เดฐเต เดชเตเดฐเตŠเดชเตเดฐเตˆเดฑเตเดฑเดฑเดฟ เดชเดพเดฐเดพเดฎเต€เดฑเตเดฑเตผ เด•เด‚เดชเตเดฐเดทเตป เดธเตเด•เต€เดฎเตเด‚ เด’เดฐเต เดฎเต‹เดกเตฝ เด•เดพเดทเดฟเด‚เด—เต เดฎเต†เด•เตเด•เดพเดจเดฟเดธเดตเตเด‚ เด…เดงเดฟเด•เดฎเดพเดฏเดฟ เด‰เดชเดฏเต‹เด—เดฟเด•เตเด•เตเดจเตเดจเต.

เดจเดฟเดฒเดตเดฟเตฝ, FlexGen OPT เดญเดพเดทเดพ เดฎเต‹เดกเดฒเตเด•เดณเต† เดฎเดพเดคเตเดฐเดฎเต‡ เดชเดฟเดจเตเดคเตเดฃเดฏเตเด•เตเด•เตเดจเตเดจเตเดณเตเดณเต‚, เดŽเดจเตเดจเดพเตฝ เดญเดพเดตเดฟเดฏเดฟเตฝ เดกเต†เดตเดฒเดชเตเดชเตผเดฎเดพเตผ BLOOM (176 เดฌเดฟเดฒเตเดฏเตบ เดชเดพเดฐเดพเดฎเต€เดฑเตเดฑเดฑเตเด•เตพ, 46 เดญเดพเดทเด•เดณเต†เดฏเตเด‚ 13 เดชเตเดฐเต‹เด—เตเดฐเดพเดฎเดฟเด‚เด—เต เดญเดพเดทเด•เดณเต†เดฏเตเด‚ เดชเดฟเดจเตเดคเตเดฃเดฏเตเด•เตเด•เตเดจเตเดจเต), CodeGen (22 เดชเตเดฐเต‹เด—เตเดฐเดพเดฎเดฟเด‚เด—เต เดญเดพเดทเด•เดณเดฟเตฝ เด•เต‹เดกเต เดธเตƒเดทเตเดŸเดฟเด•เตเด•เดพเตป เด•เดดเดฟเดฏเตเด‚) เดŽเดจเตเดจเดฟเดตเดฏเตเด•เตเด•เต เดชเดฟเดจเตเดคเตเดฃ เดจเตฝเด•เตเดฎเต†เดจเตเดจเต เดตเดพเด—เตเดฆเดพเดจเด‚ เดšเต†เดฏเตเดฏเตเดจเตเดจเต. GLM เดฎเต‹เดกเดฒเตเด•เตพ. FlexGen-เดจเต†เดฏเตเด‚ OPT-30B เดฎเต‹เดกเดฒเดฟเดจเต†เดฏเตเด‚ เด…เดŸเดฟเดธเตเดฅเดพเดจเดฎเดพเด•เตเด•เดฟเดฏเตเดณเตเดณ เด’เดฐเต เดฌเต‹เดŸเตเดŸเตเดฎเดพเดฏเตเดณเตเดณ เดธเด‚เดญเดพเดทเดฃเดคเตเดคเดฟเดจเตเดฑเต† เด’เดฐเต เด‰เดฆเดพเดนเดฐเดฃเด‚:

เดฎเดจเตเดทเตเดฏเตป: เดฒเต‹เด•เดคเตเดคเดฟเดฒเต† เดเดฑเตเดฑเดตเตเด‚ เด‰เดฏเดฐเด‚ เด•เต‚เดŸเดฟเดฏ เดชเตผเดตเดคเดคเตเดคเดฟเดจเตเดฑเต† เดชเต‡เดฐเต†เดจเตเดคเดพเดฃเต?

เดธเดนเดพเดฏเดฟ: เดŽเดตเดฑเดธเตเดฑเตเดฑเต.

เดฎเดจเตเดทเตเดฏเตป: เดžเด™เตเด™เดณเตเดŸเต† เดตเดพเตผเดทเดฟเด•เดคเตเดคเดฟเดจเต เดžเดพเตป เด’เดฐเต เดฏเดพเดคเตเดฐ เดชเตเดฒเดพเตป เดšเต†เดฏเตเดฏเตเดจเตเดจเต. เดจเดฎเตเด•เตเด•เต เดŽเดจเตเดคเต เด•เดพเดฐเตเดฏเด™เตเด™เตพ เดšเต†เดฏเตเดฏเดพเตป เด•เดดเดฟเดฏเตเด‚?

เด…เดธเดฟเดธเตเดฑเตเดฑเดจเตเดฑเต: เดถเดฐเดฟ, เดจเดฟเด™เตเด™เดณเตเดŸเต† เดตเดพเตผเดทเดฟเด•เดคเตเดคเดฟเดจเดพเดฏเดฟ เดจเดฟเด™เตเด™เตพเด•เตเด•เต เดšเต†เดฏเตเดฏเดพเตป เด•เดดเดฟเดฏเตเดจเตเดจ เดจเดฟเดฐเดตเดงเดฟ เด•เดพเดฐเตเดฏเด™เตเด™เดณเตเดฃเตเดŸเต. เด†เดฆเตเดฏเด‚, เดจเดฟเด™เตเด™เตพเด•เตเด•เต เด•เดพเตผเดกเตเด•เตพ เด•เดณเดฟเด•เตเด•เดพเด‚. เดฐเดฃเตเดŸเดพเดฎเดคเดพเดฏเดฟ, เดจเดฟเด™เตเด™เตพเด•เตเด•เต เด’เดฐเต เดฎเดฒเด•เดฏเดฑเตเดฑเดคเตเดคเดฟเดจเต เดชเต‹เด•เดพเด‚. เดฎเต‚เดจเตเดจเดพเดฎเดคเดพเดฏเดฟ, เดจเดฟเด™เตเด™เตพเด•เตเด•เต เด’เดฐเต เดฎเตเดฏเต‚เดธเดฟเดฏเดคเตเดคเดฟเดฒเต‡เด•เตเด•เต เดชเต‹เด•เดพเด‚.

เด…เดตเดฒเด‚เดฌเด‚: opennet.ru

เด’เดฐเต เด…เดญเดฟเดชเตเดฐเดพเดฏเด‚ เดšเต‡เตผเด•เตเด•เตเด•