FlexGen minangka mesin kanggo nglakokake bot AI kaya ChatGPT ing sistem GPU tunggal

Tim peneliti saka Universitas Stanford, Universitas California ing Berkeley, ETH Zurich, Sekolah Pascasarjana Ekonomi, Universitas Carnegie Mellon, uga Yandex lan Meta, wis nerbitake kode sumber mesin kanggo mbukak model basa gedhe ing sumber daya. - sistem diwatesi. Contone, mesin menehi kemampuan kanggo nggawe fungsi kaya ChatGPT lan Copilot dening mbukak model OPT-175B sing wis dilatih, kalebu 175 milyar paramèter, ing komputer biasa karo kertu grafis game NVIDIA RTX3090 dilengkapi 24GB saka memori video. Kode iki ditulis ing Python, nggunakake framework PyTorch lan mbagekke ing lisensi Apache 2.0.

Iki kalebu skrip conto kanggo nggawe bot sing ngidini sampeyan ndownload salah sawijining model basa sing kasedhiya kanggo umum lan langsung miwiti komunikasi (contone, kanthi nglakokake printah "python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0” ). Minangka basis, diusulake nggunakake model basa gedhe sing diterbitake Facebook, dilatih ing koleksi BookCorpus (10 ewu buku), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, lan liya-liyane), Pushshift. io (adhedhasar data Reddit) lan CCNewsV2 (arsip warta). Model kasebut nyakup kira-kira 180 milyar token (data 800 GB). 33 dina operasi kluster karo 992 NVIDIA A100 80GB GPU digunakake kanggo latihan model.

Nalika mbukak model OPT-175B ing sistem kanthi NVIDIA T4 GPU (16GB), mesin FlexGen nuduhake kinerja nganti 100 kaping luwih cepet tinimbang solusi sing ditawakake sadurunge, nggawe panggunaan model basa gedhe luwih terjangkau lan ngidini supaya bisa digunakake. sistem tanpa akselerator khusus. Ing wektu sing padha, FlexGen bisa skala kanggo paralel petungan karo macem-macem GPU. Kanggo nyuda ukuran model, skema kompresi parameter proprietary lan mekanisme caching model uga digunakake.

Saiki, FlexGen mung ndhukung model basa OPT, nanging ing mangsa ngarep para pangembang uga janji bakal nambah dhukungan kanggo BLOOM (176 milyar paramèter, ndhukung 46 basa lan 13 basa pamrograman), CodeGen (bisa ngasilake kode ing 22 basa pamrograman) lan model GLM. Conto dialog karo bot adhedhasar FlexGen lan model OPT-30B:

Manungsa: Apa jeneng gunung paling dhuwur ing donya?

Asisten: Everest.

Manungsa: Aku ngrencanakake lelungan kanggo ulang tahun kita. Apa sing bisa kita lakoni?

Asisten: Ya, ana sawetara perkara sing bisa ditindakake kanggo ulang tahun sampeyan. Kaping pisanan, sampeyan bisa main kertu. Kapindho, sampeyan bisa mlaku-mlaku. Katelu, sampeyan bisa menyang museum.

Source: opennet.ru