Arkitektura e modelit të ri të gjuhës është e ngjashme me Llama ose Qwen, por është trajnuar krejtësisht nga zero. Ngjashmëria lejon përdorimin e të njëjtit mjet. Versioni Pretrain i modelit të madh të gjuhës YandexGPT 5 Lite me 8B parametra ka një gjatësi konteksti prej 32k tokenësh. Gjatë trajnimimit të modelit, u kushtua vëmendje të veçantë gjuhës ruse, materialet në rusisht përbënin më shumë se 70% të datasetit.
Modeli i lartë YandexGPT 5 është i disponueshëm në Alisa dhe në faqen e Yandexit, por nuk do të publikohet në shitje të hapur.
Në kategorinë e saj, modeli arrin paritet me SOTA-më të mëdha botërore për një sërë benchmarks të rëndësishëm për modelet pretrain, dhe në shumë të tjera e tejkalon ato. Për shembull, sipas rezultateve të krahasimit të verbër të brendshëm (side-by-side) për një gamë të gjerë kërkesash, YandexGPT 5 Pro e tejkalon YandexGPT 4 Pro në 67% të rasteve dhe nuk i dorëzohet GPT-4o.
Burimi: linux.org.ru
