Die Architektur des neuen Sprachmodells ähnelt Llama oder Qwen, wurde jedoch von Grund auf neu trainiert. Diese Ähnlichkeit ermöglicht die Verwendung der gleichen Werkzeuge. Die Pretrain-Version des großen Sprachmodells YandexGPT 5 Lite hat 8B Parameter und eine Kontextlänge von 32k Token. Bei der Entwicklung des Modells wurde besonderes Augenmerk auf die russische Sprache gelegt, Materialien in russischer Sprache machten über 70% des Datensatzes aus.
Das größere Modell YandexGPT 5 ist in Alice verfügbar und auf der Website von Yandex, wird jedoch nicht öffentlich zugänglich gemacht.
In ihrer Kategorie erreicht das Modell Parität mit den weltweiten SOTA in einer Reihe von Schlüsselbenchmarks für Pretrain-Modelle und übertrifft sie in vielen anderen. Beispielsweise übertrifft YandexGPT 5 Pro in 67% der Fälle YandexGPT 4 Pro in internen blinden Paarvergleichen (side-by-side) für einen breiten Ansturm von Anfragen und steht auf dem gleichen Niveau wie GPT-4o.
Quelle: linux.org.ru
