Yandex publikoi modelin gjuhësor YandexGPT-5-Lite në qasje të hapur
Arkitektura e modelit të ri të gjuhës është e ngjashme me Llama ose Qwen, por është trajnuar plotësisht nga fillimi. Ngjashmëria lejon përdorimin e të njëjtëve mjet. Versioni Pretrain i modelit të madh të gjuhës YandexGPT 5 Lite me 8B parametra dhe gjatësi konteksti 32k tokenësh. Gjatë trajnimit të modelit, u kushtua vëmendje të veçantë gjuhës ruse, materialet në rusisht përbënin më shumë se 70% të dataset-it. Modeli i lartë YandexGPT 5 […]
