Рейтинг на отвореност на генеративните AI модели

Изследователи от Университета Неймехен (Нидерландия) подготвиха рейтинг на отвореността на 40 големи езикови модели и 7 модела за генериране на изображения по текстово описание, които производителите декларират като отворени. Поради факта, че критериите за отвореност на моделите на машинното обучение все още се формират, в момента има ситуация, в която като отворени се разпространяват модели с лицензи, които ограничават обхвата на употреба (например, много модели забраняват използването им в търговски проекти). Често производителите не предоставят достъп до данните, използвани при обучението, не разкриват детайли за реализацията или не предоставят напълно свързания код.

Повечето модели, позиционирани като "отворени", всъщност трябва да се възприемат като "отворени тегловни коефициенти" или по-точно "достъпни тегловни коефициенти", тъй като те се разпространяват под ограничителни лицензи, забраняващи употребата в търговски продукти. Външни изследователи могат да експериментират с подобни модели, но нямат възможност да адаптират модела съобразно своите нужди или да инспектират реализацията. Повече от половината модели не предоставят подробна информация за данните, използвани за обучение, както и не публикуват информация за вътрешната си структура и архитектура.

Най-отворени се признават моделите BloomZ, AmberChat, OLMo, Open Assistant и Stable Diffusion, които са публикувани под отворени лицензи заедно с изходните данни, кода и реализацията на API. Моделите на Google (Gemma 7B), Microsoft (Orca 2) и Meta (Llama 3), позиционирани от производителите като отворени, се оказаха по-близо до края на рейтинга, тъй като не предоставят достъп до изходните данни, не разкриват техническите детайли на реализацията, а тегловните коефициенти на модела се разпространяват под лицензи, ограничаващи обхвата на употреба. Популярният модел Mistral 7B зае приблизително средата на рейтинга, тъй като се доставя под отворена лицензия, но е частично документиран, не разкрива използваните за обучение данни и няма напълно отворен свързан код.

Изследователите предложиха 14 критерия за откритост на AI модели, обхващащи условия за разпространение на код, данни за обучение, теглови коефициенти, варианти на данни и коефициенти, оптимизирани чрез обучение с подкрепление (RL), както и наличието на готови за употреба пакети, API, документация и детайлно описание на изпълнението.

Съобразно предложената от организацията OSI (Open Source Initiative) чернова на определение за отворен AI, основните критерии за откритост на AI системата са предоставяне на възможности за използване за всякакви цели без необходимост от получаване на отделно разрешение; изследване на работата на системата и инспектиране на нейните компоненти; извършване на промени за всякакви цели; предаване на трети лица както на изходната версия, така и на редакцията след направените изменения.

За да се предостави възможност за извършване на промени, AI системата трябва да включва:

• Детайлна информация за данните, използвани при обучението, и методологията на обучението. Информацията трябва да бъде достатъчна, за да може професионален разработчик самостоятелно да възстанови еквивалентна AI-система, използвайки същите или подобни данни за обучение.
• Наличието на изходен код, който позволява както стартиране на AI системата, така и изпълнение на процеса на нейното обучение (в разгледаната по-горе таблица, в колоната «код» на много модели е посочено «~», което означава частично наличен код, когато кодът за стартиране на модела е на разположение, но кодът за обучение или създаване на модела липсва). Кодът също така трябва да обхваща области като предварителна обработка, проверка на данните и токенизация. Освен това, трябва да бъде предоставено детайлно описание на архитектурата на модела.
• Параметри на модела (тегловни коефициенти), подразбиращи наличие на готов за употреба режим на състояние след обучението или наличието на финален оптимизиран вариант на модела.

Източник: opennet.ru