Рейтинг на прозрачността на генеративните AI модели

Изследователи от Университета Неймеген (Нидерландия) подготвиха рейтинг на откритостта на 40 големи езикови модели и 7 модела за генериране на изображения по текстово описание, които производителите представят като отворени. Поради факта, че критериите за откритост на моделите на машинно обучение все още се формират, в момента съществува ситуация, в която модели, които се разпространяват под предлог, че са отворени, всъщност имат лиценз, ограничаващ областта на приложение (например, много модели забраняват използването им в търговски проекти). Също така, често производителите не предоставят достъп до данните, използвани за обучение, не разкриват детайли за реализирането или не отварят напълно придружаващия код.

Повечето модели, позиционирани като „отворени“, на практика следва да се възприемат като „открити тегла“ или по-точно „достъпни тегла“, тъй като те се разпространяват под ограничителни лицензи, забраняващи използването им в търговски продукти. Външни изследователи могат да експериментират с подобни модели, но нямат възможност да адаптират модела към своите нужди или да инспектират реализирането. Повече от половината модели не предоставят детайлни сведения за данните, използвани за обучение, и не публикуват информация за вътрешната структура и архитектура.

Най-откритите модели са признати BloomZ, AmberChat, OLMo, Open Assistant и Stable Diffusion, които са публикувани под отворени лицензи заедно с изходните данни, кода и реализирането на API. Моделите от Google (Gemma 7B), Microsoft (Orca 2) и Meta (Llama 3), позиционирани от производителите като отворени, се оказаха по-близо до края на рейтинга, тъй като те не предоставят достъп до изходните данни, не разкриват техническите детайли на реализирането, а теглата на модела се разпространяват под лицензи, ограничаващи областта на приложение. Популярният модел Mistral 7B се оказа приблизително в средата на рейтинга, тъй като се предоставя под отворена лицензия, но е частично документиран, не разкрива използваните за обучение данни и има не напълно открит придружаващ код.

Изследователите предложиха 14 критерия за откритост на AI моделите, обхващащи условията за разпространение на кода, данните за обучение, теглата, вариантите на данни и теглата, оптимизирани чрез обучение с подкрепление (RL), както и наличието на готови за използване пакети, API, документация и детализирано описание на реализацията.

В съответствие с предложената от организацията OSI (Open Source Initiative) чернова на определение за открит AI, основните критерии за откритост на AI системата са предоставянето на възможности за използване за всякакви цели без необходимост от получаване на отделно разрешение; изучаване на работата на системата и инспектиране на нейните компоненти; извършване на промени за всякакви цели; прехвърляне на трети лица както на оригиналната версия, така и на редакцията след извършени промени.

За да се предостави възможност за извършване на промени, AI системата трябва да включва:

• Подробна информация за данните, използвани при обучението, и методологията на обучението. Информацията трябва да е достатъчна, за да може професионален разработчик самостоятелно да възпроизведе еквивалентна AI система, използвайки същите или подобни данни за обучение.
• Наличието на изходен код, който позволява както стартиране на AI системата, така и изпълнение на процеса на нейното обучение (в разгледаната по-горе таблица, в колоната «код» при много модели е посочено «~», което предполага частично наличие на код, когато кодът за стартиране на модела е наличен, но кодът за обучение или създаване на модела липсва). Кодът също така трябва да обхваща области като предварителна обработка, проверка на данните и токенизация. Освен това трябва да бъде предоставено детайлно описание на архитектурата на модела.
• Параметрите на модела (теглови коэффициенти), които подсказват наличието на готов за използване статус след обучение или наличието на финален оптимизиран вариант на модела.

Източник: opennet.ru