A Nijmegen University (Netherlands) researcher compiled a ranking of the openness of 40 large language models and 7 models for generating images from text descriptions that are claimed by their manufacturers to be open. Due to the fact that the criteria for the openness of machine learning models are still being formulated, there is currently a situation where models that have licenses limiting their area of use are distributed under the guise of being open (for example, many models prohibit use in commercial projects). Furthermore, manufacturers often do not provide access to the data used for training, do not disclose implementation details, or do not fully open the accompanying code.
Most models marketed as 'open' should rather be viewed as 'open weights' or more accurately 'available weights', as they are distributed under restrictive licenses that prohibit use in commercial products. Third-party researchers may experiment with such models, but they do not have the ability to adapt the model to their needs or inspect the implementation. More than half of the models do not provide detailed information about the data used for training and do not publish information about the internal structure and architecture.
The most open models are recognized to be BloomZ, AmberChat, OLMo, Open Assistant, and Stable Diffusion, which are published under open licenses along with source data, code, and API implementation. Models from Google (Gemma 7B), Microsoft (Orca 2), and Meta (Llama 3), positioned by their manufacturers as open, ended up closer to the bottom of the ranking, as they do not provide access to source data, do not disclose technical details of implementation, and distribute model weights under licenses that limit the area of use. The popular model Mistral 7B ranked about the middle of the list, as it is supplied under an open license but is only partially documented, does not disclose the data used for training, and does not have fully open accompanying code.
A kutatók 14 kritériumot ajánlottak az AI-modellek nyitottságára, amelyek a kód, a tanulmányi adatok, a súlyozások, az adavariációk és a megerősítéses tanulással (RL) optimalizált koefficiensek terjesztésének feltételeit, valamint az azonnal használható csomagok, API-k, dokumentációk és részletes végrehajtási leírások meglétét ölelik fel.
Az OSI (Open Source Initiative) által javasolt nyitott AI definíció tervezet alapján az AI-rendszerek nyitottságának alapvető kritériumai a következők: a felhasználás lehetőségének biztosítása bármilyen célból külön engedély beszerzése nélkül; a rendszer működésének tanulmányozása és alkotóelemeinek ellenőrzése; a változtatások végrehajtása bármilyen célból; másoknak való átadás, mind az eredeti verzió, mind a módosított változat átadása után.
A változtatások végrehajtásának lehetőségének biztosítása érdekében az AI-rendszernek a következőket kell tartalmaznia:
- Részletes információkat az oktatás során felhasznált adatokkal és a tanítási módszertannal kapcsolatban. Az információnak elegendőnek kell lennie ahhoz, hogy egy szakmai fejlesztő képes legyen önállóan újjáépíteni egy megfelelő AI-rendszert, a tanításhoz ugyanolyan vagy hasonló adatok felhasználásával.
- A forráskód rendelkezésre állása, amely lehetővé teszi az AI-rendszer indítását és a tanítási folyamat végrehajtását (a fentebb tárgyalt táblázatban, a 'kód' oszlopban sok modellnél '~' szerepel, amely részleges kódjelenlétet jelent, amikor a modell indításához szükséges kód rendelkezésre áll, de a tanításhoz vagy a modell létrehozásához szükséges kód hiányzik). A kódnak ki kell terjednie az előfeldolgozásra, az adatok ellenőrzésére és a tokenizálásra. Ezen kívül részletes leírást kell nyújtani a modell architektúrájáról.
- A modell paraméterei (súlyok), amelyek előre meghatározott, kész állapotot jeleznek az oktatás után, vagy a modell végső optimalizált verziójának meglétét.
Forrás: opennet.ru
