Kërkuesit nga Universiteti i Nijmegenit (Holandë) përgatitën një renditje të hapjes së 40 modeleve të mëdha gjuhësore dhe 7 modeleve për gjenerimin e imazheve sipas përshkrimit tekstual, të cilat janë deklaruar nga prodhuesit si të hapura. Për shkak se kriteret e hapjes së modeleve të mësimit të makinerive ende po formohen, aktualisht ka një situatë ku, nën emrin e modeleve të hapura, shpërndahen modele që kanë licenca që kufizojnë fushën e përdorimit (për shembull, shumë modele ndalojnë përdorimin në projekte komerciale). Gjithashtu, shpesh prodhuesit nuk ofrojnë qasje në të dhënat e përdorura për trajnimin, nuk zbulojnë detajet e implementimit ose nuk hapin plotësisht kodin mbështës.
Shumica e modeleve, të pozicionuara si "të hapura", në të vërtetë duhet të kuptohen si "koeficientë të hapur" ose më saktë "koeficientë të disponueshëm", pasi ato shpërndahen nën licenca kufizuese që ndalojnë përdorimin në produkte komerciale. Kërkuesit e palëve të treta mund të eksperimentojnë me këto modele, por nuk kanë mundësi ta adaptojnë modelin sipas nevojave të tyre ose të inspektojnë realizimin. Më shumë se gjysma e modeleve nuk ofrojnë detaje për të dhënat e përdorura për trajnim, si dhe nuk publikojnë informacion mbi strukturën e brendshme dhe arkitekturën.
Modelet më të hapura janë njohur si BloomZ, AmberChat, OLMo, Open Assistant dhe Stable Diffusion, të cilat janë publikuar nën licenca të hapura së bashku me të dhënat burimore, kodin dhe realizimin e API-së. Modelet nga Google (Gemma 7B), Microsoft (Orca 2) dhe Meta (Llama 3), të pozicionuara nga prodhuesit si të hapura, kanë përfunduar më afër fundin e renditjes, pasi ato nuk ofrojnë qasje në të dhënat burimore, nuk zbulojnë detajet teknike të realizimit, dhe koeficientët e modelit shpërndahen nën licenca që kufizojnë fushën e përdorimit. Modeli i njohur Mistral 7B përfundoi afërsisht në mes të renditjes, pasi ofrohet nën një licencë të hapur, por është dokumentuar vetëm pjesërisht, nuk zbulon të dhënat e përdorura për trajnim dhe ka kodin mbështës që nuk është plotësisht i hapur.
Kërkuesit kanë propozuar 14 kritere për hapësirën e modeleve AI, duke përfshirë kushtet për shpërndarjen e kodit, të dhënave për trajnimin, koeficientëve, opsioneve të të dhënave dhe koeficientëve të optimizuar përmes mësimit të forcës (RL), si dhe disponueshmërinë e pakove të gatshme për përdorim, API-ve, dokumentacionit dhe përshkrimeve të detajuara të implementimit.
Sipas versionit të parë të propozitit nga organizata OSI (Open Source Initiative) për definimin e hapësirës së AI, kriteret kryesore të hapësirës së sistemit AI janë ofrimi i mundësive për përdorim për qëllime të ndryshme pa pasur nevojë për një leje të veçantë; studimi i funksionimit të sistemit dhe inspektimi i komponentëve të tij; bërja e ndryshimeve për qëllime të ndryshme; transferimi te palët e tjera si variant origjinal ashtu edhe modifikimet pas ndryshimeve.
Për të ofruar mundësinë e ndryshimeve, sistemi AI duhet të përfshijë:
- Informacion të detajuar mbi të dhënat e përdorura gjatë trajnimit, si dhe metodologjinë e trajnim. Informacioni duhet të jetë i mjaftueshëm për që një zhvillues profesional të jetë në gjendje të rikrijojë një sistem të ekvivalentë AI duke përdorur të njëjtat ose të ngjashme të dhëna për trajnimin.
- Disponueshmëria e kodit burimor, që lejon si përgatitjen e sistemit AI ashtu edhe realizimin e procesit të tij të trajnimit (në tabelën e mësipërme, në kolonën "kod" për shumë modele është shënuar "~", që nënkupton disponueshmërinë e pjesshme të kodit, ku kodi për aktivizimin e modelit është i disponueshëm, por mungon kodi për trajnimin ose krijimin e modelit). Kodi gjithashtu duhet të mbulojë fusha të tilla si paraprocesimi, kontrolli i të dhënave dhe tokenizimi. Për më tepër, duhet të jepet një përshkrim i detajuar i arkitekturës së modelit.
- Parametrat e modelit (peshat), që nënkuptojnë ekzistencën e një prerjeje të gatshme për t'u përdorur pas trajnimit ose ekzistencën e një varianti të optimizuar përfundimtar të modelit.
Burimi: opennet.ru
