I ricercatori dell'Università di Nijmegen (Paesi Bassi) hanno redatto una classifica dell'apertura di 40 grandi modelli linguistici e 7 modelli per la generazione di immagini a partire da descrizioni testuali, che sono dichiarati dai produttori come aperti. Poiché i criteri di apertura per i modelli di machine learning sono ancora in fase di definizione, attualmente ci troviamo in una situazione in cui modelli con licenze che limitano l'ambito d'uso sono diffusi sotto il pretesto di essere aperti (ad esempio, molti modelli vietano l'uso in progetti commerciali). Inoltre, frequentemente i produttori non forniscono accesso ai dati utilizzati per l'addestramento, non rivelano i dettagli di implementazione o non aprono completamente il codice associato.
La maggior parte dei modelli, posizionati come "aperti", dovrebbe essere interpretata come "coefficienti aperti" o, più precisamente, "coefficienti disponibili", poiché sono distribuiti sotto licenze restrittive che vietano l'uso in prodotti commerciali. I ricercatori esterni possono sperimentare con tali modelli, ma non hanno la possibilità di adattare il modello alle proprie esigenze o ispezionarne l'implementazione. Più della metà dei modelli non fornisce dettagli sui dati utilizzati per l'addestramento e non pubblica informazioni sulla struttura interna e sull'architettura.
I modelli più aperti sono stati riconosciuti come BloomZ, AmberChat, OLMo, Open Assistant e Stable Diffusion, che sono stati pubblicati sotto licenze aperte insieme ai dati sorgente, al codice e all'implementazione dell'API. I modelli di Google (Gemma 7B), Microsoft (Orca 2) e Meta (Llama 3), dichiarati dai produttori come aperti, si sono rivelati più verso la fine della classifica, poiché non forniscono accesso ai dati sorgente, non rivelano dettagli tecnici di implementazione e distribuiscono i coefficienti del modello sotto licenze che limitano l'ambito d'uso. Il modello popolare Mistral 7B si è posizionato circa a metà della classifica, poiché è fornito sotto una licenza aperta, ma è documentato solo parzialmente, non rivela i dati utilizzati per l'addestramento e presenta codice associato non completamente aperto.
I ricercatori hanno proposto 14 criteri di apertura per i modelli AI, che coprono le condizioni per la pubblicazione del codice, dei dati di formazione, dei pesi, delle varianti di dati e dei coefficienti ottimizzati tramite l'apprendimento per rinforzo (RL), e la disponibilità di pacchetti pronti all'uso, API, documentazione e descrizioni dettagliate dell'implementazione.
In conformità con la bozza di definizione di AI aperta proposta dall'organizzazione OSI (Open Source Initiative), i principali criteri di apertura di un sistema AI sono la possibilità di utilizzarlo per qualsiasi scopo senza dover ottenere un'autorizzazione separata; l'opportunità di studiare il funzionamento del sistema e ispezionare i suoi componenti; apportare modifiche per qualsiasi scopo; e la cessione ad altri sia della versione originale che delle modifiche apportate.
Per consentire modifiche, il sistema AI deve includere:
- Informazioni dettagliate sui dati utilizzati per l'addestramento e sulla metodologia di apprendimento. Le informazioni devono essere sufficienti affinché uno sviluppatore professionista possa ricreare autonomamente un sistema AI equivalente, utilizzando gli stessi dati o dati simili per l'addestramento.
- La disponibilità del codice sorgente, che consenta sia di avviare il sistema AI sia di eseguire il processo di addestramento (nella tabella sopra menzionata, nella colonna "codice" molteplici modelli riportano "~", il che implica una presenza parziale del codice, quando è disponibile il codice per avviare il modello, ma non il codice per l'addestramento o la creazione del modello). Il codice deve anche coprire aree come il preprocessing, la verifica dei dati e la tokenizzazione. Inoltre, deve essere fornita una descrizione dettagliata dell'architettura del modello.
- I parametri del modello (pesi) implicano la disponibilità di uno stato di taglio pronto all'uso dopo l'addestramento o la presenza di una versione finale ottimizzata del modello.
Fonte: opennet.ru
