I ricercatori dell'Università di Nijmegen (Paesi Bassi) hanno preparato un elenco dell'apertura di 40 grandi modelli linguistici e 7 modelli per la generazione di immagini a partire da descrizioni testuali, dichiarati aperti dai produttori. Poiché i criteri di apertura dei modelli di apprendimento automatico sono ancora in fase di definizione, attualmente ci si trova di fronte a una situazione in cui modelli con licenze restrittive (ad esempio, molti modelli vietano l'uso nei progetti commerciali) vengono commercializzati come aperti. Inoltre, spesso i produttori non forniscono accesso ai dati utilizzati durante l'addestramento, non rivelano i dettagli delle implementazioni o non rendono completamente disponibili i codici associati.
La maggior parte dei modelli posizionati come "aperti" devono infatti essere considerati come "coefficienti aperti" o, più precisamente, "coefficienti disponibili", poiché sono distribuiti sotto licenze restrittive che vietano l'uso in prodotti commerciali. I ricercatori esterni possono sperimentare con modelli simili, ma non hanno la possibilità di adattare il modello alle proprie esigenze o di esaminare l'implementazione. Più della metà dei modelli non fornisce informazioni dettagliate sui dati utilizzati per l'addestramento e non pubblica informazioni sull'architettura interna.
I modelli più aperti riconosciuti sono BloomZ, AmberChat, OLMo, Open Assistant e Stable Diffusion, pubblicati sotto licenze aperte insieme ai dati sorgente, al codice e all'implementazione dell'API. I modelli di Google (Gemma 7B), Microsoft (Orca 2) e Meta (Llama 3), posizionati dai produttori come aperti, si trovano invece alla fine della classifica, poiché non forniscono accesso ai dati sorgente, non rivelano dettagli tecnici dell'implementazione e distribuiscono i coefficienti del modello sotto licenze restrittive. Il popolare modello Mistral 7B si è trovato circa a metà della classifica, in quanto è fornito sotto licenza aperta, ma è solo parzialmente documentato, non rivela i dati utilizzati per l'addestramento e ha un codice associato non completamente aperto.
I ricercatori hanno proposto 14 criteri per l'apertura dei modelli AI, coprendo le condizioni di distribuzione del codice, dei dati per l'addestramento, dei coefficienti, delle varianti di dati e dei coefficienti ottimizzati mediante apprendimento per rinforzo (RL), oltre alla disponibilità di pacchetti pronti all'uso, API, documentazione e descrizioni dettagliate dell'implementazione.
Secondo la bozza di definizione di AI aperto proposta dall'OSI (Open Source Initiative), i principali criteri di apertura di un sistema AI sono la possibilità di utilizzo per qualsiasi scopo senza necessità di ottenere permessi separati; l'esame del funzionamento del sistema e l'ispezione dei suoi componenti; la possibilità di apportare modifiche per qualsiasi scopo; la cessione ad altri sia della variante sorgente che delle edizioni modificate.
Per consentire l'apporto di modifiche, il sistema AI deve includere:
- Informazioni dettagliate sui dati utilizzati durante l'addestramento e sulla metodologia di apprendimento. Le informazioni devono essere sufficienti affinché un sviluppatore professionista possa ricreare un sistema AI equivalente, utilizzando gli stessi o simili dati per l'addestramento.
- La disponibilità del codice sorgente, che consenta sia di avviare il sistema AI sia di svolgere il processo di addestramento (nella tabella sopra esaminata, nella colonna "codice" molti modelli sono indicati con "~", il che implica una disponibilità parziale del codice, con il codice per l'avvio del modello disponibile, ma assente per l'addestramento o la creazione del modello). Il codice deve coprire anche aree come la preelaborazione, la verifica dei dati e la tokenizzazione. Inoltre, deve essere fornita una descrizione dettagliata dell'architettura del modello.
- Parametri del modello (pesi), indicando la presenza di uno stato di tipo snapshot pronto all'uso dopo l'addestramento o la disponibilità di una versione finale ottimizzata del modello.
Fonte: opennet.ru
