Forscher der Radboud-Universität Nijmegen (Niederlande) haben eine Bewertung der Offenheit von 40 großen Sprachmodellen und 7 Modellen zur Bildgenerierung aus Textbeschreibungen erstellt, die von den Herstellern als offen deklariert werden. Da die Kriterien für die Offenheit von Maschinenlernmodellen noch in der Entwicklung sind, gibt es derzeit eine Situation, in der unter dem Deckmantel der Offenheit Modelle verbreitet werden, die Lizenzen besitzen, die den Anwendungsbereich einschränken (zum Beispiel verbieten viele Modelle die Nutzung in kommerziellen Projekten). Zudem gewähren Hersteller oft keinen Zugang zu den für das Training verwendeten Daten, offenbaren nicht die Implementierungsdetails oder stellen den zugehörigen Code nicht vollständig zur Verfügung.
Die meisten Modelle, die als "offen" positioniert sind, sollten tatsächlich als "offene Gewichtungen" oder genauer als "verfügbare Gewichtungen" betrachtet werden, da sie unter einschränkenden Lizenzen verbreitet werden, die die Verwendung in kommerziellen Produkten verbieten. Drittanbieter können mit solchen Modellen experimentieren, haben jedoch nicht die Möglichkeit, das Modell an ihre Bedürfnisse anzupassen oder die Implementierung zu inspizieren. Mehr als die Hälfte der Modelle bietet keine detaillierten Informationen über die zur Schulung verwendeten Daten und veröffentlicht auch keine Informationen über die interne Struktur und Architektur.
Die am meisten als offen anerkannten Modelle sind BloomZ, AmberChat, OLMo, Open Assistant und Stable Diffusion, die unter offenen Lizenzen veröffentlicht wurden, zusammen mit den Trainingsdaten, dem Code und der API-Implementierung. Modelle von Google (Gemma 7B), Microsoft (Orca 2) und Meta (Llama 3), die von den Herstellern als offen positioniert werden, befinden sich hingegen am Ende der Rangliste, da sie keinen Zugang zu den Trainingsdaten bieten, technische Implementierungsdetails nicht offenlegen und die Gewichtungen der Modelle unter Lizenzen verteilen, die den Nutzungsbereich einschränken. Das beliebte Modell Mistral 7B hat es auf etwa die Mitte der Rangliste geschafft, da es unter einer offenen Lizenz bereitgestellt wird, jedoch nur teilweise dokumentiert ist, die verwendeten Trainingsdaten nicht offenlegt und den begleitenden Code nicht vollständig offen bereitstellt.
Forscher haben 14 Kriterien für die Offenheit von KI-Modellen vorgeschlagen, die die Bedingungen für die Verbreitung von Code, Trainingsdaten, Gewichtungen, Datenvarianten und Faktoren, die durch Reinforcement Learning (RL) optimiert wurden, sowie das Vorhandensein von einsatzbereiten Paketen, APIs, Dokumentation und detaillierten Beschreibungen der Implementierung umfassen.
Gemäß dem Entwurf der Open Source Initiative (OSI) für die Definition von Open AI sind die wesentlichen Kriterien für die Offenheit von AI-Systemen die Bereitstellung von Möglichkeiten zur Nutzung für alle Zwecke ohne die Notwendigkeit, eine separate Genehmigung einzuholen; das Studium der Funktionsweise des Systems und die Inspektion seiner Komponenten; die Möglichkeit von Änderungen für beliebige Zwecke; die Weitergabe an Dritte sowohl in der Originalversion als auch in einer bearbeiteten Version nach Änderungen.
Um Änderungen zu ermöglichen, muss das AI-System Folgendes umfassen:
- Detaillierte Informationen zu den verwendeten Daten und der Lernmethodologie. Die Informationen sollten ausreichend sein, damit ein professioneller Entwickler in der Lage ist, ein entsprechendes KI-System aus denselben oder ähnlichen Daten selbst zu rekonstruieren.
- Vorhandensein des Quellcodes, der es ermöglicht, das AI-System sowohl auszuführen als auch den Prozess seines Trainings durchzuführen (in der oben behandelten Tabelle ist in der Spalte 'Code' bei vielen Modellen ein '∼' angegeben, was auf teilweise Verfügbarkeit des Codes hindeutet, wenn der Code zum Ausführen des Modells verfügbar ist, der Code für das Training oder die Erstellung des Modells jedoch fehlt). Der Code sollte auch Bereiche wie Preprocessing, Datenprüfung und Tokenisierung abdecken. Darüber hinaus sollte eine detaillierte Beschreibung der Modellarchitektur bereitgestellt werden.
- Die Modellparameter (Gewichtungskoeffizienten), die einen einsatzbereiten Zustand nach dem Training oder eine final optimierte Version des Modells implizieren.
Quelle: opennet.ru
