Badacze z Uniwersytetu w Nijmegen (Holandia) opracowali ranking otwartości 40 dużych modeli językowych oraz 7 modeli generacji obrazów na podstawie opisu tekstowego, które producenci określają jako otwarte. Ponieważ kryteria otwartości modeli uczenia maszynowego są dopiero w fazie formowania, obecnie istnieje sytuacja, w której pod nazwą otwartych rozpowszechniane są modele objęte licencjami ograniczającymi zakres ich użycia (na przykład wiele modeli zabrania zastosowania w projektach komercyjnych). Producenci często również nie udostępniają danych, które były używane do treningu, nie ujawniają szczegółów realizacji lub nie publikują w pełni towarzyszącego kodu.
Większość modeli, które są promowane jako „otwarte”, w rzeczywistości należy postrzegać jako „otwarte wagi” lub precyzyjniej „dostępne wagi”, ponieważ są one rozpowszechniane na podstawie ograniczających licencji, zabraniających użycia w produktach komercyjnych. Niezależni badacze mogą eksperymentować z tego typu modelami, ale nie mają możliwości dostosowania modelu do swoich potrzeb ani zbadania realizacji. Ponad połowa modeli nie udostępnia szczegółowych informacji o danych użytych do szkolenia oraz nie publikują informacji o wewnętrznej budowie i architekturze.
Najbardziej otwarte uznano modele BloomZ, AmberChat, OLMo, Open Assistant i Stable Diffusion, które zostały opublikowane na podstawie otwartych licencji wraz z danymi źródłowymi, kodem i realizacją API. Modele od Google (Gemma 7B), Microsoftu (Orca 2) i Meta (Llama 3), promowane przez producentów jako otwarte, okazały się bliżej końca rankingu, ponieważ nie udostępniają dostępu do danych źródłowych, nie ujawniają szczegółów technicznych realizacji, a wagi modeli są rozpowszechniane na podstawie licencji ograniczających ich zastosowanie. Popularny model Mistral 7B znalazł się mniej więcej w połowie rankingu, ponieważ jest dostarczany na podstawie otwartej licencji, ale jest jedynie częściowo udokumentowany, nie ujawnia danych użytych do trenowania i nie ma w pełni otwartego towarzyszącego kodu.
Badacze zaproponowali 14 kryteriów otwartości modeli AI, obejmujących warunki dystrybucji kodu, danych do uczenia, wag, wariantów danych oraz wag optymalizowanych przy pomocy uczenia ze wzmocnieniem (RL), a także dostępność gotowych pakietów, API, dokumentacji oraz szczegółowego opisu implementacji.
Zgodnie z proponowaną przez organizację OSI (Open Source Initiative) roboczą definicją otwartego AI, podstawowymi kryteriami otwartości systemu AI są zapewnienie możliwości wykorzystania do dowolnych celów bez konieczności uzyskania odrębnej zgody; badanie działania systemu i inspekcja jego komponentów; wprowadzanie zmian w dowolnych celach; przekazywanie innym osobom zarówno oryginału, jak i wersji po wprowadzeniu zmian.
Aby umożliwić wprowadzanie zmian, system AI musi zawierać:
- Szczegółowe informacje o danych wykorzystanych do uczenia oraz metodologii uczenia. Informacje te powinny być na tyle dokładne, aby profesjonalny programista był w stanie samodzielnie odtworzyć równoważny system AI, korzystając do uczenia z tej samej lub podobnej bazy danych.
- Dostępność kodu źródłowego, który pozwala zarówno na uruchomienie systemu AI, jak i na przeprowadzenie procesu jego uczenia (jak wskazano w powyższej tabeli, w kolumnie „kod” u wielu modeli zaznaczone jest „~”, co sugeruje częściową dostępność kodu, kiedy kod do uruchomienia modelu jest dostępny, ale brak jest kodu do uczenia lub tworzenia modelu). Kod powinien również obejmować obszary takie jak preprocessing, weryfikacja danych i tokenizacja. Ponadto, powinien być dostarczony szczegółowy opis architektury modelu.
- Parametry modelu (wagi), które implikują istnienie gotowego do użycia snapshotu stanu po uczeniu lub dostępność ostatecznej zoptymalizowanej wersji modelu.
Źródło: opennet.ru
