Firma Databricks ogłosiła wprowadzenie dużego modelu językowego DBRX, który może być wykorzystywany do tworzenia chatbotów odpowiadających na pytania w naturalnym języku, rozwiązujących zadania matematyczne, generujących treści na określony temat oraz tworzących kod w różnych językach programowania. Model został stworzony przez firmę Mosaic ML, która została kupiona przez Databricks za 1,3 miliarda dolarów. Do treningu wykorzystano klaster składający się z 3072 GPU NVIDIA H100 Tensor Core. Aby uruchomić gotowy model, zaleca się 320 GB pamięci.
Podczas treningu modelu zastosowano architekturę MoE (Mixture of Experts), co pozwoliło uzyskać bardziej dokładną ocenę ekspercką, oraz kolekcję tekstów i kodu o wielkości 12 TB. Rozmiar kontekstu rozważanego przez model DBRX wynosi 32 tysiące tokenów (liczba tokenów, które model może przetworzyć i zapamiętać przy generowaniu tekstu). Dla porównania, rozmiar kontekstu w modelach Google Gemini i OpenAI GPT-4 wynosi 32 tysiące tokenów, Google Gemma — 8 tysięcy, a model GPT-4 Turbo — 128 tysięcy.
Model obejmuje 132 miliardy parametrów i jest podzielony na 16 sieci ekspertowych, z których przy przetwarzaniu zapytania może być używanych nie więcej niż 4 (co daje pokrycie nie więcej niż 36 miliardów parametrów dla każdego tokena). Dla porównania, model GPT-4 przypuszczalnie zawiera 1,76 biliona parametrów, niedawno wprowadzony model Grok (X/Twitter) — 314 miliardów, GPT-3.5 — 175 miliardów, YaLM (Yandex) — 100 miliardów, LLaMA (Meta) — 65 miliardów, GigaChat (Sber) — 29 miliardów, Gemma (Google) — 7 miliardów.
Model i związane z nim komponenty są dystrybuowane na licencji Databricks Open Model License, która pozwala na użycie, reprodukcję, kopiowanie, modyfikację i tworzenie produktów pochodnych, ale z pewnymi ograniczeniami. Na przykład, licencja zabrania używania DBRX, modeli pochodnych oraz jakichkolwiek wyników na ich podstawie do ulepszania innych modeli językowych, różnych od DBRX. Licencja zabrania także używania modelu w obszarach naruszających przepisy prawa i regulacje. Modele pochodne muszą być dystrybuowane na tej samej licencji. Przy użyciu w produktach i usługach, z których korzysta ponad 700 mln użytkowników miesięcznie, wymagane jest uzyskanie osobnego zezwolenia.
Według twórców modelu, pod względem charakterystyki i możliwości DBRX przewyższa modele GPT-3.5 od OpenAI i Grok-1 od Twittera, a także może konkurować z modelem Gemini 1.0 Pro przy testach rozumienia języka, możliwości pisania kodu w językach programowania oraz rozwiązywania zadań matematycznych. W niektórych zastosowaniach, na przykład przy generowaniu zapytań SQL, DBRX zbliża się wydajnością do modelu GPT-4 Turbo, który dominuje na rynku. Ponadto model wyróżnia się bardzo szybką pracą, umożliwiając formułowanie odpowiedzi niemal natychmiast. W szczególności DBRX może generować tekst z prędkością do 150 tokenów na sekundę na jednego użytkownika, co jest około dwa razy szybsze niż model LLaMA2-70B.
Dodatkowo warto zauważyć publikację opisu technicznego otwartego dużego modelu językowego InternLM2, który jest udostępniany na licencji Apache 2.0, dostępny w wersjach z 20, 7 i 1.8 miliardami parametrów. Model jest rozwijany przez shanghajskie laboratorium sztucznej inteligencji przy współpracy kilku chińskich uniwersytetów i jest godny uwagi ze względu na uwzględnienie do 200K tokenów kontekstu oraz wsparcie nie tylko dla języka angielskiego, ale także chińskiego. W wielu testach model jest bliski GPT-4.
Ponadto donosi się o opracowaniu 84 nowych rdzeni mnożenia macierzy dla narzędzia llamafile, rozwijanego przez Mozillę, które umożliwia tworzenie uniwersalnych plików wykonywalnych do uruchamiania dużych modeli językowych (LLM). Zmiany pozwoliły znacznie przyspieszyć działanie modeli w llamafile podczas wykonywania na CPU. Na przykład, wykonywanie modeli przy użyciu llamafile jest teraz szybsze niż przy użyciu llama.cpp o 30% do 500%, w zależności od środowiska, a w porównaniu do biblioteki MKL operacje macierzowe, które mieszczą się w pamięci podręcznej L2, w nowej implementacji są wykonywane dwa razy szybciej.
Źródło: opennet.ru
