Databricks har annonceret lanceringen af den store sprogmodel DBRX, der kan bruges til at skabe chatbots, der besvarer spørgsmål på naturligt sprog, løser foreslåede matematiske opgaver og kan generere indhold om et givet emne samt skabe kode på forskellige programmeringssprog. Modellen er udviklet af Mosaic ML, som blev købt af Databricks for 1,3 milliarder dollars. Til træning blev der anvendt en klynge bestående af 3072 NVIDIA H100 Tensor Core GPU'er. Det anbefales at have 320GB hukommelse til at køre den færdige model.
Under træningen af modellen blev architekturen MoE (Mixture of Experts) anvendt, som muliggør mere præcise ekspertvurderinger, samt en samling af tekster og kode på 12 TB. Størrelsen på konteksten, som modellen DBRX tager i betragtning, er 32.000 tokens (antallet af tokens, som modellen kan bearbejde og huske ved tekstgenerering). Til sammenligning har modellerne Google Gemini og OpenAI GPT-4 en kontekststørrelse på 32.000 tokens, Google Gemma - 8.000, og sidstnævnte GPT-4 Turbo - 128.000.
Modellen dækker over 132 milliarder parametre og er opdelt i 16 ekspert-netværk, hvoraf der maks. kan anvendes 4 ved behandling af en forespørgsel (med en dækning på op til 36 milliarder parametre for hver token). Til sammenligning menes GPT-4-modellen at indeholde 1,76 trillioner parametre, den nyligt lancerede X/Twitter-model Grok (X/Twitter) - 314 milliarder, GPT-3.5 - 175 milliarder, YaLM (Yandex) - 100 milliarder, LLaMA (Meta) - 65 milliarder, GigaChat (Sber) - 29 milliarder, Gemma (Google) - 7 milliarder.
Modellen og de tilknyttede komponenter distribueres under Databricks Open Model License, som tillader brug, reproduktion, kopiering, ændring og oprettelse af derivative produkter, men med visse begrænsninger. For eksempel forbyder licensen brugen af DBRX, derivative modeller og enhver output baseret på dem til at forbedre andre sprogmodeller, der ikke er DBRX. Licensen forbyder også brugen af modellen inden for områder, der overtræder love og reguleringer. Derivative modeller skal distribueres under den samme licens. Ved brug i produkter og tjenester, der benyttes af over 700 millioner brugere om måneden, kræves der en særskilt tilladelse.
If the creators of the model are to be believed, the characteristics and capabilities of DBRX surpass those of OpenAI's GPT-3.5 and Twitter's Grok-1, and it can compete with the Gemini 1.0 Pro model when testing language comprehension, coding abilities, and solving mathematical problems. In some applications, such as generating SQL queries, DBRX approaches the efficiency of the GPT-4 Turbo model, which leads the market. Furthermore, the model distinguishes itself from competing services with its extremely fast operation and allows for nearly instantaneous responses. In particular, DBRX can generate text at a speed of up to 150 tokens per second per user, which is about twice as fast as the LLaMA2-70B model.
Additionally, it is worth noting the publication of the technical description of the open large language model InternLM2, which is distributed under the Apache 2.0 license and is available in versions with 20, 7, and 1.8 billion parameters. The model is being developed by a Shanghai AI laboratory with the participation of several Chinese universities and is noteworthy for its ability to handle up to 200K tokens of context and support not only English but also Chinese. In many tests, the model is close to GPT-4.
Moreover, there are reports of the development of 84 new matrix multiplication cores for the llamafile toolkit, developed by Mozilla, which allows the creation of universal executable files for running large machine learning language models (LLM). The changes have significantly accelerated model performance in llamafile when executed on CPU. For example, model execution using llamafile is now faster than using llama.cpp by 30% to 500%, depending on the environment, and compared to the MKL library, matrix operations that fit into the L2 cache are executed twice as fast in the new implementation.
Kilde: opennet.ru
