Databricks heeft een grote taalmachine DBRX gelanceerd, die beter presteert dan GPT-3.5 in tests.

Het bedrijf Databricks heeft een grote taalmodel genaamd DBRX aangekondigd, dat kan worden gebruikt voor het creëren van chatbots die vragen in natuurlijke taal beantwoorden, voorgestelde wiskundige problemen oplossen, inhoud genereren over een bepaald onderwerp en code schrijven in verschillende programmeertalen. Het model is ontwikkeld door Mosaic ML, dat door Databricks is overgenomen voor 1,3 miljard dollar. Voor de training werd een cluster van 3072 NVIDIA H100 Tensor Core GPU's gebruikt. Voor het uitvoeren van het model wordt 320 GB geheugen aanbevolen.

Bij de training van het model werd de MoE-architectuur (Mixture of Experts) toegepast, waarmee een nauwkeuriger deskundige beoordeling kan worden verkregen, en een collectie teksten en code van 12 TB. De contextgrootte die door het DBRX-model wordt overwogen, bedraagt 32.000 tokens (het aantal tokens dat het model kan verwerken en onthouden bij het genereren van tekst). Ter vergelijking, de contextgrootte van de Google Gemini- en OpenAI GPT-4-modellen bedraagt 32.000 tokens, Google Gemma — 8.000, en het GPT-4 Turbo-model — 128.000.

Het model omvat 132 miljard parameters en is verdeeld in 16 deskundige netwerken, waarvan er bij de verwerking van een verzoek maximaal 4 kunnen worden gebruikt (wat een dekking van niet meer dan 36 miljard parameters per token betekent). Ter vergelijking, het GPT-4-model omvat naar schatting 1,76 biljoen parameters, het onlangs gepresenteerde X/Twitter-model Grok (X/Twitter) omvat 314 miljard, GPT-3.5 heeft 175 miljard, YaLM (Yandex) heeft 100 miljard, LLaMA (Meta) heeft 65 miljard, GigaChat (Sber) heeft 29 miljard, en Gemma (Google) heeft 7 miljard.

Het model en de bijbehorende componenten worden verspreid onder de Databricks Open Model License, die het gebruik, de reproductie, het kopiëren, wijzigen en het creëren van afgeleide producten toestaat, maar met bepaalde beperkingen. De licentie verbiedt bijvoorbeeld het gebruik van DBRX, afgeleide modellen en enige afgeleid output ter verbetering van andere taalmodellen dan DBRX. De licentie verbiedt ook het gebruik van het model in domeinen die in strijd zijn met de wet- en regelgeving. Afgeleide modellen moeten onder dezelfde licentie worden verspreid. Bij gebruik in producten en services die meer dan 700 miljoen gebruikers per maand bedienen, is een afzonderlijke toestemming vereist.

Volgens de makers van het model overtreft DBRX in zijn kenmerken en mogelijkheden de GPT-3.5-modellen van OpenAI en Grok-1 van Twitter, en kan het concurreren met het Gemini 1.0 Pro-model bij het testen van de taalbegrip, mogelijkheden voor het schrijven van code in programmeertalen en het oplossen van wiskundige problemen. In bepaalde toepassingen, zoals het genereren van SQL-query's, benadert DBRX de efficiëntie van het GPT-4 Turbo-model, dat de markt aanvoert. Bovendien onderscheidt het model zich van concurrerende diensten door zijn zeer snelle werking, waardoor het bijna onmiddellijk antwoorden kan genereren. DBRX kan bijvoorbeeld tekst genereren met een snelheid tot 150 tokens per seconde per gebruiker, wat ongeveer twee keer sneller is dan het LLaMA2-70B-model.

Daarnaast kan de publicatie van de technische beschrijving van het openliggende grote taalmodel InternLM2 worden opgemerkt, dat wordt verspreid onder de Apache 2.0-licentie en beschikbaar is in versies met 20, 7 en 1,8 miljard parameters. Het model wordt ontwikkeld door het Shanghai AI-laboratorium in samenwerking met verschillende Chinese universiteiten en valt op door het kunnen verwerken van tot 200K tokens context en ondersteuning van niet alleen het Engels maar ook het Chinees. In veel tests is het model dicht bij GPT-4.

Daarnaast wordt er gemeld dat er 84 nieuwe matrixvermenigvuldigingskernen worden ontwikkeld voor het llamafile-gereedschap, dat door Mozilla wordt ontwikkeld en waarmee universele uitvoerbare bestanden voor het uitvoeren van grote taalmodellen voor machine learning (LLM) kunnen worden gemaakt. De wijzigingen hebben de snelheid van de modellen in llamafile aanzienlijk verbeterd bij uitvoering op de CPU. Bijvoorbeeld, de uitvoering van modellen met llamafile is nu sneller dan bij het gebruik van llama.cpp met 30% tot 500%, afhankelijk van de omgeving, en in vergelijking met de MKL-bibliotheek worden matrixbewerkingen die in de L2-cache passen in de nieuwe implementatie twee keer zo snel uitgevoerd.

Bron: opennet.ru