{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks heeft een grote taalmachine DBRX gelanceerd, die beter presteert dan GPT-3.5 in tests.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Het bedrijf Databricks heeft een grote taalmodel genaamd DBRX aangekondigd, dat kan worden gebruikt voor het cre\u00ebren van chatbots die vragen in natuurlijke taal beantwoorden, voorgestelde wiskundige problemen oplossen, inhoud genereren over een bepaald onderwerp en code schrijven in verschillende programmeertalen. Het model is ontwikkeld door Mosaic ML, dat door Databricks is overgenomen voor 1,3 miljard dollar. Voor de training werd een cluster van 3072 NVIDIA H100 Tensor Core GPU's gebruikt. Voor het uitvoeren van het model wordt 320 GB geheugen aanbevolen. <\/p>\n
Voor het trainen van het model werd gebruikgemaakt van de MoE-architectuur (Mixture of Experts), die een nauwkeurigere evaluatie door experts mogelijk maakt, en een verzameling van 12 TB aan teksten en code. De contextgrootte die het DBRX-model in overweging neemt, bedraagt 32 duizend tokens (het aantal tokens dat het model kan verwerken en onthouden bij het genereren van tekst). Ter vergelijking, de contextgrootte van de modellen Google Gemini en OpenAI GPT-4 bedraagt 32 duizend tokens, Google Gemma \u2014 8 duizend, en het model GPT-4 Turbo \u2014 128 duizend. <\/p>\n
Het model omvat 132 miljard parameters en is verdeeld over 16 expert-netwerken, waarvan er bij de verwerking van een verzoek maximaal 4 kunnen worden gebruikt (met een dekking van maximaal 36 miljard parameters per token). Ter vergelijking, het model GPT-4 omvat naar schatting 1,76 biljoen parameters, het recent gelanceerde X\/Twitter-model Grok (X\/Twitter) \u2014 314 miljard, GPT-3.5 \u2014 175 miljard, YaLM (Yandex) \u2014 100 miljard, LLaMA (Meta) \u2014 65 miljard, GigaChat (Sber) \u2014 29 miljard, Gemma (Google) \u2014 7 miljard. <\/p>\n
Het model en de bijbehorende componenten worden verspreid onder de Databricks Open Model License, die het gebruik, de reproductie, het kopi\u00ebren, wijzigen en het cre\u00ebren van afgeleide producten toestaat, maar met bepaalde beperkingen. De licentie verbiedt bijvoorbeeld het gebruik van DBRX, afgeleide modellen en enige afgeleid output ter verbetering van andere taalmodellen dan DBRX. De licentie verbiedt ook het gebruik van het model in domeinen die in strijd zijn met de wet- en regelgeving. Afgeleide modellen moeten onder dezelfde licentie worden verspreid. Bij gebruik in producten en services die meer dan 700 miljoen gebruikers per maand bedienen, is een afzonderlijke toestemming vereist. <\/p>\n
Volgens de makers van het model overtreft DBRX in zijn kenmerken en mogelijkheden de GPT-3.5-modellen van OpenAI en Grok-1 van Twitter, en kan het concurreren met het Gemini 1.0 Pro-model bij het testen van de taalbegrip, mogelijkheden voor het schrijven van code in programmeertalen en het oplossen van wiskundige problemen. In bepaalde toepassingen, zoals het genereren van SQL-query's, benadert DBRX de effici\u00ebntie van het GPT-4 Turbo-model, dat de markt aanvoert. Bovendien onderscheidt het model zich van concurrerende diensten door zijn zeer snelle werking, waardoor het bijna onmiddellijk antwoorden kan genereren. DBRX kan bijvoorbeeld tekst genereren met een snelheid tot 150 tokens per seconde per gebruiker, wat ongeveer twee keer sneller is dan het LLaMA2-70B-model.
<\/center>
<\/center> <\/p>\n
Daarnaast kan de publicatie van de technische beschrijving van het openliggende grote taalmodel InternLM2 worden opgemerkt, dat wordt verspreid onder de Apache 2.0-licentie en beschikbaar is in versies met 20, 7 en 1,8 miljard parameters. Het model wordt ontwikkeld door het Shanghai AI-laboratorium in samenwerking met verschillende Chinese universiteiten en valt op door het kunnen verwerken van tot 200K tokens context en ondersteuning van niet alleen het Engels maar ook het Chinees. In veel tests is het model dicht bij GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Daarnaast wordt er gemeld dat er 84 nieuwe matrixvermenigvuldigingskernen worden ontwikkeld voor het llamafile-gereedschap, dat door Mozilla wordt ontwikkeld en waarmee universele uitvoerbare bestanden voor het uitvoeren van grote taalmodellen voor machine learning (LLM) kunnen worden gemaakt. De wijzigingen hebben de snelheid van de modellen in llamafile aanzienlijk verbeterd bij uitvoering op de CPU. Bijvoorbeeld, de uitvoering van modellen met llamafile is nu sneller dan bij het gebruik van llama.cpp met 30% tot 500%, afhankelijk van de omgeving, en in vergelijking met de MKL-bibliotheek worden matrixbewerkingen die in de L2-cache passen in de nieuwe implementatie twee keer zo snel uitgevoerd. \n Bron: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n