{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks hat das gro\u00dfe Sprachmodell DBRX eingef\u00fchrt, das in Tests GPT-3.5 \u00fcbertrifft.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Unternehmen Databricks hat die Einf\u00fchrung des gro\u00dfen Sprachmodells DBRX bekannt gegeben, das zur Entwicklung von Chatbots verwendet werden kann, die auf nat\u00fcrliche Sprache reagieren, mathematische Probleme l\u00f6sen, Inhalte zu bestimmten Themen generieren und Code in verschiedenen Programmiersprachen erstellen k\u00f6nnen. Das Modell wurde von der Firma Mosaic ML entwickelt, die von Databricks f\u00fcr 1,3 Milliarden Dollar \u00fcbernommen wurde. Zum Training kam ein Cluster von 3072 NVIDIA H100 Tensor Core GPUs zum Einsatz. F\u00fcr den Betrieb des fertigen Modells wird eine Speicherkapazit\u00e4t von 320 GB empfohlen. <\/p>\n
Beim Training des Modells wurde die Architektur MoE (Mixture of Experts) verwendet, die eine genauere Expertenbewertung erm\u00f6glicht. Zudem wurde eine Sammlung von 12 TB an Texten und Code genutzt. Der Kontext, den das Modell DBRX ber\u00fccksichtigt, umfasst 32.000 Tokens (die Anzahl der Tokens, die das Modell bei der Texterstellung verarbeiten und speichern kann). Zum Vergleich: Der Kontextumfang bei den Modellen Google Gemini und OpenAI GPT-4 betr\u00e4gt ebenfalls 32.000 Tokens, Google Gemma \u2014 8.000 Tokens, und das Modell GPT-4 Turbo \u2014 128.000 Tokens. <\/p>\n
Das Modell umfasst 132 Milliarden Parameter und ist in 16 Expertensysteme unterteilt, von denen bei der Verarbeitung einer Anfrage maximal 4 verwendet werden k\u00f6nnen (maximal 36 Milliarden Parameter pro Token). Zum Vergleich: Das Modell GPT-4 hat angeblich 1,76 Billionen Parameter, das k\u00fcrzlich ver\u00f6ffentlichte Grok-Modell (X\/Twitter) umfasst 314 Milliarden, GPT-3.5 \u2014 175 Milliarden, YaLM (Yandex) \u2014 100 Milliarden, LLaMA (Meta) \u2014 65 Milliarden, GigaChat (Sber) \u2014 29 Milliarden, und Gemma (Google) \u2014 7 Milliarden. <\/p>\n
Das Modell und die zugeh\u00f6rigen Komponenten werden unter der Databricks Open Model License verbreitet, die die Nutzung, Vervielf\u00e4ltigung, Kopie, \u00c4nderung und Erstellung abgeleiteter Produkte erlaubt, jedoch mit bestimmten Einschr\u00e4nkungen. Beispielsweise verbietet die Lizenz die Nutzung von DBRX, von abgeleiteten Modellen und jegliche Ausgaben auf deren Basis zur Verbesserung anderer Sprachmodelle, die nicht DBRX sind. Die Lizenz untersagt auch die Nutzung des Modells in Bereichen, die gegen Gesetze und Vorschriften versto\u00dfen. Abgeleitete Modelle m\u00fcssen unter derselben Lizenz verbreitet werden. Bei der Verwendung in Produkten und Dienstleistungen, die von mehr als 700 Millionen Nutzern pro Monat verwendet werden, ist eine separate Genehmigung erforderlich. <\/p>\n
Laut den Entwicklern des Modells \u00fcbertrifft DBRX in Bezug auf seine Eigenschaften und F\u00e4higkeiten die Modelle GPT-3.5 von OpenAI und Grok-1 von Twitter und kann in der Bewertung des Sprachverst\u00e4ndnisses, der Programmierm\u00f6glichkeiten und der mathematischen Probleml\u00f6sung mit dem Modell Gemini 1.0 Pro konkurrieren. In bestimmten Anwendungen, wie der Generierung von SQL-Abfragen, erreicht DBRX in der Effizienz nahezu das Niveau des f\u00fchrenden Marktes, GPT-4 Turbo. Zudem zeichnet sich das Modell durch eine au\u00dfergew\u00f6hnlich schnelle Leistung aus und erm\u00f6glicht die fast sofortige Generierung von Antworten. Insbesondere kann DBRX Texte mit einer Geschwindigkeit von bis zu 150 Tokens pro Sekunde f\u00fcr einen einzelnen Benutzer generieren, was etwa doppelt so schnell ist wie das Modell LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Zus\u00e4tzlich kann die Ver\u00f6ffentlichung der technischen Beschreibung des offenen gro\u00dfen Sprachmodells InternLM2 erw\u00e4hnt werden, das unter der Apache 2.0-Lizenz verf\u00fcgbar ist und in Varianten mit 20, 7 und 1,8 Milliarden Parametern angeboten wird. Das Modell wird von einem Shanghai AI-Labor in Zusammenarbeit mit mehreren chinesischen Universit\u00e4ten entwickelt und zeichnet sich durch eine Ber\u00fccksichtigung von bis zu 200K Kontext-Tokens sowie Unterst\u00fctzung f\u00fcr Englisch und Chinesisch aus. In vielen Tests liegt das Modell nahe bei GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Dar\u00fcber hinaus wird von der Entwicklung von 84 neuen Matrixmultiplikationskernen f\u00fcr das von Mozilla entwickelte llamafile-Toolkit berichtet, das die Erstellung von universellen ausf\u00fchrbaren Dateien zur Ausf\u00fchrung gro\u00dfer Sprachmodelle (LLM) erm\u00f6glicht. Die \u00c4nderungen haben es erm\u00f6glicht, die Leistung der Modelle in llamafile erheblich zu beschleunigen, wenn sie auf der CPU ausgef\u00fchrt werden. Zum Beispiel ist die Ausf\u00fchrung von Modellen mit llamafile jetzt 30% bis 500% schneller als bei der Verwendung von llama.cpp, abh\u00e4ngig von der Umgebung, und im Vergleich zur MKL-Bibliothek werden Matrixoperationen, die im L2-Cache Platz finden, in der neuen Implementierung doppelt so schnell ausgef\u00fchrt. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n