{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks hat ein gro\u00dfes Sprachmodell DBRX ver\u00f6ffentlicht, das in Tests GPT-3.5 \u00fcbertrifft.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Unternehmen Databricks hat ein gro\u00dfes Sprachmodell namens DBRX vorgestellt, das zur Erstellung von Chatbots verwendet werden kann, die Fragen in nat\u00fcrlicher Sprache beantworten, mathematische Probleme l\u00f6sen, Inhalte zu bestimmten Themen generieren und Codes in verschiedenen Programmiersprachen erstellen k\u00f6nnen. Das Modell wurde von Mosaic ML entwickelt, das von Databricks f\u00fcr 1,3 Milliarden Dollar gekauft wurde. Zum Training wurde ein Cluster aus 3072 NVIDIA H100 Tensor Core GPUs verwendet. F\u00fcr den Betrieb des fertiggestellten Modells wird 320 GB RAM empfohlen. <\/p>\n
Beim Training des Modells wurde die Architektur MoE (Mixture of Experts) verwendet, die eine pr\u00e4zisere Expertenbewertung erm\u00f6glicht, sowie eine Sammlung von Texten und Code mit einer Gr\u00f6\u00dfe von 12 TB. Die von dem Modell DBRX ber\u00fccksichtigte Kontextgr\u00f6\u00dfe betr\u00e4gt 32.000 Tokens (die Anzahl der Tokens, die das Modell bei der Textgenerierung verarbeiten und speichern kann). Zum Vergleich betr\u00e4gt die Kontextgr\u00f6\u00dfe bei den Modellen Google Gemini und OpenAI GPT-4 ebenfalls 32.000 Tokens, bei Google Gemma sind es 8.000, und das Modell GPT-4 Turbo hat eine Kontextgr\u00f6\u00dfe von 128.000 Tokens. <\/p>\n
Das Modell umfasst 132 Milliarden Parameter und ist in 16 Expertennetzwerke unterteilt, von denen bei der Verarbeitung einer Anfrage nicht mehr als 4 verwendet werden k\u00f6nnen (das entspricht nicht mehr als 36 Milliarden Parametern pro Token). Zum Vergleich umfasst das Modell GPT-4 sch\u00e4tzungsweise 1,76 Billionen Parameter, das k\u00fcrzlich eingef\u00fchrte X\/Twitter-Modell Grok (X\/Twitter) hat 314 Milliarden, GPT-3.5 hat 175 Milliarden, YaLM (Yandex) hat 100 Milliarden, LLaMA (Meta) hat 65 Milliarden, GigaChat (Sber) hat 29 Milliarden und Gemma (Google) hat 7 Milliarden. <\/p>\n
Das Modell und die zugeh\u00f6rigen Komponenten werden unter der Databricks Open Model License lizenziert, die die Nutzung, Vervielf\u00e4ltigung, Kopie, Modifikation und Erstellung abgeleiteter Produkte erlaubt, jedoch mit bestimmten Einschr\u00e4nkungen. Beispielsweise verbietet die Lizenz die Nutzung von DBRX, abgeleiteten Modellen und allen Ausgaben auf deren Basis zur Verbesserung anderer Sprachmodelle, die nicht DBRX sind. Die Lizenz verbietet auch die Nutzung des Modells in Bereichen, die gegen Gesetze und Vorschriften versto\u00dfen. Abgeleitete Modelle m\u00fcssen unter derselben Lizenz ver\u00f6ffentlicht werden. Bei der Verwendung in Produkten und Diensten, die von mehr als 700 Millionen Nutzern pro Monat verwendet werden, ist eine separate Genehmigung erforderlich. <\/p>\n
Laut den Entwicklern \u00fcbertrifft das Modell DBRX in Bezug auf seine Eigenschaften und F\u00e4higkeiten die Modelle GPT-3.5 von OpenAI und Grok-1 von Twitter und kann im Test des Sprachverst\u00e4ndnisses, der Programmierf\u00e4higkeiten sowie der L\u00f6sung mathematischer Aufgaben mit dem Modell Gemini 1.0 Pro konkurrieren. In einigen Anwendungen, wie beispielsweise bei der Generierung von SQL-Abfragen, erreicht DBRX in Bezug auf die Effizienz ann\u00e4hernd die Leistung des Modells GPT-4 Turbo, das f\u00fchrend auf dem Markt ist. Dar\u00fcber hinaus zeichnet sich das Modell durch eine sehr schnelle Verarbeitung aus und erm\u00f6glicht nahezu sofortige Antworten. Insbesondere kann DBRX Texte mit einer Geschwindigkeit von bis zu 150 Token pro Sekunde f\u00fcr einen Benutzer generieren, was ungef\u00e4hr doppelt so schnell ist wie das Modell LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Zus\u00e4tzlich sollte die Ver\u00f6ffentlichung der technischen Beschreibung des offenen gro\u00dfen Sprachmodells InternLM2 erw\u00e4hnt werden, das unter der Lizenz Apache 2.0 verbreitet wird und in Varianten mit 20, 7 und 1,8 Milliarden Parametern verf\u00fcgbar ist. Das Modell wird von einem KI-Labor in Shanghai mit der Beteiligung mehrerer chinesischer Universit\u00e4ten entwickelt und zeichnet sich durch die Ber\u00fccksichtigung von bis zu 200K Kontext-Token aus sowie durch die Unterst\u00fctzung nicht nur der englischen, sondern auch der chinesischen Sprache. In vielen Tests ist das Modell nah an GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Dar\u00fcber hinaus wird von der Entwicklung von 84 neuen Matrizen-Multiplikationskernen f\u00fcr das Tool llamafile berichtet, das von Mozilla entwickelt wird und die Erstellung universeller ausf\u00fchrbarer Dateien erm\u00f6glicht, um gro\u00dfe Sprachmodelle f\u00fcr maschinelles Lernen (LLM) auszuf\u00fchren. Die \u00c4nderungen haben die Ausf\u00fchrung der Modelle in llamafile auf CPU erheblich beschleunigt. Zum Beispiel ist die Ausf\u00fchrung von Modellen bei Verwendung von llamafile jetzt 30 % bis 500 % schneller als bei Verwendung von llama.cpp, abh\u00e4ngig von der Umgebung, und im Vergleich zur MKL-Bibliothek werden Matrizenoperationen, die im L2-Cache Platz finden, in der neuen Implementierung doppelt so schnell ausgef\u00fchrt. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n