Das Unternehmen Databricks hat die Einführung des großen Sprachmodells DBRX bekannt gegeben, das zur Entwicklung von Chatbots verwendet werden kann, die auf natürliche Sprache reagieren, mathematische Probleme lösen, Inhalte zu bestimmten Themen generieren und Code in verschiedenen Programmiersprachen erstellen können. Das Modell wurde von der Firma Mosaic ML entwickelt, die von Databricks für 1,3 Milliarden Dollar übernommen wurde. Zum Training kam ein Cluster von 3072 NVIDIA H100 Tensor Core GPUs zum Einsatz. Für den Betrieb des fertigen Modells wird eine Speicherkapazität von 320 GB empfohlen.
Bei der Modellierung wurde die MoE-Architektur (Mixture of Experts) verwendet, die genauere Expertenbewertungen ermöglicht, sowie eine Text- und Codekollektion mit einer Größe von 12 TB. Der von der DBRX-Modell berücksichtigte Kontext hat ein Volumen von 32.000 Tokens (die Anzahl der Tokens, die das Modell bei der Textgenerierung verarbeiten und speichern kann). Zum Vergleich: das Kontextvolumen der Modelle Google Gemini und OpenAI GPT-4 beträgt 32.000 Tokens, Google Gemma - 8.000 und das GPT-4 Turbo-Modell - 128.000.
Das Modell umfasst 132 Milliarden Parameter und ist in 16 Expertensysteme unterteilt, von denen bei der Bearbeitung einer Anfrage nicht mehr als 4 verwendet werden dürfen (maximal 36 Milliarden Parameter pro Token). Zum Vergleich umfasst das GPT-4-Modell schätzungsweise 1,76 Billionen Parameter, das kürzlich vorgestellte Grok-Modell von X/Twitter — 314 Milliarden, GPT-3.5 — 175 Milliarden, YaLM (Yandex) — 100 Milliarden, LLaMA (Meta) — 65 Milliarden, GigaChat (Sber) — 29 Milliarden, und Gemma (Google) — 7 Milliarden.
Das Modell und die zugehörigen Komponenten werden unter der Databricks Open Model License verbreitet, die die Nutzung, Vervielfältigung, Kopie, Änderung und Erstellung abgeleiteter Produkte erlaubt, jedoch mit bestimmten Einschränkungen. Beispielsweise verbietet die Lizenz die Nutzung von DBRX, von abgeleiteten Modellen und jegliche Ausgaben auf deren Basis zur Verbesserung anderer Sprachmodelle, die nicht DBRX sind. Die Lizenz untersagt auch die Nutzung des Modells in Bereichen, die gegen Gesetze und Vorschriften verstoßen. Abgeleitete Modelle müssen unter derselben Lizenz verbreitet werden. Bei der Verwendung in Produkten und Dienstleistungen, die von mehr als 700 Millionen Nutzern pro Monat verwendet werden, ist eine separate Genehmigung erforderlich.
Laut den Entwicklern des Modells übertrifft DBRX in Bezug auf seine Eigenschaften und Fähigkeiten die Modelle GPT-3.5 von OpenAI und Grok-1 von Twitter und kann in der Bewertung des Sprachverständnisses, der Programmiermöglichkeiten und der mathematischen Problemlösung mit dem Modell Gemini 1.0 Pro konkurrieren. In bestimmten Anwendungen, wie der Generierung von SQL-Abfragen, erreicht DBRX in der Effizienz nahezu das Niveau des führenden Marktes, GPT-4 Turbo. Zudem zeichnet sich das Modell durch eine außergewöhnlich schnelle Leistung aus und ermöglicht die fast sofortige Generierung von Antworten. Insbesondere kann DBRX Texte mit einer Geschwindigkeit von bis zu 150 Tokens pro Sekunde für einen einzelnen Benutzer generieren, was etwa doppelt so schnell ist wie das Modell LLaMA2-70B.
Zusätzlich kann die Veröffentlichung der technischen Beschreibung des offenen großen Sprachmodells InternLM2 erwähnt werden, das unter der Apache 2.0-Lizenz verfügbar ist und in Varianten mit 20, 7 und 1,8 Milliarden Parametern angeboten wird. Das Modell wird von einem Shanghai AI-Labor in Zusammenarbeit mit mehreren chinesischen Universitäten entwickelt und zeichnet sich durch eine Berücksichtigung von bis zu 200K Kontext-Tokens sowie Unterstützung für Englisch und Chinesisch aus. In vielen Tests liegt das Modell nahe bei GPT-4.
Darüber hinaus wird von der Entwicklung von 84 neuen Matrixmultiplikationskernen für das von Mozilla entwickelte llamafile-Toolkit berichtet, das die Erstellung von universellen ausführbaren Dateien zur Ausführung großer Sprachmodelle (LLM) ermöglicht. Die Änderungen haben es ermöglicht, die Leistung der Modelle in llamafile erheblich zu beschleunigen, wenn sie auf der CPU ausgeführt werden. Zum Beispiel ist die Ausführung von Modellen mit llamafile jetzt 30% bis 500% schneller als bei der Verwendung von llama.cpp, abhängig von der Umgebung, und im Vergleich zur MKL-Bibliothek werden Matrixoperationen, die im L2-Cache Platz finden, in der neuen Implementierung doppelt so schnell ausgeführt.
Quelle: opennet.ru
