Das OpenChatKit ist ein offenes Werkzeug, das darauf abzielt, die Entwicklung von Chatbots für spezialisierte und allgemeine Anwendungen zu vereinfachen. Das System ist dafür ausgelegt, Aufgaben wie Fragenbeantwortung, Durchführung mehrstufiger Dialoge, Zusammenfassung, Informationsextraktion und Textklassifizierung zu bewältigen. Der Code ist in Python geschrieben und wird unter der Apache 2.0-Lizenz vertrieben. Das Projekt umfasst ein vortrainiertes Modell, Code zur Schulung eines eigenen Modells, Tools zur Testung der Ergebnisse des Modells, Methoden zur Ergänzung des Modells mit Kontext aus externen Indizes und zur Anpassung des Basis-Modells an spezifische Anforderungen.
Als Grundlage für den Bot wird ein grundlegendes Modell für maschinelles Lernen (GPT-NeoXT-Chat-Base-20B) angeboten, das mit Hilfe eines Sprachmodells erstellt wurde, das etwa 20 Milliarden Parameter umfasst und für Konversationen optimiert ist. Für das Training des Modells wurden Daten aus den Sammlungen der Projekte LAION, Together und Ontocord.ai verwendet.
Um das bestehende Wissensfundament zu erweitern, wird ein System angeboten, das in der Lage ist, zusätzliche Informationen aus externen Repositories, APIs und anderen Quellen zu extrahieren. Beispielsweise kann die Aktualisierung von Informationen unter Verwendung von Daten aus Wikipedia und Nachrichtenfeeds erfolgen. Zusätzlich steht ein Moderationsmodell zur Verfügung, das mit 6 Milliarden Parametern trainiert wurde, basierend auf dem GPT-JT-Modell und für die Filterung unangemessener Fragen oder die Einschränkung von Diskussionen zu bestimmten Themen konzipiert ist.
Besonders erwähnenswert ist das Projekt ChatLLaMA, das eine Bibliothek zur Erstellung intelligenter Assistenten ähnelt ChatGPT bietet. Das Projekt entwickelt sich mit dem Blick auf die Möglichkeit, es auf eigener Hardware auszuführen, und ermöglicht die Schaffung personalisierter Lösungen, die auf spezifische Wissensbereiche abzielen (z. B. Medizin, Recht, Spiele, wissenschaftliche Forschung usw.). Der Code von ChatLLaMA wird unter der GPLv3-Lizenz bereitgestellt.
Das Projekt unterstützt die Verwendung von Modellen, die auf der LLaMA-Architektur (Large Language Model Meta AI) basieren, angeboten von Meta. Das vollständige LLaMA-Modell umfasst 65 Milliarden Parameter, jedoch wird empfohlen, für ChatLLaMA Varianten mit 7 und 13 Milliarden Parametern oder die Modelle GPTJ (6 Mrd.), GPTNeoX (1,3 Mrd.), 20BOPT (13 Mrd.), BLOOM (7,1 Mrd.) und Galactica (6,7 Mrd.) zu verwenden. Ursprünglich werden LLaMA-Modelle nur auf spezielle Anfrage an Forscher geliefert, aber da zur Datenübertragung Torrents verwendet wurden, haben Enthusiasten ein Skript vorbereitet, das es jedem ermöglicht, das Modell herunterzuladen.
Quelle: opennet.ru
