{"id":106888,"date":"2023-02-21T12:48:20","date_gmt":"2023-02-21T10:48:20","guid":{"rendered":"https:\/\/prohoster.info\/?p=106888"},"modified":"2023-02-21T12:49:17","modified_gmt":"2023-02-21T10:49:17","slug":"flexgen-dvizhok-dlya-zapuska-ai-botov-pohozhih-na-chatgpt-na-sistemah-s-odnim-gpu","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/flexgen-dvizhok-dlya-zapuska-ai-botov-pohozhih-na-chatgpt-na-sistemah-s-odnim-gpu","title":{"rendered":"FlexGen \u2014 eine Engine f\u00fcr das Ausf\u00fchren von KI-Bots, \u00e4hnlich wie ChatGPT, auf Systemen mit einer GPU","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Eine Gruppe von Forschern der Stanford-Universit\u00e4t, der University of California in Berkeley, der ETH Z\u00fcrich, der Higher School of Economics, der Carnegie Mellon University sowie von den Unternehmen Yandex und Meta hat den Quellcode einer Engine ver\u00f6ffentlicht, die das Ausf\u00fchren gro\u00dfer Sprachmodelle auf ressourcenbeschr\u00e4nkten Systemen erm\u00f6glicht. Diese Engine bietet die M\u00f6glichkeit, Funktionen zu erstellen, die ChatGPT und Copilot \u00e4hneln, indem sie ein vortrainiertes Modell OPT-175B mit 175 Milliarden Parametern auf einem handels\u00fcblichen Computer mit einer Gaming-Grafikkarte NVIDIA RTX3090, die mit 24 GB Video-Speicher ausgestattet ist, ausf\u00fchrt. Der Code ist in Python geschrieben, verwendet das Framework PyTorch und wird unter der Apache 2.0-Lizenz verbreitet. <\/p>\n
Im Lieferumfang enthalten ist ein Beispielskript zur Erstellung von Bots, das es erm\u00f6glicht, eines der \u00f6ffentlich verf\u00fcgbaren Sprachmodelle herunterzuladen und sofort mit der Kommunikation zu beginnen (zum Beispiel durch Ausf\u00fchren des Befehls python apps\/chatbot.py --model facebook\/opt-30b --percent 0 100 100 0 100 0<\/code>). Als Basis wird das ver\u00f6ffentlichte gro\u00dfe Sprachmodell von Facebook empfohlen, das auf Sammlungen von BookCorpus (10.000 B\u00fccher), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews usw.), Pushshift.io (basierend auf Reddit-Daten) und CCNewsV2 (Archiv von Nachrichten) trainiert wurde. Das Modell umfasst etwa 180 Milliarden Tokens (800 GB Daten). F\u00fcr das Training des Modells wurden 33 Tage Rechenleistung mit 992 NVIDIA A100 80GB GPUs aufgewendet. <\/p>\n
Bei der Ausf\u00fchrung des OPT-175B-Modells auf einem System mit einer einzelnen NVIDIA T4 GPU (16 GB) zeigte die FlexGen-Engine eine Leistung, die bis zu 100-mal besser ist als zuvor angebotene L\u00f6sungen. Dies macht den Einsatz von gro\u00dfen Sprachmodellen zug\u00e4nglicher und erm\u00f6glicht deren Betrieb auf Systemen ohne spezialisierte Beschleuniger. FlexGen kann auch f\u00fcr die Parallelisierung von Berechnungen mit mehreren GPUs skaliert werden. Zur Reduzierung der Modellgr\u00f6\u00dfe wird zudem ein eigenes Verfahren zur Kompression von Parametern und ein Caching-Mechanismus f\u00fcr Modelle angewendet. <\/p>\n
Derzeit unterst\u00fctzt FlexGen nur die OPT-Sprachmodelle, aber in Zukunft versprechen die Entwickler auch die Unterst\u00fctzung f\u00fcr BLOOM-Modelle (176 Milliarden Parameter, unterst\u00fctzt 46 Sprachen und 13 Programmiersprachen), CodeGen (der Code in 22 Programmiersprachen generieren kann) und GLM. Ein Beispiel eines Dialogs mit einem Bot, der auf FlexGen und dem OPT-30B-Modell basiert: <\/p>\n
\n
Mensch: Was ist der Name des h\u00f6chsten Berges der Welt? <\/p>\n
Assistent: Everest. <\/p>\n
Mensch: Ich plane eine Reise zu unserem Jubil\u00e4um. Was k\u00f6nnen wir unternehmen? <\/p>\n
Assistent: Nun, es gibt eine Reihe von Dingen, die Sie f\u00fcr Ihr Jubil\u00e4um tun k\u00f6nnen. Zuerst k\u00f6nnen Sie Karten spielen. Zweitens k\u00f6nnen Sie wandern gehen. Drittens k\u00f6nnen Sie ein Museum besuchen. <\/p><\/blockquote>\n