{"id":107177,"date":"2023-03-10T12:48:22","date_gmt":"2023-03-10T10:48:23","guid":{"rendered":"https:\/\/prohoster.info\/?p=107177"},"modified":"2023-03-11T11:43:26","modified_gmt":"2023-03-11T09:43:26","slug":"predstavlen-openxla-instrumentarij-dlya-optimizaczii-i-kompilyaczii-modelej-mashinnogo-obucheniya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/predstavlen-openxla-instrumentarij-dlya-optimizaczii-i-kompilyaczii-modelej-mashinnogo-obucheniya","title":{"rendered":"OpenXLA vorgestellt \u2013 ein Toolkit zur Optimierung und Kompilierung von Modellen f\u00fcr maschinelles Lernen","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die f\u00fchrenden Unternehmen im Bereich maschinelles Lernen haben das Projekt OpenXLA ins Leben gerufen, das auf die gemeinsame Entwicklung von Werkzeugen zur Kompilierung und Optimierung von Modellen f\u00fcr maschinelles Lernen abzielt. Das Projekt umfasst die Entwicklung von Tools, die die Kompilierung von Modellen, die in den Frameworks TensorFlow, PyTorch und JAX vorbereitet wurden, vereinheitlichen, sodass sie effizient auf verschiedenen GPUs und spezialisierten Beschleunigern trainiert und ausgef\u00fchrt werden k\u00f6nnen. An der Zusammenarbeit in diesem Projekt sind Unternehmen wie Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba und Amazon beteiligt. <\/p>\n
Es wird erwartet, dass durch die Zusammenarbeit f\u00fchrender Forschungsteams und Vertreter der Community die Entwicklung von Maschinenlern-Systemen gef\u00f6rdert und das Problem der Fragmentierung der Infrastruktur f\u00fcr verschiedene Frameworks und Hardware gel\u00f6st wird. OpenXLA erm\u00f6glicht eine effektive Unterst\u00fctzung verschiedener Hardware, unabh\u00e4ngig davon, auf welchem Framework das Maschinenlernmodell basiert. Es wird davon ausgegangen, dass OpenXLA dazu beitr\u00e4gt, die Trainingszeit von Modellen zu reduzieren, die Durchsatzrate zu erh\u00f6hen, die Latenz zu verringern, die Kosten f\u00fcr Rechenressourcen zu senken und die Markteinf\u00fchrungszeit zu verk\u00fcrzen.
<\/center> <\/p>\n
OpenXLA besteht aus drei Hauptkomponenten, deren Code unter der Apache 2.0 Lizenz ver\u00f6ffentlicht wird: <\/p>\n
\n
XLA (Accelerated Linear Algebra) \u2014 ein Compiler, der es erm\u00f6glicht, Modelle des maschinellen Lernens f\u00fcr eine leistungsstarke Ausf\u00fchrung auf verschiedenen Hardware-Plattformen zu optimieren, einschlie\u00dflich GPU, CPU und spezialisierter Beschleuniger von verschiedenen Herstellern.\n
StableHLO \u2014 eine Spezifikation und grundlegende Implementierung eines Satzes von hochgradigen Operationen (HLO, High-Level Operations) zur Verwendung in Modellen von maschinellen Lernsystemen. Es fungiert als Schicht zwischen den Maschinenlern-Frameworks und den Compilern, die das Modell f\u00fcr die Ausf\u00fchrung auf spezifischer Hardware umwandeln. Schichten zur Generierung von Modellen im StableHLO-Format sind f\u00fcr die Frameworks PyTorch, TensorFlow und JAX vorbereitet. Die Grundlage f\u00fcr StableHLO bildet der MHLO-Satz, der um Unterst\u00fctzung f\u00fcr Serialisierung und Versionierung erweitert wurde.\n
IREE (Intermediate Representation Execution Environment) \u2014 ein Compiler und eine Laufzeitumgebung, die Modelle des maschinellen Lernens in ein universelles Zwischendarstellungformat umwandelt, das auf dem MLIR (Multi-Level Intermediate Representation) Format des LLVM-Projekts basiert. Zu den Besonderheiten geh\u00f6ren die M\u00f6glichkeit der Vorabkompilierung (ahead-of-time), Unterst\u00fctzung f\u00fcr die Steuerung des Programmablaufs, die Nutzung dynamischer Elemente in Modellen sowie die Optimierung f\u00fcr verschiedene CPUs und GPUs mit geringen Overhead-Kosten. <\/ul>\n
Die Hauptvorteile des OpenXLA-Toolkits: <\/p>\n
\n
Optimale Leistung erreichen, ohne sich mit spezifischem Code f\u00fcr bestimmte Ger\u00e4te auseinanderzusetzen. Bereitstellung fertiger Optimierungen, die die Vereinfachung algebraischer Ausdr\u00fccke, eine effiziente Speicherausnutzung und eine optimierte Ausf\u00fchrungsplanung zur Reduzierung des Spitzenverbrauchs von Speicher und \u00dcberlastungen umfassen.\n
Vereinfachung von Skalierung und Parallelisierung von Berechnungen. Der Entwickler muss lediglich Annotations f\u00fcr ein Subset kritischer Tensoren hinzuf\u00fcgen, basierend auf denen der Compiler automatisch Code f\u00fcr parallele Berechnungen generieren kann.\n
Sicherstellung der Portabilit\u00e4t durch Unterst\u00fctzung verschiedener Hardwareplattformen, wie z.B. AMD- und NVIDIA-GPUs, x86- und ARM-basierten CPUs, Google TPUs, AWS Trainium und Inferentia, Graphcore sowie Cerebras Wafer-Scale Engine.\n
Unterst\u00fctzung f\u00fcr die Verbindung von Erweiterungen zur Implementierung zus\u00e4tzlicher Funktionen, wie die Unterst\u00fctzung f\u00fcr das Schreiben von Primitiven des tiefen maschinellen Lernens unter Verwendung von CUDA, HIP, SYCL, Triton und anderen Programmiersprachen f\u00fcr parallele Berechnungen. M\u00f6glichkeit zur manuellen Anpassung von Engp\u00e4ssen in Modellen. <\/ul>\n
![\"OpenXLA](\"\/wp-content\/uploads\/2023\/03\/b684d2f57def6348f6a0037c36baf717.jpg\")
<\/center> <\/p>\n