{"id":107177,"date":"2023-03-10T12:48:22","date_gmt":"2023-03-10T10:48:23","guid":{"rendered":"https:\/\/prohoster.info\/?p=107177"},"modified":"2023-03-11T11:43:26","modified_gmt":"2023-03-11T09:43:26","slug":"predstavlen-openxla-instrumentarij-dlya-optimizaczii-i-kompilyaczii-modelej-mashinnogo-obucheniya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/predstavlen-openxla-instrumentarij-dlya-optimizaczii-i-kompilyaczii-modelej-mashinnogo-obucheniya","title":{"rendered":"OpenXLA a \u00e9t\u00e9 pr\u00e9sent\u00e9, un outil pour l'optimisation et la compilation des mod\u00e8les d'apprentissage automatique","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Les plus grandes entreprises de d\u00e9veloppement dans le domaine de l'apprentissage automatique ont pr\u00e9sent\u00e9 le projet OpenXLA, visant le d\u00e9veloppement collaboratif d'outils pour la compilation et l'optimisation de mod\u00e8les pour les syst\u00e8mes d'apprentissage automatique. Sous l'\u00e9gide du projet, le d\u00e9veloppement d'outils permettant d'unifier la compilation de mod\u00e8les pr\u00e9par\u00e9s dans les frameworks TensorFlow, PyTorch et JAX a \u00e9t\u00e9 pris en charge, pour un apprentissage et une ex\u00e9cution efficaces sur diff\u00e9rents GPU et acc\u00e9l\u00e9rateurs sp\u00e9cialis\u00e9s. Des entreprises telles que Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba et Amazon se sont jointes \u00e0 la collaboration sur le projet. <\/p>\n
On s'attend \u00e0 ce qu'en raison de l'unification des efforts des \u00e9quipes de recherche de premier plan et des repr\u00e9sentants de la communaut\u00e9, le d\u00e9veloppement des syst\u00e8mes d'apprentissage automatique soit stimul\u00e9 et que la fragmentation de l'infrastructure pour diff\u00e9rents frameworks et \u00e9quipements soit r\u00e9solue. OpenXLA permet de r\u00e9aliser un support efficace pour divers mat\u00e9riels, quelle que soit la base sur laquelle le mod\u00e8le d'apprentissage automatique a \u00e9t\u00e9 cr\u00e9\u00e9. On pr\u00e9voit qu'OpenXLA permettra de r\u00e9duire le temps d'entra\u00eenement des mod\u00e8les, d'augmenter la bande passante, de diminuer les latences, de r\u00e9duire les co\u00fbts des ressources informatiques et d'acc\u00e9l\u00e9rer la mise sur le march\u00e9 des produits.
<\/center> <\/p>\n
OpenXLA se compose de trois composants principaux, dont le code est distribu\u00e9 sous licence Apache 2.0 : <\/p>\n
\n
XLA (Linear Algebra Acc\u00e9l\u00e9r\u00e9) \u2014 un compilateur permettant d'optimiser les mod\u00e8les d'apprentissage automatique pour une ex\u00e9cution haute performance sur diff\u00e9rentes plateformes mat\u00e9rielles, y compris les GPU, CPU et des acc\u00e9l\u00e9rateurs sp\u00e9cialis\u00e9s de divers fabricants.\n
StableHLO \u2014 une sp\u00e9cification et une impl\u00e9mentation de base d'un ensemble d'op\u00e9rations de haut niveau (HLO, High-Level Operations) destin\u00e9es \u00e0 \u00eatre utilis\u00e9es dans les mod\u00e8les de syst\u00e8mes d'apprentissage automatique. Elle sert de couche interm\u00e9diaire entre les frameworks d'apprentissage automatique et les compilateurs, transformant le mod\u00e8le pour une ex\u00e9cution sur du mat\u00e9riel sp\u00e9cifique. Des couches pour la g\u00e9n\u00e9ration de mod\u00e8les au format StableHLO ont \u00e9t\u00e9 pr\u00e9par\u00e9es pour les frameworks PyTorch, TensorFlow et JAX. La base de StableHLO repose sur un ensemble MHLO, enrichi par le support de la s\u00e9rialisation et de la gestion des versions.\n
IREE (Environnement d'Ex\u00e9cution de Repr\u00e9sentation Interm\u00e9diaire) \u2014 un compilateur et un environnement d'ex\u00e9cution, transformant les mod\u00e8les d'apprentissage automatique en une repr\u00e9sentation interm\u00e9diaire universelle, fond\u00e9e sur le format MLIR (Repr\u00e9sentation Interm\u00e9diaire Multi-Niveau) du projet LLVM. Parmi ses caract\u00e9ristiques, on note la possibilit\u00e9 de compilation anticip\u00e9e (ahead-of-time), le support de la gestion de flux, l'utilisation d'\u00e9l\u00e9ments dynamiques dans les mod\u00e8les, ainsi que l'optimisation pour diff\u00e9rents CPU et GPU, avec des frais g\u00e9n\u00e9raux r\u00e9duits. <\/ul>\n
Principaux avantages de l'outil OpenXLA : <\/p>\n
\n
Atteinte d'une performance optimale sans avoir \u00e0 plonger dans l'\u00e9criture de code sp\u00e9cifique \u00e0 certains dispositifs. Fourniture d'optimisations pr\u00eates \u00e0 l'emploi, incluant la simplification des expressions alg\u00e9briques, la gestion efficace de la m\u00e9moire, et la planification de l'ex\u00e9cution en tenant compte de la r\u00e9duction des pics de consommation de m\u00e9moire et des surcharges.\n
Simplification du scalage et de la parall\u00e9lisation des calculs. Le d\u00e9veloppeur n'a qu'\u00e0 ajouter des annotations pour un sous-ensemble de tenseurs critiques, \u00e0 partir desquelles le compilateur peut g\u00e9n\u00e9rer automatiquement le code pour des calculs parall\u00e8les.\n
Assurance de portabilit\u00e9 gr\u00e2ce au support de diff\u00e9rentes plateformes mat\u00e9rielles, telles que les GPU AMD et NVIDIA, les CPU bas\u00e9s sur les architectures x86 et ARM, ainsi que les acc\u00e9l\u00e9rateurs ML TPU de Google, AWS Trainium Inferentia, Graphcore et Cerebras Wafer-Scale Engine.\n
Support de l'int\u00e9gration d'extensions permettant des fonctionnalit\u00e9s suppl\u00e9mentaires, comme le support d'\u00e9criture de primitives d'apprentissage profond \u00e0 l'aide de CUDA, HIP, SYCL, Triton et d'autres langages pour des calculs parall\u00e8les. Possibilit\u00e9 de r\u00e9glage manuel des goulets d'\u00e9tranglement dans les mod\u00e8les. <\/ul>\n
![\"OpenXLA](\"\/wp-content\/uploads\/2023\/03\/b684d2f57def6348f6a0037c36baf717.jpg\")
<\/center> <\/p>\n