參與機器學習領域開發的最大公司提出了 OpenXLA 項目，旨在共同開發用於編譯和優化機器學習系統模型的工具。 該專案接管了工具的開發，使統一 TensorFlow、PyTorch 和 JAX 框架中準備的模型的編譯成為可能，以便在不同的 GPU 和專用加速器上進行有效的訓練和執行。 谷歌、NVIDIA、AMD、英特爾、Meta、蘋果、Arm、阿里巴巴和亞馬遜等公司都加入了該計畫的共同工作。
預計透過領先研究團隊和社區代表的努力，將有可能刺激機器學習系統的發展，並解決各種框架和設備的基礎設施碎片化問題。 OpenXLA 可讓您實現對各種硬體的有效支持，無論創建機器學習模型的框架如何。 OpenXLA 預計將減少模型訓練時間、提高吞吐量、減少延遲、降低運算成本並縮短上市時間。
OpenXLA 由三個主要元件組成，其程式碼在 Apache 2.0 許可證下分發：
- XLA（加速線性代數）是一種編譯器，可讓您最佳化機器學習模型，以便在各種硬體平台（包括 GPU、CPU 和來自各個製造商的專用加速器）上實現高效能執行。
- StableHLO 是一組用於機器學習系統模型的高階操作（HLO，High-Level Operations）的規格和基本實作。 充當機器學習框架和編譯器之間的層，用於轉換模型以在特定硬體上執行。 用於產生 StableHLO 格式模型的層是為 PyTorch、TensorFlow 和 JAX 框架準備的。 MHLO 集用作 StableHLO 的基礎，並經過擴展以支援序列化和版本控制。
- IREE（中間表示執行環境）是一個編譯器和執行時間，可將機器學習模型轉換為基於 LLVM 專案的 MLIR（多層中間表示）格式的通用中間表示。 功能包括預編譯（提前）的可能性、對流控制的支援、在模型中使用動態元素的能力、針對不同 CPU 和 GPU 的最佳化以及低開銷。
OpenXLA工具包的主要優點：
- 無需擔心編寫特定於設備的程式碼即可實現最佳效能。 提供現成的最佳化，包括代數表達式的簡化、高效的記憶體佈局、考慮減少峰值記憶體消耗和過載的執行調度。
- 簡化計算的縮放和並行化。 開發者只需要為關鍵張量的子集添加註釋，編譯器就可以根據註釋自動產生並行計算的程式碼。
- 透過支援各種硬體平台（例如 AMD 和 NVIDIA GPU、x86 和 ARM CPU、TPU Googl ML 加速器、AWS Trainium Inferentia IPU、Graphcore 和 Cerebras 晶圓級引擎）確保可攜性。
- 支援連接擴展與附加功能的實現，例如支援使用CUDA、HIP、SYCL、Triton等語言編寫深度機器學習原語進行並行計算。 手動調整模型瓶頸的可能性。
來源： opennet.ru
