A legnagyobb gépi tanulás fejlesztésével foglalkozó cégek bemutatták az OpenXLA projektet, amely célja a gépi tanulási modellek fordításához és optimalizálásához szükséges eszközök közös fejlesztése. A projekt keretein belül a TensorFlow, PyTorch és JAX keretrendszerekben készült modellek fordításának egységesítésére szolgáló eszközök fejlesztése is folyamatban van, hogy hatékonyan lehessen tanítani és végrehajtani őket különböző GPU-kon és speciális gyorsítókön. A projekt közös munkatársai között megtalálható a Google, az NVIDIA, az AMD, az Intel, a Meta, az Apple, az Arm, az Alibaba és az Amazon.
Elvárható, hogy a vezető kutatócsapatok és a közösség képviselőinek erőfeszítéseinek összevonásával sikerül elősegíteni a gépi tanulási rendszerek fejlődését, valamint megoldani a különféle keretrendszerek és berendezések között fennálló infrastrukturális fragmentációs problémát. Az OpenXLA hatékony támogatást tesz lehetővé a különböző berendezésekhez, függetlenül attól, hogy mely keretrendszer alapján készült a gépi tanulási modell. Az OpenXLA révén várhatóan csökkenteni lehet a modellek tanítási idejét, növelni a átvitel sebességét, csökkenteni a késleltetést, mérsékelni a számítási költségeket és gyorsítani a termékpiacra jutást.
Az OpenXLA három fő összetevőből áll, melyek kódját Apache 2.0 licenc alá terjesztik:
- Az XLA (Accelerated Linear Algebra) — egy olyan fordító, amely lehetővé teszi a gépi tanulási modellek optimalizálását különböző hardverplatformok, köztük GPU-k, CPU-k és különböző gyártók speciális gyorsítói számára történő nagy teljesítményű végrehajtásra.
- A StableHLO a magas szintű műveletek (HLO, High-Level Operations) készletének specifikációja és alap implementációja, amely használható gépi tanulási rendszerek modelljeiben. Ez egy réteg a gépi tanulási keretrendszerek és a modellek konkrét berendezésen való végrehajtásra történő átalakítását végző fordítók között. A StableHLO formátumban történő modellek generálásához készített rétegek a PyTorch, TensorFlow és JAX keretrendszerekhez készültek. A StableHLO alapjául a MHLO készlet szolgál, amelyet a sorozat- és verziókezelés támogatásával bővítettek.
- IREE (Köztes Reprezentáció Végrehajtó Környezet) — egy fordító és runtime, amely a gépi tanulási modelleket az MLIR (Többszintű Köztes Reprezentáció) formátum alapú univerzális köztes reprezentációvá alakítja, amely az LLVM projektből származik. Kiemelkedő jellemzője a korai fordítás (ahead-of-time) lehetősége, a vezérlési áramlás támogatása, a modellekben használt dinamikus elemek lehetősége, valamint a különböző CPU és GPU optimizálása és az alacsony költség.
Az OpenXLA eszközkészlet fő előnyei:
- Optimális teljesítmény elérése anélkül, hogy szükséges lenne mélyebb kódírása, amely a specifikus eszközökre vonatkozik. Kész optimalizálások nyújtása, beleértve az algebrai kifejezések egyszerűsítését, a memóriahatékony elhelyezést, a végrehajtás ütemezését a csúcs memóriafogyasztás és terhelések csökkentésének figyelembevételével.
- A méretezés és a párhuzamos számítások egyszerűsítése. A fejlesztőnek elegendő annotációkat hozzáadnia a kritikus tenzorok egy részhalmazához, amely alapján a fordító automatikusan generálhat kódot párhuzamos számításokhoz.
- A hordozhatóság biztosítása különböző hardverplatformok támogatásával, mint például az AMD és NVIDIA GPU-k, x86 és ARM architektúrára épülő CPU-k, a Google TPU ML gyorsítók, az AWS Trainium Inferentia, a Graphcore és a Cerebras Wafer-Scale Engine.
- Kiegészítések csatlakoztatásának támogatása, amelyek további funkciókat valósítanak meg, mint például a CUDA, HIP, SYCL, Triton és más párhuzamos számítási nyelvek segítségével írt mély gépi tanulási primitívek írásának támogatása. A modellek szűk keresztmetszeteinek manuális finomhangolásának lehetősége.
Forrás: opennet.ru
