Найбуйныя кампаніі, якія займаюцца распрацоўкай у вобласці машыннага навучання, прадставілі праект OpenXLA, накіраваны на сумеснае развіццё інструментара для кампіляцыі і аптымізацыі мадэляў для сістэм машыннага навучання. Пад крыло праекту перайшла распрацоўка прылад, якія дазваляюць уніфікаваць кампіляцыю мадэляў, падрыхтаваных у фрэймворках TensorFlow, PyTorch і JAX, для эфектыўнага навучання і выкананні на розных GPU і спецыялізаваных паскаральніках. Да сумеснай працы над праектам далучыліся такія кампаніі, як Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba і Amazon.
Чакаецца, што дзякуючы аб'яднанню намаганняў лідзіруючых даследчых каманд і прадстаўнікоў супольнасці ўдасца стымуляваць развіццё сістэм машыннага навучання і вырашыць праблему з фрагментацыяй інфраструктуры для розных фрэймворкаў і абсталявання. OpenXLA дазваляе рэалізаваць эфектыўную падтрымку рознага абсталявання, незалежна ад таго, на базе якога фрэймворка створана мадэль машыннага навучання. Чакаецца, што дзякуючы OpenXLA атрымаецца паменшыць час навучання мадэляў, падвысіць прапускную здольнасць, скараціць затрымкі, зменшыць выдаткі на вылічальныя рэсурсы і скараціць час высновы прадукта на рынак.
OpenXLA утвараюць тры асноўныя кампаненты, код якіх распаўсюджваецца пад ліцэнзіяй Apache 2.0:
- XLA (Accelerated Linear Algebra) - кампілятар, які дазваляе аптымізаваць мадэлі машыннага навучання для высокапрадукцыйнага выканання на розных апаратных платформах, уключаючы GPU, CPU і спецыялізаваныя паскаральнікі ад розных вытворцаў.
- StableHLO - спецыфікацыя і базавая рэалізацыя набору высокаўзроўневых аперацый (HLO, High-Level Operations) для выкарыстання ў мадэлях сістэм машыннага навучання. Выступае праслойкай паміж фрэймворкамі машыннага навучання і кампілятарамі, якія пераўтвараюць мадэль для выканання на пэўным абсталяванні. Праслойкі для генерацыі мадэляў у фармаце StableHLO падрыхтаваны для фрэймворкаў PyTorch, TensorFlow і JAX. У якасці асновы для StableHLO скарыстаны набор MHLO, які пашыраны падтрымкай серыялізацыі і версіявання.
- IREE (Intermediate Representation Execution Environment) – кампілятар і runtime, які пераўтварае мадэлі машыннага навучання ва ўніверсальнае прамежкавае ўяўленне, заснаванае на фармаце MLIR (Multi-Level Intermediate Representation) ад праекта LLVM. З асаблівасцяў адзначаецца магчымасць папярэдняй кампіляцыі (ahead-of-time), падтрымка кіравання патокам, магчымасць выкарыстання дынамічных элементаў у мадэлях, аптымізацыя для розных CPU і GPU, нізкія накладныя выдаткі.
Асноўныя перавагі інструментара OpenXLA:
- Дасягненне аптымальнай прадукцыйнасці без неабходнасці паглыблення ў напісанне кода, спецыфічнага для пэўных прылад. Прадастаўленне гатовых аптымізацый, якія ўключаюць спрашчэнне алгебраічных выразаў, эфектыўнае размяшчэнне ў памяці, планаванне выканання з улікам скарачэння пікавага спажывання памяці і перагрузак.
- Спрашчэнне маштабавання і распаралельвання вылічэнняў. Распрацоўніку дастаткова дадаць анатацыі для падмноства крытычных тэнсараў, на аснове якіх кампілятар можа аўтаматычна згенераваць код для паралельных вылічэнняў.
- Забеспячэнне пераноснасці за кошт падтрымкі розных апаратных платформаў, такіх як GPU AMD і NVIDIA, CPU на базе архітэктар x86 і ARM, ML-паскаральнікі TPU Googl, IPU AWS Trainium Inferentia, Graphcore і Cerebras Wafer-Scale Engine.
- Падтрымка падлучэння пашырэнняў з рэалізацыяй дадатковых магчымасцяў, такіх як падтрымка напісання прымітываў глыбокага машыннага навучання з выкарыстаннем CUDA, HIP, SYCL, Triton і іншых моў для паралельных вылічэнняў. Магчымасць ручнога цюнінгу вузкіх месцаў у мадэлях.
Крыніца: opennet.ru
