Esitatud on OpenXLA, tööriistakomplekt masinõppemudelite optimeerimiseks ja kompileerimiseks.

Suured masinõppe arendamisega tegelevad ettevõtted on käivitanud projekti OpenXLA, mille eesmärk on ühendada jõud tööriistade arendamisel mudelite kompileerimise ja optimeerimise jaoks masinõppe süsteemides. Projekti all on välja töötatud tööriistad, mis võimaldavad ühtlustada mudelite kompileerimist, mis on loodud TensorFlow, PyTorch ja JAX raamistikes, et tõhusalt koolitada ja käitada erinevates GPU-s ja spetsialiseeritud kiirendites. Projekti on kaasatud sellised ettevõtted nagu Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba ja Amazon.

Oodatakse, et juhtivate teadusmeeskondade ja kogukonna liikmete koostöö tulemusena õnnestub edendada masinõppesüsteemide arengut ja lahendada probleem, mis on seotud erinevate raamistike ja riistvara infrastruktuuri fragmentatsiooniga. OpenXLA võimaldab rakendada tõhusat tuge erinevale riistvarale, olenemata sellest, millises raamistikus on masinõppe mudel loodud. Oodatakse, et OpenXLA abil õnnestub vähendada mudelite koolitamise aega, suurendada läbilaskevõimet, vähendada viivitusi, alandada arvutusressursside kulusid ja lühendada toote turuletoomise aega.

OpenXLA koosneb kolmest põhikomponendist, mille kood on jagatud Apache 2.0 litsentsi all:

• XLA (Accelerated Linear Algebra) — kompilaator, mis võimaldab optimeerida masinõppe mudeleid kõrge jõudlusega täitmiseks erinevatel riistvaraplatvormidel, sealhulgas GPU, CPU ja erinevatelt tootjatelt spetsialiseeritud kiirenditel.
• StableHLO — spetsifikatsioon ja baasseade HLO (High-Level Operations) kõrgtaseme operatsioonide komplekti rakendamiseks masinõppesüsteemide mudelites. See toimib sillana masinõppe raamistike ja kompilatorite vahel, mis muudavad mudeli konkreetse riistvara täitmiseks. Mudelite genereerimiseks StableHLO formaadis on valmid erinevates raamistiketes, sealhulgas PyTorch, TensorFlow ja JAX. StableHLO aluseks on MHLO komplekt, mis on laiendatud serialiseerimise ja versioonihalduse toega.
• IREE (Intermediate Representation Execution Environment) — kompilaator ja runtime, mis muundab masinõppe mudeleid universaalseks vaheesitusformaatiks, mis põhineb projekti LLVM MLIR (Multi-Level Intermediate Representation) formaadil. Eristatakse võimalust eelkompileerimiseks (ahead-of-time), voogude juhtimise toetust, dünaamiliste elementide kasutamise võimalust mudelites, optimeerimist erinevatele CPU ja GPU-dele ning madalaid üleliigseid kulusid.

OpenXLA tööriista peamised eelised:

• Optimaalse jõudluse saavutamine ilma vajaduseta süveneda seadme-spetsiifilise koodi kirjutamisse. Valmis optimeerimiste pakkumine, mis hõlmab algebrailiste avaldiste lihtsustamist, efektiivset mälukohta planeerimist, mille puhul arvestatakse mälu tipptarbimise ja ülekoormustega.
• Mõõtmete ja arvutuste parendamine ja paralleelne teostamine. Arendajal on piisav, kui lisada annotatsioone teatud kriitiliste tensorite alamhulgas, mille põhjal saab kompilaator automaatselt genereerida koodi paralleelseks arvutamiseks.
• Kandetransportimise tagamine, toetades erinevaid riistvaraplatvorme, nagu AMD ja NVIDIA GPU-d, x86 ja ARM arhitektuuril põhinevad CPU-d, Google'i TPU ML-kiirendajad, AWS Trainium Inferentia, Graphcore ja Cerebras Wafer-Scale Engine.
• Toetatakse laienduste ühendamist, mis rakendavad täiendavaid võimalusi, nagu sügava masinõppe primitiivide kirjutamise tugi, kasutades CUDA, HIP, SYCL, Triton ja muid paralleelsete arvutuste keeli. Võimalus manuaalselt timmida mudelite kitsaskohti.

Allikas: opennet.ru