I februar var Stanford vertskap for en konferanse om høyytelses databehandling (HPC). VMware-representanter sa at når du arbeider med en GPU, er et system basert på en modifisert ESXi hypervisor ikke dårligere i hastighet enn bare metallløsninger.
Vi snakker om teknologiene som gjorde det mulig å oppnå dette.
/ bilde
Ytelsesproblem
Ifølge analytikere, ca 70% av arbeidsbelastningen i datasentre . Imidlertid kjører de resterende 30% fortsatt på bart metall uten hypervisorer. Disse 30 % består for det meste av høybelastningsapplikasjoner, for eksempel de som er relatert til trening av nevrale nettverk og bruk av GPUer.
Eksperter forklarer denne trenden med at hypervisoren, som et mellomliggende abstraksjonslag, kan påvirke ytelsen til hele systemet. I studier for fem år siden om å redusere arbeidshastigheten med 10 %. Derfor har ikke bedrifter og datasenteroperatører hastverk med å overføre HPC-arbeidsbelastninger til et virtuelt miljø.
Men virtualiseringsteknologier utvikler seg og forbedres. På en konferanse for en måned siden sa VMware at ESXi-hypervisoren ikke har en negativ innvirkning på GPU-ytelsen. Beregningshastigheten kan reduseres med tre prosent, som kan sammenlignes med bart metall.
Hvordan fungerer det
For å forbedre ytelsen til HPC-systemer med GPUer har VMware gjort en rekke endringer i hypervisoren. Spesielt ble den kvitt vMotion-funksjonen. Den er nødvendig for lastbalansering og overfører vanligvis virtuelle maskiner (VM-er) mellom servere eller GPU-er. Deaktivering av vMotion resulterte i at hver VM nå ble tildelt en spesifikk GPU. Dette bidro til å redusere kostnadene ved utveksling av data.
En annen nøkkelkomponent i systemet DirectPath I/O. Den lar CUDA parallelldatabehandlingsdriveren samhandle med virtuelle maskiner direkte og omgå hypervisoren. Når du trenger å kjøre flere VM-er på én GPU samtidig, brukes GRID vGPU-løsningen. Den deler kortets minne i flere segmenter (men beregningssyklusene er ikke delt).
Driftsdiagrammet til to virtuelle maskiner vil i dette tilfellet se slik ut:
Resultater og prognoser
selskap hypervisor ved å trene en språkmodell basert på . Ytelses "skaden" var bare 3–4 % sammenlignet med bart metall. Til gjengjeld var systemet i stand til å fordele ressurser etter behov avhengig av gjeldende belastning.
IT-giganten også med containere. Selskapets ingeniører trente nevrale nettverk til å gjenkjenne bilder. Samtidig ble ressursene til én GPU fordelt på fire container-VM-er. Som et resultat sank ytelsen til individuelle maskiner med 17 % (sammenlignet med en enkelt VM med full tilgang til GPU-ressurser). Imidlertid er antall bilder behandlet per sekund tre ganger. Det forventes at slike systemer applikasjoner innen dataanalyse og datamodellering.
Blant de potensielle problemene som VMware kan møte, eksperter ganske smal målgruppe. Et lite antall selskaper jobber fortsatt med høyytelsessystemer. Skjønt i Statista at innen 2021 vil 94 % av verdens datasenterarbeidsmengder være virtualisert. Av analytikere, vil verdien av HPC-markedet vokse fra 32 til 45 milliarder dollar i perioden fra 2017 til 2022.
/ bilde PD
Lignende løsninger
Det er flere analoger på markedet som er utviklet av store IT-selskaper: AMD og Intel.
Det første selskapet for GPU-virtualisering tilnærming basert på SR-IOV (en-rot input/output virtualisering). Denne teknologien gir VM-en tilgang til deler av systemets maskinvarefunksjoner. Løsningen lar deg dele GPUen mellom 16 brukere med lik ytelse av virtualiserte systemer.
Når det gjelder den andre IT-giganten, de på hypervisoren Citrix XenServer 7. Den kombinerer arbeidet til en standard GPU-driver og en virtuell maskin, som lar sistnevnte vise 3D-applikasjoner og skrivebord på enhetene til hundrevis av brukere.
Teknologiens fremtid
Virtuelle GPU-utviklere om implementering av AI-systemer og den økende populariteten til høyytelsesløsninger i bedriftsteknologimarkedet. De håper at behovet for å behandle store datamengder vil øke etterspørselen etter vGPUer.
Nå produsenter kombinere funksjonaliteten til CPU og GPU i én kjerne for å fremskynde løsning av problemer knyttet til grafikk, utføre matematiske beregninger, logiske operasjoner og databehandling. Utseendet til slike kjerner på markedet i fremtiden vil endre tilnærmingen til ressursvirtualisering og deres fordeling mellom arbeidsbelastninger i virtuelle og skymiljøer.
Hva du kan lese om emnet i bedriftsbloggen vår:
Et par innlegg fra vår Telegram-kanal:
Kilde: www.habr.com