5.8 millean IOPS: carson a tha uimhir?

Halo Habr! Tha seataichean dàta airson Dàta Mòr agus ionnsachadh innealan a’ fàs gu mòr agus feumaidh sinn cumail suas riutha. Ar post mu theicneòlas ùr-ghnàthach eile ann an raon coimpiutaireachd àrd-choileanadh (HPC, Coimpiutaireachd Àrd-choileanadh), air a shealltainn aig bothan Kingston aig Supercomputing-2019. Is e seo cleachdadh siostaman stòraidh dàta Hi-End (SDS) ann an frithealaichean le aonadan giullachd grafaigeach (GPU) agus teicneòlas bus GPUDirect Storage. Taing do iomlaid dàta dìreach eadar an siostam stòraidh agus an GPU, a ’dol seachad air an CPU, tha luchdachadh dàta a-steach do luathadairean GPU air a luathachadh le òrdugh meudachd, agus mar sin bidh tagraidhean Dàta Mòr a’ ruith aig a ’choileanadh as àirde a bheir GPUs seachad. Aig an aon àm, tha ùidh aig luchd-leasachaidh siostam HPC ann an adhartasan ann an siostaman stòraidh leis na h-astaran I / O as àirde, leithid an fheadhainn a rinn Kingston.

Tha coileanadh GPU nas àirde na luchdachadh dàta

Bho chaidh CUDA, ailtireachd coimpiutaireachd co-shìnte bathar-cruaidh is bathar-bog stèidhichte air GPU airson a bhith a’ leasachadh thagraidhean coitcheann, a chruthachadh ann an 2007, tha comasan bathar-cruaidh GPUs fhèin air fàs gu h-iongantach. An-diugh, tha GPUs air an cleachdadh barrachd is barrachd ann an tagraidhean HPC leithid Dàta Mòr, ionnsachadh innealan (ML), agus ionnsachadh domhainn (DL).

Thoir an aire, a dh’ aindeoin cho coltach ‘s a tha teirmean, gu bheil an dà rud mu dheireadh nan gnìomhan eadar-dhealaichte a thaobh algorithm. Bidh ML a’ trèanadh a’ choimpiutair stèidhichte air dàta structaraichte, agus bidh DL a’ trèanadh a’ choimpiutair stèidhichte air fios air ais bho lìonra neural. Tha eisimpleir airson cuideachadh le bhith a 'tuigsinn nan eadar-dhealachaidhean gu math sìmplidh. Gabhamaid ris gum feum an coimpiutair eadar-dhealachadh a dhèanamh eadar dealbhan de chait is coin a tha air an luchdachadh bhon t-siostam stòraidh. Airson ML, bu chòir dhut seata de dhealbhan a chuir a-steach le mòran tagaichean, agus tha gach fear dhiubh a’ mìneachadh aon fheart sònraichte den bheathach. Airson DL, tha e gu leòr àireamh tòrr nas motha de dhealbhan a luchdachadh suas, ach le dìreach aon tag “is e cat a tha seo” no “is e cù a tha seo”. Tha DL glè choltach ri mar a tha clann òga air an teagasg - tha iad dìreach air an sealltainn dealbhan de choin is cait ann an leabhraichean agus ann am beatha (mar as trice, gun eadhon mìneachadh mionaideach air an eadar-dhealachadh), agus bidh eanchainn an leanaibh fhèin a’ tòiseachadh a ’dearbhadh an seòrsa beathach às deidh sin. àireamh èiginneach de dhealbhan airson coimeas (A rèir tuairmsean, chan eil sinn a 'bruidhinn ach mu cheud no dhà de thaisbeanaidhean rè tràth-òige). Chan eil algorithms DL fhathast cho foirfe: airson lìonra neural a bhith ag obair gu soirbheachail air ìomhaighean a chomharrachadh, feumar milleanan de dhealbhan a bhiadhadh agus a phròiseasadh a-steach don GPU.

Geàrr-chunntas air an ro-ràdh: stèidhichte air GPUs, faodaidh tu tagraidhean HPC a thogail ann an raon Dàta Mòr, ML agus DL, ach tha duilgheadas ann - tha na seataichean dàta cho mòr is gu bheil an ùine a chuirear seachad a ’luchdachadh dàta bhon t-siostam stòraidh chun GPU a’ tòiseachadh a’ lughdachadh coileanadh iomlan an tagraidh. Ann am faclan eile, tha GPUs luath fhathast gan cleachdadh mar thoradh air dàta slaodach I / O a ’tighinn bho fo-shiostaman eile. Faodaidh an eadar-dhealachadh ann an astar I / O an GPU agus am bus gu siostam CPU / stòraidh a bhith na òrdugh meudachd.

Ciamar a tha teicneòlas GPUDirect Storage ag obair?

Tha am pròiseas I / O fo smachd an CPU, mar a tha am pròiseas airson dàta a luchdachadh bho stòradh gu na GPUs airson tuilleadh giollachd. Dh’ adhbhraich seo iarrtas airson teicneòlas a bheireadh cothrom dìreach eadar GPUs agus draibhearan NVMe gus conaltradh gu sgiobalta ri chèile. B’ e NVIDIA a’ chiad fhear a thairg an leithid de theicneòlas agus thug e GPUDirect Storage air. Gu dearbh, is e atharrachadh a tha seo air an teicneòlas GPUDirect RDMA (Seòladh Cuimhne Iomallach) a leasaich iad roimhe.

Bidh Jensen Huang, Ceannard NVIDIA, a’ taisbeanadh GPUDirect Storage mar chaochladh de GPUDirect RDMA aig SC-19. Stòr: NVIDIA

Tha an eadar-dhealachadh eadar GPUDirect RDMA agus GPUDirect Storage anns na h-innealan eadar am bi seòladh air a dhèanamh. Tha teicneòlas GPUDirect RDMA air ath-chleachdadh gus dàta a ghluasad gu dìreach eadar a ’chairt eadar-aghaidh lìonra aghaidh (NIC) agus cuimhne GPU, agus tha GPUDirect Storage a’ toirt seachad slighe dàta dìreach eadar stòradh ionadail no iomallach leithid NVMe no NVMe thairis air Fabric (NVMe-oF) agus Cuimhne GPU.

Bidh an dà chuid GPUDirect RDMA agus GPUDirect Storage a’ seachnadh gluasadan dàta neo-riatanach tro bhufair ann an cuimhne CPU agus a’ leigeil leis an inneal ruigsinneachd cuimhne dìreach (DMA) dàta a ghluasad bhon chairt lìonra no stòradh gu dìreach gu no bho chuimhne GPU - uile gun luchd air a’ phrìomh CPU. Airson GPUDirect Storage, chan eil suidheachadh an stòraidh gu diofar: faodaidh e a bhith na diosc NVME taobh a-staigh aonad GPU, taobh a-staigh raca, no ceangailte thairis air an lìonra mar NVMe-oF.

Sgeama obrachaidh GPUDirect Storage. Stòr: NVIDIA

Tha iarrtas mòr air siostaman stòraidh Hi-End air NVMe ann am margaidh tagraidh HPC

A’ tuigsinn, le teachd GPUDirect Storage, gum bi ùidh luchd-ceannach mòr air a tharraing gu bhith a’ tabhann siostaman stòraidh le astaran I / O a rèir toradh an GPU, aig an taisbeanadh SC-19 sheall Kingston demo de shiostam anns a bheil a siostam stòraidh stèidhichte air diosgan NVMe agus aonad le GPU, a rinn mion-sgrùdadh air mìltean de dhealbhan saideal gach diog. Tha sinn mu thràth air sgrìobhadh mu leithid de shiostam stòraidh stèidhichte air draibhearan 10 DC1000M U.2 NVMe ann an aithisg bhon taisbeanadh supercomputer.

Bidh siostam stòraidh stèidhichte air draibhearan 10 DC1000M U.2 NVMe a ’cur gu h-iomchaidh ri frithealaiche le luathaichean grafaigs. Stòr: Kingston

Tha an siostam stòraidh seo air a dhealbhadh mar aonad raca 1U no nas motha agus faodar a sgèile a rèir an àireamh de dhràibhearan DC1000M U.2 NVMe, gach fear le comas 3.84-7.68 TB. Is e an DC1000M a’ chiad mhodail NVMe SSD ann am factar cruth U.2 ann an loidhne dhràibhearan ionad dàta Kingston. Tha ìre seasmhachd aige (DWPD, bidh Drive a’ sgrìobhadh gach latha), a’ leigeil leis dàta ath-sgrìobhadh gu làn chomas uair san latha airson beatha cinnteach an draibhidh.

Anns an deuchainn air fio v3.13 air an t-siostam obrachaidh Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic, sheall an sampall taisbeanaidh den t-siostam stòraidh astar leughaidh (Leughadh Seasmhach) de 5.8 millean IOPS le toradh seasmhach (Leud-bann Seasmhach) de 23.8 Gbps.

Thuirt Ariel Perez, manaidsear gnìomhachais SSD aig Kingston, mu na siostaman stòraidh ùra: “Tha sinn deiseil gus fuasglaidhean U.2 NVMe SSD uidheamachadh don ath ghinealach de luchd-frithealaidh gus cuir às do mhòran de na botail gluasad dàta a bha gu traidiseanta co-cheangailte ri stòradh. Tha an cothlamadh de dhràibhearan NVMe SSD agus ar prìomh Server Premier DRAM a’ dèanamh Kingston mar aon de na solaraichean fuasglaidhean dàta deireadh-gu-deireadh as coileanta sa ghnìomhachas. ”

Sheall an deuchainn gfio v3.13 trochur de 23.8 Gbps airson an t-siostam stòraidh demo air draibhearan DC1000M U.2 NVMe. Stòr: Kingston

Cò ris a bhiodh siostam àbhaisteach airson tagraidhean HPC coltach a’ cleachdadh GPUDirect Storage no teicneòlas coltach ris? Is e seo ailtireachd le sgaradh corporra de dh'aonadan gnìomh taobh a-staigh raca: aonad no dhà airson RAM, grunn a bharrachd airson nodan coimpiutaireachd GPU agus CPU, agus aon aonad no barrachd airson siostaman stòraidh.

Nuair a chaidh GPUDirect Storage ainmeachadh agus teicneòlasan coltach ri nochdadh bho luchd-reic GPU eile, tha iarrtas Kingston airson siostaman stòraidh air an dealbhadh airson an cleachdadh ann an coimpiutaireachd àrd-choileanaidh a’ leudachadh. Is e an comharradh astar leughaidh dàta bhon t-siostam stòraidh, an coimeas ris an gluasad de chairtean lìonra 40- no 100-Gbit aig beul aonad coimpiutaireachd le GPU. Mar sin, bidh siostaman stòraidh ultra-luath, a’ toirt a-steach NVMe taobh a-muigh tro Fabric, a’ dol bho bhith coimheach chun phrìomh shruth airson tagraidhean HPC. A bharrachd air saidheans agus àireamhachadh ionmhais, lorgaidh iad cleachdadh ann am mòran raointean practaigeach eile, leithid siostaman tèarainteachd aig ìre metropolitan Safe City no ionadan sgrùdaidh còmhdhail, far a bheil feum air astar aithneachaidh agus aithneachaidh milleanan de HD ìomhaighean gach diog, ”thuirt e. àite margaidh an t-siostam stòraidh as àirde

Gheibhear tuilleadh fiosrachaidh mu thoraidhean Kingston aig làrach-lìn oifigeil chompanaidh.

Source: www.habr.com