Сайн уу Хабр! Том өгөгдөл болон машин сургалтын мэдээллийн багцууд асар хурдацтай нэмэгдэж байгаа тул бид тэдгээрийг дагаж мөрдөх шаардлагатай байна. Кингстоны лангуун дээр үзүүлсэн өндөр гүйцэтгэлтэй тооцооллын (HPC, High Performance Computing) өөр нэг шинэлэг технологийн тухай бидний нийтлэл . Энэ нь график боловсруулах нэгж (GPU) болон GPUDirect Storage автобусны технологи бүхий серверүүдэд Hi-End өгөгдөл хадгалах системийг (SDS) ашиглах явдал юм. Хадгалах систем болон GPU хоёрын хооронд шууд өгөгдөл солилцохын ачаар CPU-г алгасаж, GPU хурдасгуурт өгөгдөл ачаалах нь дарааллаар хурдасдаг тул Big Data програмууд нь GPU-ийн өгдөг хамгийн их гүйцэтгэлээр ажилладаг. Хариуд нь HPC системийн хөгжүүлэгчид Kingston-ын үйлдвэрлэсэн системүүд шиг хамгийн өндөр оролт гаралтын хурдтай хадгалах системүүдийн дэвшлийг сонирхож байна.
GPU гүйцэтгэл нь өгөгдөл ачааллаас давж гардаг
2007 онд GPU-д суурилсан техник хангамж-програм хангамжийн зэрэгцээ тооцоолох архитектурыг бий болгосноос хойш GPU-ийн техник хангамжийн чадавхи үнэхээр өссөн. Өнөөдөр GPU нь Big Data, machine learning (ML), гүнзгий суралцах (DL) зэрэг HPC програмуудад улам бүр ашиглагдаж байна.
Нэр томъёоны ижил төстэй байдлаас үл хамааран сүүлийн хоёр нь алгоритмын хувьд өөр ажил гэдгийг анхаарна уу. ML нь компьютерийг бүтэцлэгдсэн өгөгдөлд тулгуурлан сургадаг бол DL нь мэдрэлийн сүлжээний санал хүсэлт дээр үндэслэн компьютерийг сургадаг. Ялгааг ойлгоход туслах жишээ нь маш энгийн. Хадгалах системээс ачаалагдсан муур, нохойн зургийг компьютер ялгах ёстой гэж бодъё. ML-ийн хувьд та амьтны нэг онцлог шинж чанарыг тодорхойлсон олон шошго бүхий зургийн багцыг оруулах ёстой. DL-ийн хувьд илүү олон тооны зураг оруулахад хангалттай, гэхдээ зөвхөн "энэ бол муур" эсвэл "энэ бол нохой" гэсэн шошготой. DL нь бага насны хүүхдүүдэд хэрхэн заадагтай маш төстэй байдаг - тэдэнд ном, амьдрал дээрх нохой, муурны зургийг зүгээр л харуулдаг (ихэнхдээ нарийвчилсан ялгааг тайлбарлахгүйгээр), хүүхдийн тархи өөрөө амьтны төрлийг тодорхойлж эхэлдэг. Харьцуулахад зориулсан тодорхой тооны эгзэгтэй зургууд (Тооцоолсны дагуу бид бага насны хүүхдийн зуу эсвэл хоёр шоуны тухай ярьж байна). DL алгоритмууд хараахан тийм ч төгс төгөлдөр болоогүй байна: мэдрэлийн сүлжээ нь зургийг таних тал дээр амжилттай ажиллахын тулд GPU-д сая сая зургийг оруулж, боловсруулах шаардлагатай.
Оршил үгийн хураангуй: GPU дээр тулгуурлан та Big Data, ML болон DL талбарт HPC програмуудыг үүсгэж болно, гэхдээ асуудал байна - өгөгдлийн багц нь маш том тул хадгалах системээс GPU руу өгөгдөл ачаалахад зарцуулсан цаг хугацаа програмын ерөнхий гүйцэтгэлийг бууруулж эхэлдэг. Өөрөөр хэлбэл, бусад дэд системүүдээс ирж буй оролт/гаралтын өгөгдөл удаашралтай байгаа тул хурдан GPU-г дутуу ашигласаар байна. GPU-ийн оролт/гаралтын хурд ба CPU/хадгалах систем рүү чиглэсэн автобусны ялгаа нь асар том хэмжээтэй байж болно.
GPUDirect Storage технологи хэрхэн ажилладаг вэ?
Оролт/гаралтын процессыг процессор удирддаг ба хадгалалтаас өгөгдлийг GPU-д ачаалах процессыг цаашдын боловсруулалтанд оруулдаг. Энэ нь GPU болон NVMe хөтчүүдийн хооронд шууд холбогдох боломжийг олгох технологийн хүсэлтийг бий болгов. NVIDIA анх ийм технологийг санал болгосон бөгөөд үүнийг GPUDirect Storage гэж нэрлэсэн. Үнэн хэрэгтээ энэ нь тэдний өмнө нь хөгжүүлсэн GPUDirect RDMA (Remote Direct Memory Address) технологийн нэг хувилбар юм.
NVIDIA-ийн Гүйцэтгэх захирал Женсен Хуанг SC-19 дээр GPUDirect RDMA-ийн хувилбар болгон GPUDirect Storage-г танилцуулах болно. Эх сурвалж: NVIDIA
GPUDirect RDMA болон GPUDirect Storage хоёрын ялгаа нь хаяглалт хийгдсэн төхөөрөмжүүдэд байдаг. GPUDirect RDMA технологи нь урд талын сүлжээний интерфэйсийн карт (NIC) болон GPU санах ойн хооронд өгөгдлийг шууд зөөх зориулалттай бөгөөд GPUDirect Storage нь NVMe эсвэл NVMe over Fabric (NVMe-oF) болон NVMe гэх мэт дотоод болон алсын санах ойн хооронд шууд өгөгдлийн замыг өгдөг. GPU санах ой.
GPUDirect RDMA болон GPUDirect Storage хоёулаа CPU-ийн санах ойн буферээр дамжуулан шаардлагагүй өгөгдлийн хөдөлгөөнөөс зайлсхийж, санах ойн шууд хандалт (DMA) механизм нь сүлжээний карт эсвэл сангаас өгөгдлийг GPU санах ой руу шууд шилжүүлэх боломжийг олгодог - бүгд төв CPU дээр ачаалалгүйгээр. GPUDirect Storage-ийн хувьд хадгалах сангийн байршил хамаагүй: энэ нь GPU нэгж доторх NVME диск, тавиур дотор эсвэл NVMe-oF хэлбэрээр сүлжээнд холбогдсон байж болно.
GPUDirect Storage-ийн ажиллах схем. Эх сурвалж: NVIDIA
NVMe дээрх Hi-End хадгалах системүүд нь HPC хэрэглээний зах зээлд эрэлт хэрэгцээтэй байгаа
GPUDirect Storage бий болсноор томоохон хэрэглэгчдийн сонирхол GPU-ийн нэвтрүүлэх чадварт тохирсон оролт гаралтын хурдтай хадгалах системийг санал болгоход татагдах болно гэдгийг ухаарсан Кингстон SC-19 үзэсгэлэн дээр дараах системээс бүрдэх системийн үзүүлэнг үзүүлэв. NVMe диск дээр суурилсан хадгалах систем ба GPU бүхий төхөөрөмж нь секундэд олон мянган хиймэл дагуулын зургийг шинжилдэг. 10 DC1000M U.2 NVMe хөтөч дээр суурилсан ийм хадгалах системийн талаар бид аль хэдийн бичсэн. .
10 DC1000M U.2 NVMe хөтчүүд дээр суурилсан хадгалах систем нь график хурдасгуур бүхий серверийг хангалттай нөхдөг. Эх сурвалж: Кингстон
Энэхүү хадгалах систем нь 1U буюу түүнээс дээш хэмжээтэй өлгүүрийн нэгж хэлбэрээр бүтээгдсэн бөгөөд тус бүр нь 1000-2 ТБ багтаамжтай DC3.84M U.7.68 NVMe хөтчүүдийн тооноос хамаарч хэмжээг нь нэмэгдүүлэх боломжтой. DC1000M нь Kingston-ийн дата төвийн хөтчүүдийн шугамын U.2 хэлбэрийн хүчин зүйл дэх анхны NVMe SSD загвар юм. Энэ нь тэсвэрлэх чадвартай (DWPD, Драйв өдөрт бичдэг) бөгөөд энэ нь хөтчийн баталгаат ашиглалтын хугацаанд өдөрт нэг удаа өгөгдлийг бүрэн хүчин чадлаараа дахин бичих боломжийг олгодог.
Ubuntu 3.13 LTS үйлдлийн систем, Linux цөм 18.04.3-5.0.0-ерөнхий дээрх fio v31 туршилтанд үзэсгэлэнгийн хадгалалтын дээж нь тогтвортой дамжуулах чадвартай (Тогтвортой зурвасын өргөн) 5.8 сая IOPS унших хурдыг (Тогтвортой унших) харуулсан. ) 23.8 Гбит/с.
Kingston дахь SSD бизнесийн менежер Ариэль Перез шинэ хадгалах системийн талаар хэлэхдээ: "Бид хадгалалттай холбоотой уламжлалт өгөгдөл дамжуулахад саад болж байсан олон бэрхшээлийг арилгахын тулд дараагийн үеийн серверүүдийг U.2 NVMe SSD шийдлээр тоноглоход бэлэн байна. NVMe SSD хөтчүүд болон манай дээд зэрэглэлийн Server Premier DRAM-ийн хослол нь Кингстоныг салбарын хамгийн өргөн хүрээний төгсгөлөөс төгсгөл хүртэл өгөгдлийн шийдлүүдийн нэг болгодог."
gfio v3.13 туршилт нь DC23.8M U.1000 NVMe хөтчүүд дээрх демо хадгалах системийн хувьд 2 Gbps дамжуулах чадварыг харуулсан. Эх сурвалж: Кингстон
GPUDirect Storage эсвэл ижил төстэй технологийг ашиглан HPC програмуудад зориулсан ердийн систем ямар байх вэ? Энэ бол өлгүүр доторх функциональ нэгжүүдийг физик байдлаар тусгаарласан архитектур юм: RAM-д зориулж нэг эсвэл хоёр нэгж, GPU болон CPU-ийн тооцоолох зангилаанд хэд хэдэн нэгж, хадгалах системд зориулсан нэг буюу хэд хэдэн нэгж.
GPUDirect Storage-ийг зарлаж, бусад GPU үйлдвэрлэгчдээс ижил төстэй технологиуд гарч ирснээр Kingston-ийн өндөр хүчин чадалтай тооцоололд ашиглах зориулалттай хадгалах системүүдийн эрэлт нэмэгдэж байна. Тэмдэглэгээ нь GPU бүхий тооцоолох нэгжийн үүдэнд байрлах 40 эсвэл 100 Гбит сүлжээний картуудын нэвтрүүлэх чадвартай харьцуулах боломжтой хадгалах системээс өгөгдлийг унших хурд юм. Тиймээс Fabric-ээр дамжуулан гадаад NVMe-г багтаасан хэт өндөр хурдны хадгалах системүүд нь чамин шинж чанараас HPC-ийн хэрэглээний үндсэн урсгал руу шилжих болно. Шинжлэх ухаан, санхүүгийн тооцоололоос гадна тэд секундэд сая сая HD дүрсийг таних, таних хурд шаардагддаг Аюулгүй хотын түвшний аюулгүй байдлын систем эсвэл тээврийн хяналтын төвүүд гэх мэт бусад олон практик салбарт хэрэглэгдэх болно." шилдэг Хадгалах системийн зах зээлийн үүр
Kingston бүтээгдэхүүний талаарх дэлгэрэнгүй мэдээллийг эндээс авах боломжтой компани.
Эх сурвалж: www.habr.com
