Sistem će smanjiti troškove energije za polovinu.
/ photo CC BY-SA
Zašto nam je potrebna nova arhitektura?
Do 2030. godine elektronski uređaji će trošiti 40% ukupne energije proizvedene na planeti. Otprilike 20% ovog obima dolaziće iz IT sektora i data centara. By Prema evropskim analitičarima, data centri već "oduzmu" 1,4% električne energije. Očekuje se da ovo .
SSD memorija troši značajan dio električne energije. U periodu od 2012. do 2017. godine, udio SSD uređaja u podatkovnim centrima . Iako SSD-ovi troše za trećinu manje energije () od HDD-a, računi za struju ostaju veliki u razmjerima podatkovnih centara.
Kako bi smanjili potrošnju energije SSD uređaja u podatkovnom centru, inženjeri sa MIT-a razvili su novu arhitekturu SSD memorije. Zove se LightStore i omogućava vam da povežete diskove direktno na mrežu data centra, zaobilazeći servere za skladištenje podataka. By autori, sistem će smanjiti troškove energije za polovinu.
Kako ovo radi
LightStore je flash memorija ključ/vrijednost koja preslikava zahtjeve korisnika na diskove kao ključeve. Zatim se šalju na server, koji oslobađa podatke povezane s tim ključem.
sistem ugrađeni energetski efikasan procesor, DRAM i NAND memorija. Njime se upravlja pomoću kontrolera i posebnog softvera. Kontroler je odgovoran za rad sa NAND nizovima, a softver je odgovoran za obradu KV zahtjeva i pohranjivanje parova ključeva. Arhitektura softvera je izgrađena na osnovu , koji se koristi u mnogim modernim DBMS-ovima.
Arhitektonski dijagram se može predstaviti na sljedeći način:
Dijagram prikazuje osnovne komponente LightStore-a. Klaster čvorova radi na parovima ključ/vrijednost. Aplikacioni serveri su povezani na sistem pomoću adaptera. Oni pretvaraju klijentske zahtjeve (kao što je fread() iz POSIX API-ja) u KV zahtjeve. Arhitektura također ima odvojene adaptere za , blok (zasnovan na BUSE modulu) i skladišta datoteka.
Prilikom distribucije zahtjeva koristi se adapter . Koristi se u sistemima kao što su Redis ili Swift. Koristeći ključ KV zahtjeva, adapter generiše hash ključ čija vrijednost identificira ciljni čvor.
Kapacitet LightStore klastera se linearno skalira - samo povežite dodatne čvorove na mrežu. U nekim slučajevima, možda ćete morati kupiti nove prekidače. Međutim, programeri su opremili svaki čvor dodatnim slotovima za povezivanje NAND čipova.
Potencijal arhitekture
Inženjeri MIT-a kažu da rješenje zasnovano na LightStore-u ima propusnost od 620 Mbps preko 10 Gigabit Etherneta. Jedan čvor troši 10 W umjesto uobičajenih 20 W (u SSD sistemima koje danas koriste data centri). Osim toga, oprema zauzima polovinu prostora.
Sada programeri finaliziraju neke aspekte. Na primjer, LightStore ne može raditi s upitima raspona i malim upitima. Ove karakteristike će biti dodane u budućnosti, pošto LightStore koristi LSM stabla. Takođe, sistem i dalje ima ograničen set adaptera - podržani su YCSB i blok adapteri. U budućnosti, LightStore će moći da obrađuje SQL upite itd.
Ostali razvoji
U ljeto 2018. godine, Marvell, kompanija za razvoj pohrane, predstavila je novu liniju SSD kontrolera baziranih na AI sistemima. Programeri su integrirali NVIDIA akceleratore dubokog učenja u standardne kontrolere za podatkovne centre i klijentske aplikacije. Kao rezultat toga, stvorili su samostalnu arhitekturu koja troši manje energije u odnosu na klasične SSD kontrolere. Kompanija se nada da će sistem naći primjenu u rubnom računarstvu, analitici velikih podataka i IoT-u.
Western Digital Blue linija diskova je nedavno ažurirana. U aprilu su programeri predstavili rešenje - WD Blue SSD zasnovan na SanDisk tehnologijama, koji je WD kupio pre godinu dana. Ažurirani WD Blue SSD diskovi nude poboljšane performanse i energetsku efikasnost. Arhitektura je izgrađena na osnovu specifikacije , koji omogućava pristup SSD-ovima povezanim putem PCI Express-a.
Ova specifikacija poboljšava efikasnost SSD diskova sa velikim brojem istovremenih zahteva i ubrzava pristup podacima. Pored toga, NVMe vam omogućava da standardizujete SSD interfejs - više za proizvođače hardvera za razvoj jedinstvenih drajvera, konektora i faktora oblika.
Perspektive
Tržište SSD centara podataka kreće se ka pojednostavljenoj arhitekturi, automatizaciji komponenti za skladištenje podataka i povećanju energetske efikasnosti. Razvoj inženjera sa MIT-a rješava ovaj posljednji problem. Autori da će LightStore postati industrijski standard za SSD pohranu u podatkovnim centrima. I možemo pretpostaviti da će se u budućnosti na njoj pojaviti nove, još efikasnije arhitekture.
Nekoliko materijala sa Prvog bloga o korporativnom IaaS-u:
izvor: www.habr.com