Sustav će smanjiti troškove energije za pola.
/ fotografija CC BY-SA
Zašto nam je potrebna nova arhitektura?
Do 2030. elektronički uređaji će trošiti 40% sve energije proizvedene na planetu. Otprilike 20% ovog volumena doći će iz IT sektora i podatkovnih centara. Po Prema europskim analitičarima, podatkovni centri već sada “oduzimaju” 1,4% ukupne električne energije. Očekuje se da ovo .
SSD pohrana troši značajan dio električne energije. U razdoblju od 2012. do 2017. udio solid-state diskova u podatkovnim centrima . Iako SSD-ovi troše trećinu manje energije () od HDD-a, računi za struju ostaju veliki na razini podatkovnih centara.
Kako bi smanjili potrošnju energije solid-state diskova u podatkovnom centru, inženjeri s MIT-a razvili su novu SSD arhitekturu za pohranu. Zove se LightStore i omogućuje vam izravno povezivanje pogona s mrežom podatkovnog centra, zaobilazeći poslužitelje za pohranu podataka. Po autora, sustav će smanjiti troškove energije za pola.
Kako ovo radi
LightStore je flash pohrana ključeva i vrijednosti koja preslikava korisničke zahtjeve na pogone kao ključeve. Zatim se šalju poslužitelju koji oslobađa podatke povezane s tim ključem.
Sistem ugrađeni energetski učinkovit procesor, DRAM i NAND memorija. Upravlja se pomoću kontrolera i posebnog softvera. Kontroler je odgovoran za rad s NAND nizovima, a softver je odgovoran za obradu KV zahtjeva i pohranjivanje parova ključeva. Softverska arhitektura izgrađena je na temelju , koji se koristi u mnogim modernim DBMS-ovima.
Dijagram arhitekture može se predstaviti na sljedeći način:
Dijagram prikazuje osnovne komponente LightStorea. Klaster čvorova radi na parovima ključ-vrijednost. Aplikacijski poslužitelji povezani su sa sustavom pomoću adaptera. Oni pretvaraju klijentske zahtjeve (kao što je fread() iz POSIX API-ja) u KV zahtjeve. Arhitektura također ima zasebne adaptere za , blok (temeljen na BUSE modulu) i spremišta datoteka.
Prilikom distribucije zahtjeva, adapter koristi . Koristi se u sustavima kao što su Redis ili Swift. Koristeći KV ključ zahtjeva, adapter generira hash ključ čija vrijednost identificira ciljni čvor.
Kapacitet LightStore klastera linearno se skalira - samo povežite dodatne čvorove na mrežu. U nekim ćete slučajevima možda morati kupiti nove prekidače. Međutim, programeri su svaki čvor opremili dodatnim utorima za povezivanje NAND čipova.
Potencijal arhitekture
Inženjeri MIT-a kažu da rješenje temeljeno na LightStoreu ima propusnost od 620 Mbps preko 10 Gigabit Etherneta. Jedan čvor troši 10 W umjesto uobičajenih 20 W (u SSD sustavima koje danas koriste podatkovni centri). Osim toga, oprema zauzima pola prostora.
Sada programeri dovršavaju neke aspekte. Na primjer, LightStore ne može raditi s upitima raspona i malim upitima. Ove će značajke biti dodane u budućnosti, budući da LightStore koristi LSM stabla. Također, sustav još uvijek ima ograničen skup adaptera - YCSB i blok adapteri su podržani. U budućnosti će LightStore moći obraditi SQL upite itd.
Drugi razvoj događaja
U ljeto 2018. Marvell, tvrtka za razvoj pohrane podataka, predstavila je novu liniju SSD kontrolera temeljenih na AI sustavima. Programeri su integrirali NVIDIA akceleratore dubokog učenja u standardne kontrolere za podatkovne centre i klijentske aplikacije. Kao rezultat, stvorili su samostalnu arhitekturu koja troši manje energije u usporedbi s klasičnim SSD kontrolerima. Tvrtka se nada da će sustav naći primjenu u rubnom računalstvu, analitici velikih podataka i IoT-u.
Western Digital Blue linija pogona nedavno je ažurirana. U travnju su programeri predstavili rješenje - WD Blue SSD temeljen na SanDisk tehnologijama, koje je WD kupio prije godinu dana. Ažurirani WD Blue SSD-ovi nude poboljšane performanse i energetsku učinkovitost. Arhitektura je izgrađena na temelju specifikacije , koji omogućuje pristup SSD-ovima povezanim putem PCI Expressa.
Ova specifikacija poboljšava učinkovitost SSD diskova s velikim brojem istodobnih zahtjeva i ubrzava pristup podacima. Dodatno, NVMe vam omogućuje standardizaciju SSD sučelja - više za proizvođače hardvera za razvoj jedinstvenih upravljačkih programa, konektora i faktora oblika.
Planovi
Tržište SSD-ova za podatkovne centre kreće se prema pojednostavljenoj arhitekturi, automatizaciji komponenti za pohranu podataka i povećanoj energetskoj učinkovitosti. Razvoj inženjera s MIT-a rješava potonji problem. Autori da će LightStore postati industrijski standard za SSD pohranu u podatkovnim centrima. I možemo pretpostaviti da će se u budućnosti na temelju toga pojaviti nove, još učinkovitije arhitekture.
Nekoliko materijala s Prvog bloga o korporativnom IaaS-u:
Izvor: www.habr.com