System obniży koszty energii elektrycznej o połowę.
/ фото CC BY-SA
Po co potrzebna jest nowa architektura
, do 2030 roku urządzenia elektroniczne będą konsumować 40% całej energii produkowanej na świecie. Około 20% z tej kwoty przypadnie na sektor IT i centra danych. Według europejskich analityków, centra danych już „zabierają” 1,4% całej energii elektrycznej. Oczekuje się, że ta .
Znaczną część energii elektrycznej konsumują pamięci SSD. W okresie od 2012 do 2017 roku udział pamięci flash w centrach danych . Chociaż SSD zużywają o jedną trzecią mniej mocy (), niż HDD, w skali centrów danych rachunki za energię pozostają wysokie.
Aby obniżyć zużycie energii przez pamięci SSD w centrach danych, inżynierowie z MIT opracowali nową architekturę pamięci SSD. Zyskała ona nazwę LightStore i pozwala na bezpośrednie podłączanie pamięci do sieci centrów danych, omijając serwery pamięci. Według autorów, system obniży koszty energii elektrycznej o połowę.
Jak to działa
LightStore to pamięć flash typu klucz-wartość, w której zapytania użytkowników do pamięci są przedstawiane jako klucze. Następnie są one przesyłane do serwera, który zwalnia dane związane z tym kluczem.
System wbudowany energooszczędny procesor, pamięć DRAM i NAND. Zarządzają nią kontroler oraz specjalne oprogramowanie. Kontroler odpowiada za pracę z zestawami NAND, a oprogramowanie – za przetwarzanie zapytań KV i przechowywanie par kluczy. Architektura oprogramowania oparta jest na , które jest używane w wielu nowoczesnych systemach DBMS.
Schemat architektury można przedstawić w następujący sposób:
Na schemacie przedstawione są podstawowe komponenty LightStore. Klaster węzłów pracuje z parami klucz-wartość. Serwery aplikacji łączą się z systemem za pomocą adapterów. Przekształcają one zapytania klientów (na przykład, fread() z API POSIX) w zapytania KV. Architektura ma także oddzielne adaptery dla , pamięci blokowych (na bazie modułu BUSE) i pamięci plikowych.
Rozdzielając zapytania, adapter używa . Jego zastosowanie znajduje się w systemach takich jak Redis czy Swift. Przy użyciu klucza zapytania KV adapter generuje klucz haszujący, którego wartość wyznacza docelowy węzeł.
Pojemność klastra LightStore skalowalnie rośnie — wystarczy podłączyć dodatkowe węzły do sieci. W niektórych przypadkach może być konieczne zakupienie nowych przełączników. Jednak twórcy wyposażyli każdy węzeł w dodatkowe sloty do podłączenia chipów NAND.
Potencjał architektury
Inżynierowie z MIT twierdzą, że przepustowość rozwiązania opartego na LightStore wynosi 620 Mbit/s dla 10-gigabitowego Ethernetu. Jeden węzeł pobiera 10 W w porównaniu do standardowych 20 W (w systemach SSD używanych obecnie w centrach danych). Ponadto sprzęt zajmuje dwa razy mniej miejsca.
Obecnie twórcy pracują nad pewnymi kwestiami. Na przykład LightStore nie obsługuje zapytań w zakresie i małych zapytań. Te funkcje zostaną dodane w przyszłości, ponieważ LightStore korzysta z drzew LSM. System ma również ograniczony zestaw adapterów — obsługiwane są adaptery YCSB i blokowe. W przyszłości LightStore będzie mógł obsługiwać zapytania SQL i inne.
Inne osiągnięcia
Latem 2018 roku firma Marvell, deweloper systemów pamięci masowej, zaprezentowała nową linię kontrolerów SSD opartych na systemach AI. Deweloperzy wdrożyli akceleratory głębokiego uczenia NVIDIA do standardowych kontrolerów dla centrów danych i aplikacji klienckich. W rezultacie stworzyli autonomiczną architekturę, która zużywa mniej energii w porównaniu do klasycznych kontrolerów SSD. Firma ma nadzieję, że system znajdzie zastosowanie w obliczeniach brzegowych, analizie dużych zbiorów danych oraz IoT.
Niedawno zaktualizowano linię dysków Western Digital Blue. W kwietniu twórcy zaprezentowali rozwiązanie — WD Blue SSD oparte na technologiach SanDisk, które WD nabyło rok temu. Uaktualnione WD Blue SSD wyróżniają się zwiększoną wydajnością i efektywnością energetyczną. Architektura zbudowana jest na podstawie specyfikacji , która otwiera dostęp do SSD podłączonych przez PCI Express.
Ta specyfikacja zwiększa efektywność pracy dysków SSD przy dużej liczbie równoczesnych zapytań i przyspiesza dostęp do danych. Dodatkowo NVMe pozwala standaryzować interfejs SSD — producenci sprzętu nie muszą już na opracowywanie unikalnych sterowników, złączy i formatów.
Perspektywy
Rynek dysków SSD dla centrów danych zmierza w kierunku uproszczenia architektury, automatyzacji działania komponentów magazynowych i zwiększenia efektywności energetycznej. Opracowanie inżynierów z MIT rozwiązuje ostatni problem. Autorzy , że LightStore stanie się standardem przemysłowym dla dysków SSD w centrach danych. Można przypuszczać, że w przyszłości na jego podstawie pojawią się nowe, jeszcze bardziej efektywne architektury.
Kilka materiałów z Pierwszego bloga o korporacyjnym IaaS:
Źródło: habr.com
