System obniży koszty energii o połowę.
/ zdjęcie CC BY-SA
Dlaczego potrzebujemy nowej architektury?
Do 2030 roku urządzenia elektroniczne będą zużywać 40% całej energii wytwarzanej na planecie. Około 20% tego wolumenu będzie pochodzić z sektora IT i centrów danych. Przez Według europejskich analityków centra danych „pobierają” już 1,4% całej energii elektrycznej. Oczekuje się, że to .
Pamięć SSD zużywa znaczną część energii elektrycznej. W latach 2012-2017 udział dysków półprzewodnikowych w centrach danych . Chociaż dyski SSD zużywają o jedną trzecią mniej energii () niż dyski twarde, rachunki za energię elektryczną pozostają wysokie w skali centrów danych.
Aby zmniejszyć pobór mocy dysków półprzewodnikowych w centrum danych, inżynierowie z MIT opracowali nową architekturę pamięci masowej SSD. Nazywa się LightStore i umożliwia podłączenie dysków bezpośrednio do sieci centrum danych, z pominięciem serwerów pamięci masowej. Przez autorów system obniży koszty energii o połowę.
Jak to działa
LightStore to magazyn klucz-wartość flash, który mapuje żądania użytkowników na dyski jako klucze. Następnie są wysyłane do serwera, który udostępnia dane powiązane z tym kluczem.
System wbudowany energooszczędny procesor, pamięć DRAM i NAND. Sterowanie odbywa się za pomocą sterownika i specjalnego oprogramowania. Za pracę z tablicami NAND odpowiada kontroler, a oprogramowanie odpowiada za przetwarzanie żądań KV i przechowywanie par kluczy. Na tej podstawie zbudowana jest architektura oprogramowania , który jest używany w wielu nowoczesnych systemach DBMS.
Diagram architektury można przedstawić w następujący sposób:
Schemat przedstawia podstawowe komponenty LightStore. Klaster węzłów działa na parach klucz-wartość. Serwery aplikacji podłączane są do systemu za pomocą adapterów. Konwertują żądania klientów (takie jak fread() z API POSIX) na żądania KV. Architektura ma również osobne adaptery do , blokowe (bazujące na module BUSE) i magazyny plików.
Podczas dystrybucji żądań adapter używa . Stosowany jest w systemach takich jak Redis czy Swift. Korzystając z klucza żądania KV, adapter generuje klucz skrótu, którego wartość identyfikuje węzeł docelowy.
Pojemność klastra LightStore skaluje się liniowo – wystarczy podłączyć do sieci dodatkowe węzły. W niektórych przypadkach może być konieczne zakupienie nowych przełączników. Twórcy wyposażyli jednak każdy węzeł w dodatkowe gniazda do podłączenia chipów NAND.
Potencjał architektury
Inżynierowie z MIT twierdzą, że rozwiązanie oparte na LightStore zapewnia przepustowość 620 Mb/s w sieci 10 Gigabit Ethernet. Jeden węzeł zużywa 10 W zamiast zwykłych 20 W (w systemach SSD używanych obecnie w centrach danych). Ponadto sprzęt zajmuje połowę miejsca.
Teraz programiści finalizują niektóre aspekty. Na przykład LightStore nie może pracować z zapytaniami o zakres i małymi zapytaniami. Funkcje te zostaną dodane w przyszłości, ponieważ LightStore korzysta z drzew LSM. Ponadto system nadal ma ograniczony zestaw adapterów – obsługiwane są adaptery YCSB i blokowe. W przyszłości LightStore będzie mógł przetwarzać zapytania SQL itp.
Inne wydarzenia
Latem 2018 roku Marvell, firma zajmująca się rozwojem pamięci masowych, wprowadziła nową linię kontrolerów SSD opartych na systemach AI. Programiści zintegrowali akceleratory głębokiego uczenia się NVIDIA ze standardowymi kontrolerami dla centrów danych i aplikacji klienckich. W rezultacie stworzyli samodzielną architekturę, która zużywa mniej energii w porównaniu do klasycznych kontrolerów SSD. Firma ma nadzieję, że system znajdzie zastosowanie w przetwarzaniu brzegowym, analityce Big Data i IoT.
Linia dysków Western Digital Blue została niedawno zaktualizowana. W kwietniu twórcy zaprezentowali rozwiązanie - dysk WD Blue SSD oparty na technologiach SanDisk, który WD nabył rok temu. Zmodernizowane dyski SSD WD Blue zapewniają lepszą wydajność i oszczędność energii. Architektura jest budowana na podstawie specyfikacji , który zapewnia dostęp do dysków SSD podłączonych poprzez PCI Express.
Specyfikacja ta poprawia wydajność dysków SSD przy dużej liczbie jednoczesnych żądań i przyspiesza dostęp do danych. Dodatkowo NVMe umożliwia standaryzację interfejsu SSD – więcej dla producentów sprzętu do opracowywania unikalnych sterowników, złączy i form.
Perspektywy
Rynek dysków SSD do centrów danych zmierza w kierunku uproszczonej architektury, automatyzacji komponentów pamięci masowej i zwiększonej efektywności energetycznej. Rozwój inżynierów z MIT rozwiązuje ten ostatni problem. Autorski że LightStore stanie się standardem branżowym w zakresie przechowywania dysków SSD w centrach danych. I można przypuszczać, że w przyszłości na jej bazie pojawią się nowe, jeszcze wydajniejsze architektury.
Kilka materiałów z bloga First o korporacyjnym IaaS:
Źródło: www.habr.com