Zespół inżynierów z MIT opracował obiektową hierarchię pamięci, która umożliwia wydajniejszą pracę z danymi. W artykule zrozumiemy, jak to działa.
/ /PD
Jak wiadomo, wzrostowi wydajności nowoczesnych procesorów nie towarzyszy odpowiednie zmniejszenie opóźnień podczas dostępu do pamięci. Różnica w zmianach wskaźników z roku na rok może sięgać nawet 10 razy (). W rezultacie powstaje wąskie gardło, które uniemożliwia pełne wykorzystanie dostępnych zasobów i spowalnia przetwarzanie danych.
Uszkodzenia wydajności spowodowane są tzw. opóźnieniem dekompresyjnym. W niektórych przypadkach przygotowawcza dekompresja danych może zająć do 64 cykli procesora.
Dla porównania: dodawanie i mnożenie liczb zmiennoprzecinkowych nie więcej niż dziesięć cykli. Problem w tym, że pamięć pracuje z blokami danych o stałym rozmiarze, a aplikacje operują obiektami, które mogą zawierać różne typy danych i różnią się od siebie rozmiarem. Aby rozwiązać ten problem, inżynierowie z MIT opracowali obiektową hierarchię pamięci, która optymalizuje przetwarzanie danych.
Jak działa technologia
Rozwiązanie opiera się na trzech technologiach: Hotpadach, Zippadach oraz algorytmie kompresji COCO.
Hotpady to sterowana programowo hierarchia szybkiej pamięci rejestrowanej (). Rejestry te nazywane są padami i są ich trzy – od L1 do L3. Przechowują obiekty o różnych rozmiarach, metadane i tablice wskaźników.
Zasadniczo architektura jest systemem pamięci podręcznej, ale dostosowana do pracy z obiektami. Poziom podkładki, na której znajduje się przedmiot, zależy od tego, jak często jest używany. Jeżeli któryś z poziomów „przepełni się”, system uruchamia mechanizm przypominający „śmieciarki” w językach Java lub Go. Analizuje, które obiekty są używane rzadziej niż inne i automatycznie przenosi je pomiędzy poziomami.
Zippady działają na Hotpadach - archiwizują i unarchiwizują dane, które wchodzą lub opuszczają dwa ostatnie poziomy hierarchii - pad L3 i pamięć główna. Pierwszy i drugi pad przechowują dane bez zmian.
Zippads kompresuje obiekty, których rozmiar nie przekracza 128 bajtów. Większe obiekty dzielone są na części, które następnie umieszczane są w różnych obszarach pamięci. Jak piszą twórcy, takie podejście zwiększa współczynnik efektywnie wykorzystywanej pamięci.
Do kompresji obiektów wykorzystuje się algorytm COCO (Cross-Object COmpression), o którym porozmawiamy później, choć system może także współpracować z lub . Algorytm COCO jest rodzajem kompresji różnicowej (). Porównuje obiekty z „bazą” i usuwa zduplikowane bity - patrz schemat poniżej:
Według inżynierów z MIT ich obiektowa hierarchia pamięci jest o 17% bardziej produktywna niż podejścia klasyczne. Jest znacznie bliższa w projektowaniu architekturze nowoczesnych aplikacji, więc nowa metoda ma potencjał.
Oczekuje się, że jako pierwsze zaczną korzystać z tej technologii firmy zajmujące się big data i algorytmami uczenia maszynowego. Kolejnym potencjalnym kierunkiem są platformy chmurowe. Dostawcy IaaS będą mogli wydajniej pracować z wirtualizacją, systemami przechowywania danych i zasobami obliczeniowymi.
Nasze dodatkowe zasoby i źródła:
Źródło: www.habr.com