🥇100GbE: luksus czy paląca potrzeba?

IEEE P802.3ba, standard dla przesyłania danych przez 100-gigabitowe kanały Ethernet (100GbE), rozwijany był w latach 2007-2010 [3], ale zyskał szerokie zastosowanie dopiero w 2018 roku [5]. Dlaczego właśnie w 2018, a nie wcześniej? I dlaczego od razu w masowej skali? Istnieje co najmniej pięć powodów…

Standard IEEE P802.3ba został rozwinięty przede wszystkim w celu zaspokojenia potrzeb centrów danych oraz punktów wymiany ruchu internetowego (między niezależnymi operatorami); a także w celu zapewnienia ciągłości działania zasobożernych serwisów internetowych, takich jak portale z dużą ilością treści wideo (np. YouTube); oraz do prowadzenia obliczeń o wysokiej wydajności. [3] Zwykli użytkownicy internetu również przyczyniają się do zmiany wymagań dotyczących przepustowości: wielu ma cyfrowe kamery i chcą przesyłać nagrany przez siebie materiał przez internet. W ten sposób objętość treści krążącej w internecie z biegiem czasu staje się coraz większa. Zarówno na poziomie profesjonalnym, jak i konsumenckim. We wszystkich tych przypadkach, podczas przesyłania danych z jednej domeny do drugiej, łączna przepustowość kluczowych węzłów sieciowych już dawno przekroczyła możliwości portów 10GbE. [1] To właśnie spowodowało pojawienie się nowego standardu: 100GbE.

Duże centra danych i dostawcy usług chmurowych już aktywnie stosują 100GbE i planują w ciągu kilku lat stopniowo przechodzić na 200GbE i 400GbE. Już teraz poszukują prędkości przekraczających terabit. [6] Chociaż wśród dużych dostawców są też tacy, którzy przeszli na 100GbE dopiero w ubiegłym roku (np. Microsoft Azure). Centra danych, prowadzące obliczenia o wysokiej wydajności dla usług finansowych, platform rządowych, platform naftowo-gazowych i usług komunalnych, również zaczęły przechodzić na 100GbE. [5]

W korporacyjnych centrach danych zapotrzebowanie na przepustowość jest nieco niższe: dopiero niedawno 10GbE stała się tam niezbędnością, a nie luksusem. Jednak przy rosnącej intensywności zużycia ruchu, wątpliwe, czy 10GbE przetrwa w korporacyjnych centrach danych przynajmniej 10 lub nawet 5 lat. Zamiast tego zobaczymy szybkie przejście na 25GbE, a jeszcze szybsze na 100GbE. [6] Jak zauważają analitycy Intela, intensywność ruchu wewnętrznego w centrach danych rośnie co roku o 25%. [5]

Analitycy Dell i Hewlett Packard zauważają [4], że rok 2018 to rok 100GbE dla centrów danych. Już w sierpniu 2018 roku dostawy sprzętu 100GbE dwukrotnie przewyższyły dostawy za cały 2017 rok. Tempo dostaw nadal rośnie, ponieważ centra danych zaczęły masowo odchodzić od 40GbE. Oczekuje się, że do 2022 roku corocznie będzie dostarczanych 19,4 mln portów 100GbE (w 2017 roku, dla porównania, ta liczba wynosiła 4,6 mln). [4] Jeśli chodzi o wydatki, to w 2017 roku na porty 100GbE wydano 7 miliardów dolarów, a w 2020 roku, według prognoz, zostanie wydanych około 20 miliardów dolarów (patrz rys. 1). [1]

Rysunek 1. Statystyki i prognozy popytu na sprzęt sieciowy

Dlaczego teraz? 100GbE to nie jest nowa technologia, więc dlaczego to właśnie teraz wokół niej toczy się taki zgiełk?

1) Ponieważ technologia ta dojrzała i stała się tańsza. To właśnie w 2018 roku przekroczyliśmy punkt, w którym wykorzystanie w centrach danych platform z portami 100-gigabitowymi stało się bardziej opłacalne niż "stacjonowanie" kilku platform 10-gigabitowych. Przykład: Ciena 5170 (patrz rys. 2) – kompaktowa platforma, która zapewnia łączną przepustowość 800GbE (4x100GbE, 40x10GbE). Jeśli do zapewnienia wymaganej przepustowości potrzebnych jest kilka portów 10-gigabitowych, to koszty dodatkowego sprzętu, zajmowanej przestrzeni, nadmiernego zużycia energii, bieżącej konserwacji, dodatkowych części zamiennych i dodatkowych systemów chłodzenia – sumują się w dość okrągłą kwotę. [1] Na przykład, specjaliści Hewlett Packard, analizując potencjalne korzyści z przejścia od 10GbE do 100GbE, doszli do następujących liczb: wydajność wyższa (o 56%), łączna kwota wydatków mniejsza (o 27%), mniejsze zużycie energii (o 31%), uproszczenie powiązań kablowych (o 38%). [5]

Rysunek 2. Ciena 5170: przykład platformy z portami 100-gigabitowymi

2) Juniper i Cisco w końcu stworzyli swoje własne układy ASIC dla przełączników 100GbE. [5] Co jest wymownym potwierdzeniem, że technologia 100GbE naprawdę dojrzała. Chodzi o to, że układy ASIC są opłacalne do produkcji tylko wtedy, gdy, po pierwsze, realizowana na nich logika nie wymaga zmian w najbliższej przyszłości, a po drugie, gdy produkowana jest duża liczba identycznych chipów. Juniper i Cisco nie zdecydowaliby się na produkcję tych ASIC, gdyby nie byli pewni dojrzałości 100GbE.

3) Ponieważ Broadcom, Cavium i Mellanox Technologie zaczęły wytwarzać procesory z obsługą 100GbE, a te procesory są już wykorzystywane w przełącznikach takich producentów jak Dell, Hewlett Packard, Huawei Technologies, Lenovo Group i inni. [5]

4) Ponieważ serwery umieszczone w szafach serwerowych coraz częściej są wyposażane w najnowsze adaptery sieciowe Intel (zob. ryc. 3), z dwoma portami 25-gigabitowymi, a czasami nawet w konwergentne adaptery sieciowe z dwoma portami 40-gigabitowymi (XXV710 i XL710). {Rycina 3. Najnowsze adaptery sieciowe Intel: XXV710 i XL710}

5) Ponieważ sprzęt 100GbE ma wsteczną kompatybilność, co ułatwia wdrożenie: można ponownie wykorzystać już przeciągnięte kable (wystarczy podłączyć do nich nowy nadajnik-odbiornik).

Ponadto dostępność 100GbE przygotowuje nas na nowe technologie, takie jak «NVMe over Fabrics» (na przykład Samsung Evo Pro 256 GB NVMe PCIe SSD; zob. ryc. 4) [8, 10], «Storage Area Network» (SAN) / «Software Defined Storage» (zob. ryc. 5) [7], RDMA [11], które bez 100GbE nie mogłyby w pełni wykorzystać swojego potencjału.

Rycina 4. Samsung Evo Pro 256 GB NVMe PCIe SSD

Rycina 5. «Storage Area Network» (SAN) / «Software Defined Storage»

Na koniec, jako egzotyczny przykład praktycznego zastosowania technologii 100GbE i pokrewnych technologii o wysokiej prędkości, można przytoczyć naukową chmurę Uniwersytetu Cambridge (patrz rys. 6), która została zbudowana w oparciu o 100GbE (przełączniki Ethernet Spectrum SN2700), aby, między innymi, zapewniać efektywną pracę rozproszonych pamięci masowych NexentaEdge SDS, które mogą z łatwością obciążyć sieć 10/40GbE. [2] Takie wysokowydajne chmury naukowe są wdrażane w celu rozwiązania najróżniejszych zastosowań badawczych [9, 12]. Na przykład, naukowcy medyczni wykorzystują te chmury do dekodowania ludzkiego genomu, a kanały 100GbE są używane do przesyłania informacji między grupami badawczymi uniwersytetów.

Rysunek 6. Fragment naukowej chmury Uniwersytetu Cambridge

Bibliografia

John Hawkins. 100GbE: Bliżej k krawędzi, bliżej rzeczywistości // 2017.
Amit Katz. Przełączniki 100GbE – Czy już obliczyłeś? // 2016.
Margaret Rouse. 100 Gigabit Ethernet (100GbE).
David Graves. Dell EMC podwaja inwestycje w 100 Gigabit Ethernet dla nowoczesnego, otwartego centrum danych // 2018.
Mary Branscombe. Rok 100GbE w sieciach centrów danych // 2018.
Jarred Baker. Szybsza praca w centrum danych przedsiębiorstwa // 2017.
Tom Clark. Projektowanie sieci pamięci masowych: praktyczny przewodnik po wdrażaniu Fiber Channel i IP SAN. 2003. 572s.
James O’Reilly. Pamięć sieciowa: narzędzia i technologie do przechowywania danych Twojej firmy // 2017. 280s.
James Sullivan. Konkurs klastrów studenckich 2017, Zespół Uniwersytetu Teksasu w Austin/Uniwersytetu Stanowego Teksasu: reprodukcja wektoryzacji potencjału wielociałowego Tersoff na architekturach Intel Skylake i NVIDIA V100 // Obliczenia równoległe. v.79, 2018. s. 30-35.
Manolis Katevenis. Nowa generacja systemów klasy Exascale: projekt ExaNeSt // Mikroprocesory i mikrosystemy. v.61, 2018. s. 58-71.
Hari Subramoni. RDMA przez Ethernet: wstępne badanie // Materiały warsztatów na temat wysokowydajnych interfejsów do obliczeń rozproszonych. 2009.
Chris Broekema. Efektywne transfery danych w radioastronomii z wykorzystaniem Software UDP RDMA // Systemy komputerowe nowej generacji. v.79, 2018. s. 215-224.