🥇100GbE: luksus eller nødvendighed?

IEEE P802.3ba, standard for transmitting data over 100-gigabit Ethernet channels (100GbE), was developed between 2007 and 2010 [3], but only became widely adopted in 2018 [5]. Why exactly in 2018 and not earlier? And why the sudden mass adoption? There are at least five reasons for this…

IEEE P802.3ba was primarily developed to meet the needs of data centers and internet traffic exchange points (between independent operators); as well as to ensure uninterrupted operation of resource-intensive web services, such as portals with a large amount of video content (for example, YouTube); and to facilitate high-performance computing. [3] Average Internet users also contribute to the changing bandwidth requirements: many have digital cameras, and people want to share content they have captured online. Thus, the volume of content circulating on the Internet is steadily increasing over time, both at the professional and consumer levels. In all these cases, when transferring data from one domain to another, the combined bandwidth of key network nodes has long exceeded the capabilities of 10GbE ports. [1] This is what led to the emergence of the new standard: 100GbE.

Large data centers and cloud service providers are already actively using 100GbE and plan to gradually transition to 200GbE and 400GbE within a couple of years. Moreover, they are already looking at speeds exceeding a terabit. [6] However, among major providers, there are those who only transitioned to 100GbE last year (for example, Microsoft Azure). Data centers that perform high-performance computing for financial services, government platforms, oil and gas platforms, and utilities have also begun transitioning to 100GbE. [5]

In corporate data centers, the demand for bandwidth is somewhat lower: just recently, 10GbE became a necessity rather than a luxury. However, as traffic consumption rates increase ever more rapidly, it is doubtful that 10GbE will last in corporate data centers for even 10 or 5 years. Instead, we will witness a swift transition to 25GbE and an even faster shift to 100GbE. [6] This is because, as noted by Intel analysts, the traffic intensity within data centers increases by 25% annually. [5]

Dell og Hewlett Packard konkluderer [4], at 2018 er året for 100GbE for datacentre. Allerede i august 2018 oversteg leverancerne af 100GbE-udstyr det dobbelte af leverancerne for hele 2017. Og leveringshastigheden fortsætter med at stige, da datacentre begynder at skifte massivt fra 40GbE. Det forventes, at der vil blive leveret 19,4 millioner 100GbE-porte årligt i 2022 (i 2017 var dette tal 4,6 millioner). [4] Med hensyn til omkostningerne blev der brugt $7 milliarder på 100GbE-porte i 2017, og i 2020 forventes det, at der vil blive brugt ca. $20 milliarder (se fig. 1). [1]

Figur 1. Statistik og prognoser for efterspørgsel på netværksudstyr

Hvorfor lige nu? 100GbE er ikke en så ny teknologi, så hvorfor er der netop nu så meget opmærksomhed omkring den?

1) Fordi denne teknologi er modnet og blevet billigere. Det er netop i 2018, vi er nået det punkt, hvor brugen af platforme med 100-gigabit porte i datacentre er blevet mere omkostningseffektivt end "stacking" af flere 10-gigabit platforme. Eksempel: Ciena 5170 (se fig. 2) – en kompakt platform, der leverer en samlet båndbredde på 800GbE (4x100GbE, 40x10GbE). Hvis der kræves flere 10-gigabit porte for at opnå den nødvendige båndbredde, skyder omkostningerne til ekstra hardware, det ekstra pladskrav, overforbrug af energi, vedligeholdelse, ekstra reservedele og ekstra kølesystemer i vejret. [1] For eksempel konkluderede specialister fra Hewlett Packard ved at analysere de potentielle fordele ved at skifte fra 10GbE til 100GbE følgende tal: bedre ydeevne (56% højere), lavere samlede omkostninger (27% lavere), mindre energiforbrug (31% mindre), forenklede kabelforbindelser (38% bedre). [5]

Figur 2. Ciena 5170: eksempel på en platform med 100-gigabit porte

2) Juniper og Cisco har endelig skabt deres egne ASIC-chips til 100GbE-switscher. [5] Dette er et tydeligt bevis på, at 100GbE-teknologien virkelig er modnet. Det skyldes, at ASIC-chips kun er rentable at producere, når logikken, der implementeres på dem, ikke kræver ændringer i den nærmeste fremtid, og når der fremstilles et stort antal identiske chips. Juniper og Cisco ville ikke producere disse ASIC, hvis de ikke var sikre på, at 100GbE er modent.

3) Fordi Broadcom, Cavium og Mellanox Technologies er begyndt at producere processorer med støtte for 100GbE, og disse processorer bruges allerede i switche fra producenter som Dell, Hewlett Packard, Huawei Technologies, Lenovo Group m.fl. [5]

4) Fordi servere, der er placeret i serverrack, i stigende grad er udstyret med de nyeste Intel-netværksadaptere (se fig. 3), med to 25-gigabit porte, og nogle gange endda konvergerede netværksadaptere med to 40-gigabit porte (XXV710 og XL710). {Figur 3. De nyeste Intel-netværksadaptere: XXV710 og XL710}

5) Fordi 100GbE-udstyr har bagudkompatibilitet, hvilket letter implementeringen: eksisterende kabler kan genbruges (det er kun nødvendigt at tilslutte en ny sender-modtager til dem).

Derudover forbereder tilgængeligheden af 100GbE os til nye teknologier som "NVMe over Fabrics" (for eksempel Samsung Evo Pro 256 GB NVMe PCIe SSD; se fig. 4) [8, 10], "Storage Area Network" (SAN) / "Software Defined Storage" (se fig. 5) [7], RDMA [11], som ikke kunne realisere deres fulde potentiale uden 100GbE.

Figur 4. Samsung Evo Pro 256 GB NVMe PCIe SSD

Figur 5. "Storage Area Network" (SAN) / "Software Defined Storage"

Endelig, som et exotisk eksempel på den praktiske efterspørgsel efter anvendelse af 100GbE og relaterede højhastighedsteknologier, kan man nævne det videnskabelige cloud ved Cambridge University (se fig. 6), som er bygget på grundlag af 100GbE (Spectrum SN2700 Ethernet switches), – for at sikre effektiv drift af det distribuerede diskopbevaringssystem NexentaEdge SDS, som let kan overbelaste et 10/40GbE-netværk. [2] Sådanne højtydende videnskabelige clouds anvendes til at løse et væld af anvendte videnskabelige opgaver [9, 12]. For eksempel bruger medicinske forskere disse clouds til at dekode menneskegenomet og anvender 100GbE-kanaler til at overføre oplysninger mellem forskergrupper på universiteter.

Figur 6. Uddrag af det videnskabelige cloud ved Cambridge University

Bibliografi

John Hawkins. 100GbE: Tættere på kanten, tættere på virkeligheden // 2017.
Amit Katz. 100GbE-switches – Har du lavet beregningerne? // 2016.
Margaret Rouse. 100 Gigabit Ethernet (100GbE).
David Graves. Dell EMC fordobler satsningen på 100 Gigabit Ethernet til det åbne, moderne datacenter // 2018.
Mary Branscombe. Året for 100GbE i datacenter-netværk // 2018.
Jarred Baker. Bevæg dig hurtigere i virksomhedsdatacentret // 2017.
Tom Clark. Designing Storage Area Networks: En praktisk reference til implementering af Fibre Channel og IP SANs. 2003. 572s.
James O’Reilly. Network Storage: Værktøjer og teknologier til opbevaring af din virksomheds data // 2017. 280s.
James Sullivan. Studentklusterkonkurrence 2017, Team University of Texas at Austin/Texas State University: Genskabelse af vektoriseringen af Tersoff-multikropspotentialet på Intel Skylake- og NVIDIA V100-arkitekturer // Parallel Computing. v.79, 2018. s. 30-35.
Manolis Katevenis. Den næste generation af exascale-klasse systemer: ExaNeSt-projektet // Microprocessors and Microsystems. v.61, 2018. s. 58-71.
Hari Subramoni. RDMA over Ethernet: En foreløbig undersøgelse // Proceedings of the Workshop on High Performance Interconnects for Distributed Computing. 2009.
Chris Broekema. Energivenlige dataoverførsler i radioastronomi med software UDP RDMA // Future Generation Computer Systems. v.79, 2018. s. 215-224.