Περισσότερες από ένα δισεκατομμύριο μοναδικές διευθύνσεις IP περνούν από το δίκτυο Cloudflare κάθε μέρα. Εξυπηρετεί περισσότερα από 11 εκατομμύρια αιτήματα HTTP ανά δευτερόλεπτο. βρίσκεται σε απόσταση 100ms από το 95% του πληθυσμού του Διαδικτύου. Το δίκτυό μας εκτείνεται σε 200 πόλεις σε περισσότερες από 90 χώρες και η ομάδα των μηχανικών μας έχει δημιουργήσει μια εξαιρετικά γρήγορη και αξιόπιστη υποδομή.
Είμαστε πολύ περήφανοι για τη δουλειά μας και δεσμευόμαστε να βοηθήσουμε να γίνει το Διαδίκτυο καλύτερο και ασφαλέστερο μέρος. Οι μηχανικοί υλικού της Cloudflare έχουν βαθιά κατανόηση των διακομιστών και των στοιχείων τους για να κατανοήσουν και να επιλέξουν το καλύτερο υλικό για να μεγιστοποιήσουν την απόδοσή του.
Η στοίβα λογισμικού μας χειρίζεται υπολογιστές υψηλού φορτίου και εξαρτάται σε μεγάλο βαθμό από τη CPU, απαιτώντας από τους μηχανικούς μας να βελτιστοποιούν συνεχώς την αποτελεσματικότητα και την αξιοπιστία του Cloudflare σε κάθε επίπεδο της στοίβας. Από την πλευρά του διακομιστή, ο ευκολότερος τρόπος για να αυξήσετε την επεξεργαστική ισχύ είναι με την προσθήκη πυρήνων CPU. Όσο περισσότερους πυρήνες χωράει ένας διακομιστής, τόσο περισσότερα δεδομένα μπορεί να επεξεργαστεί. Αυτό είναι σημαντικό για εμάς επειδή η ποικιλία των προϊόντων και των πελατών μας αυξάνεται με την πάροδο του χρόνου και η αύξηση των αιτημάτων απαιτεί αυξημένη απόδοση από τους διακομιστές. Για να αυξήσουμε την απόδοσή τους, χρειάστηκε να αυξήσουμε την πυκνότητα των πυρήνων - και αυτό ακριβώς καταφέραμε. Παρακάτω παρέχουμε λεπτομερή δεδομένα για επεξεργαστές για διακομιστές που έχουμε αναπτύξει από το 2015, συμπεριλαμβανομένου του αριθμού των πυρήνων:
-
Gen 6
Gen 7
Gen 8
Gen 9
Ξεκινώντας
2015
2016
2017
2018
CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
Intel Xeon Silver 4116
Intel Xeon Platinum 6162
Φυσικοί πυρήνες
X 2 8
X 2 10
X 2 12
X 2 24
TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W
TDP ανά πυρήνα
10.65W
8.50W
7.08W
6.25W
Το 2018, κάναμε ένα μεγάλο άλμα στον συνολικό αριθμό πυρήνων ανά διακομιστή με το Gen 9. Ο αντίκτυπος στο περιβάλλον έχει μειωθεί κατά 33% σε σύγκριση με την 8η γενιά, δίνοντάς μας την ευκαιρία να αυξήσουμε τον όγκο και την υπολογιστική ισχύ ανά rack. Απαιτήσεις σχεδιασμού για απαγωγή θερμότητας (, TDP) αναφέρονται για να τονιστεί ότι η ενεργειακή μας απόδοση έχει επίσης αυξηθεί με την πάροδο του χρόνου. Αυτός ο δείκτης είναι σημαντικός για εμάς: πρώτον, θέλουμε να εκπέμπουμε λιγότερο άνθρακα στην ατμόσφαιρα. Δεύτερον, θέλουμε να αξιοποιήσουμε με τον καλύτερο τρόπο την ενέργεια από τα κέντρα δεδομένων. Ξέρουμε όμως ότι έχουμε κάτι να προσπαθήσουμε.
Η κύρια καθοριστική μας μέτρηση είναι ο αριθμός των αιτημάτων ανά watt. Μπορούμε να αυξήσουμε τον αριθμό των αιτημάτων ανά δευτερόλεπτο προσθέτοντας πυρήνες, αλλά πρέπει να παραμείνουμε εντός του προϋπολογισμού ισχύος μας. Περιοριζόμαστε από την υποδομή ισχύος του κέντρου δεδομένων, η οποία, μαζί με τις επιλεγμένες μονάδες διανομής ενέργειας, μας δίνει ένα ορισμένο ανώτατο όριο για κάθε rack διακομιστή. Η προσθήκη διακομιστών σε ένα rack αυξάνει την κατανάλωση ενέργειας. Το κόστος λειτουργίας θα αυξηθεί σημαντικά εάν υπερβούμε το όριο ενέργειας ανά rack και πρέπει να προσθέσουμε νέα rack. Πρέπει να αυξήσουμε την ισχύ επεξεργασίας, ενώ παραμένουμε στο ίδιο εύρος κατανάλωσης ενέργειας, κάτι που θα αυξήσει τα αιτήματα ανά watt, τη βασική μας μέτρηση.
Όπως ίσως μαντέψατε, μελετήσαμε προσεκτικά την κατανάλωση ενέργειας στο στάδιο του σχεδιασμού. Ο παραπάνω πίνακας δείχνει ότι δεν θα πρέπει να χάνουμε χρόνο αναπτύσσοντας περισσότερους ενεργοβόρους CPU, εάν το TDP ανά πυρήνα είναι υψηλότερο από την τρέχουσα γενιά - αυτό θα επηρεάσει αρνητικά τη μέτρησή μας, τα αιτήματα ανά watt. Μελετήσαμε προσεκτικά τα έτοιμα προς λειτουργία συστήματα για τη γενιά μας Χ στην αγορά και πήραμε μια απόφαση. Μεταβαίνουμε από τη σχεδίαση διπλής υποδοχής 48 πυρήνων Intel Xeon Platinum 6162 σε μια σχεδίαση μονής υποδοχής AMD EPYC 48 7642 πυρήνων.
-
Intel
AMD
CPU
Xeon Platinum 6162
EPYC 7642
Μικροαρχιτεκτονική
"Skylake"
«Ζεν 2»
Κωδικό όνομα
“Skylake SP”
"Ρώμη"
Τεχνική διαδικασία
14nm
7nm
Πυρήνες
X 2 24
48
Συχνότητα
1.9 GHz
2.4 GHz
L3 Cache/socket
24 x 1.375 MiB
16 x 16 MiB
Μνήμη/πρίζα
6 κανάλια, έως DDR4-2400
8 κανάλια, έως DDR4-3200
TDP
2 x 150W
225W
PCIe/πρίζα
48 λωρίδες
128 λωρίδες
ΕΊΝΑΙ ΈΝΑ
x86-64
x86-64
Από τις προδιαγραφές είναι ξεκάθαρο ότι το τσιπ από την AMD θα μας επιτρέψει να διατηρήσουμε τον ίδιο αριθμό πυρήνων ενώ θα μειώσουμε το TDP. Η 9η γενιά είχε TDP ανά πυρήνα 6,25 W και η Χ η γενιά θα είναι 4,69 W. Μειώθηκε κατά 25%. Χάρη στην αυξημένη συχνότητα και ίσως έναν απλούστερο σχεδιασμό με μία υποδοχή, μπορούμε να υποθέσουμε ότι το τσιπ AMD θα έχει καλύτερη απόδοση στην πράξη. Αυτήν τη στιγμή εκτελούμε διάφορες δοκιμές και προσομοιώσεις για να δούμε πόσο καλύτερη θα έχει η AMD.
Προς το παρόν, ας σημειώσουμε ότι το TDP είναι μια απλοποιημένη μέτρηση από τις προδιαγραφές του κατασκευαστή, την οποία χρησιμοποιήσαμε στα αρχικά στάδια σχεδιασμού διακομιστή και επιλογής CPU. Μια γρήγορη αναζήτηση στο Google αποκαλύπτει ότι η AMD και η Intel έχουν διαφορετικές προσεγγίσεις στον ορισμό του TDP, καθιστώντας την προδιαγραφή αναξιόπιστη. Η πραγματική κατανάλωση ενέργειας της CPU, και πιο σημαντικό η κατανάλωση ενέργειας διακομιστή, είναι αυτό που χρησιμοποιούμε πραγματικά όταν παίρνουμε την τελική μας απόφαση.
Ετοιμότητα οικοσυστήματος
Για να ξεκινήσουμε το ταξίδι μας για την επιλογή του επόμενου επεξεργαστή μας, εξετάσαμε μια μεγάλη γκάμα CPU από διαφορετικούς κατασκευαστές που ταιριάζουν καλά στη στοίβα λογισμικού και τις υπηρεσίες μας (γραμμένο σε C, LuaJIT και Go). Έχουμε ήδη περιγράψει λεπτομερώς ένα σύνολο εργαλείων για τη μέτρηση της ταχύτητας . Σε αυτήν την περίπτωση, χρησιμοποιήσαμε το ίδιο σύνολο - μας επιτρέπει να αξιολογήσουμε την απόδοση της CPU σε εύλογο χρονικό διάστημα, μετά τον οποίο οι μηχανικοί μας μπορούν να αρχίσουν να προσαρμόζουν τα προγράμματά μας σε έναν συγκεκριμένο επεξεργαστή.
Δοκιμάσαμε μια ποικιλία επεξεργαστών με μια ποικιλία αριθμών πυρήνων, αριθμών υποδοχών και συχνοτήτων. Δεδομένου ότι αυτό το άρθρο αφορά τους λόγους για τους οποίους καταλήξαμε στο AMD EPYC 7642, όλα τα γραφήματα σε αυτό το ιστολόγιο επικεντρώνονται στον τρόπο απόδοσης των επεξεργαστών AMD σε σύγκριση με τον Intel Xeon Platinum 6162 από .
Τα αποτελέσματα αντιστοιχούν σε μετρήσεις ενός διακομιστή με κάθε παραλλαγή επεξεργαστή - δηλαδή με δύο επεξεργαστές 24 πυρήνων από την Intel ή με έναν επεξεργαστή 48 πυρήνων από την AMD (διακομιστής για Intel με δύο υποδοχές και διακομιστής για AMD EPYC με μία). Στο BIOS ορίζουμε τις παραμέτρους που αντιστοιχούν στους διακομιστές που τρέχουν. Αυτό είναι 3,03 GHz για την AMD και 2,5 GHz για την Intel. Απλοποιώντας σημαντικά, αναμένουμε ότι με τον ίδιο αριθμό πυρήνων, η AMD θα έχει 21% καλύτερη απόδοση από την Intel.
Κρυπτογράφηση
Φαίνεται πολλά υποσχόμενο για την AMD. Αποδίδει 18% καλύτερα στην κρυπτογράφηση δημόσιου κλειδιού. Με ένα συμμετρικό κλειδί, χάνει για τις επιλογές κρυπτογράφησης AES-128-GCM, αλλά συνολικά έχει συγκρίσιμη απόδοση.
Συμπίεση
Στους διακομιστές αιχμής, συμπιέζουμε πολλά δεδομένα για εξοικονόμηση εύρους ζώνης και αύξηση της ταχύτητας παράδοσης περιεχομένου. Περνάμε τα δεδομένα μέσα από τις βιβλιοθήκες C zlib και brotli. Όλες οι δοκιμές εκτελέστηκαν στο αρχείο HTML blog.cloudflare.com στη μνήμη.
Η AMD κέρδισε κατά μέσο όρο 29% όταν χρησιμοποιούσε το gzip. Στην περίπτωση του brotli, τα αποτελέσματα είναι ακόμα καλύτερα σε δοκιμές με ποιότητα 7, που χρησιμοποιούμε για δυναμική συμπίεση. Στη δοκιμή brotli-9 υπάρχει μια απότομη πτώση - το εξηγούμε με το γεγονός ότι το Brotli καταναλώνει πολλή μνήμη και ξεχειλίζει την κρυφή μνήμη. Ωστόσο, η AMD κερδίζει με μεγάλη διαφορά.
Πολλές από τις υπηρεσίες μας είναι γραμμένες στο Go. Στα παρακάτω γραφήματα, ελέγχουμε διπλά την ταχύτητα κρυπτογράφησης και συμπίεσης στο Go with RegExp σε γραμμές 32 KB χρησιμοποιώντας τη βιβλιοθήκη συμβολοσειρών.
Πηγαίνετε κρυπτογραφία
Go Compression
Μεταβείτε στο Regexp
Go Strings
Η AMD αποδίδει καλύτερα σε όλες τις δοκιμές με το Go εκτός από το ECDSA P256 Sign, όπου ήταν 38% πίσω - κάτι που είναι περίεργο, δεδομένου ότι είχε 24% καλύτερη απόδοση στο C. Αξίζει να καταλάβουμε τι συμβαίνει εκεί. Συνολικά, η AMD δεν κερδίζει πολλά, αλλά εξακολουθεί να δείχνει τα καλύτερα αποτελέσματα.
LuaJIT
Συχνά χρησιμοποιούμε το LuaJIT στη στοίβα. Αυτή είναι η κόλλα που συγκρατεί όλα τα μέρη του Cloudflare μαζί. Και χαιρόμαστε που η AMD κέρδισε και εδώ.
Συνολικά, οι δοκιμές δείχνουν ότι το EPYC 7642 αποδίδει καλύτερα από δύο Xeon Platinum 6162. Η AMD χάνει σε μερικές δοκιμές - για παράδειγμα, AES-128-GCM και Go OpenSSL ECDSA-P256 Sign - αλλά κερδίζει σε όλες τις άλλες, κατά μέσο όρο του 25%.
Προσομοίωση φόρτου εργασίας
Μετά τις γρήγορες δοκιμές μας, εκτελέσαμε τους διακομιστές μέσω ενός άλλου συνόλου προσομοιώσεων στις οποίες εφαρμόζεται ένα συνθετικό φορτίο στη στοίβα ακμών λογισμικού. Εδώ προσομοιώνουμε έναν φόρτο εργασίας σεναρίου με διαφορετικούς τύπους αιτημάτων που μπορούν να συναντηθούν στην πραγματική εργασία. Τα αιτήματα ποικίλλουν ως προς τον όγκο δεδομένων, τα πρωτόκολλα HTTP ή HTTPS, τις πηγές WAF, τους Εργαζόμενους και άλλες πολλές μεταβλητές. Παρακάτω είναι μια σύγκριση της απόδοσης των δύο CPU για τους τύπους αιτημάτων που συναντάμε πιο συχνά.
Τα αποτελέσματα στο γράφημα μετρώνται με βάση τη γραμμή βάσης των μηχανών που βασίζονται στην Intel 9ης γενιάς, κανονικοποιημένα σε τιμή 1,0 στον άξονα x. Για παράδειγμα, λαμβάνοντας απλά αιτήματα 10 KiB μέσω HTTPS, μπορούμε να δούμε ότι η AMD τα πάει 1,5 φορές καλύτερα από την Intel όσον αφορά τα αιτήματα ανά δευτερόλεπτο. Κατά μέσο όρο, η AMD είχε 34% καλύτερη απόδοση από την Intel για αυτές τις δοκιμές. Λαμβάνοντας υπόψη ότι το TDP για ένα μόνο AMD EPYC 7642 είναι 225 W και για δύο επεξεργαστές Intel είναι 300 W, αποδεικνύεται ότι όσον αφορά τα "αιτήματα ανά watt" η AMD δείχνει 2 φορές καλύτερα αποτελέσματα από την Intel!
Σε αυτό το σημείο, είχαμε ήδη κλίνει προς την επιλογή single socket για την AMD EPYC 7642 ως τους μελλοντικούς μας επεξεργαστές Gen X. Μας ενδιέφερε πολύ να δούμε πώς θα αποδίδουν οι διακομιστές AMD EPYC σε πραγματικές εργασίες και στείλαμε αμέσως αρκετούς διακομιστές σε ορισμένους από κέντρα δεδομένων.
Πραγματική δουλειά
Το πρώτο βήμα, φυσικά, ήταν η προετοιμασία των διακομιστών για εργασία σε πραγματικές συνθήκες. Όλα τα μηχανήματα του στόλου μας λειτουργούν με τις ίδιες διαδικασίες και υπηρεσίες, γεγονός που παρέχει μια εξαιρετική ευκαιρία για σωστή σύγκριση των επιδόσεων. Όπως τα περισσότερα κέντρα δεδομένων, έχουμε αναπτύξει πολλές γενιές διακομιστών και συλλέγουμε τους διακομιστές μας σε συμπλέγματα, έτσι ώστε κάθε τάξη να περιέχει διακομιστές περίπου των ίδιων γενεών. Σε ορισμένες περιπτώσεις, αυτό μπορεί να οδηγήσει σε καμπύλες ανακύκλωσης που διαφέρουν μεταξύ των συστάδων. Αλλά όχι με εμάς. Οι μηχανικοί μας έχουν βελτιστοποιήσει τη χρήση της CPU για όλες τις γενιές, έτσι ώστε ανεξάρτητα από το αν η CPU ενός συγκεκριμένου μηχανήματος έχει 8 πυρήνες ή 24, η χρήση της CPU είναι γενικά η ίδια με τις υπόλοιπες.
Το γράφημα απεικονίζει το σχόλιό μας σχετικά με την ομοιότητα χρήσης - δεν υπάρχει σημαντική διαφορά μεταξύ της χρήσης των επεξεργαστών AMD σε διακομιστές γενιάς X και της χρήσης επεξεργαστών Intel σε διακομιστές γενιάς 9. Αυτό σημαίνει ότι τόσο οι διακομιστές δοκιμής όσο και οι διακομιστές βάσης φορτώνονται εξίσου . Εξαιρετική. Αυτό ακριβώς επιδιώκουμε στους διακομιστές μας και το χρειαζόμαστε για μια δίκαιη σύγκριση. Τα δύο παρακάτω γραφήματα δείχνουν τον αριθμό των αιτημάτων που υποβάλλονται σε επεξεργασία από έναν πυρήνα CPU και όλους τους πυρήνες σε επίπεδο διακομιστή.
Αιτήματα ανά πυρήνα
Αιτήματα προς τον διακομιστή
Μπορεί να φανεί ότι κατά μέσο όρο η AMD επεξεργάζεται 23% περισσότερα αιτήματα. Καθόλου κακό! Έχουμε γράψει συχνά στο ιστολόγιό μας για τρόπους αύξησης της απόδοσης του Gen 9. Και τώρα έχουμε τον ίδιο αριθμό πυρήνων, αλλά η AMD κάνει περισσότερη δουλειά με λιγότερη ισχύ. Είναι αμέσως σαφές από τις προδιαγραφές για τον αριθμό των πυρήνων και το TDP ότι η AMD παρέχει μεγαλύτερη ταχύτητα με μεγαλύτερη ενεργειακή απόδοση.
Αλλά όπως ήδη αναφέραμε, το TDP δεν είναι τυπική προδιαγραφή και δεν είναι το ίδιο για όλους τους κατασκευαστές, οπότε ας δούμε την πραγματική χρήση ενέργειας. Μετρώντας την κατανάλωση ενέργειας του διακομιστή παράλληλα με τον αριθμό των αιτημάτων ανά δευτερόλεπτο, λάβαμε το ακόλουθο γράφημα:
Με βάση τα αιτήματα ανά δευτερόλεπτο ανά watt που δαπανάται, οι διακομιστές Gen X που λειτουργούν με επεξεργαστές AMD είναι 28% πιο αποδοτικοί. Θα μπορούσε κανείς να περιμένει περισσότερα, δεδομένου ότι το TDP της AMD είναι 25% χαμηλότερο, αλλά πρέπει να θυμόμαστε ότι το TDP είναι ένα διφορούμενο χαρακτηριστικό. Είδαμε ότι η πραγματική κατανάλωση ενέργειας της AMD είναι σχεδόν ίδια με την αναφερόμενη TDP σε συχνότητες πολύ υψηλότερες από τη βάση. Η Intel δεν το έχει. Αυτός είναι ένας άλλος λόγος για τον οποίο το TDP δεν αποτελεί αξιόπιστη εκτίμηση της κατανάλωσης ενέργειας. Οι CPU της Intel στους διακομιστές μας Gen 9 είναι ενσωματωμένοι σε ένα σύστημα πολλαπλών κόμβων, ενώ οι CPU της AMD λειτουργούν σε τυπικούς διακομιστές 1U. Αυτό δεν είναι υπέρ της AMD, καθώς οι διακομιστές πολλαπλών κόμβων θα πρέπει να παρέχουν μεγαλύτερη πυκνότητα με λιγότερη κατανάλωση ενέργειας ανά κόμβο, αλλά η AMD ξεπέρασε ακόμα την Intel όσον αφορά την κατανάλωση ενέργειας ανά κόμβο.
Στις περισσότερες συγκρίσεις μεταξύ προδιαγραφών, προσομοιώσεων δοκιμών και απόδοσης σε πραγματικό κόσμο, η διαμόρφωση 1P AMD EPYC 7642 απέδωσε σημαντικά καλύτερα από το 2P Intel Xeon 6162. Σε ορισμένες συνθήκες, η AMD μπορεί να αποδώσει έως και 36% καλύτερα και πιστεύουμε ότι με τη βελτιστοποίηση υλικού και λογισμικού, μπορούμε να επιτύχουμε αυτή τη βελτίωση σε συνεχή βάση.
Αποδεικνύεται ότι η AMD κέρδισε.
Πρόσθετα γραφήματα δείχνουν τη μέση καθυστέρηση και την καθυστέρηση p99 που εκτελείται το NGINX σε μια περίοδο 24 ωρών. Κατά μέσο όρο, οι διαδικασίες στην AMD έτρεχαν 25% πιο γρήγορα. Στο p99 τρέχει 20-50% πιο γρήγορα ανάλογα με την ώρα της ημέρας.
Συμπέρασμα
Οι μηχανικοί Hardware και Performance της Cloudflare πραγματοποιούν σημαντικές δοκιμές και έρευνες για να προσδιορίσουν την καλύτερη διαμόρφωση διακομιστή για τους πελάτες μας. Μας αρέσει να εργαζόμαστε εδώ γιατί μπορούμε να λύσουμε μεγάλα προβλήματα όπως αυτά και μπορούμε να σας βοηθήσουμε να λύσετε τα προβλήματά σας με υπηρεσίες όπως υπολογιστές αιχμής χωρίς διακομιστή και μια σειρά λύσεων ασφαλείας όπως το Magic Transit, το Argo Tunnel και η προστασία DDoS. . Όλοι οι διακομιστές στο δίκτυο Cloudflare έχουν ρυθμιστεί ώστε να αποδίδουν αξιόπιστα και προσπαθούμε πάντα να κάνουμε κάθε επόμενη γενιά διακομιστών καλύτερη από την προηγούμενη. Πιστεύουμε ότι η AMD EPYC 7642 είναι η απάντηση όταν πρόκειται για επεξεργαστές Gen X.
Χρησιμοποιώντας το Cloudflare Workers, οι προγραμματιστές αναπτύσσουν τις εφαρμογές τους στο διευρυνόμενο δίκτυό μας σε όλο τον κόσμο. Είμαστε περήφανοι που αφήνουμε τους πελάτες μας να επικεντρωθούν στη σύνταξη κώδικα, ενώ εμείς εστιάζουμε στην ασφάλεια και την αξιοπιστία στο cloud. Και σήμερα είμαστε ακόμη πιο ευτυχείς να ανακοινώσουμε ότι η δουλειά τους θα αναπτυχθεί στους διακομιστές μας γενιάς Gen X με επεξεργαστές δεύτερης γενιάς AMD EPYC.
Επεξεργαστές EPYC 7642, κωδική ονομασία "Rome" [Rome]
Χρησιμοποιώντας το EPYC 7642 της AMD, μπορέσαμε να αυξήσουμε την απόδοσή μας και να διευκολύνουμε την επέκταση του δικτύου μας σε νέες πόλεις. Η Ρώμη δεν χτίστηκε σε μια μέρα, αλλά σύντομα θα είναι πιο κοντά σε πολλούς από εσάς.
Τα τελευταία δύο χρόνια πειραματιζόμαστε με πολλά τσιπ x86 από την Intel και την AMD, καθώς και με επεξεργαστές από την ARM. Αναμένουμε από αυτούς τους κατασκευαστές CPU να συνεχίσουν να συνεργάζονται μαζί μας στο μέλλον, ώστε να μπορέσουμε όλοι μαζί να δημιουργήσουμε ένα καλύτερο Διαδίκτυο.
Πηγή: www.habr.com