Με ώθησε σε αυτήν την ανάρτηση .
Το παραθέτω εδώ:
σήμερα στις 18:53
Έμεινα ευχαριστημένος με τον πάροχο σήμερα. Μαζί με την ενημέρωση του συστήματος αποκλεισμού ιστοτόπων απαγορεύτηκε και το mail.ru του, τηλεφωνώ από το πρωί στην τεχνική υποστήριξη αλλά δεν μπορούν να κάνουν τίποτα. Ο πάροχος είναι μικρός και προφανώς πάροχοι υψηλότερης κατάταξης τον μπλοκάρουν. Παρατήρησα επίσης μια επιβράδυνση στο άνοιγμα όλων των τοποθεσιών, μήπως εγκατέστησαν κάποιου είδους στραβό DLP; Προηγουμένως δεν υπήρχαν προβλήματα με την πρόσβαση. Η καταστροφή του RuNet συμβαίνει ακριβώς μπροστά στα μάτια μου...
Το γεγονός είναι ότι φαίνεται ότι είμαστε ο ίδιος πάροχος :)
Και πράγματι Σχεδόν μάντεψα την αιτία των προβλημάτων με το mail.ru (αν και αρνιόμασταν να πιστέψουμε σε κάτι τέτοιο για μεγάλο χρονικό διάστημα).
Αυτό που ακολουθεί θα χωριστεί σε δύο μέρη:
- τους λόγους για τα τρέχοντα προβλήματα μας με το mail.ru και τη συναρπαστική αναζήτηση να τα βρούμε
- η ύπαρξη του ISP στη σημερινή πραγματικότητα, η σταθερότητα του κυρίαρχου RuNet.
Προβλήματα προσβασιμότητας με το mail.ru
Ω, είναι αρκετά μεγάλη ιστορία.
Το γεγονός είναι ότι για να εφαρμόσουμε τις απαιτήσεις του κράτους (περισσότερες λεπτομέρειες στο δεύτερο μέρος), αγοράσαμε, διαμορφώσαμε και εγκαταστήσαμε εξοπλισμό - τόσο για φιλτράρισμα απαγορευμένων πόρων όσο και για εφαρμογή συνδρομητές.
Πριν από λίγο καιρό, επιτέλους ανακατασκευάσαμε τον πυρήνα του δικτύου με τέτοιο τρόπο ώστε όλη η κίνηση των συνδρομητών να διέρχεται από αυτόν τον εξοπλισμό αυστηρά προς τη σωστή κατεύθυνση.
Πριν από λίγες μέρες ενεργοποιήσαμε το απαγορευμένο φιλτράρισμα σε αυτό (ενώ αφήνουμε το παλιό σύστημα να λειτουργεί) - όλα φαινόταν να πηγαίνουν καλά.
Στη συνέχεια, άρχισαν σταδιακά να ενεργοποιούν το NAT σε αυτόν τον εξοπλισμό για διαφορετικά μέρη των συνδρομητών. Από ό,τι φαίνεται, όλα έδειχναν να πηγαίνουν καλά.
Σήμερα όμως, έχοντας ενεργοποιήσει το NAT στον εξοπλισμό για το επόμενο μέρος των συνδρομητών, από το πρωί βρεθήκαμε αντιμέτωποι με έναν αξιοπρεπή αριθμό παραπόνων για μη διαθεσιμότητα ή μερική διαθεσιμότητα και άλλους πόρους του Mail Ru Group.
Άρχισαν να ελέγχουν: κάτι κάπου μερικές φορές, ενίοτε στέλνει ως απάντηση σε αιτήματα αποκλειστικά στα δίκτυα mail.ru. Επιπλέον, στέλνει ένα εσφαλμένα δημιουργημένο (χωρίς ACK), προφανώς τεχνητό TCP RST. Έτσι έμοιαζε:
Φυσικά, οι πρώτες σκέψεις αφορούσαν τον νέο εξοπλισμό: τρομερό DPI, καμία εμπιστοσύνη σε αυτό, ποτέ δεν ξέρεις τι μπορεί να κάνει - τελικά, το TCP RST είναι ένα αρκετά κοινό πράγμα μεταξύ των εργαλείων αποκλεισμού.
Κοίμηση Υποβάλαμε επίσης την ιδέα ότι κάποιος «ανώτερος» φιλτράρει, αλλά την απορρίψαμε αμέσως.
Πρώτον, έχουμε επαρκώς λογικές ανοδικές συνδέσεις, ώστε να μην χρειάζεται να υποφέρουμε έτσι :)
Δεύτερον, είμαστε συνδεδεμένοι με πολλούς στη Μόσχα, και η κίνηση στο mail.ru περνά από αυτά - και δεν έχουν ούτε ευθύνες ούτε άλλο κίνητρο να φιλτράρουν την κυκλοφορία.
Το επόμενο μισό της ημέρας αφιερώθηκε σε αυτό που συνήθως αποκαλείται σαμανισμός - μαζί με τον πωλητή εξοπλισμού, για τον οποίο τους ευχαριστούμε, δεν τα παράτησαν :)
- Το φιλτράρισμα απενεργοποιήθηκε πλήρως
- Το NAT απενεργοποιήθηκε χρησιμοποιώντας το νέο σχήμα
- ο δοκιμαστικός υπολογιστής τοποθετήθηκε σε ξεχωριστή απομονωμένη πισίνα
- Η διεύθυνση IP άλλαξε
Το απόγευμα, διατέθηκε μια εικονική μηχανή που συνδέθηκε στο δίκτυο σύμφωνα με το σχέδιο ενός τακτικού χρήστη και δόθηκε πρόσβαση σε εκπροσώπους του πωλητή σε αυτήν και στον εξοπλισμό. Ο σαμανισμός συνεχίστηκε :)
Στο τέλος, ο εκπρόσωπος του πωλητή δήλωσε με σιγουριά ότι το υλικό δεν είχε καμία απολύτως σχέση με αυτό: τα πρώτα προέρχονται από κάπου υψηλότερα.
ΣημείωσηΣε αυτό το σημείο, κάποιος μπορεί να πει: αλλά ήταν πολύ πιο εύκολο να τραβήξετε μια χωματερή όχι από το δοκιμαστικό υπολογιστή, αλλά από τον αυτοκινητόδρομο πάνω από το DPI;
Όχι, δυστυχώς, το να κάνεις dump (και ακόμη και απλώς mirroring) 40+gbps δεν είναι καθόλου ασήμαντο.
Μετά από αυτό, το βράδυ, δεν έμεινε τίποτα άλλο να κάνουμε παρά να επιστρέψουμε στην υπόθεση περίεργης διήθησης κάπου παραπάνω.
Κοίταξα από ποιο IX διέρχεται τώρα η κίνηση προς τα δίκτυα MRG και απλώς ακύρωσα τις συνεδρίες bgp σε αυτό. Και - ιδού! - όλα επέστρεψαν αμέσως στο κανονικό 🙁
Από τη μία πλευρά, είναι κρίμα που όλη η ημέρα δαπανήθηκε αναζητώντας το πρόβλημα, αν και λύθηκε σε πέντε λεπτά.
Αφ 'ετέρου:
— στη μνήμη μου αυτό είναι κάτι πρωτόγνωρο. Όπως έγραψα ήδη παραπάνω - IX πραγματικά δεν έχει νόημα να φιλτράρουμε την κίνηση συγκοινωνιών. Συνήθως έχουν εκατοντάδες gigabit/terabit ανά δευτερόλεπτο. Δεν μπορούσα να φανταστώ σοβαρά κάτι τέτοιο μέχρι πρόσφατα.
— μια απίστευτα τυχερή σύμπτωση περιστάσεων: ένα νέο σύνθετο υλικό που δεν είναι ιδιαίτερα αξιόπιστο και από το οποίο δεν είναι σαφές τι μπορεί να αναμένεται — ειδικά προσαρμοσμένο για τον αποκλεισμό πόρων, συμπεριλαμβανομένων των TCP RST
Το NOC αυτού του διαδικτυακού κέντρου αναζητά επί του παρόντος πρόβλημα. Σύμφωνα με αυτούς (και τους πιστεύω), δεν έχουν κανένα ειδικά αναπτυγμένο σύστημα φιλτραρίσματος. Αλλά, ευχαριστώ τον ουρανό, η περαιτέρω αναζήτηση δεν είναι πλέον πρόβλημά μας :)
Αυτή ήταν μια μικρή προσπάθεια να δικαιολογήσω τον εαυτό μου, παρακαλώ κατανοήστε και συγχωρήστε :)
ΥΓ: Σκοπίμως δεν κατονομάζω τον κατασκευαστή του DPI/NAT ή του IX (στην πραγματικότητα, δεν έχω καν κανένα ιδιαίτερο παράπονο γι 'αυτούς, το κύριο πράγμα είναι να καταλάβουμε τι ήταν)
Η σημερινή (όπως και η χθεσινή και προχθεσινή) πραγματικότητα από τη σκοπιά ενός παρόχου Διαδικτύου
Πέρασα τις τελευταίες εβδομάδες ανακατασκευάζοντας σημαντικά τον πυρήνα του δικτύου, εκτελώντας ένα σωρό χειρισμούς «για το κέρδος», με κίνδυνο να επηρεάσω σημαντικά την κίνηση των ζωντανών χρηστών. Λαμβάνοντας υπόψη τους στόχους, τα αποτελέσματα και τις συνέπειες όλων αυτών, ηθικά όλα είναι αρκετά δύσκολα. Ειδικά - ακούγοντας για άλλη μια φορά όμορφες ομιλίες για την προστασία της σταθερότητας του Runet, της κυριαρχίας κ.λπ. και ούτω καθεξής.
Σε αυτή την ενότητα, θα προσπαθήσω να περιγράψω την «εξέλιξη» του πυρήνα δικτύου ενός τυπικού ISP τα τελευταία δέκα χρόνια.
Δέκα χρόνια πριν.
Σε αυτές τις ευλογημένες εποχές, ο πυρήνας ενός δικτύου παρόχων θα μπορούσε να είναι τόσο απλός και αξιόπιστος όσο ένα μποτιλιάρισμα:
Σε αυτήν την πολύ, πολύ απλουστευμένη εικόνα, δεν υπάρχουν δρομολογήσεις κορμών, δακτυλίων, ip/mpls.
Η ουσία του είναι ότι η επισκεψιμότητα των χρηστών έφτασε τελικά στη μεταγωγή σε επίπεδο πυρήνα - από όπου πήγε στο , από όπου, κατά κανόνα, επιστρέφει στον πυρήνα μεταγωγή και, στη συνέχεια, "έξω" - μέσω μιας ή περισσότερων συνοριακών πυλών προς το Διαδίκτυο.
Ένα τέτοιο σχήμα είναι πολύ, πολύ εύκολο να γίνει κράτηση τόσο στο L3 (δυναμική δρομολόγηση) όσο και στο L2 (MPLS).
Μπορείτε να εγκαταστήσετε το N+1 οτιδήποτε: πρόσβαση σε διακομιστές, διακόπτες, περιγράμματα - και με τον ένα ή τον άλλο τρόπο να τα δεσμεύσετε για αυτόματη ανακατεύθυνση.
Μετά από λίγα χρόνια Έγινε σαφές σε όλους στη Ρωσία ότι ήταν αδύνατο να ζουν πια έτσι: ήταν επείγον να προστατευθούν τα παιδιά από την καταστροφική επιρροή του Διαδικτύου.
Υπήρχε επείγουσα ανάγκη να βρεθούν τρόποι φιλτραρίσματος της επισκεψιμότητας των χρηστών.
Υπάρχουν διαφορετικές προσεγγίσεις εδώ.
Σε μια όχι πολύ καλή περίπτωση, κάτι μπαίνει «στο χάσμα»: μεταξύ της κίνησης των χρηστών και του Διαδικτύου. Η κίνηση που διέρχεται από αυτό το «κάτι» αναλύεται και, για παράδειγμα, ένα ψεύτικο πακέτο με ανακατεύθυνση αποστέλλεται προς τον συνδρομητή.
Σε μια ελαφρώς καλύτερη περίπτωση - εάν ο όγκος επισκεψιμότητας το επιτρέπει - μπορείτε να κάνετε ένα μικρό κόλπο με τα αυτιά σας: στείλτε για φιλτράρισμα μόνο κίνηση που προέρχεται από χρήστες μόνο σε εκείνες τις διευθύνσεις που πρέπει να φιλτραριστούν (για να το κάνετε αυτό, μπορείτε είτε να πάρετε τις διευθύνσεις IP που καθορίζεται εκεί από το μητρώο ή επιλύστε επιπλέον υπάρχοντες τομείς στο μητρώο).
Κάποτε, για αυτούς τους σκοπούς, έγραψα ένα απλό - αν και δεν τολμώ καν να τον αποκαλώ έτσι. Είναι πολύ απλό και όχι πολύ παραγωγικό - ωστόσο, επέτρεψε σε εμάς και σε δεκάδες (αν όχι εκατοντάδες) άλλους παρόχους να μην εξοφλήσουμε αμέσως εκατομμύρια σε βιομηχανικά συστήματα DPI, αλλά έδωσε αρκετά επιπλέον χρόνια χρόνου.
Παρεμπιπτόντως, για το τότε και το σημερινό DPIΠαρεμπιπτόντως, πολλοί που αγόρασαν τα συστήματα DPI που ήταν διαθέσιμα στην αγορά εκείνη την εποχή τα είχαν ήδη πετάξει. Λοιπόν, δεν έχουν σχεδιαστεί για αυτό: εκατοντάδες χιλιάδες διευθύνσεις, δεκάδες χιλιάδες URL.
Και την ίδια στιγμή, οι εγχώριοι παραγωγοί έχουν ανέβει πολύ έντονα σε αυτήν την αγορά. Δεν μιλάω για το στοιχείο υλικού - όλα είναι ξεκάθαρα σε όλους εδώ, αλλά το λογισμικό - το κύριο πράγμα που έχει το DPI - είναι ίσως σήμερα, αν όχι το πιο προηγμένο στον κόσμο, τότε σίγουρα α) αναπτύσσεται με άλματα, και β) στην τιμή ενός συσκευασμένου προϊόντος - απλά ασύγκριτη με τους ξένους ανταγωνιστές.
Θα ήθελα να είμαι περήφανος, αλλά λίγο λυπημένος =)
Τώρα όλα έμοιαζαν έτσι:
Σε δυο χρόνια ακόμα Όλοι είχαν ήδη ελεγκτές. Υπήρχαν όλο και περισσότεροι πόροι στο μητρώο. Για κάποιο παλαιότερο εξοπλισμό (για παράδειγμα, Cisco 7600), το σύστημα "πλευρικού φιλτραρίσματος" έγινε απλώς ανεφάρμοστο: ο αριθμός των διαδρομών σε 76 πλατφόρμες περιορίζεται σε περίπου εννιακόσιες χιλιάδες, ενώ ο αριθμός των διαδρομών IPv4 μόνο σήμερα πλησιάζει τις 800. χίλια. Και αν είναι και ipv6... Και επίσης... πόσο είναι; 900000 μεμονωμένες διευθύνσεις στην απαγόρευση του RKN; =)
Κάποιος άλλαξε σε ένα σχήμα με αντικατοπτρισμό όλης της κίνησης κορμού σε έναν διακομιστή φιλτραρίσματος, ο οποίος θα πρέπει να αναλύσει ολόκληρη τη ροή και, εάν εντοπιστεί κάτι κακό, να στείλει το RST και προς τις δύο κατευθύνσεις (αποστολέα και παραλήπτη).
Ωστόσο, όσο περισσότερη επισκεψιμότητα, τόσο λιγότερο εφαρμόσιμο είναι αυτό το σύστημα. Εάν υπάρξει η παραμικρή καθυστέρηση στην επεξεργασία, η κίνηση που αντικατοπτρίζεται απλώς θα πετάξει απαρατήρητη και ο πάροχος θα λάβει μια καλή αναφορά.
Όλο και περισσότεροι πάροχοι αναγκάζονται να εγκαθιστούν συστήματα DPI διαφορετικών βαθμών αξιοπιστίας σε αυτοκινητόδρομους.
Πριν από ένα ή δύο χρόνια σύμφωνα με φήμες, σχεδόν όλο το FSB άρχισε να απαιτεί την πραγματική εγκατάσταση εξοπλισμού (Προηγουμένως, οι περισσότεροι πάροχοι διαχειρίζονταν με έγκριση από τις αρχές Σχέδιο SORM - σχέδιο επιχειρησιακών μέτρων σε περίπτωση που χρειαστεί να βρεθεί κάτι κάπου)
Εκτός από χρήματα (όχι ακριβώς υπερβολικά, αλλά ακόμα εκατομμύρια), το SORM απαιτούσε πολλούς περισσότερους χειρισμούς με το δίκτυο.
- Το SORM πρέπει να βλέπει "γκρίζες" διευθύνσεις χρηστών πριν από τη μετάφραση nat
- Το SORM έχει περιορισμένο αριθμό διεπαφών δικτύου
Ως εκ τούτου, συγκεκριμένα, έπρεπε να ανακατασκευάσουμε σε μεγάλο βαθμό ένα κομμάτι του πυρήνα - απλώς για να συλλέξουμε την επισκεψιμότητα των χρηστών στους διακομιστές πρόσβασης κάπου σε ένα μέρος. Για να το αντικατοπτρίσετε στο SORM με αρκετούς συνδέσμους.
Δηλαδή, πολύ απλοποιημένο, ήταν (αριστερά) έναντι έγινε (δεξιά):
Τώρα Οι περισσότεροι πάροχοι απαιτούν επίσης την εφαρμογή του SORM-3 - το οποίο περιλαμβάνει, μεταξύ άλλων, την καταγραφή των εκπομπών nat.
Για τους σκοπούς αυτούς, έπρεπε επίσης να προσθέσουμε ξεχωριστό εξοπλισμό για το NAT στο παραπάνω διάγραμμα (ακριβώς αυτό που συζητείται στο πρώτο μέρος). Επιπλέον, προσθέστε με μια συγκεκριμένη σειρά: αφού το SORM πρέπει να «βλέπει» την κίνηση πριν από τη μετάφραση διευθύνσεων, η κίνηση πρέπει να είναι αυστηρά ως εξής: χρήστες -> μεταγωγή, πυρήνας -> διακομιστές πρόσβασης -> SORM -> NAT -> μεταγωγή, πυρήνας - > Διαδίκτυο. Για να γίνει αυτό, έπρεπε κυριολεκτικά να «στρέψουμε» τις ροές κυκλοφορίας προς την άλλη κατεύθυνση για κέρδος, κάτι που ήταν επίσης αρκετά δύσκολο.
Συνοπτικά: τα τελευταία δέκα χρόνια, ο βασικός σχεδιασμός ενός μέσου παρόχου έχει γίνει πολλές φορές πιο περίπλοκος και πρόσθετα σημεία αστοχίας (τόσο με τη μορφή εξοπλισμού όσο και με τη μορφή μεμονωμένων γραμμών μεταγωγής) έχουν αυξηθεί σημαντικά. Στην πραγματικότητα, η ίδια η απαίτηση να «βλέπεις τα πάντα» συνεπάγεται τη μείωση αυτού του «όλα» σε ένα σημείο.
Νομίζω ότι αυτό μπορεί να επεκταθεί αρκετά διαφανώς στις τρέχουσες πρωτοβουλίες για την κυριαρχία του Runet, την προστασία του, τη σταθεροποίησή του και τη βελτίωσή του :)
Και η Yarovaya είναι ακόμα μπροστά.
Πηγή: www.habr.com