رد مفصل على التعليق، وكذلك القليل عن حياة مقدمي الخدمة في الاتحاد الروسي

دفعني إلى هذا المنصب هذا هو التعليق.

وأقتبسه هنا:

كليمان اليوم الساعة 18:53

لقد سررت بالمزود اليوم. جنبا إلى جنب مع تحديث نظام حظر الموقع، تم حظر Mailer.ru الخاص به، لقد كنت أتصل بالدعم الفني منذ الصباح، لكنهم لا يستطيعون فعل أي شيء. المزود صغير الحجم، ومن الواضح أن المزودين ذوي الرتب الأعلى يحظرونه. لقد لاحظت أيضًا تباطؤًا في فتح جميع المواقع، ربما قاموا بتثبيت نوع من DLP الملتوي؟ في السابق لم تكن هناك مشاكل في الوصول. تدمير RuNet يحدث أمام عيني مباشرة...

الحقيقة هي أنه يبدو أننا نفس المزود :)

وبالفعل كليمان لقد خمنت تقريبًا سبب مشاكل mail.ru (على الرغم من أننا رفضنا الإيمان بمثل هذا الشيء لفترة طويلة).

وما يلي سوف ينقسم إلى قسمين:

1. أسباب مشاكلنا الحالية مع mail.ru والسعي المثير للعثور عليها
2. وجود مزود خدمة الإنترنت في واقع اليوم، واستقرار RuNet السيادية.

مشاكل إمكانية الوصول مع mail.ru

أوه، إنها قصة طويلة جدًا.

الحقيقة هي أنه من أجل تنفيذ متطلبات الدولة (مزيد من التفاصيل في الجزء الثاني)، قمنا بشراء بعض المعدات وتكوينها وتركيبها - سواء لتصفية الموارد المحظورة أو للتنفيذ ترجمات NAT مشتركين.

منذ بعض الوقت، قمنا أخيرًا بإعادة بناء نواة الشبكة بحيث تمر جميع حركة مرور المشتركين عبر هذه المعدات بدقة في الاتجاه الصحيح.

منذ بضعة أيام قمنا بتشغيل التصفية المحظورة عليه (مع ترك النظام القديم يعمل) - بدا أن كل شيء يسير على ما يرام.

بعد ذلك، بدأوا تدريجيًا في تمكين NAT على هذا الجهاز لأجزاء مختلفة من المشتركين. ومن مظهره، يبدو أن كل شيء يسير على ما يرام أيضًا.

ولكن اليوم، بعد تمكين NAT على المعدات للجزء التالي من المشتركين، واجهنا منذ الصباح عددًا لا بأس به من الشكاوى حول عدم التوفر أو التوفر الجزئي mail.ru وموارد مجموعة Mail Ru الأخرى.

بدأوا في التحقق: شيء ما في مكان ما أحيانا, أحيانا يرسل بروتوكول TCP RST استجابة للطلبات الموجهة حصريًا إلى شبكات mail.ru. علاوة على ذلك، فإنه يرسل بشكل غير صحيح (بدون ACK)، ومن الواضح أنه مصطنع TCP RST. هذا هو ما يبدو:

بطبيعة الحال، كانت الأفكار الأولى حول المعدات الجديدة: DPI الرهيبة، لا تثق بها، لا تعرف أبدًا ما يمكن أن تفعله - بعد كل شيء، TCP RST هو شيء شائع إلى حد ما بين أدوات الحظر.

افتراض كليمان لقد طرحنا أيضًا فكرة أن شخصًا "متفوقًا" يقوم بالتصفية، لكننا تجاهلناها على الفور.

أولاً، لدينا روابط صاعدة سليمة بدرجة كافية حتى لا نضطر إلى المعاناة بهذه الطريقة :)

ثانيا، نحن متصلون بعدة IX في موسكو، وحركة المرور إلى mail.ru تمر عبرهم - وليس لديهم أي مسؤوليات ولا أي دافع آخر لتصفية حركة المرور.

تم قضاء النصف التالي من اليوم في ما يسمى عادة بالشامانية - جنبًا إلى جنب مع بائع المعدات، الذي نشكرهم عليه، لم يستسلموا :)

• تم تعطيل التصفية تماما
• تم تعطيل NAT باستخدام النظام الجديد
• تم وضع جهاز الكمبيوتر الاختباري في مجموعة منفصلة معزولة
• تم تغيير عنوان IP

وفي فترة ما بعد الظهر، تم تخصيص جهاز افتراضي متصل بالشبكة وفقًا لمخطط المستخدم العادي، وتم منح ممثلي البائع إمكانية الوصول إليه وإلى المعدات. واستمرت الشامانية :)

في النهاية، صرح ممثل البائع بثقة أن الأجهزة لا علاقة لها بالأمر على الإطلاق: فالأولى تأتي من مكان أعلى.

لاحظفي هذه المرحلة، قد يقول شخص ما: ولكن كان من الأسهل بكثير أن تأخذ تفريغ ليس من جهاز الكمبيوتر الاختباري، ولكن من الطريق السريع فوق DPI؟

لا، لسوء الحظ، فإن أخذ تفريغ (وحتى مجرد النسخ المتطابق) 40+ جيجابت في الثانية ليس بالأمر التافه على الإطلاق.

بعد ذلك، في المساء، لم يبق شيء لفعله سوى العودة إلى افتراض الترشيح الغريب في مكان ما أعلاه.

لقد بحثت من خلال IX أن حركة المرور إلى شبكات MRG تمر الآن وقمت ببساطة بإلغاء جلسات bgp إليها. و- وها! - عاد كل شيء إلى طبيعته على الفور 🙁

فمن ناحية، من المؤسف أن أقضي اليوم كله في البحث عن المشكلة، رغم أنها تم حلها في خمس دقائق.

من ناحية أخرى:

– في ذاكرتي هذا شيء غير مسبوق. كما كتبت أعلاه - تاسعا حقا ليس هناك فائدة من تصفية حركة المرور العابر. عادةً ما يكون لديهم مئات الجيجابت/التيرابت في الثانية. لم أستطع أن أتخيل جديًا شيئًا كهذا حتى وقت قريب.

- مصادفة محظوظة بشكل لا يصدق: جهاز معقد جديد غير موثوق به بشكل خاص وليس من الواضح ما يمكن توقعه - مصمم خصيصًا لحظر الموارد، بما في ذلك TCP RSTs

تبحث NOC لتبادل الإنترنت هذا حاليًا عن مشكلة. وفقا لهم (وأنا أصدقهم)، ليس لديهم أي نظام ترشيح خاص. لكن الحمد لله، أن السعي الإضافي لم يعد مشكلتنا :)

كانت هذه محاولة صغيرة لتبرير نفسي، أرجو أن تتفهموا وتسامحوا :)

ملحوظة: أنا لا أذكر اسم الشركة المصنعة لـ DPI/NAT أو IX عمدًا (في الواقع، ليس لدي أي شكاوى خاصة بشأنها، الشيء الرئيسي هو فهم ما كانت عليه)

واقع اليوم (وكذلك الأمس وقبل الأمس) من وجهة نظر مزود خدمة الإنترنت

لقد أمضيت الأسابيع الماضية في إعادة بناء جوهر الشبكة بشكل كبير، وإجراء مجموعة من عمليات التلاعب "من أجل الربح"، مع خطر التأثير بشكل كبير على حركة مرور المستخدم المباشرة. وبالنظر إلى أهداف ونتائج وعواقب كل هذا، فإن الأمر كله صعب للغاية من الناحية الأخلاقية. خاصة - الاستماع مرة أخرى إلى الخطب الجميلة حول حماية استقرار الرونية والسيادة وما إلى ذلك. وما إلى ذلك وهلم جرا.

في هذا القسم، سأحاول وصف "تطور" الشبكة الأساسية لمزود خدمة الإنترنت النموذجي على مدى السنوات العشر الماضية.

قبل عشر سنوات.

في تلك الأوقات المباركة، يمكن أن يكون جوهر شبكة المزودين بسيطًا وموثوقًا مثل ازدحام حركة المرور:

في هذه الصورة المبسطة جدًا، لا توجد قنوات أو حلقات أو توجيه IP/mpls.

جوهرها هو أن حركة مرور المستخدم وصلت في النهاية إلى مستوى تبديل النواة - من حيث ذهبت BNG، من حيث، كقاعدة عامة، العودة إلى التبديل الأساسي، ثم "الخروج" - من خلال بوابة حدودية واحدة أو أكثر إلى الإنترنت.

من السهل جدًا حجز مثل هذا المخطط على L3 (التوجيه الديناميكي) وعلى L2 (MPLS).

يمكنك تثبيت N+1 لأي ​​شيء: الوصول إلى الخوادم والمحولات والحدود - وبطريقة أو بأخرى حجزها لتجاوز الفشل تلقائيًا.

بعد سنوات قليلة أصبح من الواضح للجميع في روسيا أنه لم يعد من الممكن العيش بهذه الطريقة: كان من الضروري حماية الأطفال من التأثير الخبيث للإنترنت.

كانت هناك حاجة ملحة لإيجاد طرق لتصفية حركة مرور المستخدم.

هناك طرق مختلفة هنا.

في حالة ليست جيدة جدًا، يتم وضع شيء ما "في الفجوة": بين حركة مرور المستخدم والإنترنت. يتم تحليل حركة المرور التي تمر عبر هذا "الشيء"، وعلى سبيل المثال، يتم إرسال حزمة مزيفة مع إعادة توجيه نحو المشترك.

في حالة أفضل قليلاً - إذا سمحت أحجام حركة المرور - يمكنك القيام بخدعة صغيرة بأذنيك: إرسال لتصفية حركة المرور الصادرة فقط من المستخدمين فقط إلى تلك العناوين التي تحتاج إلى تصفيتها (للقيام بذلك، يمكنك إما أخذ عناوين IP المحددة هناك من التسجيل، أو بالإضافة إلى ذلك حل المجالات الموجودة في التسجيل).

ذات مرة، لهذه الأغراض، كتبت بسيطة نقطة في البوصة الصغيرة - على الرغم من أنني لا أجرؤ على تسميته بذلك. إنه بسيط للغاية وغير منتج للغاية - ومع ذلك، فقد سمح لنا ولعشرات (إن لم يكن المئات) من مقدمي الخدمات الآخرين بعدم صرف الملايين على الفور على أنظمة DPI الصناعية، ولكنها أعطت عدة سنوات إضافية من الوقت.

بالمناسبة، حول DPI آنذاك والحاليةبالمناسبة، العديد من الذين اشتروا أنظمة DPI المتوفرة في السوق في ذلك الوقت قد تخلصوا منها بالفعل. حسنًا، إنها ليست مصممة لهذا الغرض: مئات الآلاف من العناوين، وعشرات الآلاف من عناوين URL.

وفي الوقت نفسه، ارتفع المنتجون المحليون بقوة إلى هذا السوق. أنا لا أتحدث عن مكون الأجهزة - كل شيء واضح للجميع هنا، ولكن البرنامج - الشيء الرئيسي الذي تمتلكه DPI - ربما يكون اليوم، إن لم يكن الأكثر تقدمًا في العالم، فمن المؤكد أ) يتطور على قدم وساق، و ب) بسعر منتج معبأ - لا يمكن مقارنته بالمنافسين الأجانب.

أود أن أكون فخورًا، ولكن حزينًا بعض الشيء =)

الآن بدا كل شيء هكذا:

في بضع سنوات أخرى كان لدى الجميع مدققون بالفعل؛ كان هناك المزيد والمزيد من الموارد في التسجيل. بالنسبة لبعض المعدات القديمة (على سبيل المثال، Cisco 7600)، أصبح نظام "التصفية الجانبية" غير قابل للتطبيق ببساطة: عدد المسارات على 76 منصة يقتصر على ما يقرب من تسعمائة ألف، في حين أن عدد مسارات IPv4 وحده اليوم يقترب من 800 ألف. وإذا كان أيضًا ipv6... وأيضًا... كم سعره؟ 900000 عنوان فردي في حظر RKN؟ =)

تحول شخص ما إلى مخطط يعكس كل حركة المرور الأساسية إلى خادم التصفية، والذي يجب أن يحلل التدفق بالكامل، وإذا تم العثور على شيء سيئ، يرسل RST في كلا الاتجاهين (المرسل والمستلم).

ومع ذلك، كلما زاد عدد الزيارات، قل تطبيق هذا المخطط. إذا كان هناك أدنى تأخير في المعالجة، فسوف تمر حركة المرور المتطابقة ببساطة دون أن يلاحظها أحد، وسيتلقى المزود تقريرًا جيدًا.

يضطر المزيد والمزيد من مقدمي الخدمات إلى تثبيت أنظمة DPI بدرجات متفاوتة من الموثوقية عبر الطرق السريعة.

منذ عام أو عامين وفقا للشائعات، بدأ جميع FSB تقريبا في المطالبة بالتركيب الفعلي للمعدات SORM (في السابق، كان معظم مقدمي الخدمة ينجحون في ذلك بموافقة السلطات خطة سورم - خطة التدابير التشغيلية في حالة الحاجة إلى العثور على شيء ما في مكان ما)

بالإضافة إلى المال (ليس باهظًا تمامًا، ولكن لا يزال الملايين)، تطلب SORM العديد من عمليات التلاعب بالشبكة.

• يحتاج SORM إلى رؤية عناوين المستخدم "الرمادية" قبل ترجمة nat
• لدى SORM عدد محدود من واجهات الشبكة

لذلك، على وجه الخصوص، كان علينا إعادة بناء جزء من النواة بشكل كبير - ببساطة من أجل جمع حركة مرور المستخدم إلى خوادم الوصول في مكان ما في مكان واحد. من أجل عكسها في SORM بعدة روابط.

وهذا يعني بشكل مبسط جدًا أنه كان (يسارًا) مقابل (يمينًا):

الآن يطلب معظم مقدمي الخدمات أيضًا تنفيذ SORM-3 - والذي يتضمن، من بين أمور أخرى، تسجيل عمليات بث nat.

لهذه الأغراض، كان علينا أيضًا إضافة معدات منفصلة لـ NAT إلى الرسم البياني أعلاه (تمامًا ما تمت مناقشته في الجزء الأول). علاوة على ذلك، أضف بترتيب معين: نظرًا لأن SORM يجب أن "يرى" حركة المرور قبل ترجمة العناوين، فيجب أن تتم حركة المرور بدقة كما يلي: المستخدمون -> التبديل، kernel -> خوادم الوصول -> SORM -> NAT -> التبديل، kernel - > الإنترنت. للقيام بذلك، كان علينا حرفيًا "تحويل" تدفقات حركة المرور في الاتجاه الآخر لتحقيق الربح، وهو الأمر الذي كان أيضًا صعبًا للغاية.

باختصار: على مدى السنوات العشر الماضية، أصبح التصميم الأساسي لمزود متوسط ​​الخدمة أكثر تعقيدًا عدة مرات، وزادت بشكل كبير نقاط الفشل الإضافية (سواء في شكل معدات أو في شكل خطوط تحويل مفردة). في الواقع، فإن مطلب "رؤية كل شيء" يعني اختزال هذا "الكل" إلى نقطة واحدة.

أعتقد أن هذا يمكن استقراءه بشفافية تامة للمبادرات الحالية لسيادة الرونيت وحمايته وتحقيق استقراره وتحسينه :)

وياروفايا لا يزال في المقدمة.

المصدر: www.habr.com