CacheBrowser प्रयोग: सामग्री कॅशिंग वापरून प्रॉक्सीशिवाय चीनी फायरवॉलला बायपास करणे

चित्र: Unsplash

आज, इंटरनेटवरील सर्व सामग्रीचा महत्त्वपूर्ण भाग CDN नेटवर्क वापरून वितरित केला जातो. त्याच वेळी, विविध सेन्सर अशा नेटवर्कवर त्यांचा प्रभाव कसा वाढवतात याचे संशोधन. मॅसॅच्युसेट्स विद्यापीठातील शास्त्रज्ञ विश्लेषण केले चीनी अधिकाऱ्यांच्या पद्धतींचे उदाहरण वापरून CDN सामग्री ब्लॉक करण्याच्या संभाव्य पद्धती आणि अशा ब्लॉकिंगला बायपास करण्यासाठी एक साधन विकसित केले.

आम्ही या प्रयोगाचे मुख्य निष्कर्ष आणि परिणामांसह पुनरावलोकन सामग्री तयार केली आहे.

परिचय

सेन्सॉरशिप हा इंटरनेटवरील भाषण स्वातंत्र्य आणि माहितीच्या मुक्त प्रवेशासाठी जागतिक धोका आहे. इंटरनेटने गेल्या शतकाच्या 70 च्या दशकातील टेलिफोन नेटवर्कवरून "एंड-टू-एंड कम्युनिकेशन" मॉडेल घेतले या वस्तुस्थितीमुळे हे मोठ्या प्रमाणात शक्य आहे. हे तुम्हाला केवळ IP पत्त्यावर आधारित महत्त्वपूर्ण प्रयत्न किंवा खर्चाशिवाय सामग्री किंवा वापरकर्ता संप्रेषणांमध्ये प्रवेश अवरोधित करण्यास अनुमती देते. प्रतिबंधित सामग्रीसह पत्ता अवरोधित करण्यापासून ते DNS हाताळणी वापरून ओळखण्याची वापरकर्त्यांची क्षमता अवरोधित करण्यापर्यंत अनेक पद्धती येथे आहेत.

तथापि, इंटरनेटच्या विकासामुळे माहिती प्रसारित करण्याचे नवीन मार्ग देखील उदयास आले आहेत. कार्यप्रदर्शन सुधारण्यासाठी आणि संप्रेषणांची गती वाढवण्यासाठी कॅशे केलेल्या सामग्रीचा वापर त्यापैकी एक आहे. आज, CDN प्रदाते जगातील सर्व ट्रॅफिकवर लक्षणीय प्रमाणात प्रक्रिया करतात - Akamai, या विभागातील प्रमुख, जागतिक स्थिर वेब रहदारीच्या 30% पर्यंत एकट्याचा वाटा आहे.

CDN नेटवर्क ही जास्तीत जास्त वेगाने इंटरनेट सामग्री वितरीत करण्यासाठी वितरित प्रणाली आहे. ठराविक CDN नेटवर्कमध्ये वेगवेगळ्या भौगोलिक स्थानांमधील सर्व्हर असतात जे त्या सर्व्हरच्या सर्वात जवळ असलेल्या वापरकर्त्यांना सेवा देण्यासाठी सामग्री कॅशे करतात. हे आपल्याला ऑनलाइन संप्रेषणाची गती लक्षणीयरीत्या वाढविण्यास अनुमती देते.

अंतिम वापरकर्त्यांसाठी अनुभव सुधारण्याव्यतिरिक्त, CDN होस्टिंग सामग्री निर्मात्यांना त्यांच्या पायाभूत सुविधांवरील भार कमी करून त्यांचे प्रकल्प स्केल करण्यात मदत करते.

CDN सामग्री सेन्सॉर करत आहे

इंटरनेटवर प्रसारित केलेल्या सर्व माहितीचा CDN रहदारी आधीच महत्त्वाचा भाग बनवते हे तथ्य असूनही, वास्तविक जगातील सेन्सर त्याच्या नियंत्रणाकडे कसे जातात यावर अद्याप कोणतेही संशोधन नाही.

अभ्यासाच्या लेखकांनी सेन्सॉरिंग तंत्रांचा शोध घेऊन सुरुवात केली जी CDN वर लागू केली जाऊ शकते. त्यानंतर त्यांनी चीनी अधिकाऱ्यांनी वापरलेल्या प्रत्यक्ष यंत्रणेचा अभ्यास केला.

प्रथम, संभाव्य सेन्सॉरिंग पद्धती आणि CDN नियंत्रित करण्यासाठी त्यांचा वापर करण्याच्या शक्यतेबद्दल बोलूया.

आयपी फिल्टरिंग

इंटरनेट सेन्सॉर करण्यासाठी हे सर्वात सोपे आणि सर्वात स्वस्त तंत्र आहे. हा दृष्टीकोन वापरून, सेन्सॉर प्रतिबंधित सामग्री होस्ट करणार्‍या संसाधनांचे IP पत्ते ओळखतो आणि ब्लॅकलिस्ट करतो. मग नियंत्रित इंटरनेट प्रदाते अशा पत्त्यांवर पाठवलेले पॅकेट वितरित करणे थांबवतात.

आयपी-आधारित ब्लॉकिंग ही इंटरनेट सेन्सॉर करण्याच्या सर्वात सामान्य पद्धतींपैकी एक आहे. बहुतेक व्यावसायिक नेटवर्क उपकरणे महत्त्वपूर्ण संगणकीय प्रयत्नांशिवाय अशा ब्लॉकिंगची अंमलबजावणी करण्यासाठी फंक्शन्ससह सुसज्ज आहेत.

तथापि, तंत्रज्ञानाच्याच काही गुणधर्मांमुळे सीडीएन रहदारी अवरोधित करण्यासाठी ही पद्धत फारशी योग्य नाही:

• वितरित कॅशिंग - सामग्रीची सर्वोत्तम उपलब्धता सुनिश्चित करण्यासाठी आणि कार्यप्रदर्शन ऑप्टिमाइझ करण्यासाठी, CDN नेटवर्क्स भौगोलिकदृष्ट्या वितरीत केलेल्या ठिकाणी असलेल्या मोठ्या संख्येने एज सर्व्हरवर वापरकर्ता सामग्री कॅशे करतात. आयपीवर आधारित अशी सामग्री फिल्टर करण्यासाठी, सेन्सॉरला सर्व एज सर्व्हरचे पत्ते शोधून त्यांना ब्लॅकलिस्ट करणे आवश्यक आहे. हे पद्धतीच्या मुख्य गुणधर्मांना कमी करेल, कारण त्याचा मुख्य फायदा असा आहे की नेहमीच्या योजनेमध्ये, एक सर्व्हर अवरोधित केल्याने आपल्याला एकाच वेळी मोठ्या संख्येने लोकांसाठी प्रतिबंधित सामग्रीचा प्रवेश "कट ऑफ" करण्याची परवानगी मिळते.
• शेअर केलेले आयपी - व्यावसायिक CDN प्रदाते त्यांची पायाभूत सुविधा (उदा. एज सर्व्हर, मॅपिंग सिस्टीम इ.) अनेक क्लायंटमध्ये सामायिक करतात. परिणामी, बंदी घातलेली CDN सामग्री बंदी नसलेली सामग्री सारख्याच IP पत्त्यांमधून लोड केली जाते. परिणामी, आयपी फिल्टरिंगच्या कोणत्याही प्रयत्नामुळे सेन्सॉरला स्वारस्य नसलेल्या साइट्स आणि सामग्री ब्लॉक केल्या जातील.
• अत्यंत डायनॅमिक IP असाइनमेंट - लोड बॅलन्सिंग ऑप्टिमाइझ करण्यासाठी आणि सेवेची गुणवत्ता सुधारण्यासाठी, एज सर्व्हर आणि अंतिम वापरकर्त्यांचे मॅपिंग अतिशय जलद आणि गतिमानपणे केले जाते. उदाहरणार्थ, Akamai अद्यतने प्रत्येक मिनिटाला IP पत्ते परत करतात. हे निषिद्ध सामग्रीशी संबंधित पत्त्यांसाठी जवळजवळ अशक्य करेल.

DNS हस्तक्षेप

आयपी फिल्टरिंग व्यतिरिक्त, दुसरी लोकप्रिय सेन्सॉरिंग पद्धत म्हणजे DNS हस्तक्षेप. या दृष्टिकोनामध्ये वापरकर्त्यांना प्रतिबंधित सामग्रीसह संसाधनांचे IP पत्ते ओळखण्यापासून प्रतिबंधित करण्याच्या उद्देशाने सेन्सॉरच्या कृतींचा समावेश आहे. म्हणजेच, हस्तक्षेप डोमेन नेम रिझोल्यूशन स्तरावर होतो. हे करण्याचे अनेक मार्ग आहेत, ज्यात DNS कनेक्शन अपहृत करणे, DNS विषबाधा तंत्रे वापरणे आणि प्रतिबंधित साइटवर DNS विनंत्या अवरोधित करणे समाविष्ट आहे.

ही एक अतिशय प्रभावी ब्लॉकिंग पद्धत आहे, परंतु तुम्ही नॉन-स्टँडर्ड DNS रिझोल्यूशन पद्धती वापरल्यास, उदाहरणार्थ, आउट-ऑफ-बँड चॅनेल वापरल्यास ते टाळले जाऊ शकते. म्हणून, सेन्सर सहसा IP फिल्टरिंगसह DNS ब्लॉकिंग एकत्र करतात. परंतु, वर सांगितल्याप्रमाणे, CDN सामग्री सेन्सॉर करण्यासाठी IP फिल्टरिंग प्रभावी नाही.

डीपीआय वापरून URL/कीवर्डनुसार फिल्टर करा

प्रसारित डेटा पॅकेटमधील विशिष्ट URL आणि कीवर्डचे विश्लेषण करण्यासाठी आधुनिक नेटवर्क क्रियाकलाप निरीक्षण उपकरणे वापरली जाऊ शकतात. या तंत्रज्ञानाला डीपीआय (डीप पॅकेट तपासणी) म्हणतात. अशा प्रणालींमध्ये प्रतिबंधित शब्द आणि संसाधनांचा उल्लेख आढळतो, त्यानंतर ते ऑनलाइन संप्रेषणात व्यत्यय आणतात. परिणामी, पॅकेट सहज सोडले जातात.

ही पद्धत प्रभावी आहे, परंतु अधिक जटिल आणि संसाधन-केंद्रित आहे कारण त्यासाठी विशिष्ट प्रवाहांमध्ये पाठवलेल्या सर्व डेटा पॅकेटचे डीफ्रॅगमेंटेशन आवश्यक आहे.

CDN सामग्री "नियमित" सामग्री प्रमाणेच अशा फिल्टरिंगपासून संरक्षित केली जाऊ शकते - दोन्ही प्रकरणांमध्ये एन्क्रिप्शनचा वापर (म्हणजे HTTPS) मदत करते.

प्रतिबंधित स्त्रोतांचे कीवर्ड किंवा URL शोधण्यासाठी DPI वापरण्याव्यतिरिक्त, ही साधने अधिक प्रगत विश्लेषणासाठी वापरली जाऊ शकतात. या पद्धतींमध्ये ऑनलाइन/ऑफलाइन रहदारीचे सांख्यिकीय विश्लेषण आणि ओळख प्रोटोकॉलचे विश्लेषण समाविष्ट आहे. या पद्धती अत्यंत संसाधन-केंद्रित आहेत आणि याक्षणी पुरेशा गंभीर मर्यादेपर्यंत सेन्सॉरद्वारे त्यांचा वापर केल्याचा कोणताही पुरावा नाही.

CDN प्रदात्यांचे स्व-सेन्सॉरशिप

जर सेन्सॉर हे राज्य असेल, तर त्या CDN प्रदात्यांना देशात काम करण्यापासून प्रतिबंधित करण्याची प्रत्येक संधी आहे जे सामग्रीमध्ये प्रवेश नियंत्रित करणारे स्थानिक कायदे पाळत नाहीत. सेल्फ-सेन्सॉरशिपला कोणत्याही प्रकारे विरोध केला जाऊ शकत नाही - म्हणून, जर CDN प्रदाता कंपनी एखाद्या विशिष्ट देशात कार्य करण्यास स्वारस्य असेल, तर तिला स्थानिक कायद्यांचे पालन करण्यास भाग पाडले जाईल, जरी त्यांनी भाषण स्वातंत्र्य प्रतिबंधित केले तरीही.

चीन CDN सामग्री कशी सेन्सॉर करते

इंटरनेट सेन्सॉरशिप सुनिश्चित करण्यासाठी चीनची ग्रेट फायरवॉल ही सर्वात प्रभावी आणि प्रगत प्रणाली मानली जाते.

संशोधन कार्यप्रणाली

शास्त्रज्ञांनी चीनमध्ये स्थित लिनक्स नोड वापरून प्रयोग केले. त्यांना देशाबाहेरील अनेक संगणकांवरही प्रवेश होता. प्रथम, संशोधकांनी तपासले की नोड इतर चीनी वापरकर्त्यांना लागू केलेल्या सेन्सॉरशिपच्या अधीन आहे - हे करण्यासाठी, त्यांनी या मशीनमधून विविध प्रतिबंधित साइट उघडण्याचा प्रयत्न केला. त्यामुळे सेन्सॉरशिपच्या समान पातळीच्या उपस्थितीची पुष्टी झाली.

चीनमध्ये ब्लॉक केलेल्या CDN वापरणाऱ्या वेबसाइट्सची यादी GreatFire.org वरून घेण्यात आली आहे. त्यानंतर प्रत्येक प्रकरणात ब्लॉक करण्याच्या पद्धतीचे विश्लेषण केले गेले.

सार्वजनिक माहितीनुसार, चीनमधील स्वतःच्या पायाभूत सुविधांसह सीडीएन मार्केटमधील एकमेव प्रमुख खेळाडू अकामाई आहे. अभ्यासात सहभागी होणारे इतर प्रदाते: CloudFlare, Amazon CloudFront, EdgeCast, Fastly आणि SoftLayer.

प्रयोगादरम्यान, संशोधकांनी देशातील अकामाई एज सर्व्हरचे पत्ते शोधून काढले आणि नंतर त्यांच्याद्वारे कॅशेड अनुमत सामग्री मिळविण्याचा प्रयत्न केला. निषिद्ध सामग्रीमध्ये प्रवेश करणे शक्य नव्हते (HTTP 403 निषिद्ध त्रुटी परत आली) - वरवर पाहता कंपनी देशात ऑपरेट करण्याची क्षमता राखण्यासाठी स्वयं-सेन्सॉरिंग करत आहे. त्याच वेळी, या संसाधनांचा प्रवेश देशाबाहेर खुला राहिला.

चीनमधील पायाभूत सुविधा नसलेले ISP स्थानिक वापरकर्त्यांना स्व-सेन्सर करत नाहीत.

इतर प्रदात्यांच्या बाबतीत, सर्वात सामान्यतः वापरलेली ब्लॉकिंग पद्धत DNS फिल्टरिंग होती - ब्लॉक केलेल्या साइट्सच्या विनंत्या चुकीचे IP पत्ते सोडवल्या जातात. त्याच वेळी, फायरवॉल स्वतः एज सीडीएन सर्व्हर अवरोधित करत नाही, कारण ते प्रतिबंधित आणि परवानगी असलेली दोन्ही माहिती संग्रहित करतात.

आणि जर एनक्रिप्टेड रहदारीच्या बाबतीत अधिकार्‍यांकडे डीपीआय वापरून साइटची वैयक्तिक पृष्ठे अवरोधित करण्याची क्षमता असेल, तर HTTPS वापरताना ते संपूर्ण डोमेनवर प्रवेश नाकारू शकतात. यामुळे परवानगी असलेल्या सामग्रीला ब्लॉक केले जाते.

याव्यतिरिक्त, चीनचे स्वतःचे CDN प्रदाता आहेत, ज्यात ChinaCache, ChinaNetCenter आणि CDNetworks सारख्या नेटवर्कचा समावेश आहे. या सर्व कंपन्या देशाच्या कायद्यांचे पूर्णपणे पालन करतात आणि प्रतिबंधित सामग्री ब्लॉक करतात.

CacheBrowser: CDN बायपास टूल

विश्लेषण दाखवल्याप्रमाणे, सेन्सॉरसाठी CDN सामग्री अवरोधित करणे खूप कठीण आहे. म्हणून, संशोधकांनी आणखी पुढे जाण्याचा आणि प्रॉक्सी तंत्रज्ञानाचा वापर न करणारे ऑनलाइन ब्लॉक बायपास टूल विकसित करण्याचा निर्णय घेतला.

टूलची मूळ कल्पना अशी आहे की सेन्सॉरला CDN अवरोधित करण्यासाठी DNS मध्ये हस्तक्षेप करावा लागतो, परंतु तुम्हाला CDN सामग्री लोड करण्यासाठी डोमेन नेम रिझोल्यूशन वापरण्याची आवश्यकता नाही. अशाप्रकारे, वापरकर्त्याला एज सर्व्हरशी थेट संपर्क साधून आवश्यक असलेली सामग्री मिळू शकते, जिथे ती आधीच कॅश केलेली आहे.

खालील आकृती सिस्टीम डिझाइन दर्शवते.

क्लायंट सॉफ्टवेअर वापरकर्त्याच्या संगणकावर स्थापित केले आहे आणि सामग्रीमध्ये प्रवेश करण्यासाठी नियमित ब्राउझर वापरला जातो.

जेव्हा URL किंवा सामग्रीच्या भागाची आधीच विनंती केली जाते, तेव्हा ब्राउझर स्थानिक DNS सिस्टमला (LocalDNS) होस्टिंग IP पत्ता प्राप्त करण्यासाठी विनंती करतो. रेग्युलर DNS फक्त अशा डोमेनसाठी विचारले जाते जे आधीपासून LocalDNS डेटाबेसमध्ये नाहीत. स्क्रॅपर मॉड्यूल सतत विनंती केलेल्या URL मधून जाते आणि संभाव्य अवरोधित डोमेन नावांसाठी सूची शोधते. स्क्रॅपर नंतर नवीन शोधलेल्या अवरोधित डोमेनचे निराकरण करण्यासाठी रिझॉल्व्हर मॉड्यूलला कॉल करते, हे मॉड्यूल कार्य करते आणि LocalDNS मध्ये एक एंट्री जोडते. ब्राउझरचे DNS कॅशे नंतर ब्लॉक केलेल्या डोमेनसाठी विद्यमान DNS रेकॉर्ड काढून टाकण्यासाठी साफ केले जाते.

डोमेन कोणत्या CDN प्रदात्याचे आहे हे रिझोल्व्हर मॉड्यूल शोधू शकत नसल्यास, ते बूटस्ट्रॅपर मॉड्यूलला मदतीसाठी विचारेल.

ते सराव मध्ये कसे कार्य करते

उत्पादनाचे क्लायंट सॉफ्टवेअर लिनक्ससाठी लागू केले गेले होते, परंतु ते विंडोजसाठी देखील सहजपणे पोर्ट केले जाऊ शकते. नियमित Mozilla ब्राउझर म्हणून वापरला जातो
फायरफॉक्स. स्क्रॅपर आणि रिझोल्व्हर मॉड्यूल्स पायथनमध्ये लिहिलेले आहेत आणि ग्राहक-टू-CDN आणि CDN-toIP डेटाबेस .txt फायलींमध्ये संग्रहित आहेत. LocalDNS डेटाबेस ही Linux मधील नियमित /etc/hosts फाइल आहे.

परिणामी, ब्लॉक केलेल्या URL साठी जसे blocked.com स्क्रिप्टला /etc/hosts फाइलमधून एज सर्व्हर IP पत्ता मिळेल आणि होस्ट HTTP शीर्षलेख फील्डसह BlockedURL.html मध्ये प्रवेश करण्यासाठी HTTP GET विनंती पाठवेल:

blocked.com/ and User-Agent: Mozilla/5.0 (Windows
NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1

बूटस्ट्रॅपर मॉड्यूल हे विनामूल्य टूल digwebinterface.com वापरून लागू केले आहे. हा DNS रिझोल्व्हर ब्लॉक केला जाऊ शकत नाही आणि विविध नेटवर्क क्षेत्रांमध्ये एकाधिक भौगोलिकदृष्ट्या वितरित DNS सर्व्हरच्या वतीने DNS प्रश्नांची उत्तरे देतो.

या साधनाचा वापर करून, संशोधकांनी त्यांच्या चिनी नोडवरून Facebook वर प्रवेश मिळवला, जरी चीनमध्ये सोशल नेटवर्क बर्याच काळापासून अवरोधित केले गेले आहे.

निष्कर्ष

प्रयोगाने दर्शविले आहे की CDN सामग्री अवरोधित करण्याचा प्रयत्न करताना सेन्सॉरला येणाऱ्या समस्यांचा फायदा घेऊन ब्लॉक्स बायपास करण्यासाठी एक प्रणाली तयार करण्यासाठी वापरली जाऊ शकते. हे साधन तुम्हाला चीनमध्ये देखील ब्लॉक्स बायपास करण्यास अनुमती देते, ज्यामध्ये सर्वात शक्तिशाली ऑनलाइन सेन्सॉरशिप सिस्टम आहे.

वापराच्या विषयावरील इतर लेख रहिवासी प्रॉक्सी धंद्यासाठी:

• निवासी प्रॉक्सी व्यवसायात कशी मदत करतात: डेटा मायनिंग क्षेत्रात इन्फॅटिका वापरण्याचे एक वास्तविक प्रकरण
• पार्सिंग. SOCKS प्रॉक्सी कसे कार्य करते: साधक, बाधक, इतर तंत्रज्ञानातील फरक
• व्यवसायासाठी प्रॉक्सी नेटवर्क कसे निवडावे: 3 व्यावहारिक टिपा

स्त्रोत: www.habr.com