Մանրամասն պատասխան մեկնաբանությանը, ինչպես նաև մի փոքր Ռուսաստանի Դաշնությունում պրովայդերների կյանքի մասին

Ինձ հուշեց այս գրառմանը սա մեկնաբանությունն է.

Ես դա մեջբերում եմ այստեղ.

կալեման այսօր ժամը 18:53-ին

Այսօր ես գոհ էի մատակարարից: Կայքի արգելափակման համակարգի թարմացման հետ մեկտեղ նրա mailer mail.ru-ն արգելվեց, առավոտից զանգում եմ տեխնիկական սպասարկում, բայց ոչինչ չեն կարողանում անել։ Մատակարարը փոքր է, և, ըստ երևույթին, ավելի բարձր կարգի պրովայդերներն արգելափակում են այն: Բոլոր կայքերի բացման մեջ էլ եմ դանդաղում նկատել, գուցե ինչ-որ ծուռ DLP են տեղադրել։ Նախկինում մուտքի հետ կապված խնդիրներ չեն եղել։ RuNet-ի ոչնչացումը տեղի է ունենում հենց իմ աչքի առաջ...

Փաստն այն է, որ թվում է, թե մենք նույն մատակարարն ենք :)

Եվ իսկապես, կալեման Ես գրեթե կռահեցի mail.ru-ի հետ կապված խնդիրների պատճառը (չնայած մենք երկար ժամանակ հրաժարվում էինք հավատալ նման բանի)։

Հետևյալը կբաժանվի երկու մասի.

1. mail.ru-ի հետ մեր ընթացիկ խնդիրների պատճառները և դրանք գտնելու հուզիչ որոնումները
2. ISP-ի առկայությունը այսօրվա իրողություններում, ինքնիշխան RuNet-ի կայունությունը։

Մատչելիության խնդիրներ mail.ru-ի հետ

Օ, դա բավականին երկար պատմություն է:

Փաստն այն է, որ պետության պահանջները կյանքի կոչելու համար (ավելի մանրամասն՝ երկրորդ մասում), մենք գնեցինք, կազմաձևեցինք և տեղադրեցինք որոշ սարքավորումներ՝ և՛ արգելված ռեսուրսները զտելու, և՛ իրագործելու համար։ NAT թարգմանություններ բաժանորդներ.

Որոշ ժամանակ առաջ մենք վերջապես վերակառուցեցինք ցանցի միջուկը այնպես, որ բոլոր բաժանորդային երթևեկությունը անցավ այս սարքավորման միջոցով խիստ ճիշտ ուղղությամբ:

Մի քանի օր առաջ միացրեցինք դրա վրա արգելված ֆիլտրումը (մինչև հին համակարգը թողնում էր աշխատել) - ամեն ինչ կարծես լավ էր:

Այնուհետև նրանք աստիճանաբար սկսեցին միացնել NAT-ը այս սարքավորման վրա բաժանորդների տարբեր մասերի համար: Արտաքնից թվում էր նաև, որ ամեն ինչ լավ է ընթանում։

Բայց այսօր, միացնելով NAT-ը բաժանորդների հաջորդ մասի սարքավորումների վրա, հենց առավոտից մենք բախվեցինք պատշաճ թվով բողոքների անհասանելիության կամ մասնակի առկայության վերաբերյալ: mail.ru և Mail Ru Group-ի այլ ռեսուրսներ:

Նրանք սկսեցին ստուգել՝ ինչ-որ տեղ ինչ-որ բան երբեմն, երբեմն ուղարկում է TCP RST ի պատասխան բացառապես mail.ru ցանցերին ուղղված հարցումներին: Ավելին, այն ուղարկում է սխալ գեներացված (առանց ACK), ակնհայտորեն արհեստական ​​TCP RST: Ահա թե ինչ տեսք ուներ.

Բնականաբար, առաջին մտքերը վերաբերում էին նոր սարքավորմանը. սարսափելի DPI, դրա նկատմամբ վստահություն չկա, դուք երբեք չգիտեք, թե ինչ կարող է դա անել. ի վերջո, TCP RST-ն բավականին տարածված բան է արգելափակող գործիքների մեջ:

Ենթադրություն կալեման Մենք նաև առաջ քաշեցինք այն միտքը, որ ինչ-որ մեկը «վերադաս» է ֆիլտրում, բայց անմիջապես դեն նետեցինք:

Նախ, մենք ունենք բավականաչափ առողջ վերին հղումներ, որպեսզի ստիպված չլինենք այսպես տառապել :)

Երկրորդ, մենք կապված ենք մի քանիսի հետ IX Մոսկվայում, և mail.ru-ի երթևեկությունը անցնում է նրանց միջոցով, և նրանք չունեն թրաֆիկը զտելու ոչ պարտականություններ, ոչ էլ որևէ այլ շարժառիթ:

Օրվա հաջորդ կեսը ծախսվեց այն բանի վրա, ինչը սովորաբար կոչվում է շամանիզմ՝ սարքավորումների վաճառողի հետ միասին, ինչի համար մենք շնորհակալություն ենք հայտնում նրանց, նրանք չհանձնվեցին :)

• զտումն ամբողջությամբ անջատված է
• NAT-ն անջատվել է նոր սխեմայով
• փորձնական ԱՀ-ն տեղադրվել է առանձին մեկուսացված լողավազանում
• IP հասցեավորումը փոխվել է

Կեսօրին հատկացվեց վիրտուալ մեքենա, որը միացված էր ցանցին սովորական օգտատիրոջ սխեմայով, և վաճառողի ներկայացուցիչներին տրվեց մուտք դեպի այն և սարքավորումները: Շամանիզմը շարունակվեց :)

Ի վերջո, վաճառողի ներկայացուցիչը վստահորեն հայտարարեց, որ ապարատը բացարձակապես կապ չունի դրա հետ. առաջինները գալիս են ինչ-որ ավելի բարձր տեղից:

ՆշումԱյս պահին ինչ-որ մեկը կարող է ասել. բայց շատ ավելի հեշտ էր աղբավայր վերցնել ոչ թե փորձնական ԱՀ-ից, այլ DPI-ի վերևի մայրուղուց:

Չէ, ցավոք սրտի, 40+gbps-ով աղբանոց վերցնելը (և նույնիսկ պարզապես mirroring) ամենևին էլ տրիվիալ չէ:

Սրանից հետո երեկոյան այլ բան չէր մնում անել, քան վերադառնալ ինչ-որ տեղ վերևում տարօրինակ զտման ենթադրությանը։

Ես նայեցի, թե որ IX-ով է այժմ անցնում դեպի MRG ցանցեր տրաֆիկը և պարզապես չեղարկել եմ դրա համար նախատեսված bgp նիստերը: Եվ - ահա և ահա. -Ամեն ինչ անմիջապես վերադարձավ նորմալ 🙁

Մի կողմից՝ ամոթ է, որ ամբողջ օրն անցավ խնդրի որոնմանը, թեև այն լուծվեց հինգ րոպեում։

Մյուս կողմից:

— Իմ հիշողության մեջ սա աննախադեպ բան է։ Ինչպես արդեն գրել եմ վերևում - IX իրականում տարանցիկ երթևեկությունը զտելու իմաստ չկա: Նրանք սովորաբար ունեն հարյուրավոր գիգաբիթ/տերաբիթ վայրկյանում: Ես ուղղակի լրջորեն չէի կարող պատկերացնել նման բան մինչև վերջերս.

— հանգամանքների աներևակայելի բախտավոր զուգադիպություն. նոր բարդ սարքաշար, որը առանձնապես վստահելի չէ, և որից պարզ չէ, թե ինչ կարելի է սպասել, հատուկ հարմարեցված ռեսուրսների արգելափակման համար, ներառյալ TCP RST-ները

Այս ինտերնետային բորսայի ՀԱՕԿ-ը ներկայումս խնդիր է փնտրում։ Ըստ նրանց (և ես հավատում եմ նրանց), նրանք չունեն հատուկ տեղադրված ֆիլտրման համակարգ: Բայց, փառք երկնքին, հետագա որոնումն այլևս մեր խնդիրը չէ :)

Սա ինքս ինձ արդարացնելու փոքրիկ փորձ էր, խնդրում եմ, հասկացիր և ներիր :)

Հ.Գ.: Ես միտումնավոր չեմ նշում DPI/NAT-ի կամ IX-ի արտադրողի անունը (իրականում ես նույնիսկ հատուկ բողոք չունեմ դրանցից, գլխավորը հասկանալն է, թե դա ինչ էր)

Այսօրվա (ինչպես նաև երեկվա և նախօրեի) իրականությունը ինտերնետ պրովայդերի տեսանկյունից.

Ես վերջին շաբաթները զգալիորեն վերակառուցել եմ ցանցի միջուկը՝ կատարելով մի շարք մանիպուլյացիաներ «շահույթի համար»՝ կենդանի օգտատերերի տրաֆիկի էապես ազդելու ռիսկով: Հաշվի առնելով այս ամենի նպատակները, արդյունքներն ու հետևանքները՝ բարոյապես այդ ամենը բավականին բարդ է։ Հատկապես՝ ևս մեկ անգամ լսել գեղեցիկ ելույթներ Ռունետի կայունության, ինքնիշխանության և այլնի պաշտպանության մասին: եւ այլն։

Այս բաժնում ես կփորձեմ նկարագրել տիպիկ ISP-ի ցանցային միջուկի «էվոլյուցիան» վերջին տասը տարիների ընթացքում:

Տաս տարի առաջ.

Այդ օրհնյալ ժամանակներում մատակարարների ցանցի առանցքը կարող է լինել նույնքան պարզ և հուսալի, որքան խցանումը.

Այս շատ, շատ պարզեցված նկարում չկա կոճղեր, օղակներ, ip/mpls երթուղիներ:

Դրա էությունն այն է, որ օգտատերերի թրաֆիկը, ի վերջո, եկավ միջուկի մակարդակի անցում, որտեղից այն գնաց: BNG, որտեղից, որպես կանոն, վերադառնում է դեպի հիմնական միացում, այնուհետև «դուրս»՝ մեկ կամ մի քանի սահմանային դարպասների միջոցով դեպի ինտերնետ:

Նման սխեման շատ, շատ հեշտ է վերապահել ինչպես L3-ում (դինամիկ երթուղի), այնպես էլ L2-ում (MPLS):

Դուք կարող եք տեղադրել N+1 ցանկացածից՝ մուտք գործելու սերվերներ, անջատիչներ, եզրագծեր, և այսպես թե այնպես վերապահել դրանք ավտոմատ ձախողման համար:

Մի քանի տարի անց Ռուսաստանում բոլորին պարզ դարձավ, որ այսպես ապրելն այլևս անհնար է. հրատապ է երեխաներին պաշտպանել ինտերնետի վնասակար ազդեցությունից:

Շտապ անհրաժեշտություն կար՝ գտնել օգտատերերի տրաֆիկը զտելու ուղիներ:

Այստեղ տարբեր մոտեցումներ կան։

Ոչ այնքան լավ դեպքում, ինչ-որ բան դրված է «բացի մեջ»՝ օգտատերերի տրաֆիկի և ինտերնետի միջև: Այս «ինչ-որ բանի» միջով անցնող տրաֆիկը վերլուծվում է և, օրինակ, վերահղումով կեղծ փաթեթ է ուղարկվում դեպի բաժանորդ։

Մի փոքր ավելի լավ դեպքում, եթե երթևեկության ծավալները թույլ են տալիս, դուք կարող եք մի փոքր հնարք անել ձեր ականջներով. զտելու համար ուղարկեք միայն օգտվողներից ծագող տրաֆիկը միայն այն հասցեներին, որոնք պետք է զտվեն (դա անելու համար կարող եք կամ վերցնել IP հասցեները: այնտեղ նշված ռեեստրից կամ լրացուցիչ լուծել ռեեստրում առկա տիրույթները):

Ժամանակին այս նպատակների համար ես գրել էի մի պարզ մինի dpi - չնայած ես նույնիսկ չեմ համարձակվում նրան այդպես անվանել: Այն շատ պարզ է և ոչ այնքան արդյունավետ. այնուամենայնիվ, այն թույլ տվեց և՛ մեզ, և՛ տասնյակ (եթե ոչ հարյուրավոր) այլ պրովայդերների անմիջապես միլիոններ չծախսել արդյունաբերական DPI համակարգերի վրա, բայց մի քանի լրացուցիչ տարի ժամանակ տվեց:

Ի դեպ, այն ժամանակվա և ներկայիս ՀՏՎ-ի մասինԻ դեպ, շատերը, ովքեր գնել էին այն ժամանակ շուկայում առկա DPI համակարգերը, դրանք արդեն դեն էին նետել։ Դե, դրանք նախատեսված չեն դրա համար՝ հարյուր հազարավոր հասցեներ, տասնյակ հազարավոր URL-ներ:

Եվ միևնույն ժամանակ, հայրենական արտադրողները շատ ուժեղ են բարձրացել այս շուկա: Ես չեմ խոսում ապարատային բաղադրիչի մասին. այստեղ ամեն ինչ պարզ է բոլորի համար, բայց ծրագրաշարը, գլխավորը, որն ունի DPI-ն, թերևս այսօր, եթե ոչ ամենաառաջադեմն է աշխարհում, ապա, իհարկե, ա) զարգանում է թռիչքներով և սահմաններով, և բ) տուփով ապրանքի գնով` ուղղակի անհամեմատելի արտասահմանյան մրցակիցների հետ:

Ես կցանկանայի հպարտանալ, բայց մի փոքր տխուր =)

Այժմ ամեն ինչ այսպիսի տեսք ուներ.

Եվս մի երկու տարի հետո բոլորն արդեն ունեին աուդիտորներ. Ռեեստրում ավելի ու ավելի շատ ռեսուրսներ կային։ Որոշ հին սարքավորումների համար (օրինակ՝ Cisco 7600) «կողային զտման» սխեման պարզապես անկիրառելի դարձավ. 76 հարթակներում երթուղիների թիվը սահմանափակվում է մոտավորապես ինը հարյուր հազարով, մինչդեռ միայն IPv4 երթուղիների թիվն այսօր մոտենում է 800-ի։ հազ. Իսկ եթե դա նաև ipv6 է... Եվ նաև... ինչքա՞ն կա: 900000 անհատական ​​հասցեներ RKN-ի արգելքո՞ւմ: =)

Ինչ-որ մեկը անցել է մի սխեմայի, որն արտացոլում է ամբողջ ողնաշարի տրաֆիկը զտիչ սերվերին, որը պետք է վերլուծի ամբողջ հոսքը և, եթե ինչ-որ վատ բան հայտնաբերվի, ուղարկի RST երկու ուղղություններով (ուղարկող և ստացող):

Այնուամենայնիվ, որքան շատ երթեւեկություն, այնքան քիչ կիրառելի է այս սխեման: Եթե ​​մշակման ամենափոքր ուշացում լինի, ապա հայելային տրաֆիկը պարզապես աննկատ կթռչի, և մատակարարը կստանա տուգանք:

Ավելի ու ավելի շատ մատակարարներ ստիպված են լինում տեղադրել տարբեր աստիճանի հուսալիության DPI համակարգեր մայրուղիներում:

Մեկ-երկու տարի առաջ Ըստ լուրերի, գրեթե ամբողջ FSB-ն սկսեց պահանջել սարքավորումների իրական տեղադրում SORM (նախկինում պրովայդերների մեծամասնությունը կառավարվում էր իշխանությունների հավանությամբ SORM պլան - ինչ-որ տեղ ինչ-որ բան գտնելու անհրաժեշտության դեպքում գործառնական միջոցառումների պլան)

Բացի փողից (ոչ թե չափազանց մեծ, բայց դեռ միլիոններ), SORM-ը պահանջում էր շատ ավելի շատ մանիպուլյացիաներ ցանցի հետ:

• SORM-ը պետք է տեսնի «մոխրագույն» օգտատերերի հասցեները նախքան nat թարգմանությունը
• SORM-ն ունի սահմանափակ թվով ցանցային միջերեսներ

Հետևաբար, մասնավորապես, մենք պետք է մեծապես վերակառուցեինք միջուկի մի հատվածը, պարզապես, որպեսզի հավաքենք օգտվողների տրաֆիկը դեպի մուտքի սերվերներ ինչ-որ տեղ մեկ տեղում: Որպեսզի այն արտացոլվի SORM-ում մի քանի հղումներով:

Այսինքն, շատ պարզեցված, այն եղել է (ձախ) vs դարձել (աջ).

Հիմա Պրովայդերներից շատերը նաև պահանջում են SORM-3-ի իրականացում, որը ներառում է, ի թիվս այլ բաների, nat հեռարձակումների գրանցում:

Այս նպատակների համար մենք պետք է նաև առանձին սարքավորում ավելացնեինք NAT-ի համար վերևի գծապատկերում (հենց այն, ինչ քննարկվում է առաջին մասում): Ավելին, ավելացրեք որոշակի հերթականությամբ. քանի որ SORM-ը պետք է «տեսնի» տրաֆիկը հասցեները թարգմանելուց առաջ, տրաֆիկը պետք է ընթանա խիստ հետևյալ կերպ՝ օգտվողներ -> անջատում, միջուկ -> մուտքի սերվերներ -> SORM -> NAT -> փոխարկում, միջուկ - > Ինտերնետ: Դա անելու համար մենք ստիպված էինք բառացիորեն «շրջել» երթևեկության հոսքերը շահույթ ստանալու համար, ինչը նույնպես բավականին դժվար էր։

Ընդհանուր առմամբ. վերջին տասը տարիների ընթացքում միջին մատակարարի հիմնական դիզայնը զգալիորեն ավելի բարդ է դարձել, և խափանման լրացուցիչ կետերը (ինչպես սարքավորումների, այնպես էլ առանձին անջատիչ գծերի տեսքով) զգալիորեն աճել են: Փաստորեն, հենց «ամեն ինչ տեսնելու» պահանջը ենթադրում է այս «ամեն ինչ» մեկ կետի հասցնել։

Կարծում եմ, որ սա կարող է բավականին թափանցիկ կերպով էքստրապոլացվել Runet-ի ինքնիշխանության, պաշտպանելու, կայունացնելու և բարելավելու ընթացիկ նախաձեռնություններին :)

Իսկ Յարովայան դեռ առջեւում է։

Source: www.habr.com