Архитектура Рунета

Как знают наши читатели, Qrator.Radar неустанно исследует глобальную связность протокола BGP, равно как и региональную. Так как «Интернет» является сокращением от «interconnected networks» — «взаимосвязанных сетей», наилучшим способом обеспечения высоких качества и скорости его работы является богатая и разнообразная связность индивидуальных сетей, чье развитие мотивировано в первую очередь конкуренцией.

Отказоустойчивость интернет-соединения в любом отдельно взятом регионе или стране связана с количеством альтернативных маршрутов между автономными системами — AS. Однако, как мы уже неоднократно писали в наших исследованиях национальной устойчивости сегментов глобальной сети, некоторые пути становятся более важными по-сравнению с остальными (например, пути до Tier-1 транзитных провайдеров или AS, на которых размещены авторитативные DNS-серверы) — это значит, что наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).

В этот раз, мы поближе посмотрим на устройство интернет-сегмента Российской Федерации. Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%.

Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем. Эффекты, которые возникают вследствие изменений российской связности, могут наблюдаться в других странах, зависимых от или примыкающих к данной связности и, наконец, на уровне почти любого интернет-провайдера.

Обзор

Архитектура Рунета
Диаграмма 1. Распределение автономных систем между странами в IPv4 и IPv6, топ-20 стран

В IPv4 интернет-провайдерами из Российской Федерации анонсируется 33933 из 774859 глобально видимых сетевых префиксов, что представляет 4,38% и ставит российский интернет-сегмент на пятое место такого рейтинга. Данные префиксы, анонсируемые исключительно из RU-сегмента, покрывают 4,3*10^7 уникальных IP-адресов из 2,9*10^9 анонсируемых глобально — 1,51%, 11 место.

Архитектура Рунета
Диаграмма 2. Распределение сетевых префиксов между странами в IPv4, топ-20 стран

В рамках IPv6 интернет-провайдерами из Российской Федерации анонсируется 1831 из 65532 глобально видимых префиксов, что представляет 2,79% и 7 место. Данные префиксы покрывают 1.3*10^32 уникальных IPv6 адресов из 1,5*10^34 анонсируемых глобально — 0,84% и 18 место.

Архитектура Рунета
Диаграмма 3. Распределение сетевых префиксов между странами в IPv6, топ-20 стран

Индивидуальный размер

Одним из многих способов оценить связность и надежность Интернета в отдельной стране является ранжирование автономных систем, относящихся к данному региону, по количеству анонсируемых префиксов. Данная методика, однако, уязвима к деагрегации маршрутов, что постепенно балансируется фильтрацией избыточно деагрегированных префиксов на оборудовании интернет-провайдеров, в первую очередь по причине постоянного и неизбежного роста таблиц маршрутизации, занимающих память.

 

Топ-20 IPv4

 

 

Топ-20 IPv6
 

ASN

AS Name

Количество префиксов

ASN

AS Name

Количество префиксов

12389

ROSTELECOM-AS

2279

31133

MF-MGSM-AS

56

8402

CORBINA-AS

1283

59504

vpsville-AS

51

24955

UBN-AS

1197

39811

MTSNET-FAR-EAST-AS

30

3216

SOVAM-AS

930

57378

ROSTOV-AS

26

35807

SkyNet-SPB-AS

521

12389

ROSTELECOM-AS

20

44050

PIN-AS

366

42385

RIPN-RU

20

197695

AS-REGRU

315

51604

EKAT-AS

19

12772

ENFORTA-AS

291

51819

YAR-AS

19

41704

OGS-AS

235

50543

SARATOV-AS

18

57129

RU-SERVERSGET-KRSK

225

52207

TULA-AS

18

31133

MF-MGSM-AS

216

206066

TELEDOM-AS

18

49505

SELECTEL

213

57026

CHEB-AS

18

12714

TI-AS

195

49037

MGL-AS

17

15774

TTK-RTL

193

41682

ERTH-TMN-AS

17

12418

QUANTUM

191

21191

ASN-SEVERTTK

16

50340

SELECTEL-MSK

188

41843

ERTH-OMSK-AS

15

28840

TATTELECOM-AS

184

42682

ERTH-NNOV-AS

15

50113

SuperServersDatacenter

181

50498

LIPETSK-AS

15

31163

MF-KAVKAZ-AS

176

50542

VORONEZH-AS

15

21127

ZSTTKAS

162

51645

IRKUTSK-AS

15

Таблица 1. Размер AS по количеству анонсируемых префиксов

Мы используем агрегированный размер анонсированного адресного пространства в качестве более надежной метрики для сравнения размеров автономных систем, который определяет ее потенциал и пределы, до которых она может масштабироваться. Эта метрика не всегда релевантна в IPv6 в силу действующих политик выделения IPv6 адресов RIPE NCC и заложенной в протокол избыточности.

Постепенно, данная ситуация будет балансироваться ростом использования IPv6 в российском сегменте интернета и развитием практик работы с протоколом IPv6.

 

Топ-20 IPv4

 

 

Топ-20 IPv6

 

ASN

AS Name

Количество IP-адресов

ASN

AS Name

Количество IP-адресов

12389

ROSTELECOM-AS

8994816

59504

vpsville-AS

2.76*10^30

8402

CORBINA-AS

2228864

49335

NCONNECT-AS

2.06*10^30

12714

TI-AS

1206272

8359

MTS

1.43*10^30

8359

MTS

1162752

50113

SuperServersDatacenter

1.35*10^30

3216

SOVAM-AS

872608

201211

DRUGOYTEL-AS

1.27*10^30

31200

NTK

566272

34241

NCT-AS

1.27*10^30

42610

NCNET-AS

523264

202984

team-host

1.27*10^30

25513

ASN-MGTS-USPD

414464

12695

DINET-AS

9.51*10^29

39927

Elight-AS

351744

206766

INETTECH1-AS

8.72*10^29

20485

TRANSTELECOM

350720

20485

TRANSTELECOM

7.92*10^29

8342

RTCOMM-AS

350464

12722

RECONN

7.92*10^29

28840

TATTELECOM-AS

336896

47764

mailru-as

7.92*10^29

8369

INTERSVYAZ-AS

326912

44050

PIN-AS

7.13*10^29

28812

JSCBIS-AS

319488

45027

INETTECH-AS

7.13*10^29

12332

PRIMORYE-AS

303104

3267

RUNNET

7.13*10^29

20632

PETERSTAR-AS

284416

34580

UNITLINE_MSK_NET1

7.13*10^29

8615

CNT-AS

278528

25341

LINIYA-AS

7.13*10^29

35807

SkyNet-SPB-AS

275968

60252

OST-LLC-AS

7.13*10^29

3267

RUNNET

272640

28884

MR-SIB-MTSAS

6.73*10^29

41733

ZTELECOM-AS

266240

42244

ESERVER

6.44*10^29

Таблица 2. Размер AS по количеству анонсируемых IP-адресов

Обе метрики — количество анонсируемых префиксов и агрегированный размер адресного пространства — поддаются манипуляции. Хотя мы и не увидели подобного поведения от упомянутых AS за время проведения исследования.

Связность

Существует 3 основных типа отношений между автономными системами:
• Клиент: платит другой AS за транзит трафика;
• Пиринг-партнер: AS обменивающаяся своим и клиентским трафиком бесплатно;
• Поставщик: получает платежи за транзит трафика от других AS.

Обычно, данные типы взаимоотношений одинаковы для любых двух интернет-провайдеров, что подтверждается в рассматриваемом нами регионе РФ. Тем не менее, иногда бывает, что два интернет-провайдера имеют разные типы отношений в разных регионах, например обмениваясь бесплатно в Европе, но имея коммерческие отношения в Азии.

 

Топ-20 IPv4

 

 

Топ-20 IPv6

 

ASN

AS Name

Количество клиентов в регионе

ASN

AS Name

Количество клиентов в регионе

12389

ROSTELECOM-AS

818

20485

TRANSTELECOM

94

3216

SOVAM-AS

667

12389

ROSTELECOM-AS

82

20485

TRANSTELECOM

589

31133

MF-MGSM-AS

77

31133

MF-MGSM-AS

467

20764

RASCOM-AS

72

8359

MTS

313

3216

SOVAM-AS

70

20764

RASCOM-AS

223

9049

ERTH-TRANSIT-AS

58

9049

ERTH-TRANSIT-AS

220

8359

MTS

51

8732

COMCOR-AS

170

29076

CITYTELECOM-AS

40

2854

ROSPRINT-AS

152

31500

GLOBALNET-AS

32

29076

CITYTELECOM-AS

143

3267

RUNNET

26

29226

MASTERTEL-AS

143

25478

IHOME-AS

22

28917

Fiord-AS

96

28917

Fiord-AS

21

25159

SONICDUO-AS

94

199599

CIREX

17

3267

RUNNET

93

29226

MASTERTEL-AS

13

31500

GLOBALNET-AS

87

8732

COMCOR-AS

12

13094

SFO-IX-AS

80

35000

PROMETEY

12

31261

GARS-AS

80

49063

DTLN

11

25478

IHOME-AS

78

42861

FOTONTELECOM

10

12695

DINET-AS

76

56534

PIRIX-INET-AS

9

8641

NAUKANET-AS

73

48858

Milecom-as

8

Таблица 3. Связность AS по количеству клиентов

Количество клиентов заданной AS отображает ее роль, как прямого поставщика услуги интернет-связности коммерческим потребителям.

 

Топ-20 IPv4

 

 

Топ-20 IPv6

 

ASN

AS Name

Количество пиринг-партнеров в регионе

ASN

AS Name

Количество пиринг-партнеров в регионе

13238

YANDEX

638

13238

YANDEX

266

43267

First_Line-SP_for_b2b_customers

579

9049

ERTH-TRANSIT-AS

201

9049

ERTH-TRANSIT-AS

498

60357

MEGAGROUP-AS

189

201588

MOSCONNECT-AS

497

41617

SOLID-IFC

177

44020

CLN-AS

474

41268

LANTA-AS

176

41268

LANTA-AS

432

3267

RUNNET

86

15672

TZTELECOM

430

31133

MF-MGSM-AS

78

39442

UNICO-AS

424

60764

TK-Telecom

74

39087

PAKT-AS

422

12389

ROSTELECOM-AS

52

199805

UGO-AS

418

42861

FOTONTELECOM

32

200487

FASTVPS

417

8359

MTS

28

41691

SUMTEL-AS-RIPE

399

20764

RASCOM-AS

26

13094

SFO-IX-AS

388

20485

TRANSTELECOM

17

60357

MEGAGROUP-AS

368

28917

Fiord-AS

16

41617

SOLID-IFC

347

31500

GLOBALNET-AS

14

51674

Mehanika-AS

345

60388

TRANSNEFT-TELECOM-AS

14

49675

SKBKONTUR-AS

343

42385

RIPN-RU

13

35539

INFOLINK-T-AS

310

3216

SOVAM-AS

12

42861

FOTONTELECOM

303

49063

DTLN

12

25227

ASN-AVANTEL-MSK

301

44843

OBTEL-AS

11

Таблица 4. Связность AS по количеству пиринг-партнеров

Большое количество пиринг-партнеров может значительно улучшить связность целого региона. Здесь важны, хотя и не обязательны, точки обмена трафиком (IX — Internet Exchange) — крупнейшие интернет-провайдеры обычно не участвуют в региональном обмене (за несколькими, достойными упоминания исключениями, такими как NIXI) из-за природы их бизнеса.

Для контент-провайдера количество пиринг-партнеров может косвенно служить индикатором объема генерируемого трафика — стимул обмениваться большими его объемами бесплатно является фактором мотивации (достаточным для большинства локальных интернет-провайдеров) к тому, чтобы видеть в контент-провайдере достойного кандидата в пиринг-партнеры. Есть и обратные случаи, когда контент-провайдеры не поддерживают политику значительного числа региональных соединений, что делает данный индикатор не слишком точным для оценки размера именно контент-провайдеров, то есть объема генерируемого ими трафика.

 

Топ-20 IPv4

 

 

Топ-20 IPv6

 

ASN

AS Name

Размер клиентского конуса

ASN

AS Name

Размер клиентского конуса

3216

SOVAM-AS

3083

31133

MF-MGSM-AS

335

12389

ROSTELECOM-AS

2973

20485

TRANSTELECOM

219

20485

TRANSTELECOM

2587

12389

ROSTELECOM-AS

205

8732

COMCOR-AS

2463

8732

COMCOR-AS

183

31133

MF-MGSM-AS

2318

20764

RASCOM-AS

166

8359

MTS

2293

3216

SOVAM-AS

143

20764

RASCOM-AS

2251

8359

MTS

143

9049

ERTH-TRANSIT-AS

1407

3267

RUNNET

88

29076

CITYTELECOM-AS

860

29076

CITYTELECOM-AS

84

28917

Fiord-AS

683

28917

Fiord-AS

70

3267

RUNNET

664

9049

ERTH-TRANSIT-AS

65

25478

IHOME-AS

616

31500

GLOBALNET-AS

54

43727

KVANT-TELECOM

476

25478

IHOME-AS

33

31500

GLOBALNET-AS

459

199599

CIREX

24

57724

DDOS-GUARD

349

43727

KVANT-TELECOM

20

13094

SFO-IX-AS

294

39134

UNITEDNET

20

199599

CIREX

290

15835

MAP

15

29226

MASTERTEL-AS

227

29226

MASTERTEL-AS

14

201706

AS-SERVICEPIPE

208

35000

PROMETEY

14

8641

NAUKANET-AS

169

49063

DTLN

13

Таблица 5. Связность AS по размеру клиентского конуса

Клиентский конус представляет собой множество всех AS, являющихся прямо или косвенно зависимыми на рассматриваемой автономной системе. С экономической точки зрения, каждая AS внутри клиентского конуса является, прямо или косвенно, платящим клиентом. На более высоком уровне, количество AS внутри клиентского конуса, равно как и количество прямых потребителей, является ключевым показателем связности.

Наконец, мы приготовили для вас еще одну таблицу, рассматривающую связность до ядра Рунета. Понимая структуру ядра региональной связности, исходя из числа прямых клиентов и размера клиентского конуса для каждой автономной системы в регионе, мы можем подсчитать, насколько далеко они находятся от крупнейших в регионе транзитных интернет-провайдеров. Чем ниже число — тем выше связность. «1» означает, что для всех видимых путей существует прямая связность с региональным ядром.

 

IPv4 top 20

 

 

IPv6 top 20

 

ASN

AS Name

Connectivity rating

ASN

AS Name

Connectivity rating

8997

ASN-SPBNIT

1.0

21109

CONTACT-AS

1.0

47764

mailru-as

1.0

31133

MF-MGSM-AS

1.0

42448

ERA-AS

1.0

20485

TRANSTELECOM

1.0

13094

SFO-IX-AS

1.0

47541

VKONTAKTE-SPB-AS

1.0

47541

VKONTAKTE-SPB-AS

1.07

13238

YANDEX

1.05

13238

YANDEX

1.1

8470

MAcomnet

1.17

3216

SOVAM-AS

1.11

12389

ROSTELECOM-AS

1.19

48061

GPM-TECH-AS

1.11

41722

MIRAN-AS

1.2

31133

MF-MGSM-AS

1.11

8359

MTS

1.22

8359

MTS

1.12

60879

SYSTEMPROJECTS-AS

1.25

41268

LANTA-AS

1.13

41268

LANTA-AS

1.25

9049

ERTH-TRANSIT-AS

1.16

44020

CLN-AS

1.25

20485

TRANSTELECOM

1.18

29226

MASTERTEL-AS

1.25

29076

CITYTELECOM-AS

1.18

44943

RAMNET-AS

1.25

12389

ROSTELECOM-AS

1.23

12714

TI-AS

1.25

57629

IVI-RU

1.25

47764

mailru-as

1.25

48297

DOORHAN

1.25

44267

IESV

1.25

42632

MNOGOBYTE-AS

1.25

203730

SVIAZINVESTREGION

1.25

44020

CLN-AS

1.25

3216

SOVAM-AS

1.25

12668

MIRALOGIC-AS

1.25

24739

SEVEREN-TELECOM

1.29

Таблица 6. Связность AS по расстоянию до ядра региональной связности

Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности? Вот лишь некоторые из мер:

  • Налоговые вычеты и другие льготы для локальных операторов точек обмена трафиком, а также свободный доступ к ним;
  • Бесплатный или дешевый сервитут земли под прокладку оптоволоконных коммуникационных линий;
  • Проведение тренингов и обучающих занятий для технического персонала в отдаленных регионах, включая воркшопы и другие форматы обучения лучшим практикам работы с BGP. RIPE NCC организует часть из них, доступных по ссылке.

Данные, представленные выше, являются выдержкой из исследования, проведённого Qrator Labs в отношении второго по размерам в мире регионального Интернет-сегмента Российской Федерации (известного также как «Рунет») на основе открытых данных, собираемых и обрабатываемых в рамках проекта Radar. Презентация полного исследования заявлена в качестве воркшопа (workshop) в рамках 10th Asia Pacific Regional Internet Governance Forum в июле. Запрос аналогичных данных для сегментов иных стран и регионов можно направить на e-mail-адрес [email protected].

Источник: habr.com