Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Надышоў час расчыніць падрабязнасці аб новых маршрутызатарах аператарскага класа Huawei NetEngine 8000 – аб апаратнай базе і праграмных рашэннях, якія дазваляюць будаваць на іх базе скразныя падлучэнні end-to-end з прапускной здольнасцю 400 Гбіт/з і адсочваць якасць сеткавых сэрвісаў на субсекундным узроўні.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Ад чаго залежыць, якія тэхналогіі патрэбны для сеткавых рашэнняў.

Патрабаванні да найноўшага сеткавага абсталявання зараз вызначаюцца чатырма апорнымі трэндамі:

  • распаўсюджваннем шырокапалоснай мабільнай сувязі 5G;
  • ростам хмарных нагрузак як у прыватных, так і ў публічных ЦАДах;
  • пашырэннем свету IoT;
  • павелічэннем запатрабаванасці штучнага інтэлекту.

Падчас пандэміі ўзнікла яшчэ адна агульная тэндэнцыя: больш прывабнымі становяцца сцэнары з паменшанай наколькі магчыма фізічнай прысутнасцю на карысць віртуальнага. Сюды сярод іншага адносяцца сэрвісы віртуальнай і дапоўненай рэальнасці, а таксама рашэнні на базе сетак Wi-Fi 6. Усе гэтыя сферы прымянення патрабуюць высокай якасці канала. Забяспечыць яго і закліканы NetEngine 8000.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Сямейства NetEngine 8000

Прылады, якія ўваходзяць у сямейства NetEngine 8000, падзелены на тры асноўныя серыі. Маркіраваныя літарай X – гэта высокапрадукцыйныя флагманскія мадэлі для аператараў сувязі або пад высоканагружаныя ЦАДы. Серыя M разлічана на ўвасабленне розных metro-сцэнарыяў. А прылады з індэксам F прызначаны перш за ўсё для рэалізацыі распаўсюджаных DCI-сцэнарыяў (Data Center Interconnect). Большасць з «васьмітысячнікаў» могуць быць часткай тунэляў end-to-end з прапускной здольнасцю 400 Гбіт/с і падтрымліваць гарантаваны ўзровень паслугі (Service Level Agreement – ​​SLA).

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Факт: сёння толькі Huawei вырабляе поўны спектр абсталявання для арганізацыі сетак класа 400GE. На ілюстрацыі вышэй паказаны сцэнар пабудовы сеткі для буйнога enterprise-заказчыка ці вялікага аператара. У апошнім выпадку выкарыстоўваюцца высокапрадукцыйныя маршрутызатары ядра NetEngine 9000, а таксама новыя маршрутызатары NetEngine 8000 F2A, здольныя агрэгаваць вялікую колькасць падлучэнняў 100, 200 або 400 Гбіт/з.

Metro-фабрыкі рэалізуюцца на базе прылад серыі М. Падобныя рашэнні дазваляюць без змены платформы адаптавацца да таго дзесяціразоваму росту аб'ёму трафіку, які чакаецца на працягу бліжэйшай дэкады.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Huawei самастойна вырабляе аптычныя модулі з прапускной здольнасцю 400 Гбіт/з. Пабудаваныя на іх рашэнні на 10-15% танней аналагічных па ёмістасці, але выкарыстоўваюць 100-гігабітныя каналы. Тэсціраванне модуляў пачалося яшчэ ў 2017 годзе, а ўжо ў 2019-м адбылося першае ўкараненне абсталявання на іх аснове; Цяпер афрыканскі аператар сувязі Safaricom вядзе камерцыйную эксплуатацыю такой сістэмы.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Велізарная прапускная здольнасць NetEngine 8000, якая, магчыма, у 2020 году здаецца залішняй, абавязкова спатрэбіцца ўжо ў не самай падаленай будучыні. Акрамя таго, маршрутызатар падыходзіць для выкарыстання ў якасці буйной кропкі абмену, якая напэўна спатрэбіцца як аператарам другога ўзроўня, так і буйным enterprise-структурам у фазе бурнага росту і стваральнікам рашэнняў для "электроннага ўрада".

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Таксама Huawei спрыяе распаўсюджванню цэлага шэрагу новых тэхналогій, сярод якіх пратакол маршрутызацыі SRv6, прыкметна які спрашчае дастаўку аператарскага VPN-трафіку. Тэхналогія FlexE (Flexible Ethernet) забяспечвае гарантаваную прапускную здольнасць на другім узроўні мадэлі OSI, а iFIT (In-situ Flow Information Telemetry) дазваляе сапраўды адсочваць параметры выканання ўмоў SLA.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

З пункту гледжання правайдэра, SRv6 можна ўжываць ад узроўня кантэйнера ў ЦАД, пабудаваным на NFV (Network Functions Virtualization), да, напрыклад, бесправадной асяроддзя шырокапалоснага доступу. Карпаратыўным заказчыкам скразное выкарыстанне новага пратакола спатрэбіцца пры пабудове магістральных (апорных) сетак. Тэхналогія, падкрэслім, не прапрыетарная і выкарыстоўваецца рознымі вендарамі, што ўхіляе рызыкі ўзнікнення несумяшчальнасці.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Так выглядае таймлайн камерцыялізацыі тэхналогіі SRv6 для падтрымкі 5G-рашэнняў. Практычны кейс: арабская кампанія Zain Group у працэсе пераходу да выкарыстання 5G мадэрнізавала сваю сетку, павялічыўшы прапускную здольнасць магістральных каналаў, а таксама палепшыла кіравальнасць інфраструктуры за кошт укаранення SRv6.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Як прымяняць гэтыя тэхналогіі

У якасці «тэхналагічнага парасона», які пакрывае вышэйпералічаныя рашэнні, раней выкарыстоўвалася тры разнастайных прадукта. U2000 ужываўся ў якасці NMS для transmission-дамена і IP-дамена. Дадаткова ў SDN-сістэмах задзейнічаліся сістэмы uTraffic і значна больш вядомая Agile Controller. Аднак падобная камбінацыя апынулася не вельмі зручнай у дачыненні да маршрутызатараў аператарскага класа, таму зараз гэтыя прадукты аб'яднаны ў прыладу. CloudSoP.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Першым чынам ён дазваляе цалкам кіраваць жыццёвым цыклам інфраструктуры, пачынальна з пабудовы сеткі – аптычнай ці IP. На яго ж ускладзена кіраванне рэсурсамі, як стандартнымі (MPLS), так і новымі (SRv6). Нарэшце, CloudSoP дае магчымасць паўнавартасна абслугоўваць усе сэрвісы з высокім узроўнем гранулярнасці.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Давайце падрабязней спынімся на класічным падыходзе да кіравання. У такім выпадку яно можа ажыццяўляцца з дапамогай L3VPN ці SR-TE, што дае дадатковыя магчымасці стварэння тунэляў. Для таго каб размеркаваць рэсурсы пад розныя сэрвісныя задачы, выкарыстоўваецца больш за сотню параметраў і сегментная маршрутызацыя.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Як выглядае разгортванне такога сэрвісу? Спачатку трэба задаць першасную палітыку для канкрэтнага ўзроўню (плоскасці). На схеме вышэй абрана тэхналогія SRv6, з дапамогай якой наладжваецца дастаўка трафіку з кропкі А ў кропку Е. Сістэма разлічыць магчымыя шляхі з улікам прапускной здольнасці і затрымак, а таксама стварае параметры для наступнага кантролю.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Правялі наладу - прыступаем да стварэння і запуску ў эксплуатацыю дадатковых VPN-сэрвісаў. Сур'ёзная перавага рашэння Huawei у тым, што, у адрозненне ад стандартнага MPLS Traffic Engineering, яно дазваляе сінхранізаваць шляхі тунэляў без якіх-небудзь дадатковых надбудоў.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

На схеме вышэй паказаны агульны працэс зняцця інфармацыі. Часта для яго ўжываецца SNMP, што займае нямала часу, прычым дае асераднёны вынік. Аднак тэлеметрыя, якую мы перш выкарыстоўвалі ў ЦАДах і кампусных рашэннях, прыйшла ў свет аператарскіх магістральных сетак. Яна дадае нагрузку, затое дазваляе разумець тое, што адбываецца ў сетцы не на хвілінным, а на субсекундным узроўні.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Вядома, атрыманы аб'ём трафіку трэба нейкім чынам "пераварыць". Для гэтага выкарыстоўваецца дадатковая тэхналогія машыннага навучання. На падставе папярэдне загружаных патэрнаў самых распаўсюджаных сеткавых няспраўнасцяў сістэма кантролю здольная рабіць прагнозы па верагоднасцях узнікнення эксцэсаў. Напрыклад, паломкі модуля SFP (Small Form-factor Pluggable) або раптоўнага ўсплёску трафіку ў сетцы.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

А так выглядае гарызантальна якая маштабуецца (scale-out) сістэма кіравання на аснове ARM-сервераў TaiShan і базы дадзеных GaussDB. У асобных нод аналітычнай сістэмы ёсць паняцце "ролі", што дазваляе гранулярна пашыраць дыягнастычныя сэрвісы пры росце трафіку або павелічэнні колькасці вузлоў сеткі.

Іншымі словамі, усё, што было добрага ў свеце СГД, паступова прыходзіць у вобласць кіравання сеткамі.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Яркі прыклад укаранення нашых новых тэхналогій – Прамысловы і камерцыйны банк Кітая (ICBC). У ім разгорнута апорная сетка высокапрадукцыйных маршрутызатараў, якім прысвоены пэўныя ролі. Згодна з NDA, мы мае права даць на схеме толькі агульнае ўяўленне аб структуры сеткі. У яе ўваходзяць тры вялікіх ЦАД, звязаных тунэлямі end-to-end, і 35 дадатковых пляцовак (ЦАД другога ўзроўню). Выкарыстоўваюцца як стандартныя падключэнні, так і SR-TE.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Трохслаёвая інтэлектуальная архітэктура IP WAN

У аснове рашэнняў Huawei ляжыць трохслаёвая архітэктура, на ніжнім узроўні якой размяшчаецца абсталяванне рознай прадукцыйнасці. На другім узроўні – асяроддзе кіравання абсталяваннем і дадатковыя сэрвісы, якія пашыраюць функцыянальнасць аналізу і кантролю сеткі. Верхні пласт, умоўна кажучы, прыкладны. Найбольш распаўсюджаныя прыкладныя сцэнары маюць на ўвазе арганізацыю працы сетак аператараў сувязі, фінансавых устаноў, энергетычных кампаній і ўрадавых структур.

Вось кароткае відэа, якое распавядае аб магчымасцях NetEngine 8000 і скарыстаных у ім тэхнічных рашэннях:


Само сабой, абсталяванне павінна быць разлічана на рост трафіку і пашырэнне інфраструктуры з улікам правільнага харчавання і належнага астуджэння. Калі флагманская мадэль маршрутызатара абсталявана 20 БП па 3 квт кожны, ужыванне вугляродных нанатрубак у сістэме цеплаадвядзення ўжо не здаецца залішнім.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Дзеля чаго ўсё гэта? Гучыць як фантастыка, але ўжо цяпер для нас 14,4 Тбіт/с на слот паказчык цалкам дасягальны. І гэтая ашаламляльная прапускная здольнасць запатрабаваная. У прыватнасці, усё тымі ж фінансавымі і энергетычнымі кампаніямі, многія з якіх размяшчаюць сёння апорнымі сеткамі, створанымі з ужываннем тэхналогіі DWDM (Dense Wavelength Division Multiplexing). У рэшце рэшт, расце і колькасць прыкладанняў, якія патрабуюць усё больш высокіх хуткасцяў.

У адным з нашых сцэнараў пабудовы сетак машыннага навучання паміж двума кластарамі Atlas 900 таксама патрабуецца прапускная здольнасць тэрабітнага класа. І падобных задач маса. Да іх, у прыватнасці, адносяцца ядзерныя вылічэнні, метэаралагічныя разлікі і інш.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Апаратная аснова і яе патрабаванні

На схемах паказаны даступныя ў наш час модулі маршрутызатараў LPUI з інтэграванымі картамі і іх характарыстыкі.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

А так выглядае roadmap з новымі варыянтамі модуляў, якія будуць даступныя на працягу найбліжэйшых двух гадоў. Пры распрацоўцы рашэнняў на іх аснове важна ўлічваць энергаспажыванне. Цяпер стандартныя ЦАДы будуюцца з разліку 7-10 квт на стойку, у той час як ужыванне маршрутызатараў тэрабітнага класа мае на ўвазе спажываную магутнасць у некалькі разоў вышэй (да 30-40 уВт у піку). Гэта цягне за сабой неабходнасць праектаваць спецыялізаваную пляцоўку або ствараць у наяўным ЦАД асобную высоканагружаную зону.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Агульны погляд на шасі паказвае, што фабрыкі хаваюцца за сярэднім блокам вентылятараў. Ёсць магчымасць іх гарачай замены, рэалізаваная дзякуючы рэзерваванню па схеме 2N або N+1. Па сутнасці, гаворка ідзе аб стандартнай артаганальнай архітэктуры высокай надзейнасці.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Не адны толькі флагманы

Як бы ні ўражвалі флагманскія мадэлі, больш за ўсё усталёвак прыходзіцца на box-рашэнні серый М і F.

Найбольш запатрабаваныя зараз сэрвісныя маршрутызатары – мадэлі M8 і M14. Яны дазваляюць у рамках адной платформы працаваць і з нізкахуткаснымі, такім як E1, і з высакахуткаснымі інтэрфейсамі (100 Гбіт/з цяпер і 400 Гбіт/с у найбліжэйшай будучыні).

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Прадукцыйнасці M14 цалкам дастаткова, каб задаволіць усе запыты звычайных enterprise-заказчыкаў. З дапамогай яго можна будаваць стандартныя рашэнні L3VPN для сувязі з правайдэрамі, добры ён і ў якасці дадатковай прылады, напрыклад, для збору тэлеметрыі ці ўжыванні SRv6.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Для мадэлі даступна вялікая колькасць картак. Тут няма асобных фабрык, а для забеспячэння злучанасці выкарыстоўваюцца супервізары. Такім чынам дасягаецца паказанае на схеме размеркаванне прадукцыйнасці па партах.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

У далейшым супервізор можна будзе замяніць на новы, што дасць і новую прадукцыйнасць на тых жа самых партах.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Мадэль M8 некалькі менш M14, у прадукцыйнасць таксама саступае старэйшай мадэлі, але сцэнары выкарыстання ў іх вельмі падобныя.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Набор сумяшчальных з M8 фізічных карт дазваляе, да прыкладу, наладзіць падлучэнне да P-прыладам па інтэрфейсе 100 Гбіт/з, выкарыстоўваць тэхналогію FlexE і ўсё гэта зашыфраваць.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Па вялікім рахунку, менавіта з прылады M6 можна пачынаць працу з аператарскім асяроддзем. Яно невялікае і не падыходзіць для правайдэраў, але з лёгкасцю дастасавальна як кропка агрэгацыі трафіку для падлучэння рэгіянальных ЦАД, дапусцім у банку. Прытым набор ПЗ тут такі ж, як і на старэйшых мадэлях.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Даступных карт для M6 паменш, а максімальная прадукцыйнасць складае 50 Гбіт/з, што, зрэшты, прыкметна вышэй, чым у стандартных рашэнняў у індустрыі на 40 Гбіт/з.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Асобнай згадкі заслугоўвае і самая малодшая мадэль – M1A. Гэтае невялікае рашэнне, якое можа апынуцца дарэчы тамака, дзе чакаецца пашыраны тэмпературны дыяпазон эксплуатацыі (-40… +65 °С).

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Некалькі слоў пра лінейку F. Мадэль NetEngine 8000 F1A стала адным з самых папулярных прадуктаў Huawei у 2019 годзе, не ў апошнюю чаргу дзякуючы таму, што абсталявана партамі з прапускной здольнасцю ад 1 да 100 Гбіт/с (да 1,2 Тбіт/с сумарна ).

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Больш падрабязна пра SRv6

Для чаго ж менавіта зараз запатрабавалася ўключыць у нашы прадукты падтрымку тэхналогіі SRv6?

У цяперашні час колькасць пратаколаў, неабходных для арганізацыі VPN-тунэляў, можа складаць 10+, што выклікае сур'ёзныя праблемы з кіраваннем і наводзіць на думкі аб неабходнасці радыкальна спрасціць працэс.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Адказам індустрыі на гэты выклік і стала стварэнне тэхналогіі SRv6, да з'яўлення якой прыклалі руку кампаніі Huawei і Cisco.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Адным з абмежаванняў, якія неабходна было зняць, была неабходнасць выкарыстоўваць для маршрутызацыі стандартных пакетаў прынцып per-hop behavior (PHB). Наладзіць "міжаператарскай" узаемадзеянне пасродкам Inter-AS MP-BGP з дадатковымі сэрвісамі (VPNv4) досыць складана, таму такіх рашэнняў вельмі мала. SRv6 дазваляе першапачаткова пракласці шлях пакета праз увесь сегмент, не прапісваючы спецыяльных тунэляў. Ды і праграмаванне саміх працэсаў спрашчаецца, што значна палягчае буйныя разгортванні.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

На схеме прадстаўлены кейс па ўкараненні SRv6. Дзве глабальныя сеткі былі аб'яднаны некалькімі рознымі пратаколамі. Каб атрымаць сэрвіс ад які-небудзь віртуальнага ці апаратнага сервера, патрабавалася вялікая колькасць пераключэнняў (handover) паміж VXLAN, VLAN, L3VPN і інш.

Пасля ўкаранення SRv6 аператар размяшчаў тунэлем end-to-end нават не да апаратнага сервера, а да Docker-кантэйнера.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Падрабязней аб тэхналогіі FlexE

Другі ўзровень мадэлі OSI дрэнны тым, што ён не падае тыя неабходныя сэрвісы і той узровень SLA, у якіх маюць патрэбу правайдэры. Яны, у сваю чаргу, жадалі бы атрымаць нейкі аналог TDM (Time-division multiplexing), але на Ethernet. Для вырашэння праблемы прымянялася мноства падыходаў, якія дазвалялі дабіцца толькі вельмі абмежаваных вынікаў.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Flex Ethernet служыць менавіта для таго, каб гарантаваць якасць узроўня SDH (Synchronous Digital Hierarchy) і TDM у IP-сетках. Гэта стала магчымым дзякуючы працы з forwarding plane, калі мы такім чынам мадыфікуем L2-асяроддзе, каб яно станавілася максімальна прадукцыйнай.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Як працуе любы стандартны фізічны порт? Маецца пэўную колькасць чэргаў і tx-кольца. Патрапіў у буфер пакет чакае сваёй апрацоўкі, што не заўсёды зручна, асабліва пры наяўнасці elephant-і mice-струменяў.

Забяспечыць гарантаваную прапускную здольнасць на ўзроўні фізічнага асяроддзя дапамагаюць дадатковыя ўстаўкі і яшчэ адзін пласт абстракцыі.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Дадатковы MAC-пласт вылучаецца на ўзроўні перадачы інфармацыі, што дазваляе стварыць цвёрдыя фізічныя чэргі, якім можна прызначаць вызначаныя SLA.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Дык гэта выглядае на ўзроўні ўкаранення. У дадатковым пласце фактычна рэалізаваны TDM-фрэймінг. Дзякуючы такой метаўстаўцы ёсць магчымасць гранулярна раздаваць чэргі і фармаваць TDM-паслугі праз Ethernet.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Адзін са сцэнараў выкарыстання FlexE мае на ўвазе вельмі жорсткае прытрымліванне SLA шляхам фарміравання тайм-слотаў для выраўноўвання прапускной здольнасці або прадастаўлення рэсурсаў для крытычных сэрвісаў.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Яшчэ адзін сцэнар дазваляе працаваць з дэфектамі. Замест простага хэшавання перадачы інфармацыі мы фармуем асобныя каналы практычна фізічна, у адрозненне ад віртуальных, ствараных QoS (Quality of Service).

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Больш падрабязна пра iFIT

Як і FlexE, iFIT з'яўляецца ліцэнзуемай тэхналогіяй Huawei. Яна дазваляе праводзіць праверку SLA на вельмі гранулярным узроўні. У адрозненне ад стандартных механізмаў IP SLA і NQA, iFIT аперуе не сінтэтычным, а "жывым" трафікам.

Што новага ў лінейцы высокапрадукцыйных маршрутызатараў NetEngine

Даступная iFIT на ўсіх прыладах, якія падтрымліваюць тэлеметрыю. Для гэтага выкарыстоўваецца дадатковае поле, не занятае стандартнымі Option Data. Туды запісваецца інфармацыя, якая дазваляе зразумець тое, што адбываецца ў канале.

***

Рэзюмуючы сказанае, падкрэслім, што функцыянальнасць NetEngine 8000 і закладзеных у "васьмітысячныя" тэхналогій робяць гэтыя прылады разумным і апраўданым выбарам пры стварэнні і развіцці сетак аператарскага класа, апорных сетак энергетычных і фінансавых кампаній, а таксама сістэм узроўня "электроннага ўрада".

Крыніца: habr.com

Дадаць каментар