3. Дизайн на мрежата за предприятията върху превключватели Extreme

Добър ден, приятели! Днес ще продължа цикъла, посветен на сумиратори Extreme статията за проектиране на мрежа Enterprise.

В статията ще се опитам да бъда възможно най-кратък:

• да опиша модулния подход към проектирането на мрежата Enterprise
• да разгледам видовете изграждане на един от най-важните модули на мрежата на предприятието — основната мрежа (ip-campus)
• да опиша предимствата и недостатъците на вариантите за резервиране на критични възли в мрежата
• на абстрактен пример да проектирам/обновя малка мрежа Enterprise
• да избера сумиратори Extreme за реализиране на проектираната мрежа
• да работя с оптика и IP адресиране

Тази статия ще бъде интересна най-вече за мрежовите инженери и администратори на мрежи в предприятия, които току-що започват своя път в мрежовото инженерство, а не за опитни инженери, работили много години в телекомуникационни оператори или в големи корпорации с географски разпределени мрежи.

Във всеки случай, заинтересованите са поканени да продължат.

Модулен подход при проектиране на мрежа

Ще започна статията си с доста популярния модулен подход при проектирането на мрежа, който позволява да се събере пъзел от части на мрежата в 1 цяло изображение.

Първо, малко абстракция — много често представям този подход като увеличение на географски карти, когато на първо приближение се вижда страната, на второ регионите, на трето градовете и т.н.

Като пример, нека разгледаме следния пример:

• 1-во приближение — цялата мрежа на предприятието представлява набор от различни нива:
  • основна мрежа или campus
  • гранично ниво
  • ниво на телекомуникационни оператори
  • отдалечени зони

• 2-ро приближение — всяко от тези нива се детайлизира на отделни модули
  • основната мрежа или campus се състои от:
    • 3 или 2-ри нива на модула, описващ мрежата на предприятието и нейните нива — достъп, разпределение и/или ядро
    • модул, описващ ЦОД — център за обработка на данни (по същество сървърната част на инфраструктурата)

  • граничното ниво от своя страна се състои от:
    • модул за свързване към интернет
    • модул WAN и MAN, който отговаря за свързването на географски разпределените обекти на предприятието
    • модул за изграждане на VPN тунели и Remote-Access достъп
    • често при много малки предприятия няколко от тези модули или дори всички от тях се оказват комбинирани в един

  • ниво на доставчиците:
    • в този слой влизат връзки "с външния свят" — тъмни влакна (наем на влакна от оператори), комуникационни канали (Ethernet, G.703 и т.н.), достъп до интернет.

  • отдалечен слой:
    • в по-голямата си част това са филиали на предприятието, разположени в рамките на града, областта, страната или дори континентите.
    • също така в тази зона може да се включва резервен ЦОД, който дублира работата на основния
    • и разбира се, популярността нараства напоследък — teleworkers (отдалечени работни места)

• 3-то приближение — всеки от модулите се разделя на по-малки модули или слоеве. Например в campus мрежа:
  • 3-уровнева мрежа се разделя на:
    • достъпен слой
    • разпределителен слой
    • ядрен слой

  • ЦОД в по-сложни случаи може да се раздели на:
    • 2-уровнева или 3-уровнева мрежова част
    • серверна част

  Всичко изброено по-горе ще се опитам да визуализирам в следната опростена схема:

  
  
  Както може да се види от схемата по-горе — модулният подход помага да се детайлизира и структурира общата картина на съставните елементи, с които можем да работим нататък.

  В рамките на тази статия ще се спра на нивото Campus Enterprise и ще го опиша по-подробно.

  Видове IP-CAMPUS мрежи

  В моята работа при доставчика и особено по-късно — в работата на интегратор, се сблъсквах с различна "зрелост" на мрежите на клиентите. Не е случайно, че използвам термина зрялост, защото доста често срещам случаи, в които структурата на мрежата расте с растежа на самата компания и това е в принципе закономерно.

  В малка компания, разположена в рамките на една сграда, мрежата на предприятието може да се състои само от 1 граничен маршрутизатор, който изпълнява ролята на междусетеви стени, няколко комутатора за достъп и няколко сървъра.

  Наричам такава мрежа за себе си "едноуровнева" мрежа — в нея напълно отсъства ясен ядрен слой на мрежата, разпределителният слой е изместен на граничния маршрутизатор (с функции на firewall, VPN и възможно прокси), а комутаторите за достъп обслужват както компютрите на служителите, така и сървърите.

  
  
  При растеж на предприятието — увеличаване на броя на служителите, услугите и сървърите, често се налага:

  • да се увеличи броят на комутаторите в мрежата и портовете за достъп
  • да се увеличат сървърните мощности
  • да се борим с широковещателните домейни — да внедрим сегментиране на мрежата и маршрутизиране между сегментите
  • да се справим с неизправности в мрежата, които предизвикват простоев на служителите, тъй като това води до допълнителни финансови разходи за ръководството (служителят е в простоей, заплатата се плаща, а работата не се извършва)
  • в процеса на борба с неизправностите, да помислим за резервиране на критично важни мрежови елементи — маршрутизатори, комутатори, сървъри и услуги
  • да се стегне политиката за сигурност, тъй като могат да възникнат търговски рискове и отново — за по-стабилна работа на мрежата

  Всичко това води до факта, че инженерът (сетевият администратор) рано или късно размисля за правилната структура на мрежата и стига до 2-уровнева модел.

  Този модел вече ясно разделя 2 нива — ниво на достъп и ниво на разпределение, което същевременно е и ниво на ядро (collapsed-core).

  Комбинираното ниво на разпределение и ядро изпълнява следните функции:

  • агрегира връзките от комутаторите за достъп
  • въвежда маршрутизиране на сегментите на мрежата — потребителите и устройствата стават толкова много, че не могат да се поберат в една мрежа /24, а ако се побират, то broadcast-штормовете предизвикват постоянни неизправности (особено ако потребителите помагат за създаването им, създавайки цикли)
  • осигурява свързаност между съседните сегменти на комутаторите (по-бързи връзки)
  • осигурява свързаност между потребителите и техните устройства, и сървърната ферма, която също към този момент започва да се отделя в отделен сегмент на мрежата — ЦОД.
  • започва да осигурява съвместно с комутаторите за достъп, в известна степен, политика за сигурност, която започва да се появява при предприятието по това време. Компанията расте, търговските рискове също нарастват (тук имам предвид не само разпоредбите за търговска тайна, разпределението на политики за достъп и т.н., но и елементарни неизправности в мрежата и служителите).

  По този начин мрежата рано или късно израства до 2-уровнева модел:

  
  
  В тази модел се появяват специални изисквания както към комутаторите на достъпа, които агрегитират връзките от потребителите и устройствата в мрежата (принтери, точки за достъп, VoIP устройства, IP телефони, IP камери и др.), така и към комутаторите на разпределение и ядро.

  Комутаторите на достъпа трябва да бъдат по-интелигентни и функционални, за да отговорят на изискванията за производителност, безопасност и гъвкавост на мрежата и трябва да:

  • имат различни видове портове за достъп и магистрални портове — за предпочитане с възможност за резервиране на растежа на трафика, както и на броя на портовете
  • имат достатъчна комутационна капацитет и пропускна способност
  • имат необходимия функционал за безопасност, който да отговаря на текущата политика на безопасност (а в идеалния случай и на растежа на нейните бъдещи изисквания)
  • имат възможност за захранване на труднодостъпни мрежови устройства с възможност за дистанционно рестартиране на захранването им (PoE, PoE+)
  • имат възможност за резервиране на собствено електрическо захранване, за да се използва там, където е необходимо
  • имат (по възможност) допълнителен потенциал за растеж на функционалността — често срещан пример, когато комутаторът на достъпа с времето се превръща в комутатор на разпределение

  Към комутаторите на разпределение също се предявяват съответни изисквания:

  • както по отношение на магистралните низходящи портове към комутаторите на достъпа, така и по отношение на peer интерфейсите на съседните комутатори на разпределение (а в по-далечна перспектива и за възможни uplink интерфейси към ядро)
  • в частта на L2 и L3 функционалността
  • в частта на функционалността за безопасност
  • в частта на осигуряване на отказоустойчивост (резервиране, клъстеризация и резервиране на електрическо захранване)
  • в частта на осигуряване на гъвкавост при балансиране на трафика
  • имат (по възможност) допълнителен потенциал за растеж на функционалността (трансформация с времето на устройството за агрегация в ядро)
  • в някои случаи на комутаторите на разпределение може да бъде уместно да се използват PoE, PoE+ портове.

  По-нататък — още: при провеждането на политика за активно развитие и растеж на предприятието, мрежата също ще продължи да се развива — компанията може да започне да наема съседни сгради, да строи свои собствени корпуси или да поглъща по-малки конкуренти, увеличавайки по този начин броя на работните места за служителите. В същото време настъпва и растеж на мрежата, който изисква:

  • осигуряване на служителите с работни места — необходими са нови комутатори за достъп с портове за достъп
  • наличие на нови комутатори за разпределение за агрегиране на линкове от комутаторите за достъп
  • построяване на нови, както и модернизация на съществуващите линии за свързване

  Като следствие се наблюдава растеж на трафика по следните причини:

  • заради увеличаването на портовете за достъп и съответно на потребителите на мрежата
  • заради увеличаването на трафика на свързани подсистеми, които избират мрежата на предприятието за транспорт — телефония, сигурност, инженерни системи и т.н.
  • заради внедряването на допълнителни услуги — с увеличаването на персонала възникват нови отдели, изискващи определен софтуер
  • увеличават се изчислителните мощности на ЦОД, за да отговорят на изискванията на инфраструктурата и приложенията
  • нарастват изискванията за сигурност на мрежата и информацията — известната триада на ЦРУ (шега), а ако сериозно, то CIA — Конфиденциалност, Интегритет и Достъпност:
    • във връзка с това, към критичните нива на мрежата — разпределение и ЦОД, се появяват допълнителни изисквания за отказоустойчивост и резервиране
    • отново възниква ръст на трафика заради внедряването на нови системи за сигурност — например РКВИ и т.н.

  Рано или късно растежът на трафика, услугите и броят на потребителите ще доведе до необходимостта от внедряване на допълнително ниво на мрежата — ядро, което ще извършва високоскоростно пренасочване/маршрутизиране на пакети с помощта на високоскоростни линкове за свързване.

  В този момент предприятието може да премине към триредова мрежова модел:

  
  
  Както се вижда на горната рисунка — в такава мрежа присъства ядрен слой, който агрегира скоростните линкове от комутаторите за разпределение. По този начин на комутаторите на ядрото също се поставят изисквания за:

  • пропускателна способност на интерфейсите — 1GE, 2.5GE, 10GE, 40GE, 100GE
  • производителност на комутатора (свързваща способност и производителност на предаване)
  • типове интерфейси — 1000BASE-T, SFP, SFP+, QSFP, QSFP+
  • брой и набор от интерфейси
  • възможности за резервиране (стекерно свързване, клъстеризация, резервиране на контролни платки (актуално за модулни комутатори), резервиране на електрическо захранване и т.н.)
  • функционалност

  На този мрежов слой определено е необходима както техническа модификация:

  • резервиране на ядрови узли и връзки (изключително желателно)
  • резервиране на узли и линкове на разпределителен слой (в зависимост от критичността)
  • резервиране на линкове между комутаторите на достъпа и разпределителния слой (по необходимост)
  • въвеждане на протоколи за динамично маршрутизиране
  • балансиране на трафика както в ядрото, така и на разпределителните и достъпните слоеве (при необходимост)
  • внедряване на допълнителни услуги — както транспортни, така и услуги за сигурност (при необходимост)

  тъй като и юридически, определяща мрежовата политика за сигурност на предприятието, която допълва общата политика за сигурност в частта:

  • изисквания за внедряване и настройка на различни функции за сигурност на комутаторите за достъп и разпределение
  • изисквания за достъп, мониторинг и управление на мрежовото оборудване (протоколи за отдалечен достъп, разрешени сегменти за управление на мрежата, настройки на логове и т.н.)
  • изисквания за резервиране
  • изисквания за формиране на минимално необходим комплект ЗИП

  В този раздел кратко описах еволюцията на мрежата и предприятието от няколко комутатора и няколко десетки служители до няколко десетки (а може би и стотици комутатори) и няколко стотици (или дори хиляди) само онези служители, които работят директно в мрежата на предприятието (а трябва да се отчете и производственият отдел и инженерните мрежи).
  Разбира се, в реалността такова "чудесно" и бързо развитие на предприятието не се случва.
  Обикновено минават години, за да нарасне предприятието и мрежата от начален 1-ви до 3-ти ниво, който описвам.

  Защо пиша всичките тези очевидности? Защото искам да спомена термина ROI — възвръщаемост на инвестициите и да разгледам онзи аспект, който пряко касае избора на мрежово оборудване.

  При избора на оборудването, мрежовите инженери и техните ръководители често избират оборудването, като взимат предвид два фактора — текущата цена на оборудването и минималната техническа функционалност, необходима в момента за решаване на конкретна задача или задачи (за закупуването на резервно оборудване ще разкажа по-късно).

  При това, рядко се разглеждат възможностите за по-нататъшен "растеж" на оборудването. Когато се стигне до ситуация, в която оборудването е изчерпало функционалността или производителността си, се закупува по-мощно и функционално, а старото се прибира в склада или се дава на мрежата по принципа "да го има" (между другото, това също е причина за появата на голямо разнообразие от оборудване и закупуването на много информационни системи, работещи с него).

  Така вместо покупка на част от лицензи за допълнителна функционалност и производителност, които са много по-евтини от новото, по-високопроизводително оборудване, е необходимо да се закупи нов хардуер и да се преплати по следните причини:

  • мрежата често расте бавно и разширението на функционалността или производителността на превключвателя във вашата мрежа може да бъде достатъчно за дълго време
  • не е тайна, че оборудването на чуждестранни доставчици е обвързано с чуждестранната валута (долар или евро). За да бъда честен — увеличението на долара или еврото (или периодичната минимална девалвация на рублата, според гледната точка) води до това, че доларът преди 10 години и доларът сега са съвсем различни неща от гледна точка на рублата

  Обобщавайки всичко гореизложено, искам да подчертая, че закупуването на мрежово оборудване с по-широка функционалност сега може да доведе до икономии в бъдеще.
  Тук разходите за закупуване на оборудване разглеждам в контекста на инвестирането в собствената мрежа и инфраструктура.

  Така много доставчици (не само Extreme) следват принципа pay-as-you-grow, включвайки в оборудването множество функционалности и възможности за увеличаване на производителността на интерфейсите, които впоследствие се активират чрез закупуването на отделни лицензи. Също така предлагат модулни превключватели с широк набор от интерфейсни и процесорни карти и възможност за последователно увеличаване както на техния брой, така и на производителността.

  Резервиране на критични възли

  В тази част на статията бих искал накратко да опиша основните принципи на резервиране на важни мрежови възли като комутатори, центрове за данни или разпределителни устройства. Искам да започна с разглеждане на общите видове резервиране — стекване и клъстеризиране.

  Всеки от методите има своитепредимства и недостатъци, за които ще говоря.

  По-долу е представена обща сравнителна таблица между двата метода:

  
  

  • управление — както може да се види от таблицата, в това отношение предимството е на стекването, тъй като от управленска гледна точка стекът от няколко комутатора се представя като един комутатор с голям брой портове. Вместо да управлявате например 8 различни комутатора при клъстеризацията, можете да управлявате само един при стекването.
  • разстояние — в момента, строго погледнато, предимството на клъстеризацията не е напълно очевидно, тъй като се появиха технологии за стекване на комутатори чрез stacking ports или dual-purpose ports (например SummitStack-V на Extreme, VSS на Cisco и т.н.), които също зависят от типовете трансивери. Тук предимството е на клъстеризацията по принципа, че при стекването има варианти, при които трябва да се използват обикновени stacking ports, които често се свързват със специални кабели с ограничена дължина — 0.5, 1, 1.5, 3 или 5 метра.
  • актуализиране на ПО — тук виждаме, че клъстеризацията има предимство пред стекването, и причината е следната — при актуализиране на версията на ПО на оборудването при стекването актуализирате ПО на основния комутатор, който по-късно поема ролята на инсталиране на новото ПО на standby-member комутаторите в стека. От една страна, това улеснява работата ви, но актуализирането на ПО често изисква хардуерно рестартиране на оборудването, което води до рестартиране на целия стек и по този начин до прекъсване в работата му и на всички свързани с него услуги за времето = времето за рестартиране. Обикновено това е много критично за ядро и центрове за данни. При клъстеризация — имате две независими устройства, на които можете последователно да актуализирате ПО. При това може да се избегнат прекъсвания в услугите.
  • конфигурация на настройките — тук предимството определено е на страната на стековете, тъй като при управлението е необходимо да коригирате настройките само за едно устройство и неговия конфигурационен файл. При клъстеризацията обаче, броят на конфигурационните файлове ще съответства на броя на възлите в клъстера.
  • устойчивост на отказ — тук и двете технологии са приблизително равни, но малко предимство все пак имат клъстеризацията. Причината е следната — ако разгледаме стека от гледна точка на активните процеси и протоколи, ще видим следното:
    • има master-switch, на който са активирани всички основни процеси и протоколи (например протокол за динамична маршрутизация — OSPF)
    • има останалите slave-switch комутатори, на които са активирани основните процеси, необходими за работата в стека и обслужването на трафика, преминаващ през тях
    • при отказ на master-switch комутатора, следващият по приоритет slave-switch комутатор открива отказа на мастера
    • той се иницира като мастер и стартира всички процеси, които са работили на мастера (включително и наблюдавания от нас протокол OSPF)
    • след известно време за стартиране на процесите (обикновено доста кратко), вече започва да работи и самият протокол OSPF
    • така OSPF при отказ на един от възлите при клъстеризацията ще сработи малко по-бързо отколкото при стековете (с времето, необходимо за стартиране и инициализация на процесите и протоколите на slave комутатора в стека). Въпреки че трябва да подчертая, че съвременните протоколи за стековане и комутатори работят много бързо, често продължителността на прекъсването на трафика при превключване на стека отнема по-малко от една секунда, но все пак номинално клъстеризацията печели по този параметър.

  • сложност — както личи от таблицата, в пункт за сложност печели стековането. Това е пряко следствие от пунктовете „управление“ и „конфигурация на настройките“. Единичният възел отнема значително по-малко време за настройка и управление. Също така при клъстеризация често е необходимо да се настройват допълнителни протоколи за маршрутизация или протоколи за резервиране на шлюзове — VRRP, HSRP и други.
  • замяна на възли Тук определено има предимство на стековите. Много често за подмяна на комутатор в стека е необходимо да се извършат минимално необходимите настройки на оборудването, например:
    • да се обнови софтуера на новия комутатор до версията на стека (а това може да се направи още при постъпването на комутаторите в ЗИП)
    • да се настроят няколко основни команди за стекиране (а за някои видове комутатори дори това не може да се изисква)
    • да се извади повреденият комутатор от стека и да се свърже новият
    • да се свържи захранването и патчкордовете

  • еластичност Тя е един от основните параметри, които разглеждам. В общи линии, еластичността е комплексна характеристика, която означава свойството на нещо да се променя под действието на натоварване и да се връща към първоначалния си вид след изчезването му. Както и да е, за кластеризацията тя ще бъде по-висока, дори с внимание към съотношение 4:3 в полза на стековите. Всичко се крие в човешкия фактор. Да, да, не се учудвайте — именно в силата на такива параметри на стековете, като единно управление, конфигурация на настройките и улеснена сложност, е слабостта на стековете при замесването на човешкия фактор.

  През своята работа в IT многократно съм срещал ситуации (да не се лъжем, аз самият също съм стъпил в тези капани, особено в началото), когато при настройка на стек инженерът е сбъркал в въвеждането на определена команда или включването/изключването на конкретен функционал на оборудването, което е довело до отказ на целия стек и необходимост от ръчна перезареждане. По-специално би било добре да се споменат любителите на приложението Putty за Windows (ох, това копиране с десния бутон на мишката).

  Всъщност, двете технологии са доста добри (особено в сравнение с отсъствието на резервиране) и всяка от тях има своите силни и слаби страни, но за ядрото и за високо натоварените дата центрове, все пак бих предпочел да използвам кластеризация.

  Въпреки че това е само моето мнение. Много професионални инженери, които от години се занимават на професионално ниво с поддръжка на мрежи, могат да ползват и двете технологии в равна степен — всичко зависи от опита и квалификацията.

  Освен технологиите за стекови и резервиране на мрежови възли, съществуват и общи принципи за резервиране на части от самия мрежов възел и връзките между възлите:

  Под резервиране вътре в мрежовия възел разбирам:

  • резервиране на захранващи блокове — инсталиране на 2 блока захранване, дублиращи се един друг (и е желателно да бъдат свързани към 1-ва категория електрозахранване), може значително да улесни живота ви.
  • резервиране на управленски платки — до голяма степен се отнася до модулни комутатори, при които е предвидено свързването на няколко дублиращи се управленски платки.
  • резервиране на интерфейсни карти — също така се отнася по-скоро до модулни комутатори.

  Под резервиране на връзки/линкове основно се разбира наличието на дублиращи се кабелни трасета (или радиовръзки в случай на открити пространства) с:

  • разпределение по различни кабелни шахти и канали в сградата
  • географско разпределение на територията на ниво 2 и повече сгради, град, област или страна (т.нар. обемни пръстени)

  При строежа на резервни линкове е необходимо да се спазват редица препоръки за оборудването:

  • в случай на дублиране на интерфейсни карти на модулен комутатор, или при наличие на стек, е необходимо да се разпределят линковете между юнитите — интерфейсните карти в случай на модулни комутатори и комутаторите в случай на стек.
  • препоръчително е да се използват протоколи за агрегация на връзки (LACP, MLT, PAgP и др.) за обединяване на линкове в групи и балансировка на натоварването между тях.
  • използвайте маршрутизатори, поддържащи протоколи ECMP (Equal-Cost-Multi-Path) — когато при доставянето на няколко пакета по един маршрут тези пакети не преминават през един най-добър маршрут (и интерфейс), а се разпределят по няколко най-добри маршрута (и няколко интерфейса), които се определят въз основа на равенството на метриките на протокола за маршрутизиране, който от своя страна отговаря за попълването на окончателната таблица за маршрутизиране.

  А сега, както обещах, ще опиша реален случай от практиката си и принципа на икономия при резервиране на критични възли, който се е случил преди няколко години:

  • в една компания, да я наречем X, имаше стандартна 3-уровнева мрежова модел:
    • с няколко ядра
    • с няколко десетки агрегации
    • с хиляди достъпни комутатори
    • с десетки хиляди потребители

  • мрежата беше доста сложно изградена:
    • с куп динамични маршрутизационни протоколи и протоколи — OSPF, MP-BGP, MPLS, PIM, IGMP, IPv6 и т.н.
    • с куп услуги — интернет достъп, L2 и L3 VPN, VoIP, IPTV, влакови линии и т.н.

  • но имаше едно тясно място в мрежата — граничният маршрутизатор, който комбинираше функции на BGP-граница и терминализираше някои потребителски услуги
  • да, той струваше колкото крило на самолет (няколко милиона рубли)
  • да, тогава той беше едно от най-добрите устройства в гамата на най-прочутия сетеви доставчик
  • да, той трябваше да бъде много надежден — с отличен показател MTBF
  • да, имаше 4 захранващи блока, свързани по схемата 2х2 и включени от различни UPS и входове.

  Но всичко това не отменяше факта, че той беше единна точка на отказ в мрежата.

  И в един, далеч не прекрасен ден за мен и моите колеги, този маршрутизатор спря да функционира (по-късно установихме, че е настъпил някакъв срив на електрическото захранване през UPS, който доведе до едновременното изключване на 2 захранващи блока и в същото време един от блоковете повреди модула RP на маршрутизатора и интерфейсната карта, която беше свързана към общата шина на данни на устройството).

  Нямаше резервни платки — RP и интерфейсната карта, но имаше договор за замяна на оборудване или негови компоненти с един от партньорите по схемата NBD.

  За съжаление, при партньорите в момента на склада имаше само интерфейсна карта, но не и платка RP, която пристигна само след няколко дни (след 3 дни).

  В крайна сметка наличието на единна точка на отказ в мрежата (дори с наличието на договор за поддръжка и замяна на оборудване) доведе до следните финансови разходи:

  • частта от услугите на компанията, свързана с този бордер, представляваше около 60-70%
  • както впоследствие беше изчислено, дневната печалба беше около 900 хиляди рубли (приблизително) тогава
  • така че през 3-дневния престой теоретично беше загубена печалба в размер от 1 млн 620 хил. рубли до 1 млн 890 хил. рубли

  Разбира се, чистите загуби бяха по-малко, тъй като компенсациите на основната част от потребителите бяха възстановени не в пари, а под формата на услуги, но все пак бяха налице:

  • част от компенсациите на корпоративните потребители
  • повишени разходи за служителите на предприятието, които работеха през тези 3-4 дни в пълен състав — извънреден труд, нощни дежурства, увеличаване на смените и т.н.
  • репутационни загуби, което също не е маловажно
  • и най-вече нерви, както на ръководството и служителите, така и на клиентите

  В крайна сметка политиката на компанията беше преразгледана:

  • отказаха се от договора за подмяна по условие NBD
  • оставиха обикновен сервизен договор
  • закупиха дублиращ маршрутизатор на стойност около 1 — 1.3 млн. рубли за резервиране на 90% от функционалността на основния

  В бъдеще закупуването на допълнително оборудване и резервирането на основното позволи да се балансира натоварването между тях по външни линкове, трафик и потребители, и осигури в бъдещи аварии допълнителна устойчивост за компанията.

  Пример за проектиране на Enterprise мрежа

  В тази част на статията ще се опитам да изложа основните моменти при проектирането на опорна мрежа на предприятието. Няма да ви натоварвам с цялата методология PPDIOO (Prepare-Planning-Design-Implement-Operate-Optimize), а само ще набележа основните ѝ моменти:

  • Prepare/Подготовка – необходимо е да се определите с вашето ръководство по целите за модернизация на мрежата, които искате да постигнете – повишаване на отказоустойчивостта, внедряване на нови услуги или технологии. Определянето на ограничения – технически и организационни, тук пропускам, тъй като предполагам, че вие сте служител на организацията и разполагате с достатъчно време за преодоляване на тях. Ще се върна на темата за бюджета по-късно.
  • Planning/Планиране – тук трябва да изградите пълно описание на текущата си мрежа (ако все още не я знаете), т.е. да опишете мрежата така, както е в момента:
    • броят и типът на оборудването
    • броят и типовете портове
    • съществуващите кабелни трасета и схеми на комутация вътре в сградите и между тях
    • схемите за електрозахранване
    • L2 и L3 адресация
    • да построите карти на Wi-Fi мрежи с указания за точки за достъп и контролери
    • да опишете сървърната си ферма
    • желателно е да опишете всичките си услуги и връзките между тях
    • ако вече имате внедрена по един или друг начин политика за мрежова сигурност и разграничаване на мрежовия достъп, задължително да я вземете предвид при проектирането
    • Веднага ще отбележа, че вторият етап по същество представлява пълна инвентаризация на мрежата, започвайки от кабелната инфраструктура и схемите за захранване, и завършвайки със.services (приложения и техните портове). Този етап е много трудоемък и понякога дори досаден. Ако вие или вашият предшественик не сте поддържали документация или дори елементарна система за мониторинг, то сега е времето да помислите за това. Мрежата има тенденция да се променя с времето с определена скорост и само поддържането на актуална документация или система за мониторинг може да ви помогне да следите състоянието й и да улесните администрирането й. Но това вече се отнася до етапа operate.

  • Дизайн/Проектиране — въоръжени с пълни знания за вашата мрежа, получени на предишния етап, вие най-накрая сядате и мислите за модернизация на вашата мрежа. По-долу ще се опитам да демонстрирам малък пример за изчисление на мрежата.

  За себе си съставих малък списък с изходни данни, на които ще се ръководя при изчислението и проектирането на основната мрежа.

  Представяме стъпка Prepare под формата на списък с наличните ресурси и какво планираме да направим:

  • има доста голямо предприятие с приблизително количество работни места, около 700-800 бр. (тук имам предвид служителите, които изискват достъп до мрежата на предприятието)
  • има няколко отделни сгради в пределите на територията на предприятието:
  • Основни сгради:
    • брой на сградите — 2 бр.
    • брой етажи в сградата — 7 бр.
    • брой телекомуникационни шкафове на етаж в една сграда — 3 (общо 21) бр.
    • брой служители в сградата =~ 250 души

  • Допълнителни сгради:
    • брой на сградите — 10 бр.
    • брой етажи в сградата/цеха — 2 бр.
    • брой телекомуникационни шкафове в сградата — 3 бр.
    • брой служители в сградата =~ 20 души

  • Текущото ядро на мрежата (между другото, много разпространена схема, която ми се е срещала неведнъж в един или друг вид и състав на портовете) е представено:
    • с 2 комутатора L2:
      • 1Gb портове тип RJ-45 — 24 бр.
      • 1Gb SFP портове — 4 бр.
    • с 1 комутатор L2:
      • 1Gb SFP портове — 24 бр.
    • топология на ядрото — пръстен
    • peer-to-peer връзки между комутаторите са свързани с оптични влакна
    • комутаторите са разположени в малки сървърни стаи със шкафове
  • Текущо ниво на разпределение:
    • обединен с ядрото на мрежата за агрегиране на линкове от достъпни комутатори
    • L3 адресацията е изнесена на граничния маршрутизатор и/или защитната стена
  • Настоящо ниво на достъп:
    • L2 комутатори с 16 x 100 Mb RJ-45 достъпни портове и 2 гигабитни комбинирани аплинк портове RJ-45/SFP
    • комутаторите се намират в шкафове на етажите
    • топология на достъпните комутатори:
      • звезда (hub-and-spoke — център и радиуси) с ядрен/разпределителен комутатор в средата
      • радиус/spoke представлява клон на комутатори по етажите — 3 бр. в верига
    • има неизменяеми достъпни комутатори
    • комутаторите в 9 допълнителни корпуси са свързани чрез медийни конвертори (преобразуватели на оптичен сигнал в електрически)
  • Настояща кабелна инфраструктура:
    • Кабелна система между сгради:
      • има оптичен кабел между 2-те главни сгради с капацитет 8 влакна
      • има по 1 оптичен кабел между един от допълнителните корпуси (където е инсталиран ядрен комутатор) и всяка от основните сгради с капацитет 8 влакна всеки
      • има по 1 оптичен кабел между допълнителните корпуси и корпусите с инсталирани ядрен комутатор с капацитет 4 влакна (разпределението им е показано на картинката по-долу)
      • тип влакна във всички кабели — одномодово/SMF
      • използват се 2-влакна SFP модули
      • част от кабелите завършват на оптични кросове (ODF) в отделни помещения (крос зали/сървърни), а част от кабелите в етажни ЩО

    • Кабелна система в сградите:
      • има смесена кабелна структура между сървърните стаи и първите шкафове на етажите:
      • медни кабели Cat5e — 10 бр. (или 100 парни кабели)
      • многомодов/ММФ оптичен кабел на 4 или 8 влакна — 1 бр.
      • многомодов/ММФ оптичен кабел на 4 влакна между етажните шкафове
      • медни кабели Cat5e между етажните шкафове и достъпните контакти
    • настоящ ЦОД:
      • има няколко сървъра, например 6 броя
      • включени с 1Gb портове в ядрен комутатор в 1-то основно сграда
      • всички приложения на предприятието са изнесени на сървъри
    • адресация L2, L3 и маршрутизация:
      • в мрежата има няколко VLAN — 2,3 броя на сграда
      • сървърите са отделени в отделна /24 мрежа
      • за вътрешни нужди се използват сиви мрежи клас B, попадащи в диапазона — 172.16.0.0/16
      • L3 адресите се терминализират на граничния рутер и/или на защитната стена
      • използва се статично маршрутизиране
    • допълнителна информация:
      • телефония:
        • в сградите и някои крила е разположена традиционна телефония с използване на цифрови АТС от стар тип (не IP-АТС)
        • необходимо е да се телефонизират новите крила, без разходи за прокарване на скъпи медни кабелни линии с определен капацитет и изграждане на дублираща СКС за телефония в сградите
        • с времето се планира да се внедри IP телефония на цялата територия на предприятието, да се съчетае с CRM системи и да се прехвърлят всички служители
      • капацитет на портовете:
        • необходимо е да се анализира текущият капацитет на магистралните портове и портовете за достъп и да се резервират не по-малко от 25-30% за бъдещи нужди
        • да се анализира достатъчността на текущата пропускна способност на портовете за достъп и магистралните свързвания
        • предвидете наличието на PoE/PoE+ портове за достъп за устройства от свързани системи — видео наблюдение и телефония
      • видеонаблюдение:
        • планира се използването на мрежата на предприятието като транспорт за мрежата за видеонаблюдение
        • необходимо е да се предвидят PoE портове за камерите за видеонаблюдение
      • безжични системи:
        • в бъдеще се планира внедряване на безжична инфраструктура за мобилността на служителите
        • необходимо е да се предвидят PoE портове за точките за достъп
      • бюджет, срокове и изисквания за оборудването:
        • да се използва наличното оборудване максимално
        • при проектирането на мрежата да се вземе предвид възможността за разширение на пропускната способност на мрежата за N години напред
        • при проектирането на мрежата да се предвиди поддръжка на всички възможни функции за сигурност — тук списъкът с функционалности започва от port-security и завършва с аутентификация и авторизация на потребителите по 802.1x.
        • максимално възможно да се резервират критични възли на мрежата от първостепенно значение — ядрото и ЦОД, и да се предвиди възможността за резервиране на вторично важни възли — разпределителни възли
        • бюджетът на проекта трябва да предвижда последователно финансиране в няколко етапа
        • сумата на бюджета — тук всяко предприятие определя за себе си, ръководейки се от своите финансови показатели
        • Сроков няма, тъй като това е вътрешен проект на компанията, реализиран с усилията на служителите. В по-добрия случай те ще бъдат относително удобни — например, 1 година (и повече). В по-лошия случай — сроковете може да бъдат от 3 месеца до половин година.
      • решаване на текущите проблеми в мрежата:
        • загуби на пакети
        • проблеми с DHCP на относително интелигентни достъпни комутатори, свързани с използването на семейството протоколи STP за справяне с циклите на достъпните портове.
        • да се елиминира наличието на DHCP сървърен интерфейс във всеки VLAN на служителите
        • появата на комутационни цикли, свързани с произволното свързване на управлявани/неуправлявани комутатори в кабинетите и свързването на всякакви устройства към тях
        • списъкът може да продължава безкрайно…

      Стъпка 'Планиране' — характеристика на състоянието на текущата ви мрежа, каквото вече споменах, зависи от наличието на качествена система за мониторинг и степента на нейното документиране. На този етап ще трябва:

      • най-малкото да си начертаете съществуващата мрежа за по-нататъшен анализ
      • да съберете данни от оборудването:
        • трафик по главните портове
        • грешки на портовете
        • натоварване на CPU и потребление на памет на комутаторите и рутерите
        • да опишете L2-L3 схеми по VLAN-ите и IP адресите
      • да повдигнете схеми на кабелни трасета:
        • фибро оптични схеми и схеми на свързване на оптични кросове
        • схеми за медни кабелни разпределения между сървърните помещения и етажите
        • схеми за медни кабелни разпределения между етажите и кабинетите
        • да проверите наличието на оптични кросове и патч-панели в сървърните помещения и шкафовете
      • да проверите схемите на електрическото захранване в сървърните помещения и етажните шкафове
      • да проверите наличието на UPS и АКБ на критичните възли
      • да анализирате всички данни

      Въз основа на данните от етапа на подготовка, получих приблизителна логическа схема:

      
      
      След това, следвайки модулния подход, е необходимо да се определят нивата и модулите на предприятието:

      
      
      Границите (Edge) в тази статия няма да разглеждам, а накратко ще припомня основните тези по всеки от модулите Campus:

      • Достъпът — на това ниво трябва да осигурява:
        • необходимо количество портове за достъп на потребителите до мрежата
        • изпълняване на политики за безопасност — филтриране на трафика и протоколите
        • намаляване на широковещателните домейни и сегментиране на мрежата с помощта на VLAN
        • внедряване на отделни VLAN за гласов трафик
        • поддръжка на QoS
        • поддръжка на PoE входни портове
        • поддръжка на IP multicast
        • устойчивост на връзките при наличие на резервни канали (желателно)
      • Разпределението на този етап трябва да осигурява:
        • необходимо количество портове за свързване на достъпните комутатори
        • агрегиране и резервиране на линковете на достъпните комутатори
        • IP маршрутизиране
        • филтриране на пакети
        • поддръжка на QoS
        • устойчивост на ниво линкове, оборудване и захранване (много желателно)
      • Ядрото трябва да осигурява:
        • висока скорост на комутация и маршрутизиране на пакети
        • необходимо количество портове за свързване на комутатори за разпределение
        • поддръжка на IP маршрутизиране и динамични протоколи за маршрутизиране с бърза конвергенция на мрежата
        • поддръжка на QoS
        • функционалност за сигурност за защита на достъпа до оборудването и контролния панел
        • устойчивост на ниво оборудване и захранване (задължително)
      • ЦОД — мрежовото ниво на този модул трябва да осигури:
        • високоскоростни линкове за връзка
        • необходимо количество портове за свързване на сървъри
        • резервиране на линковете за връзка както между сървърите и ЦОД комутаторите, така и между ЦОД комутаторите и ядрото на мрежата (задължително)
        • резервиране на оборудването и захранването (задължително)
        • поддръжка на QoS

      Сега трябва да изчислим нашите портове и връзките и да определим изискванията.
      Ниво на достъп — таблица за изчисление на портовете

      Така получихме данните за разпределението на достъпните портове по сгради. Сега трябва да анализираме изискванията за ниво на достъп и забележките и да набележим варианти за решение.
      Ниво на достъп — изисквания и варианти за решение

      Сега ще изчислим портовете и връзките за следните нива:

      Ниво на разпределение

      Ниво на ядрото

      Ниво на ЦОД

      При изчислението получихме следното:

      • достъпен слой — необходими са 24 и 48 портови достъпни комутатори, желателно с 1Gb входни портове и оптични uplink портове SFP с поддръжка на PoE и широк функционал:
        • в сумата те ще осигурят 504 достъпни порта, което в принцип ще покрие изискванията на резервните портове, ако се реши да се използват 2 порта на работно място — IP телефон и данен порт.
        • възможно е да се използва един 48-портов комутатор с PoE функционал на всеки етаж, осигуряващ достъпни портове за изискванията:
          • резерви — около 102 запасни порта (22%) в основните сгради. За допълнителните сгради е малко повече — 25%.
          • видеонаблюдение
          • безжична мрежа
      • разпределителен слой — необходими са комутатори с набор от SFP портове от 12 до 48 порта с наличието на поне 2 SFP+ порта, с възможност за стекиране и разширен функционал, както и с наличието на резервни блокове за захранване.
      • ядрен слой — необходими са високоскоростни комутатори с 12 до 24 SFP/SFP+ порта, поддържащи стекиране и клъстери с поддръжка на MC-LAG. Трябва да се отбележи, че могат да се използват и средства за маршрутизиране за баланс на трафика. Последните поколения L3 комутатори и маршрутизатори поддържат ECMP с балансировка на трафика по 4 и повече маршрута с еднаква метрика.
      • ниво на ЦОД — необходими са комутатори с 8 до 24 SFP/SFP+ порта, поддържащи стекиране и клъстери с поддръжка на MC-LAG.

      Целевата схема на мрежата в крайна сметка се получи такова

      Избор на комутатори Extreme за реализация на проекта

      И така, стигнахме до основното — момента на избор на комутатори за реализация на нашия проект. За получената целева схема са подходящи следните комутатори Extreme:

      Нивото
      Модел
      Портове
      Описание

      ядро
      x620-16x-Base *

      x670-G2-48x-4q-Base*
      16 x 10GE SFP+
       
       
       
      48x10GE SFP+ и 4×40 GE QSFP+
      За основните нужди на ядрото:

      • високоскоростни линкове
      • разширен функционал за маршрутизиране и сигурност
      • резервиране на електрическа енергия с допълнителни блокове за захранване
      • поддръжка на стекиране и клъстериране

      С минимални изисквания, комутаторът от серия x620 ще бъде подходящ.
      В случай на разширени изисквания за брой портове и по-широк функционал, е уместно да се разгледат комутаторите от серия x670-G2.

      ЦОД

      x620-16x-Base*

      x590-24x-1q-2c*

      x670-G2-48x-4q-Base*

      16 x 10GE SFP+
       
       
       
      24x10GE SFP, 1xQSFP+, 2xQSFP28
       
       
      48x10GE SFP+ и 4×40 GE QSFP+

      За основните нужди на ЦОД:

      • високоскоростни линкове
      • резервиране на електрическа енергия с допълнителни блокове за захранване
      • поддръжка на стекиране и клъстериране

      С минимални изисквания, комутаторът от серия x620 ще бъде подходящ.
      В случай на разширени изисквания за брой портове и по-широк функционал, е уместно да се разгледат комутаторите от серия x670-G2 и x590-24x-1q-2c.

      разпределение

      X460-G2-24x-10GE4-Base*

      X460-G2-48x-10GE4-Base*

      24x1GE SFP, 8×1000 RJ-45, 4x10GE SFP+
       
       
       
      48x1GE SFP, 4x10GE SFP+

      За основните нужди на разпределение:

      • необходимо количество оптични портове
      • резервиране на електрическа енергия с допълнителни блокове за захранване
      • поддръжка на стекиране и клъстериране
      • необходим L3 функционал

      Идеално подхождат комутаторите от серия x460-G2. Наличието на резервни блокове за захранване с възможност за разширение и добавяне на портове 10G, CX (за стекване) и QSFP+ ги прави идеални комутатори за разпределителния слой с портове до 1 Gb.

      достъп

      X440-G2-24p-10GE4*

      X440-G2-24t-10GE4*

      X440-G2-48t-10GE4*

      X440-G2-48p-10GE4*

      24x1000BASE-T(4 x SFP комбо), 4x10GE SFP+ (PoE бюджет 380 W)
       
      24x1000BASE-T(4 x SFP комбо), 4x10GE SFP+
       
       
      24x1000BASE-T(4 x SFP комбо), 4x10GE SFP+ комбо портове
       
      48x1000BASE-T(4 x SFP комбо),4x10GE SFP+ комбо портове (PoE бюджет 740 W)

      За нуждите на достъпа:

      • необходимо количество портове за достъп
      • подкрепа за PoE/PoE+
      • функционалност и възможност за разширение на портовете
      • допълнителен бонус под формата на поддръжка на стекване с 10Gb портове „извън кутията“

      Препоръчвам да се обърне внимание на тази линия заради нейната гъвкавост в частта на портове, производителност и функционалност.

      *спецификацията на избраните комутатори може да бъде видяна в първата статия от цикъла - преглед на комутаторите Extreme

      Тук можех да завърша статията, но искам да подчертая допълнително 2 аспекта, с които всеки инженер ще се сблъска при развитие или модернизация на мрежата си:

      • работа с кабелни трасета — оптични и медни линии
      • IP адресиране

      Работа с оптика

      По-горе представих целевата схема, към която трябва да се достигне. За нейното реализиране е необходимо следното количество свързвания за оборудването:

      количество линкове за връзка

      Както е видно от таблицата, минималното количество оптични влакна, необходимо за осигуряване на отказоустойчивост на слоевете в мрежата (ядрото, цодовете и разпределението в 2 сгради) — 10 броя.

      На етапа на характеризация на мрежата установихме, че в кабела между сградите има само 8 влакна. Какво да правим в такава ситуация?

      Ще представя няколко решения:

      • първата очевидна стъпка — да се използват свободните влакна в кабела между сграда 1 — корпус 1 и корпус 1 - сграда 2 (както е видно от таблицата — се използват само 2 от 8 влакна в всеки кабел). За това е достатъчно да се поставят оптични кръстовища между кросовете в корпус 1 и при необходимост да се използват SFP модули с излишък на оптичния бюджет.
      • Вторият етап - възможността за използване на CWDM технологията - уплътняване на носещите дължини на вълните в рамките на едно влакно. Тази технология е значително по-евтина от DWMD и е сравнително проста за внедряване. Основните изисквания са към качеството на оптичните влакна и SFP/SFP+ трансиверите с определена дължина и бюджет. Както споменах в предишната статия - възможността за комутаторите да разпознават трансивери на трети производители може значително да улесни живота ни и да намали капиталоемките разходи за изграждане на допълнителни оптични кабели.
      • Третият етап е да се разгледа възможността за увеличаване на влакната чрез прокарване на допълнителни оптични кабели.

      След това разглеждаме броя на влакната между сградите с инсталирани комутатори за разпределение и допълнителни корпуси 2-10. И тук не всичко е толкова недвусмислено:

      • На първо място, не достигат влакна за реализиране на нашата целева схема - по 2 влакна на комутатор (както помним, имаме кабели с 4 ОВ на всеки корпус)
      • На второ място, дори при наличието на достатъчно количество влакна между сградите, вътре в корпусите се използват MMF влакна, които не позволяват просто така да свържем влакна SMF и MMF (говоря за разстояния между сградите над 300-400 метра)

      В такива случаи могат да се разглеждат следните варианти:

      • осигуряване на всеки комутатор със SMF влакна:
        • Ако разстоянието позволява - могат да се протегнат допълнителни дълги патчкордове между комутаторите. По времето, когато ние работехме, използвахме патчкордове с дължина 30-50 м.
        • Прокарване на сравнително евтин оптичен SMF кабел с малка капацитетност между шкафовете
        • На краен вариант да се използват различни SMF-MMF преобразуватели
      • За минимизиране на използваните влакна между сградите може да се:
        • използва функционалността на стековете на комутатори x440-G2 - при това да се използва по 1 SMF влакно до всеки комутатор на етажа, което ще позволи вместо 6 влакна и порта да се използват 3 влакна и порта на всяка страна
        • да се използват по 2 влакна за свързване на първия комутатор в клон и последния. Да се агрегират линковете на граничните комутатори за достъп и да се използват протоколи STP в полученото кольце.

      IP-адресиране

      Тук ще дам примерен изчисление на адресирането за нашата схема.

      В момента имаме няколко мрежи от клас B — 172.16.0.0/16. При изчисляването на IP адресното пространство ще се ръководя от следните съображения:

      • 4 бита от втория октет ще обозначават сгради — 172.16.0.0/12.
      • 3-ти октет ще обозначава номера на етажа в сградата.
      • 3-ти октет = 255 ще бъде выделен за point-to-point връзки на оборудването и мрежата за управление.
      • един management VLAN на етаж за управление на комутаторите.
      • един потребителски VLAN на комутатор (в средно 24 порта).
      • един Voice VLAN на комутатор (в средно 24 порта).
      • един VLAN за системата за видеонаблюдение на етаж.
      • един VLAN за Wi-Fi устройства на етаж.

      Получих приблизително такива таблици:
      мрежа 172.16.0.0/14
      мрежа 172.20.0.0/14

      В таблицата по-горе представих приблизителното разпределение на мрежите по сгради и етажи от една страна и мрежите (потребителски, управление и служебни) от друга.

      На практика изборът на сивата мрежа 172.16.0.0/12 не е най-оптимален, тъй като ограничава броя на мрежите (от 16 до 31) за сградите, а има и отдалечени офиси, на които също е необходимо да се нарязват блокове от мрежи; възможно по-оптимално би било да се използва 10.0.0.0/8 мрежа или съвместното използване на 172.16.0.0/12 мрежи (например за служебни нужди и сървъри) и 10.0.0.0/8 (за потребителски мрежи).

      Общият подход към разпределението на IP мрежи също е модулен и е желателно да се спазват правилата за обобщаване на подмрежи в една summary мрежа на нива на разпределение, както и на граничните маршрутизатори в отдалечените клонове. Това се прави по няколко причини:

      • за минимизиране на таблиците за маршрутизиране на маршрутизаторите
      • за минимизиране на служебния трафик на протоколите за маршрутизиране (всевъзможни update съобщения, при недостъпност на вложените подмрежи)
      • за опростяване на администрацията и по-добра четливост на L3 мрежите

      Въпреки че по първите 2 точки е важно да се отбележи, че мощностите на съвременните маршрутизатори значително надвишават тези, които бяха преди 15-20 години и позволяват поддържането на по-големи таблици за маршрутизиране в оперативната памет, а и съотношението цена и пропускна способност на комуникационните канали е намаляло в сравнение с цените от времето на масовото използване на потоци E1/T1 (G.703).

      Заключение

      Приятели, в этой статье я постарался как можно короче рассказать о ключевых принципах проектирования кампусных сетей. Да, материала накопилось довольно много, и это несмотря на то, что я не касался таких тем, как:

      • организация границы предприятия (это отдельная история со своими коммутаторами, бордерами, системами firewall, IPS/IDS, DMZ, VPN и прочими аспектами)
      • организация Wi-Fi сетей
      • организация VoIP сетей
      • организация ЦОД
      • безопасность (это также отдельный мир, который по объему и требованиям не уступает проектированию чистой сетевой инфраструктуры, а иногда и превосходит ее)
      • энергетика
      • список можно продолжать и продолжать

      На самом деле проектирование и создание сети предприятия – это довольно сложная задача, требующая значительных временных и ресурсных затрат.

      Но надеюсь, моя статья поможет вам оценить и на начальном уровне разобраться, как подойти к этой задаче.

      Это далеко не последняя статья по Extreme Networks, так что следите за обновлениями (Телеграм, Facebook, VK, TS Solution Blog)!

Източник: habr.com