Як абнавіць сеткавае абсталяванне на буйным прадпрыемстве без спынення вытворчасці? Пра маштабны праект у рэжыме «аперацыі на адкрытым сэрцы» распавядае менеджэр па кіраванні праектамі Linxdatacenter Алег Фёдараў.
У апошнія некалькі гадоў мы адзначаем падвышаны попыт замоўцаў на паслугі, злучаныя з сеткавым кампанентам ІТ-інфраструктуры. Патрэба ў складнасці ІТ-сістэм, сэрвісаў, прыкладанняў, задачы маніторынгу і аперацыйнага кіравання бізнесам практычна ў любой сферы змушаюць сёння кампаніі надаваць сеткам падвышаную ўвагу.
Дыяпазон запытаў - ад забеспячэння адмоваўстойлівасці сеткі да стварэння і кіравання кліенцкай аўтаномнай сістэмай з набыццём блока IP-адрасоў, наладай пратаколаў маршрутызацыі і кіраваннем трафікам згодна з палітыкам арганізацый.
Таксама расце попыт на комплексныя рашэнні па пабудове і абслугоўванні сеткавай інфраструктуры, у першую чаргу з боку заказчыкаў, сеткавая інфраструктура якіх ствараецца з нуля ці маральна састарэла, патрабуючы сур'ёзнай мадыфікацыі.
Дадзены трэнд па часе супаў з перыядам развіцця і ўскладненні ўласнай сеткавай інфраструктуры Linxdatacenter. Мы пашырылі геаграфію сваёй прысутнасці ў Еўропе за рахунак падлучэння да выдаленых пляцовак, што ў сваю чаргу запатрабавала і ўдасканаленні інфраструктуры сеткі.
Кампанія запусціла новы сэрвіс для кліентаў, Network-as-a-Service: рашэнне ўсіх сеткавых задач кліентаў мы бярэм на сябе, дазваляючы ім засяродзіцца на асноўным бізнэсе.
Летам 2020 года завяршыўся першы вялікі праект у гэтым напрамку, пра які хацелася б расказаць.
На старце
Буйны прамысловы комплекс звярнуўся да нас па мадэрнізацыю сеткавай часткі інфраструктуры на адным са сваіх прадпрыемстваў. Патрабавалася зрабіць замену старога абсталявання на новае, у тым ліку ядры сеткі.
Апошняя мадэрнізацыя абсталявання на прадпрыемстве праходзіла каля 10 гадоў таму. Новае кіраўніцтва прадпрыемства вырашыла палепшыць складнасць, пачаўшы з абнаўлення інфраструктуры на самым базавым, фізічным узроўні.
Праект быў падзелены на дзве часткі: апгрэйд сервернага парка і сеткавага абсталявання. Мы адказвалі за другую частку.
Базавыя патрабаванні да работ уключалі мінімізаванне прастояў вытворчых ліній прадпрыемства падчас выканання работ (а на некаторых участках і поўнае выключэнне прастояў). Любая прыпынак - прамыя грашовыя страты кліента, чаго не павінна было адбыцца ні пры якіх абставінах. У сувязі з рэжымам працы аб'екта 24х7х365, а таксама з улікам поўнай адсутнасці перыядаў планавых прастояў у практыцы прадпрыемства, перад намі была пастаўлена задача, па сутнасці, выканаць аперацыю на адкрытым сэрцы. Гэта і стала галоўнай адметнай рысай праекту.
паехалі
Працы планаваліся па прынцыпе руху ад выдаленых ад ядра вузлоў сеткі да бліжэйшых, а таксама ад меней якія ўплываюць на працу вытворчых ліній да якія ўплываюць на гэтую працу непасрэдна.
Напрыклад, калі браць вузел сеткі ў аддзеле продажаў, то перабой са сувяззю ў выніку работ у дадзеным аддзеле ніяк не закране вытворчасць. Пры гэтым такі інцыдэнт дапаможа нам як падрадчыку праверыць правільнасць выбранага падыходу да работы па такіх вузлах і, скарэктаваўшы дзеянні, працаваць на наступных этапах праекта.
Неабходна не толькі замяніць вузлы і правады ў сетцы, але і правільна сканфігураваць усе кампаненты для карэктнай працы рашэння ў цэлым. Менавіта канфігурацыі і правяраліся такім чынам: пачынаючы працы ў выдаленні ад ядра, мы як бы давалі сабе "права на памылку", не падвяргаючы рызыцы крытычна важныя для працы прадпрыемства ўчасткі.
Мы вызначылі зоны, якія не ўплываюць на вытворчы працэс, а таксама крытычныя ўчасткі - цэхі, пагрузачна-разгрузачны блок, склады і г. д. На ключавых участках з кліентам быў узгоднены дапушчальны час прастою для кожнага вузла сеткі ў асобнасці: ад 1 да 15 хвілін . Цалкам пазбегнуць адключэння асобных вузлоў сеткі было немагчыма, бо кабель павінен быць фізічна пераключаны са старога абсталявання ў новае, а ў працэсе пераключэння неабходна таксама разблытаць "бараду" правадоў, якая сфармавалася ў працэсе некалькіх гадоў эксплуатацыі без належнага догляду (адно з наступстваў аўтсорсінгу работ па мантажы кабельных ліній).
Работы былі падзелены на некалькі этапаў.
этап 1 - Аўдыт. Падрыхтоўка і ўзгадненне падыходу да планавання работ і ацэнка гатоўнасці каманд: кліента, падрадчыка, які выконвае мантаж, і нашай каманды.
этап 2 - Распрацоўка фармату для правядзення работ, з глыбокім дэталёвым аналізам і планаваннем. Выбралі фармат чэк-ліста з дакладным указаннем парадку і паслядоўнасці дзеянняў, аж да паслядоўнасці пераключэння патч-кордаў па партах.
этап 3 - Правядзенне работ у шафах, якія не ўплываюць на вытворчасць. Ацэнка і карэкціроўка часу прастою для наступных этапаў работ.
этап 4 - Правядзенне работ у шафах, якія напрамую ўплываюць на вытворчасць. Ацэнка і карэкціроўка часу прастою для фінальнага этапа работ.
этап 5 - Правядзенне работ у сервернай па пераключэнні астатняга абсталявання. Запуск на маршрутызацыі на новым ядры.
этап 6 – Паслядоўнае пераключэнне ядра сістэмы са старых сеткавых канфігурацый на новыя для плыўнага пераходу ўсяго комплексу сістэмы (VLAN, маршрутызацыя і т. д.). На дадзеным этапе мы падключылі ўсіх карыстальнікаў і перавялі ўсе сэрвісы на новае абсталяванне, праверылі правільнасць падключэння, пераканаліся, што ніякія з сэрвісаў прадпрыемства не спыніліся, гарантавалі, што ў выпадку ўзнікнення якіх-небудзь праблем яны будуць звязаны непасрэдна з ядром, што аблягчала ліквідацыю магчымых. непаладак і фінальную настройку.
Прычоска барады правадоў
Праект аказаўся няпростым яшчэ і з-за складаных зыходных умоў.
Па-першае, гэта велізарная колькасць вузлоў і ўчасткаў сеткі, з заблытанай тапалогіяй і класіфікацыяй правадоў па іх прызначэнні. Такія "барады" трэба было даставаць з шаф і карпатліва "прычэсваць", разбіраючыся, які провад адкуль і куды вядзе.
Выглядала гэта прыкладна так:
так:
ці так:
Па-другое, для кожнай падобнай задачы неабходна было падрыхтаваць файл з апісаннем працэсу. «Бяром провад Х з порта 1 старога абсталявання, утыкаем яго ў порт 18 новага абсталявання». Гучыць проста, але калі ў цябе ў зыходных дадзеных 48 цалкам забітых партоў, а таксама адсутнічае опцыя прастою (мы памятаем пра 24х7х365), адзінае выйсце – працаваць па блоках. Чым больш можна выцягнуць правадоў са старога абсталявання за адзін раз, тым хутчэй можна іх прычасаць і ўставіць у новае сеткавае "жалеза", пазбегнуўшы збояў і прастояў у працы сеткі.
Таму на падрыхтоўчым этапе мы правялі разбіўку сеткі па блоках - кожны з іх ставіўся да вызначанага VLAN. Кожны порт (ці іх падмноства) на старым абсталяванні - гэта нейкі з VLAN у новай тапалогіі сеткі. Мы згрупавалі іх так: у першых партах камутатара размясціліся карыстацкія сеткі, у сярэдзіне - вытворчыя сеткі, а ў апошніх - кропкі доступу і аплінкі.
Такі падыход дазволіў за адзін прыём выцягваць і прычэсваць са старога абсталявання не 1 провад, а 10-15. Гэта ў некалькі разоў паскорыла працоўны працэс.
Дарэчы, вось як выглядаюць правады ў шафах пасля прычэсвання:
ці, напрыклад, так:
Пасля завяршэння 2-га этапа мы ўзялі паўзу на аналіз памылак і дынамікі праекту. Напрыклад, адначасова вылезлі дробныя недахопы з-за недакладнасцяў у прадстаўленых нам схемах сеткі (няправільны канектар на схеме – няслушны набыты патч-корд і неабходнасць яго замены).
Паўза была неабходна, бо пры працы з сервернай правы нават невялікі збой у працэсе быў недапушчальны. Калі пастаўлена мэта забяспечыць час прастою на ўчастку сеткі не больш за 5 хвілін, то перавышаць яго было нельга. Любое магчымае адхіленне ад графіка павінна было ўзгадняцца з кліентам.
Аднак папярэдняе планаванне і разбіўка праекта на блокі дазволілі ўкласціся ў запланаваны час прастою на ўсіх участках, а ў большасці выпадкаў і зусім абысціся без яго.
Выклік часу - праект пад COVID-ам
Без дадатковых цяжкасцей, тым не менш, не абышлося. Вядома, у якасці адной з перашкод выступіў каранавірус.
Працы ўскладніліся тым, што пачалася пандэмія, і немагчыма было прысутнічаць падчас правядзення прац на пляцоўцы кліента ўсім адмыслоўцам, задзейнічаным у працэсе. На пляцоўку былі дапушчаныя толькі супрацоўнікі мантажнай арганізацыі, а кантроль ажыццяўляўся праз пакой у Zoom - у ёй знаходзіліся сеткавы інжынер са боку Linxdatacenter, я як кіраўнік праекту, сеткавы інжынер са боку кліента, адказны за вытворчасць прац, і каманда, якая выконвае мантажныя працы.
У ходзе работ узнікалі няўлічаныя праблемы, і даводзілася ўносіць карэкціроўкі на лета. Так атрымалася хутка прадухіляць уплыў чалавечага фактару (памылкі ў схеме, памылкі ў вызначэнні статуту актыўнасці інтэрфейсу і т. д.).
Хаця дыстанцыйны фармат працы і здаваўся нязвыклым у пачатку праекта, мы даволі хутка прыстасаваліся да новых умоў і выйшлі на фінальны этап работ.
Мы запусцілі часовую канфігурацыю налад сеткі для паралельнай працы двух сеткавых ядраў - старога і новага - у мэтах ажыццяўлення плыўнага пераходу. Аднак аказалася, што не быў выдалены адзін лішні радок з файла канфігурацыі новага ядра, і пераходу не адбылося. Гэта прымусіла нас патраціць пэўны час на пошук праблемы.
Высветлілася, што асноўны трафік перадаваўся карэктна, а кіравальны трафік не дасягаў вузла праз новае ядро. Дзякуючы выразнаму падзелу праекту на этапы, атрымалася даволі хутка ўсталяваць участак сеткі, на якім узнікла цяжкасць, выявіць праблему і ўхіліць яе.
А ў выніку
Тэхнічныя вынікі праекта
Перш за ўсё, было створана новае ядро новай сеткі прадпрыемства, для чаго мы пабудавалі фізічныя/лагічныя кольцы. Зроблена гэта такім чынам, каб у кожнага камутатара ў сетцы з'явілася "другое плячо". У старой сетцы шматлікія камутатары падлучаліся да ядра па адной трасе, адным плячом (аплінком). Калі ён ірваўся, камутатар станавіўся цалкам недаступны. А калі праз адзін аплінк падключалася некалькі камутатараў, то аварыя выводзіла са строю цэлы аддзел або вытворчую лінію на прадпрыемстве.
У новай сетцы нават даволі сур'ёзнай сеткавы інцыдэнт ні пры якім сцэнары не зможа «пакласці» усю сетку або значны яе ўчастак.
90% усяго сеткавага абсталявання абноўлена, выведзеныя з эксплуатацыі медыяканвертары (пераўтваральнікі асяроддзя распаўсюджвання сігналу), а таксама скасаваная неабходнасць у вылучаных сілавых лініях для спробкі абсталявання за кошт падлучэння да PoE-камутатараў, дзе электрасілкаванне ажыццяўляецца па Ethernet-провадам.
Таксама, прамаркіраваны ўсе аптычныя злучэнні ў сервернай і ў шафах на месцах - на ўсіх ключавых вузлах сувязі. Гэта дазволіла падрыхтаваць тапалагічную схему абсталявання і падлучэнняў у сетцы, якое адлюстроўвае яе фактычны стан на сёння.
Схема сеткі
Самы галоўны вынік у тэхнічных адносінах: дастаткова маштабныя інфраструктурныя работы былі праведзены хутка, не ствараючы ніякіх перашкод у рабоце прадпрыемства і практычна незаўважна для яго персаналу.
Бізнес-вынікі праекта
На мой погляд, гэты праект цікавы ў першую чаргу не з тэхнічнага, а з арганізацыйнага боку. Складанасць заключалася ў першую чаргу ў планаванні і прадумванні крокаў па рэалізацыі праектных задач.
Поспех праекту дазваляе казаць аб тым, што наша ініцыятыва па развіцці сеткавага кірунку ў рамках партфеля сэрвісаў Linxdatacenter – дакладны выбар вектара развіцця кампаніі. Адказны падыход да кіравання праектамі, граматная стратэгія, дакладнае планаванне дазволілі нам выканаць працу на належным узроўні.
Пацвярджэнне якасці працы - запыт ад кліента на працяг аказання паслуг па мадэрнізацыі сеткі на яго астатніх пляцоўках у Расіі.
Крыніца: habr.com