Өндірісті тоқтатпай ірі кәсіпорындағы желілік жабдықты қалай жаңартуға болады? «Ашық жүрек хирургиясы» режиміндегі ауқымды жоба туралы әңгімелейді Linxdatacenter жобаларды басқару менеджері Олег Федоров.
Соңғы бірнеше жылда біз АТ-инфрақұрылымының желілік құрамдас бөлігіне қатысты қызметтерге тұтынушылар тарапынан сұраныстың артқанын байқадық. АТ-жүйелерінің, қызметтерінің, қосымшаларының қосылу қажеттілігі, кез келген салада дерлік мониторинг және бизнесті жедел басқару міндеттері бүгінгі күні компанияларды желілерге көбірек көңіл бөлуге мәжбүр етеді.
Сұраныстар желідегі ақауларға төзімділікті қамтамасыз етуден бастап, IP мекенжайлар блогын алу арқылы клиенттің автономды жүйесін құруға және басқаруға, бағыттау хаттамаларын конфигурациялауға және ұйымдардың саясатына сәйкес трафикті басқаруға дейінгі ауқымды қамтиды.
Сондай-ақ, желілік инфрақұрылымды салу және қызмет көрсету бойынша кешенді шешімдерге, ең алдымен, желілік инфрақұрылымы нөлден құрылған немесе ескірген, елеулі өзгертулерді қажет ететін тұтынушылардан сұраныс артып келеді.
Бұл үрдіс уақыт бойынша Linxdatacenter жеке желілік инфрақұрылымының дамуы мен күрделену кезеңіне сәйкес келді. Біз қашықтағы сайттарға қосылу арқылы Еуропадағы қатысу географиясын кеңейттік, бұл өз кезегінде желілік инфрақұрылымды жақсартуды талап етті.
Компания тұтынушыларға арналған «Қызмет ретіндегі желі» жаңа қызметін іске қосты: біз тұтынушыларға өздерінің негізгі бизнесіне назар аударуға мүмкіндік беретін барлық желілік тапсырмаларды орындаймыз.
2020 жылдың жазында осы бағыттағы бірінші үлкен жоба аяқталды, ол туралы айтқым келеді.
Басында
Ірі өнеркәсіптік кешен өз кәсіпорындарының біріндегі инфрақұрылымның желілік бөлігін жаңғырту үшін бізге жүгінді. Ескі жабдықты жаңасына, соның ішінде желінің өзегіне ауыстыру талап етілді.
Кәсіпорындағы жабдықтарды соңғы рет жаңғырту 10 жылдай бұрын жүргізілген. Кәсіпорынның жаңа басшылығы ең қарапайым, физикалық деңгейде инфрақұрылымды жаңартудан бастап қосылымды жақсартуды шешті.
Жоба екі бөлікке бөлінді: серверлік паркті және желілік жабдықты жаңарту. Екінші бөлімге жауапты болдық.
Жұмысқа қойылатын негізгі талаптар жұмысты орындау кезінде кәсіпорынның өндірістік желілерінің тоқтап қалуын барынша азайтуды (кейбір салаларда тоқтап тұруды толығымен жоюды) қамтиды. Кез келген тоқтату клиенттің тікелей ақшалай шығыны болып табылады, ол ешбір жағдайда болмауы керек еді. Нысанның 24х7х365 жұмыс режиміне байланысты, сондай-ақ кәсіпорын тәжірибесінде жоспарлы тоқтап қалу кезеңдерінің мүлдем жоқтығын ескере отырып, бізге шын мәнінде ашық жүрекке операция жасау тапсырылды. Бұл жобаның басты ерекшелігі болды.
Жалғастырайық
Жұмыстар өзектен қашықтағы желілік тораптардан жақынға, сондай-ақ жұмысқа аз әсер ететін өндірістік желілерден осы жұмысқа тікелей әсер ететіндерге ауысу принципі бойынша жоспарланған.
Мысалы, егер сіз сату бөліміндегі желілік түйінді алсаңыз, онда осы бөлімдегі жұмыс нәтижесінде байланыстың бұзылуы өндіріске ешқандай әсер етпейді. Сонымен қатар, мұндай оқиға бізге мердігер ретінде осындай түйіндерде жұмыс істеуге таңдалған тәсілдің дұрыстығын тексеруге және түзетілген әрекеттерді орындай отырып, жобаның келесі кезеңдерінде жұмыс істеуге көмектеседі.
Желідегі түйіндер мен сымдарды ауыстырып қана қоймай, сонымен қатар тұтастай шешімнің дұрыс жұмыс істеуі үшін барлық компоненттерді дұрыс конфигурациялау қажет. Дәл осы жолмен тексерілген конфигурациялар болды: жұмысты өзегінен бастай отырып, біз кәсіпорынның жұмыс істеуі үшін маңызды аймақтарды тәуекелге ұшыратпай, өзімізге «қателесу құқығын» бердік.
Біз өндіріс процесіне әсер етпейтін аумақтарды, сондай-ақ маңызды аймақтарды - цехтарды, тиеу-түсіру қондырғыларын, қоймаларды және т.б. анықтадық. Негізгі учаскелерде біз клиентпен әрбір желі түйіні үшін рұқсат етілген тоқтау уақытын бөлек келістік: 1-ден бастап. 15 минут. Жеке желі түйіндерін ажыратудан толықтай құтылу мүмкін емес еді, өйткені кабельді ескі жабдықтан жаңасына физикалық түрде ауыстыру керек, ал ауысу кезінде сымдардың «сақалын» ашу қажет, олар кезінде пайда болды. тиісті күтімсіз бірнеше жыл жұмыс істеу (кабельдік желілерді монтаждау жұмыстарының аутсорсингінің салдарының бірі).
Жұмыс бірнеше кезеңге бөлінді.
кезеңі 1 - Аудит. Жұмысты жоспарлау тәсілін дайындау және үйлестіру және командалардың дайындығын бағалау: тапсырыс беруші, орнатуды жүзеге асыратын мердігер және біздің команда.
кезеңі 2 – Терең егжей-тегжейлі талдау және жоспарлаумен жұмысты орындау форматын әзірлеу. Біз патч-кордтарды порт бойынша ауыстыру ретіне дейін әрекеттердің реті мен реттілігін нақты көрсететін бақылау парағының пішімін таңдадық.
кезеңі 3 – Өндіріске әсер етпейтін шкафтарда жұмыс жүргізу. Жұмыстың келесі кезеңдері үшін бос уақытты бағалау және түзету.
кезеңі 4 – Өндіріске тікелей әсер ететін шкафтарда жұмыс жүргізу. Жұмыстың соңғы кезеңіне тоқтау уақытын бағалау және түзету.
кезеңі 5 – Қалған жабдықты ауыстыру бойынша серверлік бөлмеде жұмыстарды жүргізу. Жаңа ядрода маршруттауда іске қосу.
кезеңі 6 – Бүкіл жүйелік кешеннің (VLAN, маршруттау және т.б.) біркелкі ауысуы үшін жүйе өзегін ескі желі конфигурацияларынан жаңаларына дәйекті ауыстыру. Бұл кезеңде біз барлық пайдаланушыларды қостық және барлық қызметтерді жаңа жабдыққа ауыстырдық, дұрыс қосылымды тексердік, кәсіпорын қызметтерінің ешқайсысы тоқтап қалмағанына көз жеткіздік, қандай да бір мәселе туындаған жағдайда олардың ядроға тікелей қосылуына кепілдік бердік, бұл оны жасады. ықтимал ақауларды жою және түпкілікті орнатуды жою оңайырақ.
Сымнан жасалған сақал шаш үлгісі
Бастапқы жағдайдың қиындығынан жоба қиын болып шықты.
Біріншіден, бұл күрделі топологиясы және олардың мақсатына сәйкес сымдардың жіктелуі бар желі түйіндері мен бөлімдерінің үлкен саны. Мұндай «сақалды» шкафтардан шығарып, қай сымның қайдан және қайда апаратынын анықтау үшін мұқият «тарақ» керек болды.
Бұл келесідей көрінді:
төмендегідей:
немесе мыналар:
Екіншіден, әрбір осындай тапсырма үшін процестің сипаттамасы бар файлды дайындау қажет болды. «Біз X сымын ескі жабдықтың 1 портынан аламыз, оны жаңа жабдықтың 18 портына қосамыз». Бұл қарапайым естіледі, бірақ бастапқы деректерде 48 толығымен бітеліп қалған порттар болған кезде және бос тұру опциясы болмаған кезде (біз шамамен 24x7x365 еске түсіреміз), шығудың жалғыз жолы - блоктарда жұмыс істеу. Ескі жабдықтан бір уақытта неғұрлым көп сым тартсаңыз, соғұрлым оларды тезірек тазалап, желі ақаулары мен тоқтап қалу уақытын болдырмай, жаңа желілік жабдыққа қосуға болады.
Сондықтан дайындық кезеңінде біз желіні блоктарға бөлдік - олардың әрқайсысы белгілі бір VLAN-ға тиесілі болды. Ескі жабдықтағы әрбір порт (немесе олардың ішкі жиыны) жаңа желі топологиясындағы VLAN желілерінің бірі болып табылады. Біз оларды келесідей топтадық: коммутатордың бірінші порттарында пайдаланушы желілері, ортасында - өндірістік желілер, ал соңғыларында - кіру нүктелері мен жоғары байланыстар орналасады.
Бұл тәсіл ескі жабдықтан бір уақытта 1 сым емес, 10-15 сымды шығаруға және шығаруға мүмкіндік берді. Бұл жұмыс процесін бірнеше есе жылдамдатты.
Айтпақшы, шкафтардағы сымдар тарақтан кейін осылай көрінеді:
немесе, мысалы, келесідей:
2-кезеңді аяқтағаннан кейін жобаның қателері мен динамикасын талдау үшін үзіліс жасадық. Мысалы, бізге берілген желілік диаграммалардағы дәлсіздіктерге байланысты болмашы кемшіліктер дереу пайда болды (диаграммадағы қате қосқыш - қате сатып алынған патч сымы және оны ауыстыру қажеттілігі).
Үзіліс қажет болды, өйткені сервер құқықтарымен жұмыс істегенде, процесте тіпті кішкене сәтсіздікке жол берілмейді. Егер мақсат желі бөлімінде 5 минуттан аспайтын үзіліс уақытын қамтамасыз ету болса, онда одан асып кетуге болмайды. Кестеден мүмкін болатын ауытқулар клиентпен келісілуі керек.
Дегенмен, жобаны алдын ала жоспарлау және бұғаттау барлық учаскелерде жоспарланған тоқтап қалуды қамтамасыз етуге және көп жағдайда мүлде онсыз жасауға мүмкіндік берді.
Уақыт мәселесі - COVID аясындағы жоба
Дегенмен, бұл қосымша қиындықтарсыз болған жоқ. Әрине, коронавирус кедергілердің бірі болды.
Пандемияның басталуы жұмысты қиындатып жіберді және жұмыс кезінде клиенттің орнында процеске қатысатын барлық мамандардың болуы мүмкін болмады. Сайтқа тек орнатушыға ғана рұқсат етілді, ал басқару Zoom бөлмесі арқылы болды, оған Linxdatacenter тарапынан желі инженері, жоба менеджері ретінде мен, жұмысқа жауапты клиент тарапынан желі инженері және жұмыс жасайтын топ бар. монтаждау жұмыстары.
Жұмыс барысында есепке алынбаған мәселелер туындап, тез арада түзетулер енгізуге тура келді. Осылайша адам факторының (схемадағы қателер, интерфейс әрекетінің күйін анықтаудағы қателер және т.б.) әсерінің алдын алуға болады.
Жұмыстың қашықтағы форматы жобаның басында әдеттен тыс болып көрінгенімен, біз жаңа жағдайларға тез бейімделіп, жұмыстың соңғы кезеңіне кірістік.
Бірқалыпты өтуге қол жеткізу үшін ескі және жаңа екі желі өзегін қатарлас іске қосу үшін уақытша желі параметрлерінің конфигурациясын іске қостық. Дегенмен, жаңа ядроның конфигурация файлынан бір қосымша жол жойылмағаны және ауысу орын алмағаны белгілі болды. Бұл мәселені іздеуге біраз уақыт жұмсауға мәжбүр етті.
Негізгі трафик дұрыс жіберіліп, басқару трафикі жаңа ядро арқылы түйінге жетпегені анықталды. Жобаны кезеңдерге нақты бөлудің арқасында қиындық туындаған желілік бөлімді тез анықтауға, ақауды анықтауға және оны жоюға мүмкіндік туды.
Және нәтижесінде
Жобаның техникалық нәтижелері
Біріншіден, жаңа кәсіпорын желісінің жаңа ядросы құрылды, ол үшін біз физикалық/логикалық сақиналар құрдық. Бұл желідегі әрбір коммутатордың «екінші иығына» ие болатындай етіп жасалады. Ескі желіде көптеген коммутаторлар бір маршрут, бір иық (жоғары байланыс) бойынша ядроға қосылды. Егер ол жыртылған болса, қосқыш мүлдем қол жетімсіз болды. Ал егер бір қосқыш арқылы бірнеше қосқыш қосылса, апат кәсіпорындағы бүкіл бөлімді немесе өндірістік желіні істен шығарды.
Жаңа желіде тіпті өте маңызды желілік оқиға ешбір жағдайда бүкіл желіні немесе оның маңызды бөлігін «төмендете» алмайды.
Барлық желілік жабдықтың 90%-ы жаңартылды, медиа түрлендіргіштер (сигнал тарату ортасының түрлендіргіштері) пайдаланудан шығарылды және қуат Ethernet сымдары арқылы қамтамасыз етілетін PoE қосқыштарына қосылу арқылы жабдықты қуаттандыруға арналған арнайы электр желілерінің қажеттілігі жойылды. жойылды.
Сондай-ақ, серверлік бөлмедегі және далалық шкафтардағы барлық оптикалық қосылымдар - барлық негізгі байланыс түйіндерінде белгіленген. Бұл оның бүгінгі күндегі нақты жағдайын көрсететін желідегі жабдық пен қосылыстардың топологиялық диаграммасын дайындауға мүмкіндік берді.
Желілік диаграмма
Техникалық тұрғыдан алғанда ең маңызды нәтиже: өте ауқымды инфрақұрылымдық жұмыстар кәсіпорынның жұмысына ешқандай кедергі келтірместен және оның персоналы үшін сезілмейтіндей жылдам жүргізілді.
Жобаның іскерлік нәтижелері
Менің ойымша, бұл жоба бірінші кезекте техникалық жағынан емес, ұйымдастыру жағынан қызықты. Қиындық ең алдымен жоба тапсырмаларын орындау қадамдарын жоспарлау мен ойлауда болды.
Жобаның жетістігі Linxdatacenter сервистік портфолиосы аясындағы желілік бағытты дамыту жөніндегі бастамамыз компанияның даму векторы үшін дұрыс таңдау екенін айтуға мүмкіндік береді. Жобаны басқаруға жауапкершілікпен қарау, сауатты стратегия және нақты жоспарлау жұмысты тиісті деңгейде орындауға мүмкіндік берді.
Жұмыс сапасын растау - клиенттің Ресейдегі басқа сайттарында желіні жаңғырту бойынша қызметтерді көрсетуді жалғастыру туралы өтініші.
Ақпарат көзі: www.habr.com