Как да актуализирате мрежовото оборудване в голямо предприятие, без да спирате производството? Той говори за мащабен проект в режим „операция на открито сърце“. Мениджърът за управление на проекти в Linxdatacenter Олег Федоров.
През последните няколко години забелязахме повишено търсене на клиенти за услуги, свързани с мрежовия компонент на ИТ инфраструктурата. Необходимостта от свързаност на ИТ системи, услуги, приложения, мониторинг и задачи за оперативно управление на бизнеса в почти всяка област принуждава компаниите днес да обръщат повишено внимание на мрежите.
Диапазонът от заявки варира от осигуряване на устойчивост на мрежови грешки до създаване и управление на клиентска автономна система със закупуване на блок от IP адреси, настройка на протоколи за маршрутизиране и управление на трафика в съответствие с организационните политики.
Има и нарастващо търсене на цялостни решения за изграждане и поддръжка на мрежова инфраструктура, предимно от клиенти, чиято мрежова инфраструктура се създава от нулата или е остаряла, изискваща сериозна модификация.
Тази тенденция съвпадна с периода на развитие и сложност на собствената мрежова инфраструктура на Linxdatacenter. Разширихме географията на нашето присъствие в Европа, като се свързахме с отдалечени обекти, което от своя страна наложи подобряване на мрежовата инфраструктура.
Компанията стартира нова услуга за клиенти, Network-as-a-Service: ние се грижим за мрежовите проблеми на всички клиенти, позволявайки им да се съсредоточат върху основния си бизнес.
През лятото на 2020 г. беше завършен първият голям проект в тази посока, за който искам да говоря.
В началото
Голям индустриален комплекс се обърна към нас за модернизиране на мрежовата част от инфраструктурата на едно от предприятията му. Беше необходимо да се подмени старото оборудване с ново, включително ядрото на мрежата.
Последната модернизация на оборудването в предприятието е извършена преди около 10 години. Новото ръководство на предприятието реши да подобри свързаността, като започне с актуализиране на инфраструктурата на най-основното, физическо ниво.
Проектът беше разделен на две части: надграждане на сървърния парк и мрежово оборудване. Ние отговаряхме за втората част.
Основните изисквания за работата включват минимизиране на времето за престой на производствените линии на предприятието по време на изпълнение на работата (и в някои области напълно премахване на времето за престой). Всяко спиране означава преки финансови загуби за клиента, което не е трябвало да се случва при никакви обстоятелства. Поради режима на работа на съоръжението 24x7x365, както и като се има предвид пълното отсъствие на периоди на планиран престой в практиката на предприятието, ни беше възложена задачата да извършим по същество операции на открито сърце. Това стана основната отличителна черта на проекта.
Отивам
Работата беше планирана в съответствие с принципа на движение от мрежови възли, отдалечени от ядрото, към по-близки, както и от тези, които влияят по-малко върху работата на производствените линии, към тези, които пряко влияят върху тази работа.
Например, ако вземем мрежов възел в отдела за продажби, тогава прекъсването на комуникацията в резултат на работа в този отдел няма да повлияе по никакъв начин на производството. В същото време подобен инцидент ще ни помогне, като изпълнител, да проверим правилността на избрания подход за работа по такива единици и след коригиране на действията да работим върху следващите етапи на проекта.
Необходимо е не само да се сменят възлите и проводниците в мрежата, но и да се конфигурират правилно всички компоненти за правилната работа на решението като цяло. Конфигурациите бяха тествани по този начин: започвайки работа далеч от ядрото, изглежда, че си дадохме „правото на грешки“, без да излагаме на рискови области, критични за работата на предприятието.
Идентифицирахме зони, които не влияят на производствения процес, както и критични зони - цехове, товаро-разтоварна единица, складове и др. В ключови зони с клиента беше договорено допустимото време на престой за всеки мрежов възел поотделно: от 1 до 15 минути. Беше невъзможно напълно да се избегне изключването на отделни мрежови възли, тъй като кабелът трябва да бъде физически превключен от старо оборудване към ново, а по време на процеса на превключване е необходимо също така да се разплете „брадата“ на кабелите, образувана по време на няколко години работа без подходящо грижа (една от последиците от възлагането на работа за инсталиране на кабелни линии).
Работата беше разделена на няколко етапа.
Етап 1 – Одит. Изготвяне и съгласуване на подхода за планиране на работата и оценка на готовността на екипите: клиент, изпълнител на монтажа и наш екип.
Етап 2 – Разработване на формат за извършване на работа, с дълбок детайлен анализ и планиране. Избрахме формат на контролен списък с точна индикация за реда и последователността на действията, чак до последователността на превключване на пач кабели по порт.
Етап 3 – Извършване на работа в шкафове, която не засяга производството. Оценка и коригиране на времето за престой за следващите етапи на работа.
Етап 4 – Извършване на работа в шкафове, които пряко засягат производството. Оценка и коригиране на времето за престой за крайния етап на работа.
Етап 5 – Извършване на работа в сървърното помещение за превключване на останалото оборудване. Стартирайте при маршрутизиране на новото ядро.
Етап 6 – Последователно превключване на системното ядро от стари мрежови конфигурации към нови за плавен преход на целия системен комплекс (VLAN, маршрутизиране и др.). На този етап свързахме всички потребители и прехвърлихме всички услуги към новия хардуер, проверихме дали връзката е правилна, уверихме се, че никоя от корпоративните услуги не е спряна, гарантирахме, че ако възникнат проблеми, те ще бъдат свързани директно към ядрото, което улесни отстраняването на възможни проблеми и окончателната настройка.
Прическа с телена брада
Проектът се оказа труден и заради трудните първоначални условия.
Първо, има огромен брой възли и участъци от мрежата със сложна топология и класификация на проводниците според тяхното предназначение. Такива „бради“ трябваше да бъдат извадени от шкафовете и старателно „сресани“, като се разбере коя жица идва откъде и къде води.
Изглеждаше така:
така:
или така:
Второ, за всяка такава задача беше необходимо да се подготви файл, описващ процеса. „Ние вземаме проводник X от порт 1 на старото оборудване, включваме го в порт 18 на новото оборудване.“ Звучи просто, но когато имате 48 напълно запушени порта във вашите изходни данни и няма опция за престой (спомняме си за 24x7x365), единственият изход е да работите на блокове. Колкото повече кабели можете да извадите от старото оборудване наведнъж, толкова по-бързо можете да ги разресвате и да ги вмъкнете в нов мрежов хардуер, като избягвате повреди и прекъсвания в мрежата.
Затова на подготвителния етап разделихме мрежата на блокове - всеки от тях принадлежеше към определена VLAN. Всеки порт (или подгрупа от тях) на старо оборудване е една от VLAN в новата мрежова топология. Групирахме ги по следния начин: първите портове на комутатора съдържаха потребителски мрежи, средните – производствени мрежи, а последните – точки за достъп и връзки нагоре.
Този подход направи възможно изваждането и разресването от старо оборудване не само на 1 тел, а на 10-15 наведнъж. Това ускори многократно работния процес.
Между другото, ето как изглеждат кабелите в шкафовете след разресване:
или например така:
След приключване на 2-ри етап, направихме почивка, за да анализираме грешките и динамиката на проекта. Например, незабавно се появиха незначителни дефекти поради неточности в предоставените ни мрежови диаграми (неправилен конектор на диаграмата означава неправилно закупен пач кабел и необходимостта от подмяната му).
Паузата беше необходима, тъй като при работа от страната на сървъра дори малък проблем в процеса беше неприемлив. Ако целта беше да се осигури прекъсване на мрежов участък от не повече от 5 минути, то не можеше да бъде надвишено. Всяко евентуално отклонение от графика се съгласува с клиента.
Предварителното планиране и разделянето на проекта на блокове обаче позволи да се изпълни планираният престой във всички области и в повечето случаи да се избегне напълно.
Предизвикателство на времето - проект под COVID
Не мина обаче и без допълнителни трудности. Разбира се, коронавирусът беше една от пречките.
Работата беше усложнена от факта, че започна пандемията и беше невъзможно всички специалисти, участващи в процеса, да присъстват по време на работа на обекта на клиента. До обекта бяха допуснати само служители на инсталационната организация, а контролът се осъществяваше през стая Zoom - в нея имаше мрежов инженер от Linxdatacenter, аз като ръководител на проекта, мрежов инженер от клиента, отговорен за работата, и екип, извършващ монтажни работи.
По време на работа възникнаха неотчетени проблеми и трябваше да се правят корекции в движение. По този начин беше възможно бързо да се предотврати влиянието на човешкия фактор (грешки във веригата, грешки при определяне на състоянието на активността на интерфейса и др.).
Въпреки че дистанционният формат на работа изглеждаше необичаен в началото на проекта, ние бързо се адаптирахме към новите условия и стигнахме до финалния етап на работа.
Пуснахме временна конфигурация на мрежовите настройки, за да позволим на две мрежови ядра - старо и ново - да работят паралелно, за да постигнем плавен преход. Оказа се обаче, че един допълнителен ред не е премахнат от конфигурационния файл на новото ядро и преходът не се случи. Това ни принуди да прекараме известно време в търсене на проблема.
Оказа се, че основният трафик се предава правилно, а контролният трафик не достига до възела през новото ядро. Благодарение на ясното разделяне на проекта на етапи, беше възможно бързо да се идентифицира участъкът от мрежата, където е възникнал проблемът, да се идентифицира проблемът и да се коригира.
И като резултат
Технически резултати от проекта
На първо място, беше създадено ново ядро на новата корпоративна мрежа, за която изградихме физически/логически пръстени. Това се прави по такъв начин, че всеки комутатор в мрежата да има „второ рамо“. В старата мрежа много комутатори бяха свързани към ядрото по един маршрут, едно рамо (uplink). Ако се счупи, превключвателят става напълно недостъпен. И ако няколко превключвателя бяха свързани през една възходяща връзка, тогава аварията би деактивирала цял отдел или производствена линия в предприятието.
В нова мрежа, дори един доста сериозен мрежов инцидент, при никакъв сценарий няма да може да свали цялата мрежа или значителна част от нея.
90% от цялото мрежово оборудване е актуализирано, медийните конвертори (медийни конвертори за разпространение на сигнала) са изведени от експлоатация и необходимостта от специални електропроводи за захранване на оборудването е елиминирана чрез свързване към PoE комутатори, където захранването се доставя чрез Ethernet кабели.
Също така са маркирани всички оптични връзки в сървърното помещение и в полеви шкафове - на всички ключови комуникационни възли. Това даде възможност да се изготви топологична схема на оборудването и връзките в мрежата, отразяваща нейното реално състояние днес.
Мрежова диаграма
Най-важният резултат в техническо отношение: сравнително мащабни инфраструктурни работи бяха извършени бързо, без да се намесва в работата на предприятието и почти незабелязано от неговия персонал.
Бизнес резултати от проекта
Според мен този проект е интересен преди всичко не от техническа, а от организационна страна. Трудността беше основно в планирането и обмислянето на стъпките за изпълнение на проектните задачи.
Успехът на проекта ни позволява да кажем, че нашата инициатива за развитие на мрежовата област в портфолиото от услуги на Linxdatacenter е правилният избор за вектора на развитие на компанията. Отговорният подход към управлението на проекти, компетентната стратегия и ясното планиране ни позволиха да завършим работата на правилното ниво.
Потвърждение за качеството на работата е искане от страна на клиента да продължи да предоставя услуги за модернизация на мрежата на останалите си обекти в Русия.
Източник: www.habr.com