🥇Заморозка или модернизация — чем займёмся на каникулах?

Близятся новогодние каникулы и в преддверии праздников и входных самое время ответить на вопрос: а что будет с ИТ-инфраструктурой на это время? Как она проживёт без нас всё это время? А может потратить данное время на модернизацию ИТ-инфраструктуры, чтобы в течение года «оно всё само работало»?

Вариант, когда ИТ департамент намеревается в полном составе отдохнуть вместе со всеми (за исключением дежурных администраторов, если таковы имеются) требует выполнения комплексных работ, которые можно обозначить общим термином «заморозка».

Плановые работы — это противоположный вариант, когда пользуясь случаем, можно попытаться спокойно сделать какие-либо необходимые действия, например, провести модернизацию сетевого и/или серверного оборудования.

«Заморозка»

Основной принцип данной стратегии «Работает — не трогай».

Начиная с определённого момента времени объявляется мораторий на все работы,
связанные с развитием и улучшением.

Все вопросы по улучшению и развитию переносятся на позднее время.

Работающие сервисы тщательно тестируются.

Все выявленные проблемы анализируются и разделяются на два типа: легкоустранимые
и трудноустранимые.

Легкоустранимые проблемы вначале подвергаются анализу на предмет: что будет
если? Работа по их устранению производится только в случае отсутствия
потенциальных сложностей.

Трудноустранимые проблемы фиксируются, документируются, но их выполнение
откладывается до окончания моратория.

Перед проверкой разрабатывается план, куда заносятся объекты для контроля,
контрольные параметры и методы проверки.

Например, файл-серверы Windows — чтение журналов Event log, проверка состояния
RAID-массива и т. д.

Для сетевой инфраструктуры существуют свои инструменты для сбора отчётности.

Для оборудования c поддержкой облачной платформы Zyxel Nebula проблем в принципе особых нет, система работает, информация собирается.

Для межсетевых экранов роль такого сборщика данных может взят на себя сервис
SecuReporter.

Наибольшая опасность для нормального развития событий возникает, в момент вынужденной паузы. Когда все работы по проверке уже закончились, а выходные ещё не наступили. В высвободившееся время сотрудники не знают, чем себя занять. Замечено, что все кошмарные проблем, вызвавшие кучу бестолковой ненужной работы по их устранению, начинались со слов: «Я только попробую…».

Для заполнения паузы в работе в такие периоды прекрасно подходит усиленная работа по документированию. Польза от этого двойная: не только чем-то занять чьи-то шаловливые ручки и блестящие глазки, но и снизить время устранения инцидентов, если они всё же возникнут.

В выходные и праздничные дни сотрудники часто бывают недоступны, поэтому если актуальная информация хранится только в чьей-то гениальной голове — самое время перенести её на бумагу или в файл.

Кстати, о бумажных носителях. Несмотря на обвинения в ретроградстве, твёрдые копии документов, например, распечатки списков серверов с IP и MAC адресами, схема сети, различных регламентов бывают очень полезны. Особенно регламенты включения и отключения, потому что ситуация: чтобы правильно запустить ИТ-инфраструктуру необходимо прочесть документацию и только потом включать оборудование, а, чтобы прочесть документацию, нужно включить оборудование — хоть и не часто, но встречается. Аналогичная ситуация, когда перед отключением питания большая часть серверов благополучно отправлена в shutdown, а нужный документ как раз храниться на одном из них. И конечно же, такие ситуации возникают в самый неподходящий момент.

Итак, все важные технические детали задокументированы. О чем ещё позаботится?

Проверить систему видеонаблюдения, при необходимости освободить место на системе
хранения видеоданных.
Проверить сигнализацию, как на охранную, так и пожарную.
Проверить, оплачены ли счета за Интернет, доменные имена, хостинг сайтов и
другие облачные услуги.
Проверить наличие ЗИП, в первую очередь жёстких дисков и SSD для замены в
RAID-массивах.
Комплектующие для замены (ЗИП) должны хранится в непосредственной близости от оборудования, для которого они предназначены. Вариант, когда диск вышел из строя на удалённом объекте за городом, а комплектующие хранятся в центральном офисе — в Новогоднюю ночь не слишком приятен.
Обновить список контактов полезных сотрудников, в том числе секретаря (офис-менеджера), начальника охраны, завхоза, кладовщика и других сотрудников, которые напрямую к ИТ-отделу не относятся, но в критической ситуации могут понадобиться.

ВАЖНО! Все необходимые контакты должны быть у всех сотрудников ИТ подразделения. Одно дело, когда люди каждый раз встречаются в офисе, когда на общем ресурсе всегда доступен заветный файл с телефонами и адресами, и другое дело — когда сотрудник пытается решить проблему удалённо, когда в офисе никого нет.

ВНИМАНИЕ! Если оборудование размещено в ЦОД, стоит заранее позаботиться о пропусках для сотрудников, которым разрешён доступ к оборудованию в выходные и праздничные дни.

Это же относится к ситуации, когда серверная находится в арендуемом здании. Можно запросто нарваться на ситуацию, когда по волеизъявлению «высочайшего начальства» в выходные и праздники доступ ограничен и охранники не пускают системного администратора даже внутрь здания.

Также стоит позаботиться о работоспособности удалённого доступа. Если с серверами более или менее всё понятно — на крайний случай, если не отвечает RDP или SSH — есть IPMI (например, iLO для серверов HP или IMM2 для IBM), то с удалённым оборудованием бывает не так просто.

Пользователи Zyxel Nebula в данном случае находятся в более выигрышной ситуации.

Например, если при удалённой работе неправильно настроили конфигурацию Интернет-шлюза, то можно запросто получить ситуацию: «ключ от срочной медицинской комнаты хранится в срочной медицинской комнате». И остаётся только одно: приехать в серверную, в офис, в ЦОД, на удалённый объект и т. д.

На наше счастье Nebula всегда предупреждает о возможных проблемах, связанных с неправильной конфигурацией.

Самое важное, что облачное управление использует исходящее соединение, когда единица сетевого оборудования сама устанавливает соединение с управляющей средой. То есть не нужно «проковыривать дырки» на файерволе, и меньше риска, что обнуление настроек эти «дырки» снова закроет.

СОВЕТ. В Nebula можно внести информацию о размещении оборудования и самых
важных контактах как примечание.

Плановые работы

Новогодние каникулы — это только для обычных работников безусловный перерыв в работе. Часто эти свободные деньки ИТ-отдел вынужден использовать как единственную возможность привести в порядок инфраструктуру.

Во многих случаях приходится не кататься на оленях, а заниматься модернизацией и перестройкой ИТ-инфраструктуры, лечить старые проблемы, до которых не удавалось дотянуться в обычные дни. Такие вещи, как перекроссировка, замена элементов сетевой инфраструктуры, перестройка структуры VLAN, настройка конфигурации оборудования в целях повышения безопасности и так далее.

Давайте сразу вкратце разберём основные пункты, которые нужно пройти во время подготовки и проведения плановых работ.

Отвечаем на вопрос: «Зачем?»

Что греха таить, бывает, что техработы проводятся ради «галочки», потому что так хочет начальство. В таком случае лучше вернуться к пункту «Заморозка», «перекрасив» данный процесс под видимую модернизацию. В конце концов, документацию обновлять придётся в любом случае.

Досконально документируем систему

Вроде бы сервер есть, но что на нем запущено — никто не знает. Есть старенький NoName коммутатор с настроенными VLAN, но как их менять или настраивать — неизвестно и не понятно.

Вначале вносим ясность и выясняем все технические нюансы ИТ-инфраструктуры, и только потом что-то планируем.

Кто владелец данного процесса (ресурса, службы, сервера, оборудования, помещения и так далее)?

Под владельцем понимается не материальный собственник, а process owner. Например, данный коммутатор используется подразделением CCTV и после перенастройки VLAN камеры потеряли связь с сервером для хранения видеоданных — это как-то совсем нехорошо и нужно предусмотреть «обходной манёвр», если это действительно необходимо. Вариант «Ой, мы не знали, что это ваша железка» — такого в принципе не должно быть.

Как и в случае с «заморозкой» обновляем список контактов «на все случаи жизни», в который не забываем добавить process owners.

Разрабатываем план действий

Если план хранится только в головах, это не куда не годится. Если он на бумаге — это уже немного лучше. Если он тщательно проработан со всеми «участниками соревнований», включая начальника охраны, который будет должен при необходимости выдать ключи от запертых кабинетов — это уже кое-что.

План с подписями всевозможных начальников хотя бы по принципу: «Уведомлен. Согласовано» — это убережёт от различных проблем в виде: «А нас никто не
предупреждал!» Поэтому будьте готовы в самом конце подготовить соответствующие документы на подпись.

Создаём резервные копии для всего, всего, всего!

При этом резервные копии — это не только копия всех бизнес-данных, но и файлов конфигурации, слепки (образы) системных дисков, и так далее. Мы не будем подробно останавливаться на копировании данных для бизнеса и информации для быстрого восстановления. Если говорить о теории и практике резервного копирования, то этому посвящено целое отдельное пособие

Для резервных копий конфигурации сетевого оборудования можно воспользоваться как встроенными возможностями сохранения конфигурационных файлов, так и внешними сервисами вроде Zyxel Nebula или Zyxel SecuManager

Прорабатываем запасные варианты

Всегда бывает ситуация, когда что-то пошло не так или по какой-то причине нужно отойти от основного плана. Например, тот же самый отдел CCTV передумал менять VLAN на своём коммутаторе. Всегда нужно иметь ответ на вопрос: «А что будет если?»

И, наконец, когда всё проработали, оценили трудозатраты, подсчитали человеко-часы, обдумали сколько просить за это отгулов и премий — стоит снова вернуться к пункту «Зачем?» и ещё раз критически пересмотреть задуманное.

Проводим согласование downtime и других аспектов работы

Мало предупредить. Нужно довести до начальства и других сотрудников чёткое понимание того, что что-то (или даже всё целиком) какое-то время может не работать.

Надо быть готовым к тому, что downtime могут сильно урезать и от какой-то части
плана придётся отказаться?

«А как вы хотели? Вы, айтишники, только деньги тратите и работать мешаете! Радуйтесь, что, хотя бы это согласовали!» — вот такого рода аргументы иногда приходится слышать в ответ на любой вопрос касательно технических работ и модернизации.

Снова смотрим на пункт «Зачем?»

Долго думаем на предмет: «Зачем всё это нужно?» и «Стоит ли овчинка выделки?»

И только если после всех этих этапов задуманное не вызывает сомнений, стоит
приступать к выполнению задуманного, спланированного, подготовленного и
согласованного со всеми инстанциями.

—

Разумеется, в таком коротком обзоре нельзя описать все жизненные ситуации. Но какие-то наиболее часто встречающиеся моменты мы честно постарались описать. И конечно, всегда найдутся компании и подразделения, где есть всё это учтено, написаны и утверждены специальные документы.

Но это не важно. Важно другое.

Главное, чтобы всё прошло тихо и без сбоев. И пусть Новый год будет для вас удачным!

С праздником, коллеги!