🥇Как мы перешли на удалёнку полгода назад из-за перерубленной оптики

Рядом с двумя нашими зданиями, между которыми было 500 метров тёмной оптики, решили выкопать большую яму в земле. Для благоустройства территории (как завершающего этапа прокладки теплотрассы и строительства входа в новое метро). Для этого нужен экскаватор. С тех дней я не могу на них спокойно смотреть. В общем, случилось то, что неминуемо случается, когда в одной точке пространства встречается экскаватор и оптика. Можно сказать, что такова природа экскаватора и промахнуться он не мог.

В одном здании находилась наша основная серверная площадка, а в другом через полкилометра — офис. Резервным каналом был Интернет через VPN. Оптику мы положили между зданиями не по соображениям безопасности, не из банальной экономической эффективности (так трафик получался дешевле, чем через сервисы провайдера), а тогда — просто из-за скорости соединения. И просто потому, что мы те самые люди, которые могут и умеют класть оптику банкам. Но банки делают кольца, а при втором линке другим маршрутом вся экономика проекта посыпалась бы.

Собственно, именно в момент обрыва мы и перешли на удалёнку. В своём собственном офисе. Точнее, в двух сразу.

До обрыва

По ряду причин (включая план будущей застройки) стало понятно, что нужно будет через несколько месяцев переносить серверную. Мы начали не спеша исследовать возможные варианты, и в том числе, рассматривали коммерческий ЦОД. У нас были отличные контейнерные дизеля, но когда на территории завода возник жилой комплекс, нас попросили их убрать, в результате чего мы лишились гарантированного электропитания и, как следствие, возможности переноса вычислительного оборудования из удалённого здания в серверную на территории офиса.

Когда экскаватор подкрался к зданию, мы как компания продолжили работу в полном объёме (но с ухудшением уровня внутренних сервисов из-за лагов). И форсировались по переводу серверной в ЦОД и прокладки оптики между офисами. Ещё недавно вся распределённая инфраструктура у нас была на провайдерских VPN-звёздах. Когда-то это было так построено исторически. Проект прорабатывался так, чтобы оптика на любом участке между разными узлами не оказывалась в одной кабельной канализации. Буквально в этом вот феврале завершили: основное оборудование перевезли в коммерческий ЦОД.

Потом почти сразу началась массовая удалёнка уже по биологическим причинам. VPN существовал и раньше, методы доступа тоже, ничего нового специально никто не разворачивал. Но никогда до этого не ставилась задача ходить через VPN одновременно всем с полным набором ресурсов. К счастью, переезд в ЦОД как раз дал возможность сильно расширить каналы доступа в Интернет и подключаться всем штатом без ограничений.

То есть, по логике, мне бы стоило поблагодарить этот экскаватор. Потому что без него мы бы переехали существенно позже, и у нас не были бы готовы сертифицированные и проверенные решения по закрытым сегментам.

День Х

Не хватало только ноутбуков у части сотрудников, потому что была уже вся инфраструктура для удалённой работы. Дальше всё просто: мы смогли выдать несколько сотен ноутбуков перед началом удалённой работы. Но это был наш резервный фонд: подменные для ремонтов, старые машины. Покупать не пытались, потому что в этот момент на рынке начались небольшие аномалии. Интерфакс 31 марта писал:

Перевод сотрудников российских компаний на удалённую работу привёл к массовым закупкам ноутбуков и истощению их запасов на складах системных интеграторов и дистрибьютеров. На поставки новой техники может уйти два-три месяца.

Из-за срочности распродавались складские запасы дистрибьюторов. По примерным подсчётам, новые поставки должны были бы приехать только в июле, и то непонятно, что происходило, потому что примерно в это же время началась чехарда с курсом рубля.

Ноутбуки

У нас случаются утери устройств. Официальная причина чаще всего — невысокая ответственность сотрудников. Это когда человек забывает их в электричке, такси. Иногда устройства крадут из машин. Мы просмотрели разные варианты антикражных решений — у них у всех был недостаток в том, что предотвратить, по сути, утерю нельзя.

Сам по себе ноутбук на Windows, конечно, ценен, как материальный актив, но гораздо важнее, чтобы он не был скомпрометирован и чтобы данные на нём не ушли куда-то налево.

С ноутбука можно перейти на терминальный сервер через двухфакторную аутентификацию. На самом устройстве, по идее, будут храниться только локальные личные файлы сотрудника. Всё критичное лежит на рабочем столе в терминале. Все доступы прокидываются через него. Операционная система конечного пользователя не важна — у нас люди спокойно ходят на Win-стол и с MacOS.

С некоторых устройств можно установить прямое VPN-соединение до ресурсов. И ещё есть софт, который привязан к оборудованию по производительности (например, AutoCAD) или что-то, что требует флешки-токена и Internet Explorer не ниже версии 6.0. Заводы до сих пор такое часто используют. В таком случае, конечно, ставим доступ на локальную машину.

Для администрирования используем доменные политики и Microsoft SCCM плюс Tivoli Remote Control для удалённого подключения с разрешения пользователя. Администратор может подключаться, когда конечный пользователь сам явно разрешил. Сами обновления Windows проходят через внутренний сервер обновлений. Есть пул машин, на которых в первую очередь устанавливаются и обкатываются там, — смотрится, что нет проблем в нашем стеке ПО с новым апдейтом и что у нового апдейта нет проблем с новыми багами. После ручного подтверждения даётся команда на раскатку. Когда не работает VPN, чтобы помочь пользователю, используем Тимвьюер. Почти все производственные подразделения имеют админ-права на локальных машинах, но при этом же официально уведомлены о том, что нельзя ставить пиратский софт и хранить разные запрещённые материалы. У кадров, отдела продаж и бухгалтерии нет админских прав в силу отсутствия необходимости. Главная проблема в самостоятельной установке ПО, и не сколько в пиратском, а в том, что новый софт может порушить наш стек. Про пиратское история стандартная: даже если на личном ноутбуке пользователя, который находился почему-то на рабочем месте, найдут пиратский Фотошоп — штраф, который получает компания. Даже если ноутбук не стоит на балансе, а рядом на столе стоит десктоп, стоящий на балансе, и в записанных за пользователем документах. Нас об этом предупредили на аудите безопасности с учётом российской правоприменительной практики.

BYOD не используем, из важного для телефонов — платформа Lotus Domino для документооборота и почты. Мы рекомендуем пользователям с высоким уровнем допуска использовать стандартное решение IBM Traveller (теперь HCL Verse). В нём при установке даются права на очистку данных девайса и очистку профилей самой почты. Мы пользуется этим в случае краж мобильных устройств. С iOS сложнее, там только встроенные средства.

Ремонты за пределами «поменять оперативку, блок питания или процессор» заменой, причём отремонтированное устройство обычно не возвращается. При обычной работе — сотрудники быстро приносят ноутбук инженерам поддержки, они быстро диагностируют. Очень важно, чтобы всегда был ассортимент тех же по производительности ноутбуков на горячую замену, иначе пользователи так будут апгредиться. И ремонты резко увеличатся. Для этого нужно держать запас старых моделей. Сейчас именно его использовали для раздачи.

VPN

VPN до рабочих ресурсов — Cisco AnyConnect, работает на всех платформах. В целом решением довольны. Разбираем на один-два десятка профилей под разные группы пользователей с разными доступами на сетевом уровне. В первую очередь разделение по аксесс-листу. Самое массовое — доступ с личных устройств и с ноутбука к стандартным внутренним системам. Бывают расширенные доступы администраторов, разработчиков и инженеров с внутренними лабораторными сетями, где системы тестирования-разработки решений — это тоже на ACL.

В первые дни массового перехода на удалённую работу столкнулись с увеличением потока обращений в сервис-деск в связи с тем, что пользователи не читают рассылаемые инструкции.