圣彼得堡最重要的交通问题是桥梁。晚上，因为他们，你不得不啤酒没喝完就逃离酒馆。好吧，或者支付比平常两倍的出租车费用。早上，仔细计算时间，以便桥梁一关闭，您就可以像敏捷的猫鼬一样到达车站。 我们不认为“在市中心车站附近的某个地方过夜”的选择在意识形态上有害。
......“游隼”，5点30分出发，是讨厌猫头鹰的人发明的。不，当然，早上九点到莫斯科很方便，白夜里的圣彼得堡美得难以置信，但四点半，当我坐上出租车时，我想把头转270度向发明这趟早班火车的百灵鸟致敬。
当我发现 DataLine 的人邀请我们参观时，我想：“所有好的数据中心都是相似的。”
事实证明，每个数据中心都有其自己的优点（或缺点），特别是当您取得了巨大成功时，收集该地区的所有耙子并从您自己的数据中心（以及其他人的数据中心）中汲取经验教训）丰富的经验。因此，我们（由五个领先的 linkmeup 及其朋友和同情者组成）决定检查 OST 和 NORD 数据中心的好坏（或不太好）。
设法在路上做了一些工作（这里可能有一个移动运营商的广告，但没有 - 覆盖范围仍然很差），我们在列宁格勒车站卸货。 好吧，至少在加兹马诺夫的领导下不是这样。
我们从 OST 开始了“石灰”数据中心之旅——不久前“燃烧”的“同一个”。为什么要在引号中 - 之后。与此同时，我们站着，抽烟，等待那些迟到的人。给隔壁的 RT 办公室拍照。这个街区有很多有趣的故事——从在政要到来之前铺设新沥青和粉刷路缘石，到附近咖啡馆因数据线居民徽章相似而给予他们折扣。
极权主义宣传的喉舌
严格（访问）模式的数据中心
通行证、行为规则、入口处的绞肉机——几乎和我们看到的一样 。您见过数据中心里有很多咖啡店吗？现在我们认识了一对。员工和客户的徽章上有“咖啡”押金，并会定期补充。因此，在合理的限度内，您可以完全免费地享用咖啡。我们作为亲爱的客人，也被招待了一顿饭。
我对咖啡没有什么不好的地方——对于一家“连锁”咖啡店来说这很正常，但它的位置却让人不由自主地着迷，而且内部装修也很符合最好的现代传统。
当地一家咖啡店的内部
照片显示诺德数据中心
游览从办公室开始。除了墙上的铭文以及整个符文中众所周知的白色和石灰配色方案外，还有各种有趣的东西。这些是企业戏剧表演留下的道具（你能想象数据中心网络的技术总监在戏剧中表演吗？而且我们认识他。）。
真相
演出照片
数据中心（或者更确切地说，四个数据中心）位于上个世纪建造的工业建筑群中（当时是雪铁龙工厂，在苏联时期是 Gidroprivod 工厂），因此一方面存在严酷的环境。工业外观、金属梁、阁楼氛围以及不同时代的工业文物，这些都仍然存在于各种作品中。另一方面，数据中心的密封区域需要适应现有的结构，并且必须不时地与现实做出妥协。然而，我不会说这些妥协影响了质量——但这些人可能在设计过程中必须努力工作。 另外，据传言，Metro-2 号线会经过附近某个地方，但这并不确定。
除了剧院，还有博物馆。展览，自然 - 考古发现
几句话关于 。是的，这座建筑（或者更确切地说，屋顶）确实着火了。冷却系统和冷管的外部装置损坏。某处电线烧断，空调断电。氟利昂管在某处爆炸。但是，尽管如此，密封区域还是经受住了大量的水浇灌，设备完好无损。他们在以全世界最高管理层为代表的“总部”的控制下恢复了它——他们把莫斯科及周边地区所有的铜管都翻了出来（他们甚至在晚上用宝马X5带来了它们）和所有清醒的人。安装人员。受损数据大厅的关键设备（由于缺乏寒冷而不是火灾而损坏！）很快被转移到其他大厅，因此到早上五点时，不仅他们的所有服务，而且他们的客户也都启动并运行了。
我们亲自检查了“受灾最严重”的大厅——除了烧焦的气味和更换的高架地板瓷砖外，完全没有任何让人想起火灾的痕迹（除了“暂时”搬到另一个数据大厅的设备架，并留在那里）。
状态面板
沿着走廊行走，我们看到一个触摸显示屏，上面的内容与数据中心涡轮机室的图表非常相似。这是状态面板。走廊里有很多，它们可以让现场工程师快速找到，例如，所需的空调，并简单地报告当前状态。
监控建立在Nagios上（现在已经有几个独立的集群），覆盖所有数据中心（OST和NORD）。此外，还有适用于 Android 和 iOS 的应用程序（适用于客户和员工），以及直接在网站上的状态页面。
在显示屏上，我注意到 PUE 异常高——俄罗斯并非所有地方都接受该值，但 1.90 仍然有点高。这个问题的答案纯粹是经济上的——2012-2013年，数据中心的机架热销，所以没有时间考虑情感和能源效率。我们安装市场上的产品，尽快完成，根本不关心您的 PUE，因为为什么？即使在设计阶段，80-90%的机架都是购买的，但俄罗斯联邦的立法不想了解任何有关能源效率的信息。尽管阿姆斯特丹的一些委员会会对这样的数字感到满意。
Ничего личного.与个人无关。 Просто бизнес.只是生意。
另一个特点是数据大厅的标记。在每个站点，数据大厅除了“官方”字母数字编码外，还有来自海军字母表的“人类”假名（Alpha-Bravo-Charlie-Delta...）。出于某种原因，所有客户都喜欢威士忌室。
在客户服务方面没有小细节。
这样的“栅栏”是为一些客户设立的。涡轮机房不让拍照，所以照片是DataLine ©
DataLine 的客户大多是受人尊敬的大型公司；他们真的不喜欢他们的设备被拍照。此外，如果客户的名字（或标志）直接用大字写在柜台上。他们不喜欢它——仅此而已。因此，我们拍摄了已经著名的带有各种铭文的墙壁和工程师。也不可能拍摄整个工程师的照片，也不可能拍摄所有地方的照片，但我们尝试过。由于我们的客户规模庞大且受人尊敬，他们也有特定的要求 - 特殊的机架（或来自多个供应商机架的某种超级存储系统），他们自己的围栏，他们自己的访问控制系统，他们自己的视频监控和快速响应团队机枪。一般来说，DataLine 的潜规则（也是公开的）之一是照顾客户并为他做好事。从背心和配备互联网接入和充电器的工作站，到为客户举办的各种活动。后者也非常有用，因为同一个人从一家公司跳槽到另一家公司，将他们带到 DataLine。只因为这里的一切都舒适、方便、可靠。 DataLine 的业务不仅仅是出租机架空间。这也是一个云，同时根据 152-FZ 和 PCI-DSS 进行了认证（我们将制作一个关于它的播客，请继续关注公告），并提供连接（在站点之间以及从每个站点到站点之间有自己的光纤） M9，自己的跨城市光纤环，依此类推，直到组织到客户办公室的最后一英里）。
M——动机
说到铭文，想法不仅来自员工，还来自合作伙伴和客户，之后您可以在上面投票选出最成功的想法 FB 中的数据线。好吧，你可以在那里提出你的想法。
在易北河上开会
十字（照片由 DataLine 提供）
我们在接线员所在的会见室停下来。在MMR中（OST中有三对，根据主光输入的数量，有源和无源）来自所有数据大厅的连接被组合在一起。在越野鞋中，一切都是无聊而整洁的。但在摄像机活动的位置，您会记得一些 BM18 的最佳年份和镜头：由电线和各种设备制成的面条（DLink、Extreme、Juniper、Mikrotik...等等，最高可达 ASR9k）。这里有五十多个操作员，所以一切都是丰富多彩的。光纤和铜缆从 MMR 分配到机房。每条路线至少有两条路线（可能有多种路线），因此您不必担心连接的可靠性。 MMR 被称为“易北河”，相当微妙。
IBM Power 还没有？
另一个发现是一台IBM P系列，它从未被打开过，并且已经在其中一个走廊里放置了好几年。该机器（连同磁带库和存储系统）是由一位客户订购的，但“它没有用”，因此它被捐赠给数据中心。从那以后它就一直矗立着。
成为有钱人并送出这样的礼物可能很好，对吧？ （或者也许他们没有把它作为礼物送给别人，而是忘记了。或者他们在纸牌上输了。但它已经存在很长时间了）
这位帅哥就站在NORD-4
我们去能源中心——每个数据中心三台（甚至四台）柴油发电机组（让我提醒你，OST中有四台）。柴油发动机在 30-40 秒内达到全功率，产生 1900 kVA 的功率。包括N+1冗余、同步等。 OST 中柴油机的最长停留时间为 12 小时。在NORD - 2.5天（毕竟，85吨的存储设施并不是很多钱）。
当然，与各个燃料公司有燃料供应的协议。定期改用柴油，以便生产燃料并验证合同。顺便说一句，据诺德公司的同事介绍，在测试柴油发电机组时，通常需要一个多小时，在柴油机发出热空气的地方，即使在冬天，草地也能变绿。
在一家熟悉的咖啡店享用了短暂的小吃后，我们前往 NORD 站点。这也不是一个数据中心，而是同一地区的四栋独立建筑。每个都有自己的电力输入、柴油发动机和冷却装置。 NORD-1 和 NORD-2 已由 Uptime Institute M&O 审核。最新（也是最好的 DataLine 数据中心）是 NORD-4，所以这就是我们要去的地方。
尽管莫斯科的数据中心数量看似庞大，但仍然存在短缺。不，当然，一两个机架将毫无问题地运送给您。他们甚至会给你二十。更多是一个问题（DataLine 拥有不止一两个有此类需求的客户）。具体来说，在NORD-4中有一个地方（暂时），因为一个大客户已经搬进了自己新建的数据中心，但在其他地方这可能就没那么幸运了。不过，NORD-5的设计目前正在紧锣密鼓地进行中，预计将于2020年初推出。
但让我们回到我们的旅行。由于我们是开车旅行，他们让我们进入大门，机枪手在那里瞄准我们，用申请表检查我们的车号，并要求所有乘客下车领取通行证（当然，还要带上护照）。因为B就是安全。
NORD-4是公司的骄傲，汇集了多年数据中心建设和运营经验，拥有Uptime Institute Tier III设计项目和设施（即建成的数据中心）以及运营可持续性证书- 这些人尽可能负责任地处理此事。里面有四个相互独立的封闭区域，一栋楼内各有两个大厅。每个都有自己的动力中心（柴油发电机组、电池室）、冷却回路和灭火系统。常规 - 光纤输入（每栋大楼有两个）和 MMR。
健康工程师改装
在数据中心的入口处，我们已经熟悉的咖啡店正在等待着（嗯，为什么不呢？）。我们上楼去监控中心。现在主要有两个 - OST 和 NORD-4（NORD-1,2,3、1、XNUMX 也有自己的值班）。从每个中心您都可以查看两个站点，因此即使在这里也可以确保冗余 n+XNUMX。视频墙上已经有熟悉的浅绿色仪表板（当然，上面的参数比状态显示屏上的参数多得多）。我们就监控进行了一些交流——没有花哨的 Prometheus 和 Grafan，只有 Nagios，只有硬核和自制的可视化。经过十年（然而，甚至更长时间）的使用，许多自定义检查和脚本已经编写完毕，因此切换到其他东西看起来像是一场赌博。大约每个月都会有另一家公司出现，提出“快速、无痛”地解决所有问题，但不知怎的，它还没有奏效。顺便说一句，视频墙也适用于自组装解决方案，结果比商业同类产品便宜几倍。
本地控制中心
当您设计、构建和运营数据中心多年后，您不再害怕自己做一些事情，而是购买现成的东西。以DataLine为例，就毫不犹豫地说，仅仅因为规模，他们就已经踩到了最大数量的错误，而每一个新的数据中心都是艰难的错误和十多年的经验的结果。当然，每个新的数据中心都有自己的专业知识，当您在 NORD 中漫步时，您时不时会发现自己认为人们只是这样做了，而且做得很好。不是为了炫耀，不是为了评级和证书——这是正常的工程过程，在每次迭代中你都会超越自己并变得越来越好。外部观察者会说这是无聊和保守的，但客户恰恰相反，用自己的钱维持了这种稳定性。为了做好这件事，根本没有必要花很多很多钱购买工程系统或软件（尽管有时没有它你就无法做到）。经验、知识和工程独创性往往起着决定性作用。
例如，NORD-4 大楼有 3,5 层。前三个是成熟的，天花板高 4.5 米，涡轮机室位于其中。最后一个是技术性的，只有 1.8 米高，纯粹专用于冷却系统。由于地板是技术性的，因此对地板的要求要低得多，从而简化了工程并节省了资金。
三角形数据中心视图
Max有一种特殊的功夫能力，可以在照片中不被烧伤
我们在屋顶结束了旅程——从这里我们可以欣赏到附近的热电厂和住宅区以及其他 NORD 建筑的美景。其中两个是三角形的。对此，同事们甚至笑称“DataLine都是白痴，不知道为什么要建一个三角形的数据中心”，以便在那里安装三角形的机架和三角形的服务器。但什么也没有-他们建造并成功运营，同时有效地利用现有领土（必须说，在莫斯科，这不是免费的）。另一个令人惊讶（对我来说）的事实是，大多数商业客户都希望将总部设在莫斯科。明斯克高速公路沿线半百公里外的一个地点（即使拥有所有必要的能力和通讯）已不再引起任何人的兴趣。所以每个人都挤在一个非橡胶的房间里。
冷却塔不再是数据中心，而是火力发电厂
至此，我们接下来的旅程就结束了。
随后又进行了一次关于联合计划和未来播客的长时间而富有成效的对话（我希望我们不必等待太久），所以请继续关注，很快就会有更多有趣的事情。
好吧，如果您想亲眼目睹一切，DataLine 邀请您参观。完全免费，但需预约。那些调用暗语“linkmeup”的人将会获得业力加分。
敬请关注！
来源： habr.com