聖彼得堡最重要的交通問題是橋樑。 晚上，因為他們，你不得不啤酒沒喝完就逃離酒館。 好吧，或者支付比平常兩倍的出租車費用。 早上，仔細計算時間，以便橋樑一關閉，您就可以像敏捷的貓鼬一樣到達車站。 我們不認為「在市中心車站附近的某個地方過夜」的選擇在意識形態上有害。
……“遊隼”，5點30分出發，是討厭貓頭鷹的人發明的。 不，當然，早上九點到莫斯科很方便，白夜裡的聖彼得堡美得難以置信，但四點半，當我坐上出租車時，我想把頭轉270度向發明這趟早班火車的百靈鳥致敬。
當我發現 DataLine 的人邀請我們參觀時，我想：“所有好的數據中心都是相似的。”
事實證明，每個資料中心都有自己的優點（或缺點），特別是當您取得了巨大成功時，收集該地區的所有耙子並從您自己的資料中心（以及其他人的資料中心）中汲取經驗教訓）豐富的經驗。 因此，我們（由五個領先的 linkmeup 及其朋友和同情者組成）決定檢查 OST 和 NORD 資料中心的好壞（或不太好）。
設法在路上做了一些工作（這裡可能有一個移動運營商的廣告，但沒有 - 覆蓋範圍仍然很差），我們在列寧格勒車站卸貨。 好吧，至少在加茲馬諾夫的領導下不是。
我們從 OST 開始了「石灰」資料中心之旅——不久前「燃燒」的「同一個」。 為什麼要在引號中 - 之後。 同時，我們站著，抽煙，等待那些遲到的人。 為隔壁的 RT 辦公室拍照。 關於這個街區有很多有趣的故事——從在政要到來之前鋪設新瀝青和粉刷路緣石，到附近咖啡館因數據線居民徽章相似而給予他們折扣。
極權主義宣傳的喉舌
嚴格（存取）模式的資料中心
通行證、行為規則、入口處的絞肉機——幾乎和我們看到的一樣 。 您看過資料中心裡有很多咖啡店嗎？ 現在我們認識了一對。 員工和顧客的徽章上有「咖啡」押金，並會定期補充。 因此，在合理的限度內，您可以完全免費地享用咖啡。 我們作為親愛的客人，也被招待了一頓飯。
我對咖啡沒有什麼不好的地方——這對一家「連鎖」咖啡店來說很正常，但它的位置卻讓人不由自主地著迷，而且內部裝修也很符合最好的現代傳統。
當地一家咖啡店的內部
照片顯示諾德資料中心
遊覽從辦公室開始。 除了牆上的銘文以及整個符文中眾所周知的白色和石灰配色方案外，還有各種有趣的東西。 這些是企業戲劇表演留下的道具（你能想像資料中心網路的技術總監在戲劇中表演嗎？而且我們認識他。）。
這是真的
演出照片
資料中心（或更確切地說，四個資料中心）位於上個世紀建造的工業建築群中（當時是雪鐵龍工廠，在蘇聯時期是 Gidroprivod 工廠），因此一方面存在嚴酷的環境。工業外觀、金屬梁、閣樓氛圍以及不同時代的工業文物，這些都仍然存在於各種作品中。 另一方面，資料中心的密封區域需要適應現有的結構，並且必須不時地與現實做出妥協。 然而，我不會說這些妥協影響了品質——但這些人可能在設計過程中必須努力工作。 另外，據傳言，Metro-2 號線會經過附近某個地方，但這並不確定。
除了劇院，還有博物館。 展覽，自然 - 考古發現
幾句話關於 。 是的，這棟建築（或更確切地說，屋頂）確實著火了。 冷卻系統和冷管的外部裝置損壞。 某處電線燒斷，空調斷電。 氟利昂管在某處爆炸。 但是，儘管如此，密封區域還是經受住了大量的水澆灌，設備完好無損。 他們在以全世界最高管理層為代表的「總部」的控制下恢復了它——他們把莫斯科及週邊地區所有的銅管都翻了出來（他們甚至在晚上用寶馬X5帶來了它們）以及所有清醒的人。安裝人員。 受損資料大廳的關鍵設備（由於缺乏寒冷而損壞，而不是由於火災！）很快就被轉移到其他大廳，因此到早上五點時，不僅他們的所有服務，而且他們的客戶也都啟動並運行了。
我們親自檢查了「受災最嚴重」的大廳——除了燒焦的氣味和更換的高架地板瓷磚外，完全沒有任何讓人想起火災的痕跡（除了「暫時」搬到另一個數據大廳的設備架，並留在那裡）。
狀態面板
沿著走廊行走，我們看到一個觸控顯示屏，上面的內容與資料中心渦輪機室的圖表非常相似。 這是狀態面板。 走廊裡有很多，它們可以讓現場工程師快速找到，例如，所需的空調，並簡單地報告當前狀態。
監控建立在Nagios上（現在已經有幾個獨立的叢集），涵蓋所有資料中心（OST和NORD）。 此外，還有適用於 Android 和 iOS 的應用程式（適用於客戶和員工），以及直接在網站上的狀態頁面。
在顯示器上，我注意到 PUE 異常高——俄羅斯並非所有地方都接受該值，但 1.90 仍然有點高。 這個問題的答案純粹是經濟上的——2012-2013年，資料中心的機架熱銷，所以沒有時間考慮情感和能源效率。 我們安裝市面上的產品，盡快完成，根本不關心您的 PUE，因為為什麼？ 即使在設計階段，80-90%的機架都是購買的，但俄羅斯聯邦的立法不想了解任何有關能源效率的資訊。 儘管阿姆斯特丹的一些委員會會對這樣的數字感到滿意。
與個人無關。 只是生意。
另一個特點是資料大廳的標記。 在每個站點，資料大廳除了「官方」字母數字編碼外，還有來自海軍字母表的「人類」假名（Alpha-Bravo-Charlie-Delta...）。 出於某種原因，所有客戶都喜歡威士忌室。
在客戶服務方面沒有小細節。
這樣的「柵欄」是為一些客戶設立的。 渦輪機房不讓拍照，所以照片是DataLine ©
DataLine 的客戶大多是受人尊敬的大型公司；他們真的不喜歡他們的設備被拍照。 此外，如果客戶的名字（或標誌）直接用大字寫在櫃檯上。 他們不喜歡它——僅此而已。 因此，我們拍攝了已經著名的帶有各種銘文的牆壁和工程師。 也不可能拍攝整個工程師的照片，也不可能拍攝所有地方的照片，但我們嘗試過。 由於我們的客戶規模龐大且受人尊敬，他們也有特定的要求- 特殊的機架（或來自多個供應商機架的某種超級存儲系統），他們自己的圍欄，他們自己的訪問控制系統，他們自己的視頻監控和快速響應團隊機槍。 一般來說，DataLine 的潛規則（也是公開的）之一是照顧客戶並為他做好事。 從背心和配備網路存取和充電器的工作站，到為客戶舉辦的各種活動。 後者也非常有用，因為同一個人從一家公司跳槽到另一家公司，將他們帶到 DataLine。 只因為這裡的一切都舒適、方便、可靠。 DataLine 的業務不僅僅是出租機架空間。 這也是一個雲，同時根據152-FZ 和PCI-DSS 進行了認證（我們將製作一個關於它的播客，請繼續關注公告），並提供連接（在站點之間以及從每個站點到站點之間有自己的光纖） M9，自己的跨城市光纖環，依此類推，直到組織到客戶辦公室的最後一英里）。
M——動機
說到銘文，想法不僅來自員工，還來自合作夥伴和客戶，之後您可以在上面投票選出最成功的想法 FB 中的數據線。 好吧，你可以在那裡提出你的想法。
易北河上的會面
十字（照片由 DataLine 提供）
我們在接線員所在的會見室停下來。 在MMR中（OST中有三對，根據主光輸入的數量，主動和被動）來自所有資料大廳的連接被組合在一起。 在越野鞋中，一切都是無聊而整齊的。 但在攝影機活動的位置，您會記得一些 BM18 的最佳年份和鏡頭：由電線和各種設備製成的麵條（DLink、Extreme、Juniper、Mikrotik...等等，最高可達 ASR9k）。 這裡有五十多個操作員，所以一切都是豐富多彩的。 光纖和銅纜從 MMR 分配到機房。 每條路線至少有兩條路線（可能有多種路線），因此您不必擔心連接的可靠性。 MMR 被稱為“易北河”，相當微妙。
IBM Power 還沒有？
另一個發現是一台IBM P系列，它從未被打開過，並且已經在其中一個走廊上放置了好幾年。 該機器（連同磁帶庫和儲存系統）是由一位客戶訂購的，但“它沒有用”，因此它被捐贈給資料中心。 從那以後它就一直矗立著。
成為有錢人並送出這樣的禮物可能很好，對吧？ （或者也許他們沒有把它作為禮物送給別人，而是忘記了。或者他們在紙牌上輸了。但它已經存在很長時間了）
這位帥哥就站在NORD-4
我們去能源中心－每個資料中心三台（甚至四台）柴油發電機組（讓我提醒你，OST中有四台）。 柴油引擎在 30-40 秒內達到全功率，產生 1900 kVA 的功率。 包括N+1冗餘、同步等。 OST 中柴油引擎的最長停留時間為 12 小時。 在NORD - 2.5天（畢竟，85噸的儲存設施並不是很多錢）。
當然，與各燃料公司有燃料供應的協議。 定期改用柴油，以便生產燃料並驗證合約。 順便說一句，據諾德公司的同事介紹，在測試柴油發電機組時，通常需要一個多小時，在柴油機發出熱空氣的地方，即使在冬天，草地也能變綠。
在一家熟悉的咖啡店享用了短暫的小吃後，我們前往 NORD 站點。 這也不是一個資料中心，而是同一地區的四棟獨立建築。 每個都有自己的電力輸入、柴油引擎和冷卻系統。 NORD-1 和 NORD-2 已由 Uptime Institute M&O 審核。 最新（也是最好的 DataLine 資料中心）是 NORD-4，所以這就是我們要去的地方。
儘管莫斯科的資料中心數量看似龐大，但仍有短缺。 不，當然，一兩個機架將毫無問題地運送給您。 他們甚至會給你二十。 更多是一個問題（DataLine 擁有不只一兩個有此類需求的客戶）。 具體來說，在NORD-4中有一個地方（暫時），因為一個大客戶已經搬進了自己新建的資料中心，但在其他地方這可能就沒那麼幸運了。 不過，NORD-5的設計目前正在緊鑼密鼓地進行中，預計2020年初推出。
但讓我們回到我們的旅行。 由於我們是開車旅行，他們讓我們進入大門，機槍手在那裡瞄準我們，用申請表檢查我們的車號，並要求所有乘客下車領取通行證（當然，還要帶上護照）。 因為B就是安全。
NORD-4是公司的驕傲，匯集了多年數據中心建設和運營經驗，擁有Uptime Institute Tier III設計項目和設施（即建成的數據中心）以及運營可持續性證書- 這些人盡可能負責任地處理此事。 裡面有四個相互獨立的封閉區域，一棟建築物內各有兩個大廳。 每個都有自己的動力中心（柴油發電機組、電池室）、冷卻迴路和滅火系統。 常規 - 光纖輸入（每棟大樓有兩個）和 MMR。
健康工程師改裝
在資料中心的入口處，我們已經熟悉的咖啡店正在等待（嗯，為什麼不呢？）。 我們上樓去監控中心。 現在主要有兩個 - OST 和 NORD-4（NORD-1,2,3、1、XNUMX 也有自己的值班）。 從每個中心您都可以查看兩個站點，因此即使在這裡也可以確保冗餘 n+XNUMX。 視訊牆上已經有熟悉的淺綠色儀表板（當然，上面的參數比狀態顯示器上的參數多得多）。 我們就監控進行了一些交流——沒有花哨的 Prometheus 和 Grafan，只有 Nagios，只有硬核和自製的可視化。 經過十年（然而，甚至更長時間）的使用，許多自訂檢查和腳本已經編寫完畢，因此切換到其他東西看起來像是一場賭博。 大約每個月都會有另一家公司出現，提出「快速、無痛」地解決所有問題，但不知怎的，它還沒有奏效。 順便說一句，視訊牆也適用於自組裝解決方案，結果比商業同類產品便宜幾倍。
本地管制中心
當您設計、建置和營運資料中心多年後，您不再害怕自己做一些事情，而是購買現成的東西。 以DataLine為例，就毫不猶豫地說，僅僅因為規模，他們就已經踩到了最大數量的錯誤，而每一個新的資料中心都是艱難的錯誤和十多年的經驗的結果。 當然，每個新的資料中心都有自己的專業知識，當您在 NORD 中漫步時，您不時會發現自己認為人們只是這樣做了，而且做得很好。 不是為了炫耀，不是為了評級和證書——這是正常的工程過程，在每次迭代中你都會超越自己並變得越來越好。 外部觀察者會說這是無聊和保守的，但客戶恰恰相反，用自己的錢維持了這種穩定性。 為了做好這件事，根本沒有必要花很多很多錢購買工程系統或軟體（儘管有時沒有它你就無法做到）。 經驗、知識和工程獨創性往往起著決定性作用。
例如，NORD-4 大樓有 3,5 層。 前三個是成熟的，天花板高 4.5 米，渦輪機室位於其中。 最後一個是技術性的，只有 1.8 公尺高，純粹專用於冷卻系統。 由於地板是技術性的，因此對地板的要求要低得多，從而簡化了工程並節省了資金。
三角形資料中心視圖
Max有一種特殊的功夫能力，可以在照片中不被燒傷
我們在屋頂結束了旅程——從這裡我們可以欣賞到附近的熱電廠和住宅區以及其他 NORD 建築的美景。 其中兩個是三角形的。 對此，同事們甚至笑稱“DataLine都是白痴，不知道為什麼要建造一個三角形的資料中心”，以便在那裡安裝三角形的機架和三角形的伺服器。 但什麼也沒有-他們建造並成功運營，同時有效地利用現有領土（必須說，在莫斯科，這不是免費的）。 另一個令人驚訝（對我來說）的事實是，大多數商業客戶都希望將總部設在莫斯科。 明斯克高速公路沿線半百公里外的一個地點（即使擁有所有必要的能力和通訊）已不再引起任何人的興趣。 所以每個人都擠在一個非橡膠的房間裡。
冷卻水塔不再是資料中心，而是火力發電廠
至此，我們接下來的旅程就結束了。
隨後又進行了一次關於聯合計劃和未來播客的長時間而富有成效的對話（我希望我們不必等待太久），所以請繼續關注，很快就會有更多有趣的事情。
那麼，如果您想親眼目睹一切，DataLine 邀請您參觀。 完全免費，但需預約。 那些呼叫暗語「linkmeup」的人將會獲得業力加分。
敬請關注！
來源： www.habr.com