Vấn đề giao thông quan trọng nhất ở St. Petersburg là những cây cầu. Vào ban đêm, vì chúng mà bạn phải chạy trốn khỏi quán rượu mà không uống hết bia. Chà, hoặc trả gấp đôi tiền taxi như bình thường. Buổi sáng hãy tính toán thật kỹ thời gian để vừa đóng cầu là bạn sẽ đến ga như một chú cầy mangut nhanh nhẹn. Chúng tôi không coi lựa chọn “qua đêm ở đâu đó trong trung tâm, gần nhà ga” là có hại về mặt tư tưởng.
..."Peregrine Falcon", rời đi lúc 5:30, được phát minh bởi những người ghét loài cú. Không, tất nhiên, rất thuận tiện khi đến Moscow lúc chín giờ sáng và St. Petersburg đẹp đến khó tin trong những đêm trắng, nhưng lúc bốn giờ rưỡi, khi lên taxi, tôi muốn quay đầu lại 270 bằng cấp cho con chim sơn ca đã phát minh ra chuyến tàu sáng nay.
“Tất cả các trung tâm dữ liệu tốt đều giống nhau,” tôi nghĩ khi biết rằng những người từ DataLine đã mời chúng tôi đến thăm.
Hóa ra, mỗi trung tâm dữ liệu đều tốt (hoặc xấu) một chút theo cách riêng của nó, đặc biệt là khi bạn đạt được thành công lớn, thu thập tất cả những kẻ lừa đảo trong khu vực và rút ra bài học từ chính bạn (và, một chút, từ người khác). ) giàu kinh nghiệm. Vì vậy, chúng tôi (bao gồm năm linkmeup hàng đầu cùng bạn bè và những người đồng tình của họ) đã quyết định kiểm tra mức độ tốt (hoặc không tốt) của các trung tâm dữ liệu OST và NORD.
Sau khi cố gắng thực hiện một số công việc trên đường (có thể có quảng cáo cho một nhà khai thác dịch vụ di động ở đây, nhưng không - phạm vi phủ sóng vẫn kém), chúng tôi dỡ hàng tại nhà ga Leningradsky. Chà, ít nhất là không dưới thời Gazmanov.
Chúng tôi bắt đầu chuyến tham quan các trung tâm dữ liệu “vôi” bằng OST - “chính cái” đã “cháy” cách đây không lâu. Tại sao trong dấu ngoặc kép - sau. Trong khi chờ đợi, chúng tôi đứng hút thuốc và chờ đợi những người đến muộn. Chụp ảnh văn phòng RT bên cạnh. Có rất nhiều câu chuyện hài hước về khu phố này - từ việc rải nhựa đường mới và sơn lề đường trước khi các quan chức đến, cho đến việc giảm giá tại các quán cà phê gần đó dành cho cư dân Dataline vì huy hiệu của họ giống nhau.
Cơ quan ngôn luận của sự tuyên truyền toàn trị
Trung tâm dữ liệu ở chế độ nghiêm ngặt (truy cập)
Vượt qua, quy tắc ứng xử, máy xay thịt ở lối vào - gần giống như những gì chúng tôi đã thấy . Bạn đã thấy nhiều quán cà phê trong trung tâm dữ liệu chưa? Bây giờ chúng tôi biết một cặp vợ chồng. Nhân viên và khách hàng có tiền gửi “cà phê” trên huy hiệu của họ và được bổ sung thường xuyên. Vì vậy, trong giới hạn hợp lý, bạn có thể tự thưởng cho mình một ly cà phê hoàn toàn miễn phí. Chúng tôi, với tư cách là những vị khách thân yêu, cũng được chiêu đãi một bữa ăn.
Tôi không thể nói bất cứ điều gì xấu về cà phê - điều đó khá bình thường đối với một quán cà phê “chuỗi”, nhưng vị trí vô tình quyến rũ và nội thất phù hợp với những truyền thống hiện đại nhất.
Nội thất của một quán cà phê địa phương
Hình ảnh hiển thị các trung tâm dữ liệu NORD
Chuyến tham quan bắt đầu từ văn phòng. Ngoài những dòng chữ trên tường và cách phối màu trắng và vôi được biết đến khắp Runet, còn có đủ thứ điều hài hước. Đây là những đạo cụ còn sót lại từ các buổi biểu diễn sân khấu của công ty (bạn có thể tưởng tượng giám đốc kỹ thuật của mạng trung tâm dữ liệu đang diễn trong một vở kịch không? Và chúng tôi biết cá nhân anh ấy.).
Và sự thật
Hình ảnh từ các buổi biểu diễn
Trung tâm dữ liệu (hay đúng hơn là bốn trung tâm dữ liệu) nằm trong một khu phức hợp các tòa nhà công nghiệp được xây dựng từ thế kỷ trước (khi đó là nhà máy Citroen và nhà máy Gidroprivod thời Xô Viết), do đó một mặt có sự khắc nghiệt. vẻ ngoài công nghiệp, dầm kim loại, bầu không khí gác xép và các đồ tạo tác công nghiệp từ các thời đại khác nhau vẫn được tìm thấy trong nhiều công trình khác nhau. Mặt khác, các vùng kín của trung tâm dữ liệu cần phải phù hợp với các cấu trúc hiện có và đôi khi phải thỏa hiệp với thực tế. Tuy nhiên, tôi sẽ không nói rằng những thỏa hiệp này ảnh hưởng đến chất lượng - nhưng có lẽ các chàng trai đã phải làm việc chăm chỉ trong quá trình thiết kế. Ngoài ra, theo tin đồn, Metro-2 đi ngang qua một nơi nào đó gần đó, nhưng điều này không chắc chắn.
Ngoài nhà hát còn có bảo tàng. Triển lãm, một cách tự nhiên - phát hiện khảo cổ
Một vài lời về . Đúng, tòa nhà (hay đúng hơn là mái nhà) đã thực sự bốc cháy. Các bộ phận bên ngoài của hệ thống làm mát và đường ống lạnh bị hỏng. Đâu đó hệ thống dây điện bị cháy và máy điều hòa không khí không có điện. Ống Freon phát nổ ở đâu đó. Tuy nhiên, bất chấp điều này, các khu vực kín vẫn chịu được hàng tấn nước đổ vào và thiết bị vẫn tồn tại. Họ đã khôi phục nó dưới sự kiểm soát của “trụ sở chính” được đại diện bởi ban lãnh đạo cao nhất trên toàn thế giới - họ đã thu dọn tất cả các ống đồng ở Moscow và khu vực xung quanh (họ thậm chí còn mang chúng vào ban đêm trên chiếc BMW X5) và tất cả những người tỉnh táo trình cài đặt. Thiết bị quan trọng từ các cơ sở dữ liệu bị hư hỏng (hư hỏng do thiếu lạnh chứ không phải do cháy!) đã nhanh chóng được chuyển đến các hội trường khác, để đến năm giờ sáng, không chỉ tất cả các dịch vụ của họ mà cả khách hàng của họ cũng đã hoạt động.
Đích thân chúng tôi đã kiểm tra hội trường “bị ảnh hưởng nặng nề nhất” - ngoại trừ mùi cháy và thay gạch của sàn nâng, không có gì gợi nhớ đến vụ cháy (ngoại trừ các giá đỡ thiết bị được “tạm” đưa đến một phòng dữ liệu khác, và vẫn ở đó).
Bảng trạng thái
Đi dọc các hành lang, chúng tôi thấy một màn hình cảm ứng có thứ gì đó rất giống với sơ đồ các phòng tuabin của trung tâm dữ liệu. Đây là bảng trạng thái. Có rất nhiều trong số chúng ở hành lang và chúng cho phép các kỹ sư tại chỗ nhanh chóng tìm thấy, chẳng hạn như máy điều hòa không khí cần thiết và chỉ cần báo cáo tình trạng hiện tại.
Việc giám sát được xây dựng trên Nagios (hiện đã có một số cụm độc lập) và bao trùm tất cả các trung tâm dữ liệu (cả OST và NORD). Ngoài ra, còn có các ứng dụng dành cho Android và iOS (dành cho khách hàng và nhân viên) và trang trạng thái trực tiếp trên trang web.
Trên màn hình, tôi nhận thấy PUE cao bất thường - nó không được chấp nhận ở mọi nơi ở Nga, nhưng 1.90 vẫn hơi cao. Câu trả lời cho điều này hoàn toàn mang tính kinh tế - trong năm 2012-2013, giá đỡ trong trung tâm dữ liệu bán chạy như tôm tươi nên không còn thời gian cho tình cảm và hiệu quả năng lượng. Chúng tôi cài đặt những gì có trên thị trường, thực hiện nhanh nhất có thể và không quan tâm đến PUE của bạn chút nào, vì tại sao? Ngay cả ở giai đoạn thiết kế, 80-90% giá đỡ đã được mua, nhưng luật pháp ở Liên bang Nga không muốn biết gì về hiệu quả năng lượng. Mặc dù một số ủy ban ở Amsterdam sẽ hài lòng với những con số như vậy.
Không có gì cá nhân. Chỉ là kinh doanh.
Một tính năng khác là đánh dấu các phòng dữ liệu. Tại mỗi địa điểm, các phòng dữ liệu, ngoài mã hóa chữ và số “chính thức”, còn có bút danh “con người” từ bảng chữ cái hải quân (Alpha-Bravo-Charlie-Delta...). Vì lý do nào đó mà tất cả khách hàng đều yêu thích phòng Whisky.
Không có chi tiết nhỏ khi nói đến chăm sóc khách hàng.
Những “hàng rào” như vậy được dựng lên cho một số khách hàng. Chúng tôi không được phép chụp ảnh trong phòng tuabin nên ảnh là DataLine ©
Khách hàng của DataLine hầu hết là các công ty lớn và được kính trọng; họ thực sự không thích chụp ảnh thiết bị của mình. Hơn nữa, nếu tên (hoặc logo) của khách hàng được viết trực tiếp trên quầy bằng chữ lớn. Họ không thích nó - thế thôi. Vì vậy, chúng tôi đã quay phim những bức tường vốn đã nổi tiếng với nhiều dòng chữ khác nhau và người kỹ sư. Cũng không thể chụp ảnh toàn bộ kỹ sư và không phải mọi nơi, nhưng chúng tôi đã cố gắng. Vì khách hàng của chúng tôi rất lớn và được tôn trọng nên họ cũng có những yêu cầu cụ thể - các giá đỡ đặc biệt (hoặc một số loại hệ thống lưu trữ uber từ một số giá đỡ của nhà cung cấp), hàng rào riêng, hệ thống kiểm soát truy cập riêng, giám sát video của riêng họ và đội phản ứng nhanh với súng máy. Nói chung, một trong những quy tắc bất thành văn (và công khai) của DataLine là chăm sóc khách hàng và làm điều tốt cho họ. Bắt đầu từ áo khoác và máy trạm được trang bị truy cập Internet và bộ sạc cho đến các sự kiện khác nhau dành cho khách hàng. Cái sau cũng rất hữu ích ở chỗ chính những người chuyển từ công ty này sang công ty khác sẽ đưa họ đến DataLine. Đơn giản vì mọi thứ ở đây đều ấm cúng, tiện lợi và đáng tin cậy. Hoạt động kinh doanh của DataLine không chỉ là cho thuê không gian lưu trữ. Đây cũng là một đám mây, được chứng nhận đồng thời theo 152-FZ và PCI-DSS (chúng tôi sẽ tạo một podcast về nó, theo dõi các thông báo) và cung cấp kết nối (các sợi riêng của nó giữa các trang web và từ mỗi trang web đến M9, vòng quang riêng của nó trên toàn thành phố, v.v. cho đến khi tổ chức chặng cuối tới văn phòng khách hàng).
M - động lực
Nói về dòng chữ, ý tưởng không chỉ đến từ nhân viên mà còn đến từ các đối tác và khách hàng, sau đó bạn có thể bình chọn cho những người thành công nhất trên Dòng dữ liệu trong FB. Vâng, bạn có thể đề xuất ý tưởng của mình ở đó.
Cuộc họp trên Elbe
Cross (ảnh do DataLine cung cấp)
Chúng tôi dừng lại ở Meet-Me-Room, nơi tọa lạc của những người điều hành. Trong MMR (có ba cặp trong OST, tùy theo số lượng đầu vào quang chính, dành cho chủ động và thụ động) các kết nối từ tất cả các phòng dữ liệu được kết hợp. Ở giày việt dã mọi thứ đều nhàm chán và gọn gàng. Nhưng ở vị trí đặt camera hoạt động, bạn sẽ nhớ những năm tháng và cảnh quay đẹp nhất từ một số BM18: mì làm từ dây và các loại thiết bị (DLink, Extreme, Juniper, Mikrotik..., v.v. lên đến ASR9k). Có hơn năm mươi người điều hành ở đây nên mọi thứ đều đầy màu sắc. Từ MMR, quang học và đồng được phân phối đến các phòng máy. Ít nhất hai tuyến đường cho mỗi tuyến (có thể có các biến thể), vì vậy bạn không phải lo lắng về độ tin cậy của kết nối. MMR được gọi là "Elbe", khá tinh tế.
IBM Power không?
Một phát hiện khác là một chiếc IBM P-series, chưa bao giờ được bật lên và đã đứng ở một trong các hành lang trong vài năm. Chiếc máy (cùng với thư viện băng từ và hệ thống lưu trữ) được một khách hàng đặt mua nhưng “không hữu ích” nên đã được tặng cho trung tâm dữ liệu. Nó đã đứng đó kể từ đó.
Có lẽ là những người giàu có và tặng những món quà như vậy là điều tốt phải không? (Hoặc có thể họ không tặng mà quên mất. Hoặc họ thua bài. Nhưng nó đã có từ rất lâu rồi)
Anh chàng đẹp trai này đang đứng ở NORD-4
Chúng tôi đến trung tâm năng lượng - ba (hoặc thậm chí bốn) bộ máy phát điện diesel cho mỗi trung tâm dữ liệu (để tôi nhắc bạn, có bốn bộ trong số đó trong OST). Động cơ diesel đạt công suất tối đa trong 30-40 giây và tạo ra 1900 kVA. Bao gồm dự phòng N+1, đồng bộ hóa, v.v. Thời gian ngồi lâu nhất trên động cơ diesel trong OST là 12 giờ. ở NORD - 2.5 ngày (xét cho cùng, một kho chứa 85 tấn không phải là nhiều tiền).
Tất nhiên, có những thỏa thuận với nhiều công ty nhiên liệu khác nhau về việc cung cấp nhiên liệu. Việc chuyển sang sử dụng động cơ diesel diễn ra thường xuyên để cả nhiên liệu được sản xuất và hợp đồng đều được xác minh. Nhân tiện, theo các đồng nghiệp, tại NORD, khi thử nghiệm các tổ máy phát điện diesel, thường mất hơn một giờ, ở nơi phát ra không khí nóng từ động cơ diesel, ngay cả trong mùa đông, cỏ vẫn chuyển sang màu xanh.
Sau bữa ăn nhẹ tại một quán cà phê quen thuộc, chúng tôi đến địa điểm NORD. Đây cũng không phải là một trung tâm dữ liệu mà là bốn tòa nhà độc lập trên cùng một lãnh thổ. Mỗi chiếc đều có đầu vào điện riêng, động cơ diesel riêng và hệ thống làm mát riêng. NORD-1 và NORD-2 đã được kiểm toán bởi Uptime Institute M&O. Trung tâm dữ liệu DataLine mới nhất (và tốt nhất) là NORD-4, vì vậy đó là nơi chúng tôi sẽ đến.
Mặc dù có số lượng trung tâm dữ liệu khổng lồ ở Moscow nhưng vẫn còn thiếu. Không, tất nhiên, một hoặc hai giá đỡ sẽ được chuyển đến bạn mà không gặp vấn đề gì. Họ thậm chí sẽ cho bạn hai mươi. Còn nhiều câu hỏi nữa (và DataLine có nhiều hơn một hoặc hai khách hàng có nhu cầu như vậy). Cụ thể, ở NORD-4 có một chỗ (hiện tại), vì một khách hàng lớn đã chuyển đến trung tâm dữ liệu mới được xây dựng của riêng mình, nhưng ở những nơi khác, điều này có thể không may mắn như vậy. Tuy nhiên, thiết kế của NORD-5 hiện đang được hoàn thiện, dự kiến sẽ ra mắt vào đầu năm 2020.
Nhưng hãy quay lại chuyến tham quan của chúng ta. Vì chúng tôi đang di chuyển bằng ô tô nên họ cho chúng tôi vào cổng, nơi các tay súng máy nhắm vào chúng tôi, kiểm tra số xe của chúng tôi bằng ứng dụng và yêu cầu tất cả hành khách xuống xe để lấy thẻ (tất nhiên là bằng hộ chiếu của họ). Vì B là bảo mật.
NORD-4 là niềm tự hào của công ty và là sự tổng hợp của nhiều năm kinh nghiệm trong việc xây dựng và vận hành trung tâm dữ liệu, nó có chứng chỉ Cấp III của Uptime Institute cho dự án thiết kế và Cơ sở (tức là trung tâm dữ liệu được xây dựng), cũng như Tính bền vững trong vận hành - những người tiếp cận vấn đề một cách có trách nhiệm nhất có thể. Bên trong có bốn khu vực kín, độc lập với nhau, mỗi khu có hai sảnh bên trong một tòa nhà. Mỗi nơi đều có trung tâm năng lượng riêng (tổ máy phát điện diesel, phòng ắc quy), mạch làm mát và hệ thống chữa cháy. Chung - đầu vào quang học (có hai đầu vào cho mỗi tòa nhà) và MMR.
Kỹ sư khỏe mạnh Modding
Ở lối vào trung tâm dữ liệu, một quán cà phê vốn đã quen thuộc với chúng ta đang chờ đợi (chà, tại sao không?). Chúng tôi đi lên trung tâm giám sát. Hiện tại có hai cái chính - OST và NORD-4 (NORD-1,2,3 cũng có ca trực riêng). Từ mỗi trung tâm, bạn có thể xem cả hai địa điểm, do đó, ngay cả ở đây cũng đảm bảo tính dự phòng n+1. Trên bức tường video đã có các bảng điều khiển quen thuộc với tông màu xanh lục nhạt (tất nhiên, trên đó có nhiều thông số hơn so với trên màn hình trạng thái). Chúng tôi trao đổi một chút về việc giám sát - không có Prometheus và Grafan cầu kỳ, chỉ có Nagios, chỉ có hình ảnh trực quan tự chế và khó tính. Hơn mười năm (tuy nhiên, thậm chí nhiều hơn) sử dụng, nhiều kiểm tra và tập lệnh tùy chỉnh đã được viết, vì vậy việc chuyển sang thứ khác giống như một canh bạc. Khoảng mỗi tháng một lần, một công ty khác xuất hiện đề nghị giải quyết mọi vấn đề “nhanh chóng và không đau đớn”, nhưng không hiểu sao nó vẫn chưa thành công. Nhân tiện, bức tường video cũng hoạt động trên một giải pháp tự lắp ráp, hóa ra lại rẻ hơn nhiều lần so với các giải pháp tương tự thương mại.
Trung tâm điều khiển cục bộ
Khi bạn đã thiết kế, xây dựng và vận hành các trung tâm dữ liệu trong nhiều năm, bạn không còn ngại tự mình làm một việc gì đó hơn là mua một thứ làm sẵn. Ví dụ như DataLine không ngần ngại nói rằng, đơn giản là do quy mô nên họ đã mắc phải sai sót tối đa, và mỗi trung tâm dữ liệu mới là kết quả của những sai lầm khó khăn và kinh nghiệm đã kéo dài hơn chục năm . Tất nhiên, mỗi trung tâm dữ liệu mới đều có bí quyết riêng và khi dạo quanh NORD, thỉnh thoảng bạn sẽ thấy mình nghĩ rằng mọi người vừa làm vừa làm tốt. Không phải vì mục đích khoe khoang, không vì mục đích xếp hạng và chứng chỉ - một quy trình kỹ thuật bình thường, khi ở mỗi lần lặp lại, bạn lại phát triển hơn chính mình và ngày càng trở nên tốt hơn. Một người quan sát bên ngoài sẽ nói rằng điều này thật nhàm chán và bảo thủ, nhưng ngược lại, khách hàng lại duy trì sự ổn định như vậy bằng tiền của chính mình. Và để làm tốt điều đó, không nhất thiết phải mua rất nhiều tiền, hệ thống kỹ thuật hoặc phần mềm (mặc dù đôi khi bạn không thể làm được nếu không có nó). Kinh nghiệm, kiến thức và sự khéo léo trong kỹ thuật thường quyết định.
Ví dụ, tòa nhà NORD-4 có 3,5 tầng. Ba căn đầu tiên đã hoàn thiện, có trần cao 4.5 mét, nơi đặt các phòng tuabin. Và chiếc cuối cùng mang tính kỹ thuật, chỉ cao 1.8 mét và được dành riêng cho hệ thống làm mát. Vì sàn mang tính kỹ thuật nên các yêu cầu đối với nó thấp hơn nhiều, giúp đơn giản hóa dự án và tiết kiệm tiền.
Phối cảnh trung tâm dữ liệu hình tam giác
Max có khả năng kung fu đặc biệt để không bị bỏng khi chụp ảnh
Chúng tôi kết thúc chuyến tham quan trên mái nhà - từ đây chúng tôi có tầm nhìn tuyệt vời ra nhà máy nhiệt điện và khu dân cư gần đó cũng như các tòa nhà NORD khác. Hai trong số chúng có hình tam giác. Về điều này, đồng nghiệp thậm chí còn cười nhạo rằng “DataLine là lũ ngu, không hiểu sao họ lại xây trung tâm dữ liệu hình tam giác” để lắp đặt các giá đỡ hình tam giác và máy chủ hình tam giác ở đó. Nhưng không có gì - họ đã xây dựng và hoạt động thành công, đồng thời sử dụng hiệu quả lãnh thổ hiện có (mà ở Moscow, phải nói là không miễn phí). Một thực tế đáng ngạc nhiên khác (đối với tôi) là phần lớn khách hàng thương mại muốn đặt trụ sở tại Moscow. Một địa điểm cách đó nửa trăm km dọc theo Đường cao tốc Minsk (ngay cả khi có đủ năng lực và thông tin liên lạc cần thiết) không còn được ai quan tâm nữa. Thế là mọi người rúc vào một chiếc không cao su.
Tháp giải nhiệt không còn là trung tâm dữ liệu mà là nhà máy nhiệt điện
Với điều này, cuộc hành trình tiếp theo của chúng tôi đã kết thúc.
Sau đó là một cuộc trò chuyện dài và hiệu quả khác về kế hoạch chung và các podcast trong tương lai (tôi hy vọng chúng ta sẽ không phải đợi lâu), vì vậy hãy chú ý theo dõi, sẽ sớm có nhiều điều thú vị hơn nữa.
Chà, nếu bạn muốn tận mắt nhìn thấy mọi thứ, DataLine mời bạn tham gia một chuyến tham quan. Hoàn toàn miễn phí, nhưng theo lịch hẹn. Những ai gọi từ mã “linkmeup” sẽ được cộng thêm nghiệp chướng.
Hãy theo dõi!
Nguồn: www.habr.com
