Trưởng phòng nghiệp vụ trèo vào hầm chứa nhiên liệu dưới lòng đất để chỉ các dấu hiệu trên van điện từ.
Vào đầu tháng XNUMX, trung tâm dữ liệu Cấp III lớn nhất của chúng tôi Được Viện thời gian hoạt động (UI) chứng nhận lại theo tiêu chuẩn Hoạt động bền vững. Hôm nay chúng tôi sẽ cho bạn biết các kiểm toán viên đang xem xét những gì và chúng tôi đã đạt được kết quả gì.
Đối với những người đã quen thuộc với trung tâm dữ liệu, hãy tìm hiểu sơ qua về phần cứng. đánh giá và chứng nhận trung tâm dữ liệu ở ba giai đoạn:
- dự án (Thiết kế): gói tài liệu dự án được kiểm tra. Ở đây, thông tin nổi tiếng . Tổng cộng có 4 trong số đó: Cấp I–IV. Theo đó, cái sau là cao nhất.
- cơ sở được xây dựng (Cơ sở): cơ sở hạ tầng kỹ thuật của trung tâm dữ liệu được kiểm tra và sự tuân thủ của nó với dự án. Trung tâm dữ liệu được kiểm tra ở mức tải thiết kế đầy đủ bằng nhiều thử nghiệm khác nhau với nội dung xấp xỉ sau: một trong các UPS (DGS, thiết bị làm lạnh, điều hòa không khí chính xác, tủ phân phối, thanh cái, v.v.) được ngừng hoạt động để bảo trì hoặc sửa chữa , và nguồn điện của thành phố bị tắt. . Các trung tâm dữ liệu cấp III trở lên sẽ có thể xử lý tình huống này mà không có bất kỳ tác động nào đến tải trọng CNTT.
Cơ sở có thể được sử dụng nếu trung tâm dữ liệu đã vượt qua Chứng nhận thiết kế.
NORD-4 đã nhận được chứng chỉ Thiết kế vào năm 2015 và Cơ sở vật chất vào năm 2016. - Tính bền vững trong hoạt động. Trong thực tế, chứng nhận quan trọng và phức tạp nhất. Nó đánh giá toàn diện các quy trình và năng lực của người vận hành trong việc duy trì và quản lý một trung tâm dữ liệu với cấp độ đã được thiết lập (để vượt qua Tính bền vững trong hoạt động, bạn phải có chứng chỉ Cơ sở). Rốt cuộc, nếu không có quy trình vận hành được cấu trúc phù hợp và đội ngũ đủ trình độ, ngay cả trung tâm dữ liệu Cấp IV cũng có thể biến thành một tòa nhà vô dụng với thiết bị rất đắt tiền.
Ở đây cũng có các cấp độ: Đồng, Bạc và Vàng. Ở lần tái chứng nhận gần đây nhất, chúng tôi đã kết thúc với số điểm 88,95 trên 100 điểm có thể và đây là Bạc. Nó chỉ kém Vàng - 1,05 điểm.
Làm cách nào để kiểm tra xem các quy trình cần thiết đã được xây dựng và hoạt động như bình thường chưa? Hơn nữa, làm thế nào để thực hiện điều đó trong hai ngày - đó là mất bao lâu để được chứng nhận lại. Nói tóm lại, chứng nhận dựa trên sự so sánh tỉ mỉ giữa những gì được viết trong các quy định, những câu chuyện về “cách mọi thứ vận hành” và thực tiễn thực tế. Thông tin về vấn đề sau có được từ việc xem qua trung tâm dữ liệu và các cuộc trò chuyện với các kỹ sư của trung tâm dữ liệu - “các cuộc đối đầu”, như chúng tôi trìu mến gọi chúng. Đó là những gì họ đang nhìn vào.
Đội
Trước hết, kiểm toán viên UI kiểm tra xem trung tâm dữ liệu có đủ nhân viên hỗ trợ hay không. Họ lấy bảng nhân sự, lịch làm việc và kiểm tra có chọn lọc bằng các báo cáo ca làm việc và dữ liệu kiểm soát truy cập để đảm bảo rằng số lượng kỹ sư cần thiết đã thực sự có mặt tại công trường vào ngày hôm đó.
Kiểm toán viên cũng xem xét kỹ số giờ làm thêm. Điều này đôi khi xảy ra khi có một khách hàng lớn đến và hàng chục giá đỡ cần được lắp đặt cùng lúc. Những lúc như vậy, những người từ ca khác đến giải cứu và họ được trả thêm tiền cho việc này.
Có 4 kỹ sư làm việc trên NORD-7 mỗi ca: 6 người trực và một kỹ sư cao cấp. Đây là những người giám sát việc giám sát 24x7, gặp gỡ khách hàng, trợ giúp lắp đặt thiết bị và các yêu cầu thường ngày khác. Đây là tuyến hỗ trợ kỹ thuật đầu tiên cho khách hàng. Trách nhiệm của họ bao gồm ghi lại các tình huống khẩn cấp và chuyển chúng đến các kỹ sư chuyên ngành. Công việc của cơ sở hạ tầng kỹ thuật được giám sát bởi từng cá nhân - cán bộ trực ban cơ sở hạ tầng. Ngoài ra 24x7.
Giám đốc sản xuất và quản lý địa điểm của NORD cho kiểm toán viên biết hiện tại có bao nhiêu người đang làm việc tại công trường.
Khi các con số được sắp xếp, trình độ của đội sẽ được kiểm tra. Kiểm toán viên xem xét ngẫu nhiên hồ sơ nhân sự của kỹ sư để đảm bảo rằng họ có bằng cấp, chứng chỉ và giấy tờ ủy quyền cần thiết (ví dụ: chứng chỉ an toàn điện) để làm việc ở một vị trí nhất định.
Họ cũng kiểm tra cách chúng tôi đào tạo nhân viên của mình. Ngay cả trong lần kiểm tra gần đây nhất, hệ thống đào tạo kỹ sư trực mới của chúng tôi đã gây ấn tượng với các chuyên gia UI. Chúng tôi dành ba tháng cho họ như một đợt thực tập được trả lương, trong thời gian đó chúng tôi giới thiệu cho họ các quy trình và nguyên tắc làm việc trong trung tâm dữ liệu của chúng tôi.
Các kỹ sư đang làm việc cũng phải trải qua đào tạo thường xuyên, bao gồm cả cách làm việc trong các tình huống khẩn cấp. Kiểm toán viên chắc chắn sẽ kiểm tra các chương trình và tài liệu đào tạo của các khóa đào tạo đó, đồng thời kiểm tra các kỹ sư một cách ngẫu nhiên. Sẽ không có ai được yêu cầu chuyển sang bộ máy phát điện diesel, nhưng họ sẽ được yêu cầu cho bạn biết từng bước những gì cần phải làm khi nguồn điện của thành phố bị tắt. Dựa trên kết quả kiểm toán, chúng tôi sẽ đưa tất cả các chương trình đào tạo và giáo dục về một tiêu chuẩn duy nhất để không có sự khác biệt đối với các đội khác nhau.
Chúng tôi chỉ cho kiểm toán viên phòng nghỉ dành cho kỹ sư làm ca.
Vận hành và bảo trì hệ thống kỹ thuật
Trong phần kiểm tra lớn này, chúng tôi cho thấy rằng tất cả các thiết bị và hệ thống kỹ thuật đều được bảo trì thường xuyên theo lịch trình do nhà cung cấp đề xuất, nhà kho có các phụ tùng thay thế cần thiết, thỏa thuận dịch vụ hợp lệ với nhà thầu và mỗi hoạt động với thiết bị đều có quy định riêng. thủ tục và thuật toán để làm việc trên các trường hợp khác nhau.
MMS Khi bạn vận hành hàng chục UPS, bộ máy phát điện diesel, máy điều hòa không khí và những thứ khác, bạn cần thu thập tất cả thông tin về cơ sở này ở đâu đó. Chúng tôi tạo khoảng hồ sơ sau cho từng thiết bị:
- mô hình và số sê-ri;
- đánh dấu;
- đặc tính kỹ thuật và cài đặt;
- trang web cài đặt;
- ngày sản xuất, vận hành, hết hạn bảo hành;
- Hợp đồng dịch vụ;
- lịch trình và lịch sử bảo trì;
- và toàn bộ “lịch sử y tế” - sự cố, sửa chữa.
Làm thế nào và ở đâu để thu thập tất cả thông tin này là tùy thuộc vào mỗi nhà điều hành trung tâm dữ liệu để tự quyết định. Giao diện người dùng không bị giới hạn về công cụ. Đây có thể là một Excel đơn giản (chúng tôi đã bắt đầu với điều này) hoặc Hệ thống quản lý bảo trì (MMS) tự viết, như chúng tôi có bây giờ. Nhân tiện, , kế toán kho, log mạng, giám sát cũng tự viết.
Có một “hồ sơ cá nhân” như vậy cho mỗi thiết bị.
Chúng tôi đã chứng minh thực tiễn của mình về vấn đề này, bao gồm cả việc sử dụng ví dụ về cơ sở hạ tầng UPS này (trong hình), đã tặng một trong các bộ phận của nó cho UPS để phục vụ tải CNTT. Có, theo tiêu chuẩn, việc “quyên góp” như vậy chỉ có thể được thực hiện bằng thiết bị cơ sở hạ tầng cung cấp năng lượng cho máy điều hòa không khí và hệ thống chiếu sáng khẩn cấp chứ không phải phụ tải CNTT.
Sau đó, kiểm toán viên yêu cầu xuất trình phiếu tương ứng tại Bàn dịch vụ:
Và hồ sơ UPS trong MMS:
Phụ tùng Để bảo trì kịp thời và sửa chữa khẩn cấp các thiết bị kỹ thuật, chúng tôi lưu giữ các phụ tùng và phụ kiện của riêng mình. Có kho tổng hợp với các phụ tùng thay thế lớn cho thiết bị và các tủ nhỏ chứa phụ tùng thay thế trong các phòng kỹ thuật (để bạn không phải chạy xa).
Trong ảnh: chúng tôi đang kiểm tra tình trạng sẵn có của các phụ tùng thay thế cho bộ máy phát điện diesel. Chúng tôi đếm được 12 bộ lọc. Sau đó, chúng tôi đã kiểm tra dữ liệu trong MMS.
Một hoạt động tương tự đã được thực hiện tại nhà kho chính, nơi lưu trữ các phụ tùng thay thế lớn: máy nén, bộ điều khiển, tự động hóa, quạt, máy tạo độ ẩm bằng hơi nước và hàng trăm mặt hàng khác. Chúng tôi viết lại các dấu hiệu một cách có chọn lọc và “đấm” chúng qua MMS.
Dữ liệu tồn kho phụ tùng. Màu đỏ - Đây là thứ còn thiếu và cần phải mua.
Bảo trì phòng ngừa. Ngoài việc bảo trì và sửa chữa, UI khuyến nghị thực hiện bảo trì phòng ngừa. Nó giúp biến một tai nạn tiềm ẩn thành một kế hoạch sửa chữa. Đối với mỗi tham số, chúng tôi định cấu hình các giá trị ngưỡng trong giám sát. Nếu vượt quá, những người chịu trách nhiệm sẽ nhận được cảnh báo và thực hiện các hành động cần thiết. Ví dụ: chúng tôi:
- Chúng tôi kiểm tra các bảng điện bằng thiết bị chụp ảnh nhiệt để nhanh chóng phát hiện các khiếm khuyết trong lắp đặt điện: tiếp xúc kém, dây dẫn hoặc cầu dao quá nhiệt cục bộ.
- Chúng tôi theo dõi các chỉ số rung và mức tiêu thụ hiện tại của máy bơm hệ thống lạnh. Điều này cho phép bạn xác định những sai lệch về thời gian và lên kế hoạch thay thế các bộ phận mà không cần vội vàng.
- Chúng tôi phân tích nhiên liệu và dầu của các tổ máy phát điện và máy nén diesel.
- Chúng tôi kiểm tra nồng độ glycol trong hệ thống làm lạnh.
Sơ đồ rung động của máy bơm trước và sau khi sửa chữa.
Làm việc với các nhà thầu. Việc bảo trì và sửa chữa thiết bị được thực hiện bởi các nhà thầu bên ngoài. Về phía chúng tôi, có các chuyên gia riêng về bộ máy phát điện diesel, máy điều hòa không khí và UPS kiểm soát hoạt động của chúng. Họ kiểm tra xem nhà thầu có các công cụ và vật liệu cần thiết cho công việc sửa chữa/bảo trì, chứng chỉ chuyên môn, chứng chỉ an toàn điện và giấy phép hay không. Họ chấp nhận mọi công việc.
Đây là danh sách kiểm tra để chấp nhận công việc bảo trì máy điều hòa không khí.
Tại văn phòng cấp thẻ, chúng tôi kiểm tra xem thẻ có được cấp cho đại diện được ủy quyền của nhà thầu hay không, họ có được bảo trì vào thời gian quy định hay không và họ có đọc nội quy hay không.
Tài liệu. Các quy trình được thiết lập để bảo trì hệ thống và thiết bị là một nửa trận chiến. Tất cả các quy trình do con người thực hiện trong trung tâm dữ liệu phải được ghi lại. Mục đích của việc này rất đơn giản: để mọi thứ không chỉ giới hạn ở một người cụ thể và trong trường hợp xảy ra tai nạn, bất kỳ kỹ sư nào cũng có thể nhận được hướng dẫn rõ ràng và thực hiện tất cả các thao tác cần thiết để loại bỏ nó.
UI có phương pháp riêng cho tài liệu đó.
Đối với các hoạt động đơn giản và lặp đi lặp lại, quy trình vận hành tiêu chuẩn (SOP) được thiết lập. Ví dụ: có các SOP để bật/tắt máy làm lạnh và cài đặt UPS ở chế độ bypass.
Để bảo trì hoặc vận hành phức tạp, chẳng hạn như thay pin trong UPS, các quy trình bảo trì (Phương pháp quy trình, MOP) sẽ được tạo. Chúng có thể bao gồm các SOP. Mỗi loại thiết bị kỹ thuật phải có MOP riêng.
Cuối cùng, có Quy trình Vận hành Khẩn cấp (EOP)—hướng dẫn trong trường hợp khẩn cấp. Một danh sách các tình huống khẩn cấp cụ thể được biên soạn và viết hướng dẫn cho chúng. Đây là một phần của danh sách các tình huống khẩn cấp, trong đó nêu chi tiết các dấu hiệu xảy ra tai nạn, hành động, người chịu trách nhiệm và những người cần thông báo:
- ngừng cung cấp điện cho thành phố: máy phát điện diesel khởi động/không khởi động;
- Sự cố của UPS;
- sự cố trên hệ thống giám sát trung tâm dữ liệu;
- phòng máy quá nóng;
- rò rỉ hệ thống lạnh;
- lỗi trên mạng và thiết bị máy tính;
và vân vân.
Bản thân việc biên soạn một khối lượng tài liệu như vậy đã là một công việc tốn nhiều công sức. Việc cập nhật nó thậm chí còn khó khăn hơn (nhân tiện, kiểm toán viên cũng kiểm tra điều này). Và quan trọng nhất, nhân viên phải biết những hướng dẫn này, làm việc theo chúng và cải tiến nếu cần thiết.
Có, các hướng dẫn nên có sẵn ở những nơi có thể cần đến, chứ không chỉ thu thập bụi trong kho lưu trữ.
Lưu ý về những thay đổi trong quy định bảo trì hệ thống kỹ thuật trung tâm dữ liệu.
Trong quá trình kiểm toán, họ cũng xem xét các tài liệu kỹ thuật về hệ thống, tài liệu điều hành và làm việc cũng như các hành động đưa hệ thống vào vận hành.
Đánh dấu Trong khi dạo quanh trung tâm dữ liệu, họ đã kiểm tra nó ở mọi nơi họ có thể tiếp cận. Nơi nào họ không thể với tới, họ đã đến từ một chiếc thang :). Chúng tôi đã xem xét sự hiện diện của nó trên mọi tổng đài, máy móc và van. Chúng tôi đã kiểm tra tính duy nhất, rõ ràng và tuân thủ các sơ đồ hiện tại của tài liệu hoàn công. Trong ảnh bên dưới: chúng tôi đang ở trong phòng bơm chứa nhiên liệu để so sánh các dấu hiệu trên van điện từ với sơ đồ của tài liệu hoàn công.
Mọi thứ đều đồng ý với cô ấy, nhưng với sơ đồ đo trục “trang trí” cục bộ trên tường theo một tham số thì nó không trùng khớp.
Sơ đồ của các hệ thống ở đó cũng phải được dán trong khuôn viên trung tâm dữ liệu. Trong trường hợp xảy ra tai nạn, họ sẽ giúp bạn nhanh chóng tìm ra mọi thứ ở đâu và đưa ra quyết định sáng suốt. Ví dụ, bức ảnh hiển thị sơ đồ một đường trong phòng tổng đài chính.
Sự liên quan của các sơ đồ đã được kiểm tra theo cách sau: họ đặt tên cho phần tử đánh dấu trên sơ đồ và yêu cầu hiển thị nó “trong đời thực”.
Đây là nơi kiểm toán viên chụp ảnh các cài đặt (cài đặt) của cầu dao đầu vào của tổng đài chính, để sau này so sánh với các chỉ báo trên sơ đồ một đường ở dạng bản giấy và bản điện tử. Trên một trong các máy, QF-3, chỉ báo không khớp với sơ đồ giấy và chúng tôi đã bị phạt điểm. Bây giờ hai kỹ sư sẽ kiểm tra xem các điểm đánh dấu trong sơ đồ một đường có phù hợp với thực tế hay không.
Đây không phải là tất cả những gì kiểm toán viên đã kiểm tra về mặt quy trình dịch vụ. Đây là những gì khác trong chương trình nghị sự:
- hệ thống giám sát. Ở đây, chúng tôi đã kiếm được lợi ích nghiệp chướng nhờ khả năng hình dung tốt, sự hiện diện của ứng dụng di động và màn hình tình huống được đặt trong hành lang của các trung tâm dữ liệu. Ở đây chúng tôi đã viết chi tiết về cách chúng tôi làm việc .
Đây là MCC với thông tin trực quan về trạng thái của các hệ thống kỹ thuật chính của NORD-4 và các trung tâm dữ liệu khác của chúng tôi đang hoạt động trên địa điểm. - lập kế hoạch vòng đời của thiết bị kỹ thuật;
- năng lực quản lý ();
- lập ngân sách (nói một chút );
- quy trình phân tích tai nạn;
- quá trình nghiệm thu, vận hành và thử nghiệm thiết bị (chúng tôi đã viết về các thử nghiệm ).
UI còn nhìn vào cái gì nữa?
Kiểm soát an ninh và truy cập. Việc kiểm toán cũng kiểm tra hoạt động của hệ thống an toàn và an ninh. Ví dụ: kiểm toán viên đã cố gắng vào một trong những cơ sở mà anh ta không có quyền truy cập, sau đó kiểm tra xem điều này có được phản ánh trong hệ thống kiểm soát truy cập hay không và liệu bộ phận an ninh có được thông báo về điều này hay không (spoiler - đúng vậy).
Nếu tại trung tâm dữ liệu của chúng tôi, cửa vào bất kỳ phòng nào vẫn mở trong hơn hai phút thì cảnh báo sẽ được kích hoạt tại chốt an ninh. Để kiểm tra điều này, các kiểm tra viên đã dùng bình cứu hỏa mở một trong các cửa. Đúng vậy, chúng tôi chưa bao giờ có còi báo động - an ninh nhìn thấy có điều gì đó không ổn qua máy quay video và đã đến “hiện trường vụ án” trước đó.
Trật tự và sạch sẽ. Kiểm toán viên tìm kiếm bụi, hộp thiết bị nằm bừa bộn và tần suất dọn dẹp cơ sở. Ví dụ, ở đây, các kiểm toán viên bắt đầu quan tâm đến một vật thể không xác định trong hành lang thông gió. Đây là một khối từ hệ thống thông gió đã được chuẩn bị thay thế. Nhưng họ vẫn yêu cầu tôi ký.
Cũng về chủ đề trật tự trong trung tâm dữ liệu - những chiếc tủ với tất cả các công cụ cần thiết cho công việc khẩn cấp trên thiết bị được đặt trong phòng tổng đài chính.
Địa điểm Trung tâm dữ liệu được đánh giá dựa trên các điều kiện về vị trí - liệu có căn cứ quân sự, sân bay, sông, núi lửa và các vật thể nguy hiểm khác ở gần đó hay không. Trong ảnh, chúng tôi chỉ cho thấy rằng kể từ lần chứng nhận cuối cùng vào năm 2017, không có nhà máy điện hạt nhân hoặc cơ sở lưu trữ dầu nào mọc lên xung quanh trung tâm dữ liệu. Nhưng ở đó, một trung tâm dữ liệu NORD-5 mới đang được xây dựng, trung tâm này cũng sẽ phải vượt qua tất cả các cấp chứng nhận Cấp III của Viện Uptime. Nhưng đó là một câu chuyện hoàn toàn khác).
Nguồn: www.habr.com