Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Hãy tưởng tượng rằng bạn có một phòng máy chủ đầy đủ các thiết bị kỹ thuật: vài chục máy điều hòa không khí, một loạt máy phát điện diesel và nguồn điện liên tục. Để phần cứng hoạt động bình thường, bạn thường xuyên kiểm tra hoạt động của nó và đừng quên bảo trì phòng ngừa: tiến hành chạy thử, kiểm tra mức dầu, thay phụ tùng. Ngay cả đối với một phòng máy chủ, bạn cần lưu trữ rất nhiều thông tin: sổ đăng ký thiết bị, danh sách vật tư tiêu hao trong kho, lịch bảo trì phòng ngừa, cũng như các tài liệu bảo hành, hợp đồng với nhà cung cấp và nhà thầu. 

Bây giờ hãy nhân số lượng hội trường với mười. Vấn đề hậu cần phát sinh. Bạn nên lưu trữ những gì ở kho nào để không phải chạy theo từng phụ tùng thay thế? Làm thế nào để bổ sung nguồn cung kịp thời để việc sửa chữa đột xuất không khiến bạn bất ngờ? Nếu có nhiều thiết bị thì không thể giữ hết công việc kỹ thuật trong đầu và khó khăn trên giấy tờ. Đây là lúc MMS, hay hệ thống quản lý bảo trì, ra tay giải cứu. 

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
Tại MMS, chúng tôi lập lịch trình cho công việc phòng ngừa và sửa chữa cũng như hướng dẫn lưu trữ cho các kỹ sư. Không phải tất cả các trung tâm dữ liệu đều có hệ thống như vậy; nhiều người cho rằng đây là một giải pháp quá đắt tiền. Nhưng từ kinh nghiệm của chính mình, chúng tôi tin chắc rằng Vấn đề không phải là công cụ mà là cách tiếp cận để làm việc với thông tin. Chúng tôi đã tạo ra hệ thống đầu tiên trong Excel và dần dần phát triển nó thành một sản phẩm phần mềm. 

Với alexdropp chúng tôi quyết định chia sẻ kinh nghiệm phát triển MMS của riêng mình. Tôi sẽ chỉ ra cách hệ thống phát triển và cách nó giúp giới thiệu các phương pháp bảo trì tốt nhất. Alexey sẽ cho bạn biết anh ấy đã kế thừa MMS như thế nào, điều gì đã thay đổi trong thời gian này và cách hệ thống hiện nay giúp cuộc sống của các kỹ sư trở nên dễ dàng hơn. 

Làm thế nào chúng tôi đến với MMS của riêng mình

Đầu tiên có những thư mục. 8-10 năm trước, thông tin được lưu trữ dưới dạng rải rác. Sau khi bảo trì, chúng tôi đã ký báo cáo về công việc đã hoàn thành, lưu trữ bản gốc giấy trong kho lưu trữ và bản sao được quét trên các thư mục mạng. Tương tự, thông tin về phụ tùng thay thế: phụ tùng, dụng cụ, phụ kiện được thu thập vào các thư mục chia theo thiết bị. Đây là cách bạn có thể sống nếu bạn xây dựng cấu trúc và cấp độ truy cập cho các thư mục này.
Nhưng sau đó bạn có ba vấn đề: 

  • điều hướng: mất nhiều thời gian để chuyển đổi giữa các thư mục khác nhau. Nếu bạn muốn xem việc sửa chữa một thiết bị cụ thể trong vài năm, bạn sẽ phải thực hiện rất nhiều cú nhấp chuột.
  • số liệu thống kê: bạn sẽ không có nó và nếu không có nó thì rất khó để dự đoán tốc độ hỏng hóc của các thiết bị khác nhau hoặc số lượng phụ tùng thay thế cần lên kế hoạch cho năm tới.  
  • phản hồi kịp thời: sẽ không ai nhắc nhở bạn rằng các thành phần đã hết và cần phải đặt hàng lại. Cũng không rõ ràng rằng đây không phải là lần đầu tiên thiết bị tương tự bị lỗi.  

Có một thời gian chúng tôi lưu trữ những tài liệu như thế này, nhưng sau đó chúng tôi phát hiện ra Excel :)

MMS sang Excel. Theo thời gian, cấu trúc tài liệu đã di chuyển sang Excel. Nó dựa trên một danh sách các thiết bị, kèm theo lịch trình bảo trì, danh sách kiểm tra và đường dẫn tới các chứng chỉ hoàn thành công việc: 

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Danh sách thiết bị nêu các đặc điểm và vị trí chính trong trung tâm dữ liệu:
Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Kết quả là tạo ra một loại công cụ điều hướng mà từ đó bạn có thể nhanh chóng hiểu được điều gì đang xảy ra với thiết bị và việc bảo trì thiết bị. Nếu cần, bạn có thể xem từng hành động trong lịch bảo trì bằng các liên kết:

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Nếu bạn tận tâm duy trì tài liệu trong Excel, giải pháp này khá phù hợp với một phòng máy chủ nhỏ. Nhưng nó cũng chỉ là tạm thời. Ngay cả khi chúng ta sử dụng một chiếc điều hòa và bảo trì mỗi tháng một lần, trong vòng 5 năm, chúng ta sẽ tích lũy hàng trăm lỗi và Excel của chúng ta sẽ sưng lên. Nếu bạn thêm một máy điều hòa không khí khác, một máy phát điện diesel, một UPS thì bạn cần làm nhiều tấm và liên kết chúng lại với nhau. Câu chuyện càng dài thì càng khó lấy ngay những thông tin cần thiết. 

Hệ thống "người lớn" đầu tiên. Vào năm 2014, chúng tôi đã thực hiện đợt kiểm tra Quản lý & Vận hành đầu tiên theo tiêu chuẩn Hoạt động Bền vững từ Viện Uptime. Chúng tôi đã thực hiện gần như cùng một chương trình Excel, nhưng trong suốt một năm, chúng tôi đã cải thiện nó rất nhiều: chúng tôi đã thêm các liên kết vào hướng dẫn và danh sách kiểm tra dành cho kỹ sư. Các kiểm toán viên nhận thấy định dạng này khá khả thi. Họ có thể theo dõi mọi hoạt động với thiết bị và đảm bảo rằng thông tin được cập nhật và các quy trình được thực hiện. Cuộc kiểm tra sau đó đã diễn ra thành công và đạt được 92/100 điểm có thể.

Câu hỏi đặt ra: làm thế nào để sống xa hơn. Chúng tôi quyết định rằng chúng tôi cần một MMS “nghiêm túc”, xem xét một số chương trình trả phí, nhưng cuối cùng quyết định tự viết phần mềm. Excel tương tự đã được sử dụng làm thông số kỹ thuật mở rộng. Đây là những nhiệm vụ chúng tôi đặt ra cho MMS. 

Những gì chúng tôi muốn từ MMS

Trong hầu hết các trường hợp, MMS là một tập hợp các thư mục và báo cáo. Hệ thống phân cấp thư mục của chúng tôi trông giống như thế này:

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Cuốn sách tham khảo cấp cao nhất đầu tiên là danh sách các tòa nhà: phòng máy, nhà kho nơi đặt thiết bị.

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Tiếp theo đến danh mục thiết bị kỹ thuật. Chúng tôi đã thu thập nó theo các hệ thống sau:

  • Hệ thống điều hòa không khí: máy điều hòa, máy làm lạnh, máy bơm.
  • Hệ thống cấp điện: UPS, bộ máy phát điện diesel, tủ phân phối.

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
Đối với mỗi thiết bị, chúng tôi thu thập dữ liệu cơ bản: loại, model, số sê-ri, dữ liệu nhà sản xuất, năm sản xuất, ngày vận hành, thời gian bảo hành.

Khi chúng tôi đã điền vào danh sách thiết bị, chúng tôi sẽ lập nó chương trình bảo trì: cách thức và tần suất thực hiện bảo trì. Trong chương trình bảo trì, chúng tôi mô tả tập hợp các hoạt động, ví dụ: thay pin này, điều chỉnh hoạt động của một bộ phận cụ thể, v.v. Chúng tôi mô tả các hoạt động trong một cuốn sách tham khảo riêng. Nếu một thao tác được lặp lại trong các chương trình khác nhau, thì không cần thiết phải mô tả lại nó mỗi lần - chúng ta chỉ cần lấy một thao tác làm sẵn từ sách tham khảo:

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
Các thao tác “Thay đổi điểm đặt nhiệt độ” và “Thay thế các kết nối cáp nhả nhanh” sẽ phổ biến đối với các thiết bị làm lạnh và hệ thống điều hòa không khí của cùng một nhà sản xuất.

Bây giờ đối với mỗi thiết bị chúng ta có thể tạo lịch bảo trì. Chúng tôi liên kết chương trình bảo trì với thiết bị cụ thể và bản thân hệ thống sẽ xem xét trong chương trình tần suất cần thực hiện bảo trì và tính toán thời gian làm việc kể từ ngày vận hành:
Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trìBạn thậm chí có thể tự động hóa việc chuẩn bị lịch trình như vậy bằng các công thức Excel.

Câu chuyện không hoàn toàn rõ ràng: chúng tôi duy trì một thư mục riêng công việc bị trì hoãn. Lịch trình là lịch trình, nhưng chúng ta đều là những con người sống và chúng ta hiểu rằng bất cứ điều gì cũng có thể xảy ra. Ví dụ: vật tư tiêu hao không đến đúng giờ và dịch vụ cần được lên lịch lại trong một tuần. Đây là tình trạng bình thường nếu bạn để ý. Chúng tôi lưu giữ số liệu thống kê về công việc bị trì hoãn và chưa hoàn thành và cố gắng đảm bảo rằng số lần hủy bảo trì có xu hướng bằng không.  

Số liệu thống kê cũng được lưu giữ cho từng thiết bị tai nạn và sửa chữa đột xuất. Chúng tôi sử dụng số liệu thống kê để lập kế hoạch mua hàng và tìm ra những điểm yếu trong cơ sở hạ tầng. Ví dụ: nếu máy nén bị cháy ở cùng một vị trí ba lần liên tiếp, đây là tín hiệu để tìm kiếm nguyên nhân gây ra sự cố.   

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
Lịch sử bảo trì và sửa chữa này đã được tích lũy trong hơn 4 năm đối với một chiếc máy điều hòa không khí cụ thể.

Hướng dẫn sau đây là phụ tùng. Nó tính đến những vật tư tiêu hao nào cần thiết cho thiết bị, chúng được lưu trữ ở đâu và với số lượng bao nhiêu. Tại đây, chúng tôi cũng lưu trữ thông tin về thời gian giao hàng để lên kế hoạch đến kho tốt hơn. 

Chúng tôi tính toán số lượng phụ tùng thay thế từ số liệu thống kê sửa chữa hàng năm trên mỗi thiết bị. Đối với tất cả các phụ tùng thay thế, chúng tôi chỉ ra số dư tối thiểu: mỗi cơ sở cần có những phụ tùng thay thế tối thiểu nào. Nếu phụ tùng thay thế sắp hết, số lượng của nó trong thư mục sẽ được đánh dấu:

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trìSố dư tối thiểu của cảm biến áp suất cao ít nhất phải là hai, nhưng chỉ còn lại một. Đã đến lúc đặt hàng ngay bây giờ. 

Ngay sau khi lô hàng phụ tùng thay thế đến, chúng tôi sẽ điền dữ liệu từ hóa đơn vào danh mục và cho biết vị trí lưu trữ. Chúng ta thấy ngay số dư hiện tại của các phụ tùng đó trong kho: 
Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Chúng tôi duy trì một thư mục liên lạc riêng biệt. Chúng tôi nhập dữ liệu của các nhà cung cấp và nhà thầu thực hiện bảo trì vào đó: 

Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Các chứng chỉ, nhóm an toàn điện được đính kèm vào thẻ của từng nhà thầu-kỹ sư. Khi lập lịch trình, chúng ta có thể xem chuyên gia nào có đủ giấy phép cần thiết. 
Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Kể từ khi MMS tồn tại, công việc với giấy phép trang web đã thay đổi. Ví dụ: các tài liệu hướng dẫn phương pháp thực hiện bảo trì đã được thêm vào. Nếu trước đây một tập hợp các thao tác nằm gọn trong một danh sách kiểm tra nhỏ thì hướng dẫn chi tiết sẽ bao gồm mọi thứ: cách chuẩn bị, những điều kiện cần thiết, v.v.   

Anh ấy sẽ cho bạn biết toàn bộ quá trình hiện đang hoạt động như thế nào bằng cách sử dụng một ví dụ. alexdropp

Quá trình bảo trì trong MMS diễn ra như thế nào?

Ngày xửa ngày xưa, công việc đã hoàn thành từ lâu đã được ghi lại sau sự thật. Chúng tôi chỉ đơn giản là tiến hành bảo trì và sau khi ký giấy chứng nhận hoàn thành công việc. 99% máy chủ làm điều này, nhưng theo kinh nghiệm, điều này là chưa đủ. Để không quên bất cứ điều gì, trước tiên chúng ta hình thành giấy phép lao động. Đây là tài liệu mô tả công việc và các điều kiện để thực hiện nó. Mọi hoạt động bảo trì và sửa chữa trong hệ thống của chúng tôi đều bắt đầu từ nó. Làm thế nào điều này xảy ra: 

  1. Chúng tôi xem xét các công việc dự kiến ​​tiếp theo trong lịch trình bảo trì:
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  2. Chúng tôi tạo ra một giấy phép mới. Chúng tôi chọn một nhà thầu bảo trì, người quản lý quy trình từ phía chúng tôi và điều phối công việc với chúng tôi. Chúng tôi cho biết công việc sẽ diễn ra ở đâu và khi nào, chọn loại thiết bị và chương trình chúng tôi sẽ thực hiện: 
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  3. Sau khi lưu thẻ, hãy chuyển sang phần chi tiết. Chúng tôi chỉ định nhà thầu và kiểm tra xem anh ta có được phép thực hiện công việc cần thiết hay không. Nếu không có quyền, trường này sẽ được đánh dấu màu đỏ và bạn không thể đưa ra lệnh sản xuất:  
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  4. Chúng tôi chỉ ra thiết bị cụ thể. Tùy thuộc vào loại công việc, các hoạt động sơ bộ được quy định trong chương trình bảo trì, ví dụ: đặt hàng nhiên liệu đến hiện trường, lên lịch giới thiệu tóm tắt cho các kỹ sư và thông báo cho đồng nghiệp. Danh sách các hoạt động sẽ tự động xuất hiện nhưng chúng ta có thể thêm các mục của riêng mình. , mọi thứ khá linh hoạt:
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  5. Chúng tôi lưu đơn hàng, gửi thư cho người phê duyệt và chờ phản hồi của anh ta:
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  6. Khi kỹ sư đến, chúng tôi in lệnh sản xuất trực tiếp từ hệ thống.
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  7. Lệnh sản xuất có chứa danh sách kiểm tra các hoạt động cho chương trình bảo trì. Người quản lý công việc tại trung tâm dữ liệu kiểm soát các hộp kiểm tra và bảo trì.
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

    Trong một thời gian, một danh sách kiểm tra ngắn gọn là đủ. Sau đó chúng tôi giới thiệu các hướng dẫn về phương pháp, hoặc MOP (phương pháp thủ tục). Với sự trợ giúp của tài liệu như vậy, bất kỳ kỹ sư được chứng nhận nào cũng có thể kiểm tra bất kỳ thiết bị nào. 

    Mọi thứ đều được mô tả càng chi tiết càng tốt, ngay đến các mẫu thư thông báo và điều kiện thời tiết: 

    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

    Tài liệu được in trông như thế này:

    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

    Theo tiêu chuẩn của Uptime Institute, cần có MOP như vậy cho mọi hoạt động. Đây là một lượng tài liệu khá lớn. Dựa trên kinh nghiệm, chúng tôi khuyên bạn nên phát triển chúng dần dần, chẳng hạn như một MOP mỗi tháng.

  8. Sau khi hoàn thành công việc, kỹ sư sẽ cấp giấy chứng nhận hoàn thành. Chúng tôi quét và đính kèm vào thẻ cùng với bản quét các tài liệu khác: giấy phép và MOP. 
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  9. Trong thứ tự công việc, chúng tôi lưu ý công việc đã thực hiện: 
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì
  10. Thẻ thiết bị chứa lịch sử bảo trì:
    Hệ thống MMS trong trung tâm dữ liệu: cách chúng tôi tự động hóa quản lý bảo trì

Chúng tôi đã chỉ ra cách hệ thống của chúng tôi hoạt động hiện nay. Nhưng công việc trên MMS vẫn chưa kết thúc: một số cải tiến đã được lên kế hoạch. Ví dụ: bây giờ chúng tôi lưu trữ rất nhiều thông tin trong bản quét. Trong tương lai, chúng tôi dự định thực hiện bảo trì không cần giấy tờ: kết nối một ứng dụng di động nơi kỹ sư có thể kiểm tra các hộp và lưu ngay thông tin vào thẻ. 

Tất nhiên, trên thị trường có rất nhiều sản phẩm làm sẵn có chức năng tương tự. Nhưng chúng tôi muốn chứng tỏ rằng ngay cả một tệp Excel nhỏ cũng có thể được phát triển thành một sản phẩm chính thức. Bạn có thể tự mình làm việc này hoặc nhờ đến các nhà thầu, điều quan trọng chính là cách tiếp cận đúng đắn. Và không bao giờ là quá muộn để bắt đầu.

Nguồn: www.habr.com

Mua dịch vụ lưu trữ đáng tin cậy cho các trang web có bảo vệ DDoS, máy chủ VPS VDS 🔥 Mua dịch vụ hosting website đáng tin cậy với bảo vệ DDoS, máy chủ VPS VDS | ProHoster