Chúng tôi đã triển khai các dịch vụ mới, lưu lượng truy cập tăng lên, thay thế máy chủ, kết nối các trang web mới và tu sửa lại trung tâm dữ liệu - và bây giờ chúng tôi sẽ kể câu chuyện này, phần mở đầu mà chúng tôi đã giới thiệu với bạn cách đây XNUMX năm.
Năm năm là khoảng thời gian điển hình để tổng hợp các kết quả tạm thời. Vì vậy, chúng tôi quyết định nói về sự phát triển cơ sở hạ tầng của chúng tôi, cơ sở hạ tầng mà trong XNUMX năm qua đã trải qua một chặng đường phát triển thú vị đến bất ngờ mà chúng tôi tự hào. Những thay đổi về số lượng mà chúng tôi thực hiện đã chuyển sang chất lượng; giờ đây cơ sở hạ tầng có thể hoạt động theo những phương thức tưởng chừng như tuyệt vời vào giữa thập kỷ trước.
Chúng tôi đảm bảo vận hành các dự án phức tạp nhất với các yêu cầu nghiêm ngặt nhất về độ tin cậy và tải trọng, bao gồm PREMIER và Match TV. Các chương trình phát sóng thể thao và buổi ra mắt loạt phim truyền hình nổi tiếng yêu cầu lưu lượng tính bằng terabit/s, chúng tôi dễ dàng thực hiện điều này và thường thì việc làm việc với tốc độ như vậy từ lâu đã trở nên phổ biến đối với chúng tôi. Và XNUMX năm trước, dự án nặng nhất chạy trên hệ thống của chúng tôi là Rutube, kể từ đó đã phát triển, khối lượng và lưu lượng truy cập đã tăng lên, điều này phải được tính đến khi lập kế hoạch tải.
Chúng tôi đã nói về cách chúng tôi phát triển phần cứng của cơ sở hạ tầng () và phát triển một hệ thống chịu trách nhiệm tải video lên (), nhưng đã rất nhiều thời gian trôi qua kể từ khi những văn bản này được viết ra, nhiều giải pháp khác đã được tạo ra và triển khai, kết quả của chúng cho phép chúng ta đáp ứng các yêu cầu hiện đại và đủ linh hoạt để thích ứng với các nhiệm vụ mới.
Lõi mạng Chúng tôi không ngừng phát triển. Chúng tôi đã chuyển sang thiết bị của Cisco vào năm 2015 mà chúng tôi đã đề cập trong bài viết trước. Hồi đó nó vẫn là 10/40G, nhưng vì những lý do hiển nhiên, sau vài năm họ đã nâng cấp khung hiện có và bây giờ chúng tôi chủ động sử dụng 25/100G.
Liên kết 100G từ lâu đã không phải là một điều xa xỉ (đúng hơn, đây là yêu cầu cấp thiết tại thời điểm đó trong phân khúc của chúng tôi), cũng không phải là hiếm (ngày càng có nhiều nhà khai thác cung cấp kết nối ở tốc độ như vậy). Tuy nhiên, 10/40G vẫn phù hợp: thông qua các liên kết này, chúng tôi tiếp tục kết nối các nhà khai thác với một lượng lưu lượng nhỏ, hiện tại việc sử dụng cổng có dung lượng lớn hơn là không phù hợp.
Lõi mạng mà chúng tôi tạo ra xứng đáng được xem xét riêng và sẽ trở thành chủ đề của một bài viết riêng sau đó. Ở đó, chúng tôi sẽ đi sâu vào các chi tiết kỹ thuật và xem xét tính logic của hành động của chúng tôi khi tạo ra nó. Nhưng bây giờ chúng tôi sẽ tiếp tục vẽ cơ sở hạ tầng một cách sơ đồ hơn, vì sự chú ý của bạn, những độc giả thân mến, không phải là vô hạn.
Máy chủ đầu ra video phát triển nhanh chóng, điều mà chúng tôi đã nỗ lực rất nhiều. Nếu trước đây chúng ta chủ yếu sử dụng máy chủ 2U với 4-5 card mạng, mỗi cổng có hai cổng 10G thì hiện nay hầu hết lưu lượng truy cập được gửi từ máy chủ 1U, có 2-3 card mạng, mỗi cổng có hai cổng 25G. Các thẻ có 10G và 25G có chi phí gần như bằng nhau và các giải pháp nhanh hơn cho phép bạn truyền qua cả 10G và 25G. Kết quả là tiết kiệm rõ ràng: ít thành phần máy chủ và cáp kết nối hơn - chi phí thấp hơn (và độ tin cậy cao hơn), các thành phần chiếm ít không gian hơn trong giá đỡ - có thể đặt nhiều máy chủ hơn trên một đơn vị diện tích và do đó, chi phí thuê thấp hơn.
Nhưng quan trọng hơn là đạt được tốc độ! Bây giờ chúng tôi có thể gửi hơn 1G với 100U! Và điều này trái ngược với tình hình mà một số dự án lớn của Nga gọi sản lượng 40G từ 2U là một “thành tích”. Chúng tôi muốn vấn đề của họ!
Lưu ý là chúng ta vẫn sử dụng thế hệ card mạng chỉ hoạt động được trên 10G. Thiết bị này hoạt động ổn định và rất quen thuộc với chúng tôi nên chúng tôi không vứt nó đi mà tìm ra công dụng mới cho nó. Chúng tôi đã cài đặt các thành phần này trong các máy chủ lưu trữ video mà một hoặc hai giao diện 1G rõ ràng là không đủ để hoạt động hiệu quả; ở đây thẻ 10G hóa ra lại có liên quan.
Hệ thống lưu trữ cũng đang phát triển. Trong năm năm qua, họ đã thay đổi từ 12 đĩa (2x HDD 36U) thành 4 đĩa (XNUMXx HDD XNUMXU). Một số người ngại sử dụng những “khung gầm” có sức chứa lớn như vậy, vì nếu một khung gầm như vậy bị hỏng, có thể có mối đe dọa đối với năng suất – hoặc thậm chí là khả năng hoạt động! – cho toàn bộ hệ thống. Nhưng điều này sẽ không xảy ra với chúng tôi: chúng tôi đã cung cấp bản sao lưu ở cấp độ bản sao dữ liệu được phân phối theo địa lý. Chúng tôi đã phân phối khung cho các trung tâm dữ liệu khác nhau - chúng tôi sử dụng tổng cộng ba trung tâm - và điều này giúp loại bỏ khả năng xảy ra sự cố cả trong trường hợp khung bị hỏng và khi trang web bị sập.
Tất nhiên, cách tiếp cận này làm cho RAID phần cứng trở nên dư thừa nên chúng tôi đã loại bỏ. Bằng cách loại bỏ sự dư thừa, chúng tôi đồng thời tăng độ tin cậy của hệ thống bằng cách đơn giản hóa giải pháp và loại bỏ một trong những điểm lỗi tiềm ẩn. Hãy để chúng tôi nhắc bạn rằng hệ thống lưu trữ của chúng tôi là “tự chế”. Chúng tôi đã làm điều này một cách có chủ ý và chúng tôi hoàn toàn hài lòng với kết quả.
Các trung tâm dữ liệu Trong năm năm qua chúng tôi đã thay đổi nhiều lần. Kể từ khi viết bài viết trước, chúng tôi không chỉ thay đổi một trung tâm dữ liệu - DataLine - phần còn lại cần được thay thế khi cơ sở hạ tầng của chúng tôi phát triển. Tất cả việc chuyển giao giữa các địa điểm đã được lên kế hoạch.
Hai năm trước, chúng tôi đã di chuyển vào bên trong MMTS-9, chuyển đến một địa điểm có chất lượng sửa chữa cao, hệ thống làm mát tốt, nguồn điện ổn định và không có bụi, trước đây tạo thành từng lớp dày trên tất cả các bề mặt và cũng làm tắc nghẽn bên trong thiết bị của chúng tôi . Chọn dịch vụ chất lượng – và không có bụi! – đã trở thành lý do cho việc di chuyển của chúng tôi.
Hầu như luôn luôn “một lần di chuyển bằng hai lần cháy”, nhưng các vấn đề trong quá trình di chuyển mỗi lần đều khác nhau. Lần này, khó khăn chính khi di chuyển trong một trung tâm dữ liệu là do các kết nối chéo quang học “gây ra” - sự phong phú của chúng giữa các tầng mà không được các nhà khai thác viễn thông kết hợp thành một kết nối chéo duy nhất. Quá trình cập nhật và định tuyến lại các kết nối chéo (được các kỹ sư MMTS-9 giúp đỡ chúng tôi) có lẽ là giai đoạn di chuyển khó khăn nhất.
Lần di chuyển thứ hai diễn ra cách đây một năm; vào năm 2019, chúng tôi đã chuyển từ một trung tâm dữ liệu không tốt lắm sang O2xygen. Lý do cho việc di chuyển tương tự như những lý do đã thảo luận ở trên, nhưng chúng được bổ sung bởi vấn đề kém hấp dẫn của trung tâm dữ liệu ban đầu đối với các nhà khai thác viễn thông - nhiều nhà cung cấp đã phải tự mình “bắt kịp” đến thời điểm này.
Việc di chuyển 13 giá đỡ đến một địa điểm chất lượng cao trong MMTS-9 giúp có thể phát triển vị trí này không chỉ làm vị trí của nhà điều hành (một vài giá đỡ và “chuyển tiếp” của người vận hành) mà còn sử dụng nó như một trong những những cái chính. Điều này phần nào đã đơn giản hóa quá trình di chuyển từ một trung tâm dữ liệu không tốt lắm - chúng tôi đã vận chuyển hầu hết thiết bị từ đó đến một địa điểm khác và O2xygen được giao vai trò là người phát triển, gửi 5 giá đỡ chứa thiết bị đến đó.
Ngày nay O2xygen đã là một nền tảng chính thức, nơi các nhà khai thác mà chúng ta cần đã “đến” và những nhà khai thác mới tiếp tục kết nối. Đối với các nhà khai thác, O2xygen cũng trở nên hấp dẫn từ quan điểm phát triển chiến lược.
Chúng tôi luôn thực hiện giai đoạn di chuyển chính trong một đêm và khi di chuyển trong MMTS-9 và sang O2xygen, chúng tôi đã tuân thủ quy tắc này. Chúng tôi nhấn mạnh rằng chúng tôi tuân thủ nghiêm ngặt quy tắc “di chuyển qua đêm”, bất kể số lượng giá đỡ! Thậm chí đã có tiền lệ khi chúng tôi di chuyển 20 giá đỡ và hoàn thành việc này chỉ trong một đêm. Di chuyển là một quá trình khá đơn giản, đòi hỏi sự chính xác và nhất quán, nhưng ở đây có một số thủ thuật, cả trong quá trình chuẩn bị, khi di chuyển và khi triển khai đến một vị trí mới. Chúng tôi sẵn sàng nói chuyện chi tiết về việc di chuyển nếu bạn quan tâm.
Những phát hiện Chúng tôi thích kế hoạch phát triển 40 năm. Chúng tôi đã hoàn thành việc xây dựng cơ sở hạ tầng có khả năng chịu lỗi mới được phân bổ trên ba trung tâm dữ liệu. Chúng tôi đã tăng mạnh mật độ lưu lượng truy cập - nếu gần đây chúng tôi hài lòng với 80-2G với 100U thì bây giờ tiêu chuẩn đối với chúng tôi là 1G với XNUMXU. Giờ đây, ngay cả một terabit lưu lượng truy cập cũng được chúng tôi coi là chuyện bình thường. Chúng tôi sẵn sàng phát triển hơn nữa cơ sở hạ tầng của mình, cơ sở hạ tầng này đã trở nên linh hoạt và có thể mở rộng.
Câu hỏi: Tôi nên nói gì với bạn trong các văn bản sau đây, quý độc giả thân mến? Về lý do tại sao chúng tôi bắt đầu tạo hệ thống lưu trữ dữ liệu tự chế? Về lõi mạng và các tính năng của nó? Về những thủ thuật và sự tinh tế trong việc di chuyển giữa các trung tâm dữ liệu? Về việc tối ưu hóa các quyết định phân phối bằng cách chọn các thành phần và tinh chỉnh các thông số? Về việc tạo ra các giải pháp bền vững nhờ nhiều dự phòng và khả năng mở rộng quy mô theo chiều ngang trong một trung tâm dữ liệu, được triển khai theo cấu trúc ba trung tâm dữ liệu?
Tác giả: Petr Vinogradov - Giám đốc kỹ thuật của Uma.Tech
Nguồn: www.habr.com