🥇Câu chuyện về một công tắc

Trong tổng hợp mạng cục bộ của chúng tôi, chúng tôi có sáu cặp bộ chuyển mạch Arista DCS-7050CX3-32S và một cặp bộ chuyển mạch Brocade VDX 6940-36Q. Không phải là chúng tôi quá căng thẳng với các công tắc Brocade trong mạng này, chúng hoạt động và thực hiện các chức năng của mình, nhưng chúng tôi đang chuẩn bị tự động hóa hoàn toàn một số hành động và chúng tôi không có những khả năng này trên các công tắc này. Tôi cũng muốn chuyển từ giao diện 40GE sang khả năng sử dụng 100GE để dự trữ cho 2-3 năm tới. Vì vậy chúng tôi quyết định đổi Brocade thành Arista.

Các switch này là các switch tổng hợp mạng LAN cho mỗi trung tâm dữ liệu. Các thiết bị chuyển mạch phân phối (cấp tổng hợp thứ hai) được kết nối trực tiếp với chúng, vốn đã lắp ráp các thiết bị chuyển mạch mạng cục bộ Top-of-Rack trong các giá đỡ với máy chủ.

Mỗi máy chủ được kết nối với một hoặc hai thiết bị chuyển mạch truy cập. Công tắc truy cập được kết nối với một cặp công tắc phân phối (hai công tắc phân phối và hai liên kết vật lý từ công tắc truy cập đến các công tắc phân phối khác nhau được sử dụng để dự phòng).

Mỗi máy chủ có thể được sử dụng bởi máy khách riêng của nó, do đó máy khách được cấp một VLAN riêng. Sau đó, Vlan tương tự sẽ được đăng ký trên một máy chủ khác của máy khách này ở bất kỳ giá nào. Trung tâm dữ liệu bao gồm một số hàng như vậy (POD), mỗi hàng giá đỡ có các công tắc phân phối riêng. Sau đó, các công tắc phân phối này được kết nối với các công tắc tổng hợp.

Khách hàng có thể đặt máy chủ ở hàng bất kỳ, không thể dự đoán trước rằng máy chủ sẽ được phân bổ hoặc cài đặt ở một hàng cụ thể trong một rack cụ thể, đó là lý do tại sao có khoảng 2500 VLAN trên các switch tổng hợp ở mỗi trung tâm dữ liệu.

Thiết bị dành cho DCI (Kết nối trung tâm dữ liệu) được kết nối với các bộ chuyển mạch tổng hợp. Nó có thể dành cho kết nối L2 (một cặp thiết bị chuyển mạch tạo thành đường hầm VXLAN đến một trung tâm dữ liệu khác) hoặc cho kết nối L3 (hai bộ định tuyến MPLS).

Như tôi đã viết, để thống nhất các quy trình tự động hóa cấu hình dịch vụ trên thiết bị trong một trung tâm dữ liệu, cần phải thay thế các bộ chuyển mạch tổng hợp trung tâm. Chúng tôi lắp đặt các công tắc mới bên cạnh những công tắc hiện có, kết hợp chúng thành một cặp MLAG và bắt đầu chuẩn bị cho công việc. Chúng ngay lập tức được kết nối với các thiết bị chuyển mạch tổng hợp hiện có để chúng có miền L2 chung trên tất cả các Vlan máy khách.

Chi tiết mạch

Để biết cụ thể, hãy đặt tên cho các công tắc tổng hợp cũ A1 и A2, mới - N1 и N2. Hãy tưởng tượng rằng trong nhóm 1 и nhóm 4 máy chủ của một khách hàng được lưu trữ С1, VLAN máy khách được biểu thị bằng màu xanh lam. Máy khách này đang sử dụng dịch vụ kết nối L2 với một trung tâm dữ liệu khác, do đó Vlan của nó được cấp tới một cặp bộ chuyển mạch VXLAN.

Khách hàng С2 lưu trữ các máy chủ ở nhóm 2 и nhóm 3,VLAN máy khách được biểu thị bằng màu xanh đậm. Máy khách này cũng sử dụng dịch vụ kết nối với một trung tâm dữ liệu khác, nhưng L3, do đó VLAN của nó được cấp tới một cặp bộ định tuyến L3VPN.

Chúng tôi cần các VLAN máy khách để hiểu điều gì sẽ xảy ra ở giai đoạn nào của công việc thay thế, nơi xảy ra gián đoạn liên lạc và thời lượng của nó có thể là bao lâu. Giao thức STP không được sử dụng trong sơ đồ này, vì chiều rộng của cây trong trường hợp này lớn và độ hội tụ của giao thức tăng theo cấp số nhân với số lượng thiết bị và liên kết giữa chúng.

Tất cả các thiết bị được kết nối bằng liên kết đôi tạo thành một ngăn xếp, cặp MLAG hoặc kết cấu VCS Ethernet. Đối với một cặp bộ định tuyến L3VPN, các công nghệ như vậy không được sử dụng vì không cần dự phòng L2; chỉ cần chúng có kết nối L2 với nhau thông qua các bộ chuyển mạch tổng hợp là đủ.

Tùy chọn triển khai

Khi phân tích các phương án cho các sự kiện tiếp theo, chúng tôi nhận ra rằng có một số cách để thực hiện công việc này. Từ ngắt toàn cầu trên toàn bộ mạng cục bộ đến ngắt nhỏ theo đúng nghĩa đen là 1-2 giây ở các phần của mạng.

Mạng, dừng lại! Công tắc, thay thế chúng!

Tất nhiên, cách dễ nhất là tuyên bố ngắt liên lạc toàn cầu trên tất cả các POD và tất cả các dịch vụ DCI và chuyển đổi tất cả các liên kết từ các thiết bị chuyển mạch. А để chuyển mạch N.

Ngoài sự gián đoạn, thời gian mà chúng tôi không thể dự đoán một cách đáng tin cậy (vâng, chúng tôi biết số lượng liên kết, nhưng chúng tôi không biết sẽ xảy ra sự cố bao nhiêu lần - từ dây vá bị hỏng hoặc đầu nối bị hỏng đến cổng hoặc bộ thu phát bị lỗi ), chúng tôi vẫn chưa thể dự đoán trước được liệu độ dài của các dây patch DAC, AOC nối với các switch A cũ có đủ để tiếp cận chúng với các switch N mới hay không, tuy đứng cạnh nhưng vẫn hơi xa. bên cạnh và liệu các bộ thu phát tương tự có hoạt động /DAC/AOC từ bộ chuyển mạch Brocade sang bộ chuyển mạch Arista hay không.

Và tất cả những điều này trong điều kiện áp lực nặng nề từ khách hàng và bộ phận hỗ trợ kỹ thuật (“Natasha, đứng dậy! Natasha, mọi thứ không ổn ở đó! Natasha, thành thật mà nói, chúng tôi đã viết thư cho bộ phận hỗ trợ kỹ thuật! Natasha, họ đã bỏ mọi thứ rồi ! Natasha, còn bao nhiêu nữa nó sẽ không hoạt động? Natasha, khi nào nó sẽ hoạt động?!"). Ngay cả khi có thời gian nghỉ và thông báo trước cho khách hàng, lượng yêu cầu vào thời điểm đó vẫn được đảm bảo.

Dừng lại, 1-2-3-4!

Điều gì sẽ xảy ra nếu chúng tôi không thông báo tạm dừng toàn cầu mà thay vào đó là một loạt các gián đoạn liên lạc nhỏ đối với các dịch vụ POD và DCI. Trong thời gian nghỉ đầu tiên, hãy chuyển sang công tắc N chỉ nhóm 1, trong lần thứ hai - trong vài ngày nữa - nhóm 2, rồi vài ngày nữa nhóm 3Xa hơn POD 4…[N], sau đó là bộ chuyển mạch VXLAN và sau đó là bộ định tuyến L3VPN.

Với cách tổ chức chuyển đổi công việc này, chúng tôi giảm bớt sự phức tạp của công việc một lần và tăng thời gian giải quyết vấn đề nếu có sự cố bất ngờ xảy ra. POD 1 vẫn được kết nối với các POD và DCI khác sau khi chuyển đổi. Nhưng bản thân công việc kéo dài trong một thời gian dài; trong quá trình làm việc này ở trung tâm dữ liệu, kỹ sư phải thực hiện việc chuyển đổi vật lý và trong khi làm việc (và công việc đó thường được thực hiện vào ban đêm, từ 2 giờ sáng). đến 5 giờ sáng), cần có sự hiện diện của kỹ sư mạng trực tuyến với trình độ chuyên môn khá cao. Nhưng sau đó, chúng tôi nhận được những gián đoạn liên lạc trong thời gian ngắn, theo quy định, công việc có thể được thực hiện trong khoảng thời gian nửa giờ với thời gian nghỉ tối đa 2 phút (trong thực tế, thường là 20-30 giây với hoạt động dự kiến của thiết bị).

Trong ví dụ khách hàng С1 hoặc khách hàng С2 bạn sẽ phải cảnh báo về công việc bị gián đoạn liên lạc ít nhất ba lần - lần đầu tiên thực hiện công việc trên một POD, nơi đặt một trong các máy chủ của nó, lần thứ hai - vào lần thứ hai và lần thứ ba - khi thiết bị chuyển mạch cho các dịch vụ DCI.

Chuyển đổi các kênh truyền thông tổng hợp

Tại sao chúng ta lại nói về hoạt động dự kiến của thiết bị và cách chuyển đổi các kênh tổng hợp trong khi giảm thiểu gián đoạn liên lạc? Hãy tưởng tượng bức tranh sau:

Một bên của liên kết có các công tắc phân phối POD - D1 и D2, chúng tạo thành một cặp MLAG với nhau (ngăn xếp, nhà máy VCS, cặp vPC), mặt khác có hai liên kết - Liên kết 1 и Liên kết 2 - được bao gồm trong cặp công tắc tổng hợp cũ MLAG А. Về phía công tắc D một giao diện tổng hợp với tên Kênh cổng A, về phía các công tắc tổng hợp А - giao diện tổng hợp với tên Kênh cổng D.

Các giao diện tổng hợp sử dụng LACP trong hoạt động của chúng, nghĩa là các bộ chuyển mạch ở cả hai bên thường xuyên trao đổi các gói LACPDU trên cả hai liên kết để đảm bảo rằng các liên kết:

công nhân;
được bao gồm trong một cặp thiết bị ở phía xa.

Khi trao đổi gói, gói mang giá trị id hệ thống, cho biết thiết bị có chứa các liên kết này. Đối với cặp MLAG (ngăn xếp, nhà máy, v.v.), giá trị id hệ thống cho các thiết bị tạo thành giao diện tổng hợp là như nhau. Công tắc D1 gửi tới Liên kết 1 giá trị id hệ thống D, và chuyển đổi D2 gửi tới Liên kết 2 giá trị id hệ thống D.

Công tắc A1 и A2 phân tích các gói LACPDU nhận được qua một giao diện Po D và kiểm tra xem id hệ thống trong chúng có khớp hay không. Nếu id hệ thống nhận được qua một số liên kết đột nhiên khác từ giá trị hoạt động hiện tại, thì liên kết này sẽ bị xóa khỏi giao diện tổng hợp cho đến khi tình huống được khắc phục. Bây giờ về phía chuyển đổi của chúng tôi D giá trị id hệ thống hiện tại từ đối tác LACP - A, và ở phía chuyển đổi А — giá trị id hệ thống hiện tại từ đối tác LACP — D.

Nếu cần chuyển đổi giao diện tổng hợp, chúng ta có thể thực hiện theo hai cách khác nhau:

Cách 1 - Đơn giản
Vô hiệu hóa cả hai liên kết từ switch A. Trong trường hợp này, kênh tổng hợp không hoạt động.

Kết nối cả hai liên kết lần lượt với các công tắc N, khi đó các tham số vận hành LACP sẽ được đàm phán lại và giao diện sẽ được hình thành PoD trên công tắc N và truyền tải các giá trị trên các liên kết id hệ thống N.

Cách 2 - Giảm thiểu gián đoạn
Ngắt kết nối Link 2 khỏi công tắc A2. Đồng thời, lưu lượng giữa А и D sẽ tiếp tục được truyền đơn giản qua một trong các liên kết, liên kết này sẽ vẫn là một phần của giao diện tổng hợp.

Nối Link 2 vào switch N2. Trên công tắc N giao diện tổng hợp đã được định cấu hình Po DN, và chuyển đổi N2 sẽ bắt đầu truyền tới LACPDU id hệ thống N. Ở giai đoạn này chúng ta đã có thể kiểm tra xem công tắc N2 hoạt động chính xác với bộ thu phát được sử dụng cho Liên kết 2, cổng kết nối đã vào trạng thái Upvà không có lỗi nào xảy ra trên cổng kết nối khi truyền LACPDU.

Nhưng thực tế là công tắc D2 cho giao diện tổng hợp Po A từ bên Liên kết 2 nhận được giá trị N id hệ thống khác với giá trị A id hệ điều hành hiện tại, không cho phép chuyển mạch D giới thiệu Liên kết 2 một phần của giao diện tổng hợp Po A. Công tắc N không thể vào Liên kết 2 đi vào hoạt động vì nó không nhận được xác nhận về khả năng hoạt động từ đối tác LACP của switch D2. Lưu lượng truy cập kết quả là Liên kết 2 không vượt qua được.

Và bây giờ chúng ta tắt Link 1 từ switch A1, do đó tước bỏ các công tắc А и D giao diện tổng hợp làm việc. Vì vậy, về phía chuyển đổi D giá trị id hệ thống làm việc hiện tại cho giao diện biến mất Po A.

Điều này cho phép các switch D и N đồng ý trao đổi id hệ thống AN trên giao diện Po A и Po DN, do đó lưu lượng bắt đầu được truyền dọc theo liên kết Liên kết 2. Thời gian nghỉ trong trường hợp này trên thực tế lên tới 2 giây.

Và bây giờ chúng ta có thể dễ dàng chuyển Link 1 sang chuyển N1, khôi phục dung lượng và mức độ dư thừa giao diện Po A и Po DN. Vì khi liên kết này được kết nối, giá trị system-id hiện tại không thay đổi ở hai bên nên không bị gián đoạn.

Liên kết bổ sung

Nhưng việc chuyển đổi có thể được thực hiện mà không cần sự có mặt của kỹ sư tại thời điểm chuyển đổi. Để làm được điều này, trước tiên chúng ta sẽ cần đặt các liên kết bổ sung giữa các thiết bị chuyển mạch phân phối D và các công tắc tổng hợp mới N.

Chúng tôi đang đặt các liên kết mới giữa các thiết bị chuyển mạch tổng hợp N và các thiết bị chuyển mạch phân phối cho tất cả các POD. Điều này đòi hỏi phải đặt hàng và đặt thêm các dây vá cũng như lắp đặt các bộ thu phát bổ sung như trong Nvà trong D. Chúng ta có thể làm điều này bởi vì trong thiết bị chuyển mạch của chúng ta D Mỗi POD đều có cổng miễn phí (hoặc chúng tôi giải phóng trước chúng). Kết quả là, mỗi POD được kết nối vật lý bằng hai liên kết đến các công tắc A cũ và các công tắc N mới.

Trên công tắc D hai giao diện tổng hợp đã được hình thành - Po A với các liên kết Liên kết 1 и Liên kết 2Và Po N - với các liên kết Liên kết N1 и Liên kết N2. Ở giai đoạn này, chúng tôi kiểm tra kết nối chính xác của các giao diện và liên kết, mức tín hiệu quang ở cả hai đầu của liên kết (thông qua thông tin DDM từ các bộ chuyển mạch), chúng tôi thậm chí có thể kiểm tra hiệu suất của liên kết đang tải hoặc theo dõi trạng thái của liên kết. tín hiệu quang học và nhiệt độ máy thu phát trong vài ngày.

Lưu lượng vẫn được gửi qua giao diện Po A, và giao diện Po N không tốn phí giao thông. Các cài đặt trên giao diện giống như thế này:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Các bộ chuyển mạch D, theo quy định, hỗ trợ các thay đổi cấu hình dựa trên phiên; các mô hình chuyển mạch có chức năng này được sử dụng. Vì vậy, chúng ta có thể thay đổi cài đặt của giao diện Po A và Po N trong một bước:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Sau đó, việc thay đổi cấu hình sẽ diễn ra đủ nhanh và trên thực tế, thời gian nghỉ sẽ không quá 5 giây.

Phương pháp này cho phép chúng tôi hoàn thành trước tất cả các công việc chuẩn bị, thực hiện tất cả các kiểm tra cần thiết, điều phối công việc với những người tham gia vào quy trình, dự đoán chi tiết các hành động để sản xuất công việc mà không cần phải sáng tạo khi “mọi thứ diễn ra không như ý muốn”. ,” và có sẵn kế hoạch quay lại cấu hình trước đó. Công việc theo kế hoạch này được thực hiện bởi một kỹ sư mạng mà không có sự hiện diện của kỹ sư trung tâm dữ liệu tại chỗ, người thực hiện việc chuyển đổi.

Điều quan trọng nữa với phương pháp chuyển đổi này là tất cả các liên kết mới đều đã được theo dõi trước. Lỗi, bao gồm các liên kết trong đơn vị, tải liên kết - tất cả thông tin cần thiết đã có trong hệ thống giám sát và điều này đã được vẽ trên bản đồ.

D-Day

POD

Chúng tôi đã chọn con đường chuyển đổi ít gây đau đớn nhất cho khách hàng và ít xảy ra tình huống "đã xảy ra sự cố" nhất với các liên kết bổ sung. Vì vậy, chúng tôi đã chuyển tất cả POD sang các thiết bị chuyển mạch tổng hợp mới trong vài đêm.

Nhưng tất cả những gì còn lại là chuyển đổi thiết bị cung cấp dịch vụ DCI.

L2

Trong trường hợp thiết bị cung cấp kết nối L2, chúng tôi không thể thực hiện công việc tương tự với các liên kết bổ sung. Có ít nhất hai lý do cho việc này:

Thiếu các cổng miễn phí có tốc độ cần thiết trên các thiết bị chuyển mạch VXLAN.
Thiếu chức năng thay đổi cấu hình phiên trên các thiết bị chuyển mạch VXLAN.

Chúng tôi đã không chuyển đổi các liên kết “lần lượt” bằng cách chỉ ngắt trong khi đồng ý về một cặp id hệ thống mới, vì chúng tôi không tin tưởng 100% rằng quy trình sẽ diễn ra chính xác và thử nghiệm trong phòng thí nghiệm đã cho thấy rằng trong Trong trường hợp nếu “có sự cố xảy ra”, chúng tôi vẫn bị gián đoạn kết nối và điều tồi tệ nhất không chỉ xảy ra với những khách hàng có kết nối L2 với các trung tâm dữ liệu khác mà nói chung đối với tất cả khách hàng của trung tâm dữ liệu này.

Chúng tôi đã tiến hành công tác tuyên truyền trước về việc chuyển đổi từ kênh L2, vì vậy số lượng khách hàng bị ảnh hưởng bởi công việc trên các thiết bị chuyển mạch VXLAN đã ít hơn vài lần so với một năm trước. Do đó, chúng tôi quyết định ngừng liên lạc qua dịch vụ kết nối L2 với điều kiện chúng tôi duy trì hoạt động bình thường của các dịch vụ mạng cục bộ trong một trung tâm dữ liệu. Ngoài ra, SLA cho dịch vụ này cung cấp khả năng thực hiện công việc theo lịch trình mà không bị gián đoạn.

L3

Tại sao chúng tôi khuyên mọi người nên chuyển sang L3VPN khi tổ chức các dịch vụ DCI? Một trong những lý do là khả năng thực hiện công việc trên một trong các bộ định tuyến cung cấp dịch vụ này, chỉ cần giảm mức dự phòng xuống N+0 mà không làm gián đoạn liên lạc.

Chúng ta hãy xem xét kỹ hơn về kế hoạch cung cấp dịch vụ. Trong dịch vụ này, phân đoạn L2 chỉ đi từ máy chủ khách đến bộ định tuyến L3VPN Selectel. Mạng khách hàng bị chấm dứt trên bộ định tuyến.

Mỗi máy chủ khách hàng, ví dụ: S2 и S3 trong sơ đồ trên, có địa chỉ IP riêng - 10.0.0.2/24 trên máy chủ S2 и 10.0.0.3/24 trên máy chủ S3. Địa chỉ 10.0.0.252/24 и 10.0.0.253/24 được Selectel gán cho các bộ định tuyến L3VPN-1 и L3VPN-2, tương ứng. địa chỉ IP 10.0.0.254/24 là địa chỉ VIP VRRP trên các bộ định tuyến Selectel.

Bạn có thể tìm hiểu thêm về dịch vụ L3VPN đọc trong blog của chúng tôi.

Trước khi chuyển đổi, mọi thứ trông gần giống như trong sơ đồ:

Hai bộ định tuyến L3VPN-1 и L3VPN-2 đã được kết nối với công tắc tổng hợp cũ А. Master cho địa chỉ VIP VRRP 10.0.0.254 là bộ định tuyến L3VPN-1. Nó có mức độ ưu tiên cao hơn cho địa chỉ này so với bộ định tuyến L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Máy chủ S2 sử dụng cổng 10.0.0.254 để liên lạc với máy chủ ở các vị trí khác. Do đó, việc ngắt kết nối bộ định tuyến L3VPN-2 khỏi mạng (tất nhiên, nếu nó bị ngắt kết nối khỏi miền MPLS lần đầu tiên) không ảnh hưởng đến khả năng kết nối của máy chủ khách hàng. Tại thời điểm này, mức độ dự phòng của mạch đơn giản là giảm đi.

Sau này, chúng ta có thể kết nối lại bộ định tuyến một cách an toàn L3VPN-2 đến một cặp công tắc N. Đặt liên kết, thay đổi bộ thu phát. Các giao diện logic của bộ định tuyến, nơi hoạt động của các dịch vụ máy khách phụ thuộc vào, sẽ bị vô hiệu hóa cho đến khi được xác nhận rằng mọi thứ đều hoạt động như bình thường.

Sau khi kiểm tra các liên kết, bộ thu phát, mức tín hiệu và mức lỗi trên các giao diện, bộ định tuyến được đưa vào hoạt động nhưng đã được kết nối với một cặp công tắc mới.

Tiếp theo, chúng tôi hạ mức ưu tiên VRRP của bộ định tuyến L3VPN-1 và địa chỉ VIP 10.0.0.254 được chuyển sang bộ định tuyến L3VPN-2. Những công việc này cũng được thực hiện mà không bị gián đoạn liên lạc.

Chuyển địa chỉ VIP 10.0.0.254 sang bộ định tuyến L3VPN-2 cho phép bạn vô hiệu hóa bộ định tuyến L3VPN-1 mà không làm gián đoạn liên lạc của máy khách và kết nối nó với một cặp công tắc tổng hợp mới N.

Việc có trả lại VRRP VIP cho bộ định tuyến L3VPN-1 hay không lại là một câu hỏi khác, và ngay cả khi được trả lại, nó vẫn được thực hiện mà không làm gián đoạn kết nối.

trong tổng số

Sau tất cả các bước này, chúng tôi thực sự đã thay thế các công tắc tổng hợp ở một trong các trung tâm dữ liệu của mình, đồng thời giảm thiểu sự gián đoạn cho khách hàng.

Tất cả những gì còn lại là tháo dỡ. Tháo dỡ các thiết bị chuyển mạch cũ, tháo dỡ các liên kết cũ giữa các thiết bị chuyển mạch A và D, tháo dỡ các bộ thu phát khỏi các liên kết này, hiệu chỉnh giám sát, hiệu chỉnh sơ đồ mạng trong tài liệu và giám sát.

Chúng ta có thể sử dụng các switch, bộ thu phát, dây nối, AOC, DAC còn lại sau khi chuyển mạch ở dự án khác hoặc để chuyển mạch tương tự khác.

“Natasha, chúng ta đã thay đổi mọi thứ!”

Nguồn: www.habr.com

Câu chuyện về một công tắc