Ở hai phần trước (, ), chúng tôi đã xem xét các nguyên tắc xây dựng nhà máy tùy chỉnh mới và nói về sự di chuyển của tất cả các công việc. Bây giờ là lúc nói về nhà máy sản xuất máy chủ.
Trước đây, chúng tôi không có bất kỳ cơ sở hạ tầng máy chủ riêng biệt nào: các bộ chuyển mạch máy chủ được kết nối với cùng lõi với các bộ chuyển mạch phân phối người dùng. Kiểm soát truy cập được thực hiện bằng cách sử dụng mạng ảo (Vlan), việc định tuyến Vlan được thực hiện tại một điểm - trên lõi (theo nguyên tắc ).
Hạ tầng mạng cũ
Đồng thời với mạng lưới văn phòng mới, chúng tôi quyết định xây dựng một phòng máy chủ mới và một nhà máy mới riêng cho nó. Nó hóa ra là nhỏ (ba tủ máy chủ), nhưng tuân thủ tất cả các tiêu chuẩn: một lõi riêng biệt trên các thiết bị chuyển mạch CE8850, cấu trúc liên kết được chia lưới hoàn toàn (lá cột sống), các thiết bị chuyển mạch CE6870 trên cùng của giá đỡ (ToR), một cặp riêng biệt các thiết bị chuyển mạch để giao tiếp với phần còn lại của mạng (các lá viền). Tóm lại là thịt băm hoàn chỉnh.
Mạng lưới nhà máy server mới
Chúng tôi đã quyết định từ bỏ SCS máy chủ để kết nối máy chủ trực tiếp với các thiết bị chuyển mạch ToR. Tại sao? Chúng tôi đã có hai phòng máy chủ được xây dựng bằng SCS máy chủ và chúng tôi nhận ra rằng đây là:
- bất tiện khi sử dụng (nhiều kết nối lại, bạn cần cập nhật cẩn thận nhật ký cáp);
- đắt tiền về không gian chiếm dụng bởi các bảng vá lỗi;
- là trở ngại khi cần tăng tốc độ kết nối của máy chủ (ví dụ chuyển từ kết nối 1 Gbit/s qua cáp đồng sang 10 Gbit/s qua cáp quang).
Khi chuyển đến một nhà máy sản xuất máy chủ mới, chúng tôi đã cố gắng tránh kết nối các máy chủ ở tốc độ 1 Gbit/s và giới hạn ở giao diện 10 Gbit. Hầu như tất cả các máy chủ cũ không thể thực hiện được điều này đều đã được ảo hóa, số còn lại được kết nối qua bộ thu phát gigabit tới cổng 10 gigabit. Chúng tôi đã tính toán và quyết định rằng việc này sẽ rẻ hơn so với việc lắp đặt các bộ chuyển mạch gigabit riêng cho chúng.
Công tắc ToR
Cũng trong phòng máy chủ mới, chúng tôi đã cài đặt các bộ chuyển mạch quản lý ngoài băng tần (OOM) riêng biệt với 24 cổng, mỗi cổng một cổng. Ý tưởng này hóa ra rất hay nhưng chưa có đủ cổng, lần sau chúng ta sẽ cài đặt OOM switch với 48 cổng.
Chúng tôi kết nối các giao diện để quản lý từ xa các máy chủ như iLO hoặc iBMC theo thuật ngữ của Huawei với mạng OOM. Nếu máy chủ bị mất kết nối chính với mạng thì có thể truy cập nó qua giao diện này. Ngoài ra, giao diện điều khiển của công tắc ToR, cảm biến nhiệt độ, giao diện điều khiển UPS và các thiết bị tương tự khác được kết nối với công tắc OOM. Mạng OOM có thể truy cập được thông qua giao diện tường lửa riêng.
Kết nối mạng OOM
Ghép nối mạng máy chủ và người dùng
Trong một nhà máy tùy chỉnh, các VRF riêng biệt được sử dụng cho các mục đích khác nhau - để kết nối các máy trạm của người dùng, hệ thống giám sát video, hệ thống đa phương tiện trong phòng họp, để tổ chức các gian hàng và khu vực demo, v.v.
Một bộ VRF khác đã được tạo trong nhà máy máy chủ:
- Để kết nối các máy chủ thông thường nơi các dịch vụ của công ty được triển khai.
- Một VRF riêng biệt, trong đó các máy chủ có quyền truy cập từ Internet được triển khai.
- Một VRF riêng dành cho các máy chủ cơ sở dữ liệu chỉ được truy cập bởi các máy chủ khác (ví dụ: máy chủ ứng dụng).
- VRF riêng cho hệ thống thư của chúng tôi (MS Exchange + Skype for Business).
Vì vậy, chúng tôi có một bộ VRF ở phía nhà máy người dùng và một bộ VRF ở phía nhà máy máy chủ. Cả hai bộ đều được cài đặt trên cụm tường lửa của công ty (FW). ME được kết nối với các thiết bị chuyển mạch viền (các lá viền) của cả kết cấu máy chủ và kết cấu người dùng.
Giao tiếp các nhà máy thông qua ME - vật lý
Giao tiếp các nhà máy thông qua ME - logic
Cuộc di cư diễn ra như thế nào?
Trong quá trình di chuyển, chúng tôi đã kết nối các nhà máy sản xuất máy chủ mới và cũ ở cấp liên kết dữ liệu, thông qua các đường trục tạm thời. Để di chuyển các máy chủ nằm trong một VLAN cụ thể, chúng tôi đã tạo một miền cầu nối riêng, bao gồm VLAN của nhà máy máy chủ cũ và VXLAN của nhà máy máy chủ mới.
Cấu hình trông giống như thế này, hai dòng cuối cùng là khóa:
bridge-domain 22
vxlan vni 600022
evpn
route-distinguisher 10.xxx.xxx.xxx:60022
vpn-target 6xxxx:60022 export-extcommunity
vpn-target 6xxxx:60022 import-extcommunity
interface Eth-Trunk1
mode lacp-static
dfs-group 1 m-lag 1
interface Eth-Trunk1.1022 mode l2
encapsulation dot1q vid 22
bridge-domain 22
Di chuyển máy ảo
Sau đó, bằng cách sử dụng VMware vMotion, các máy ảo trong VLAN này đã được di chuyển từ các trình ảo hóa cũ (phiên bản 5.5) sang các máy ảo mới (phiên bản 6.5). Đồng thời, các máy chủ phần cứng đã được ảo hóa.
Khi bạn thử lạiĐịnh cấu hình trước MTU và kiểm tra việc truyền các gói lớn “từ đầu đến cuối”.
Trong mạng máy chủ cũ, chúng tôi đã sử dụng tường lửa ảo VMware vShield. Vì VMware không còn hỗ trợ công cụ này nữa nên chúng tôi đã chuyển từ vShield sang tường lửa phần cứng cùng lúc với việc di chuyển sang trang trại ảo mới.
Sau khi không còn máy chủ nào trong một Vlan cụ thể trên mạng cũ, chúng tôi đã chuyển định tuyến. Trước đây, nó được thực hiện trên lõi cũ, được xây dựng bằng công nghệ Collapsed Backbone và trong nhà máy máy chủ mới, chúng tôi đã sử dụng công nghệ Anycast Gateway.
Chuyển đổi định tuyến
Sau khi chuyển đổi định tuyến cho một Vlan cụ thể, nó bị ngắt kết nối khỏi miền cầu nối và bị loại khỏi đường trục giữa mạng cũ và mạng mới, tức là nó được chuyển hoàn toàn đến nhà máy máy chủ mới. Vì vậy, chúng tôi đã di chuyển khoảng 20 Vlan.
Vì vậy, chúng tôi đã tạo một mạng mới, một máy chủ mới và một trang trại ảo hóa mới. Trong một trong những bài viết sau, chúng tôi sẽ nói về những gì chúng tôi đã làm với Wi-Fi.
Maxim Klochkov
Chuyên gia tư vấn cấp cao của nhóm kiểm toán mạng và các dự án phức tạp
Trung tâm giải pháp mạng
"Hệ thống thông tin máy bay phản lực"
Nguồn: www.habr.com