Trong hai bài viết đầu tiên, tôi đã nêu ra vấn đề tự động hóa và phác thảo khuôn khổ của nó, trong bài viết thứ hai, tôi chuyển sang lĩnh vực ảo hóa mạng, đây là cách tiếp cận đầu tiên để tự động hóa cấu hình dịch vụ.
Bây giờ là lúc vẽ sơ đồ của mạng vật lý.
Nếu bạn chưa quen với việc thiết lập mạng trung tâm dữ liệu thì tôi thực sự khuyên bạn nên bắt đầu với .
Tất cả các vấn đề:
Các thực tiễn được mô tả trong loạt bài này có thể áp dụng cho mọi loại mạng, mọi quy mô, với mọi nhà cung cấp (không phải). Tuy nhiên, không thể mô tả một ví dụ phổ quát về việc áp dụng các phương pháp này. Vì vậy, tôi sẽ tập trung vào kiến trúc hiện đại của mạng DC: .
Chúng tôi sẽ thực hiện DCI trên MPLS L3VPN.
Mạng Lớp phủ chạy trên mạng vật lý từ máy chủ (đây có thể là VXLAN hoặc Vonfram Fabric của OpenStack hoặc bất kỳ thứ gì khác chỉ yêu cầu kết nối IP cơ bản từ mạng).
Trong trường hợp này, chúng ta có một kịch bản tương đối đơn giản về tự động hóa vì chúng ta có nhiều thiết bị được cấu hình theo cùng một cách.
Ta sẽ chọn một DC hình cầu trong chân không:
- Một phiên bản thiết kế ở khắp mọi nơi.
- Hai nhà cung cấp tạo thành hai mặt phẳng mạng.
- Một DC giống như một DC khác giống như hai hạt đậu trong một cái vỏ.
nội dung
- Cấu trúc liên kết vật lý
- Lộ trình
- gói IP
- Laba
- Kết luận
- Liên kết hữu ích
Ví dụ: hãy để Nhà cung cấp dịch vụ LAN_DC của chúng tôi tổ chức các video đào tạo về cách sống sót trong thang máy bị kẹt.
Ở các siêu đô thị, điều này cực kỳ phổ biến, vì vậy bạn cần rất nhiều máy móc vật lý.
Đầu tiên, tôi sẽ mô tả mạng gần đúng như tôi mong muốn. Và sau đó tôi sẽ đơn giản hóa nó cho phòng thí nghiệm.
Cấu trúc liên kết vật lý
Địa điểm
LAN_DC sẽ có 6 DC:
- Nga (RU):
- Mátxcơva (msk)
- Kazan (kzn)
- Tây ban nha (SP):
- Barcelona (BCN)
- Málaga (mlg)
- Trung Quốc (CN):
- Thượng Hải (sha)
- Tây An (sia)
Bên trong DC (Intra-DC)
Tất cả các DC đều có mạng kết nối nội bộ giống hệt nhau dựa trên cấu trúc liên kết Clos.
Chúng là loại mạng Clos nào và tại sao chúng lại tách biệt .
Mỗi DC có 10 tủ đựng máy, chúng sẽ được đánh số là A, B, C Và như vậy.
Mỗi giá có 30 máy. Họ sẽ không quan tâm đến chúng tôi.
Ngoài ra, trong mỗi giá còn có một công tắc để kết nối tất cả các máy - đây là Công tắc trên cùng của Rack - ToR hay nói cách khác, theo thuật ngữ của nhà máy Clos, chúng ta sẽ gọi nó là Leaf.
Sơ đồ tổng quát của nhà máy.
Chúng tôi sẽ gọi họ XXX-Lá câyYĐâu XXX - viết tắt ba chữ cái DC, và Y - số seri. Ví dụ, kzn-lá11.
Trong các bài viết của mình, tôi sẽ cho phép mình sử dụng các thuật ngữ Lá và ToR một cách khá phù phiếm làm từ đồng nghĩa. Tuy nhiên, chúng ta phải nhớ rằng đây không phải là trường hợp.
ToR là một công tắc được lắp đặt trên giá để kết nối các máy.
Lá là vai trò của một thiết bị trong mạng vật lý hoặc bộ chuyển mạch cấp một về cấu trúc liên kết Cloes.
Tức là Lá != ToR.
Vì vậy, Leaf có thể là một công tắc EndofRaw chẳng hạn.
Tuy nhiên, trong khuôn khổ bài viết này chúng ta vẫn sẽ coi chúng là từ đồng nghĩa.
Mỗi công tắc ToR lần lượt được kết nối với bốn công tắc tổng hợp cấp cao hơn - Gai. Một giá trong DC được phân bổ cho Spines. Chúng tôi sẽ đặt tên cho nó tương tự: XXX-xương sốngY.
Cùng một giá sẽ chứa thiết bị mạng để kết nối giữa các bộ định tuyến DC - 2 có MPLS trên bo mạch. Nhưng nhìn chung, đây là những Điều khoản dịch vụ giống nhau. Nghĩa là, theo quan điểm của Spine switch, ToR thông thường với các máy được kết nối hoặc bộ định tuyến cho DCI hoàn toàn không quan trọng - chỉ là chuyển tiếp.
Các ToR đặc biệt như vậy được gọi là Lá mép. Chúng tôi sẽ gọi họ XXX-cạnhY.
Nó sẽ trông giống thế này.
Trong sơ đồ trên, tôi thực sự đã đặt cạnh và lá ngang nhau. Họ dạy chúng tôi coi liên kết lên (do đó có thuật ngữ này) là liên kết lên. Và ở đây, hóa ra “đường lên” DCI quay trở lại, điều này đối với một số người hơi phá vỡ logic thông thường. Trong trường hợp mạng lớn, khi trung tâm dữ liệu được chia thành các đơn vị nhỏ hơn - POD's (Point Of Delivery), đánh dấu cá nhân Edge-PODdành cho DCI và truy cập vào mạng bên ngoài.
Để dễ nhận biết trong tương lai, tôi vẫn sẽ vẽ Edge trên Spine, đồng thời chúng ta sẽ lưu ý rằng không có trí thông minh nào trên Spine và không có sự khác biệt khi làm việc với Lá thông thường và Lá cạnh (mặc dù có thể có những sắc thái ở đây , nhưng nói chung điều này đúng).
Sơ đồ nhà máy có các cạnh lá.
Bộ ba Lá, Cột sống và Cạnh tạo thành một mạng lưới hoặc nhà máy Underlay.
Nhiệm vụ của một nhà máy mạng (đọc Underlay), như chúng tôi đã xác định trong , rất, rất đơn giản - để cung cấp kết nối IP giữa các máy trong cùng một DC và giữa chúng.
Đó là lý do tại sao mạng được gọi là nhà máy, chẳng hạn như nhà máy chuyển mạch bên trong các hộp mạng mô-đun mà bạn có thể đọc thêm trong .
Nói chung, cấu trúc liên kết như vậy được gọi là nhà máy, vì vải trong bản dịch có nghĩa là vải. Và thật khó để không đồng ý:
Nhà máy hoàn toàn là L3. Không Vlan, không phát sóng - chúng tôi có những lập trình viên tuyệt vời như vậy tại LAN_DC, họ biết cách viết các ứng dụng hoạt động theo mô hình L3 và máy ảo không yêu cầu Di chuyển trực tiếp mà vẫn giữ nguyên địa chỉ IP.
Và một lần nữa: câu trả lời cho câu hỏi tại sao nhà máy và tại sao L3 lại tách biệt .
DCI - Kết nối trung tâm dữ liệu (Inter-DC)
DCI sẽ được tổ chức bằng cách sử dụng Edge-Leaf, tức là chúng là điểm thoát của chúng ta ra đường cao tốc.
Để đơn giản, chúng tôi giả định rằng các DC được kết nối với nhau bằng liên kết trực tiếp.
Chúng ta hãy loại trừ kết nối bên ngoài khỏi việc xem xét.
Tôi biết rằng mỗi khi tôi loại bỏ một thành phần, tôi đã đơn giản hóa mạng lưới một cách đáng kể. Và khi chúng tôi tự động hóa mạng trừu tượng của mình, mọi thứ sẽ ổn, nhưng trên mạng thực sẽ có những chiếc nạng.
Điều này là đúng. Tuy nhiên, mục đích của loạt bài này là suy nghĩ và nghiên cứu các cách tiếp cận chứ không phải giải quyết các vấn đề tưởng tượng một cách anh hùng.
Trên Edge-Leafs, lớp lót được đặt trong VPN và được truyền qua đường trục MPLS (cùng một liên kết trực tiếp).
Đây là sơ đồ cấp cao nhất mà chúng tôi nhận được.
Lộ trình
Để định tuyến trong DC, chúng tôi sẽ sử dụng BGP.
Trên đường trục MPLS OSPF+LDP.
Đối với DCI, tức là tổ chức kết nối ngầm - BGP L3VPN qua MPLS.
Sơ đồ định tuyến chung
Không có OSPF hoặc ISIS (giao thức định tuyến bị cấm ở Liên bang Nga) tại nhà máy.
Điều này có nghĩa là sẽ không có Tự động phát hiện hoặc tính toán các đường đi ngắn nhất - chỉ có thủ công (thực ra là tự động - chúng ta đang nói về tự động hóa ở đây) trong việc thiết lập giao thức, vùng lân cận và chính sách.
Sơ đồ định tuyến BGP trong DC
Tại sao lại là BGP?
Về chủ đề này có được đặt theo tên của Facebook và Arista, hướng dẫn cách xây dựng rất lớn mạng trung tâm dữ liệu sử dụng BGP. Nó gần giống như tiểu thuyết, tôi thực sự khuyên bạn nên đọc nó cho một buổi tối uể oải.
Và trong bài viết của tôi cũng có cả một phần dành riêng cho việc này. Tôi phải đưa bạn đi đâu và .
Tuy nhiên, tóm lại, không có IGP nào phù hợp với mạng của các trung tâm dữ liệu lớn, nơi số lượng thiết bị mạng lên tới hàng nghìn.
Ngoài ra, việc sử dụng BGP ở mọi nơi sẽ cho phép bạn không lãng phí thời gian vào việc hỗ trợ một số giao thức khác nhau và đồng bộ hóa giữa chúng.
Thực lòng, trong nhà máy của chúng tôi, nơi có khả năng cao sẽ không phát triển nhanh chóng, OSPF sẽ đủ cho mắt. Đây thực sự là những vấn đề của megascaler và cloud titans. Nhưng hãy tưởng tượng chỉ với một vài bản phát hành mà chúng ta cần nó và chúng ta sẽ sử dụng BGP, như Pyotr Lapukhov đã để lại.
Chính sách định tuyến
Trên các thiết bị chuyển mạch Lá, chúng tôi nhập tiền tố từ giao diện mạng Underlay vào BGP.
Chúng ta sẽ có một phiên BGP giữa mỗi một cặp Leaf-Spine, trong đó các tiền tố Underlay này sẽ được thông báo qua lại trên mạng.
Trong một trung tâm dữ liệu, chúng tôi sẽ phân phối các thông số kỹ thuật mà chúng tôi đã nhập vào ToRe. Trên Edge-Leafs, chúng tôi sẽ tổng hợp chúng và thông báo chúng tới các DC từ xa và gửi chúng xuống TOR. Nghĩa là, mỗi ToR sẽ biết chính xác cách truy cập ToR khác trong cùng một DC và điểm vào là để đến ToR trong một DC khác.
Trong DCI, các tuyến sẽ được truyền dưới dạng VPNv4. Để làm được điều này, trên Edge-Leaf, giao diện hướng tới nhà máy sẽ được đặt trong một VRF, hãy gọi nó là UNDERLAY, và vùng lân cận với Spine trên Edge-Leaf sẽ tăng lên trong VRF và giữa Edge-Leafs trong VPNv4- gia đình.
Chúng tôi cũng sẽ cấm thông báo lại các tuyến đường nhận được từ các gai trở lại chúng.
Trên Leaf và Spine, chúng tôi sẽ không nhập Loopbacks. Chúng tôi chỉ cần chúng để xác định ID bộ định tuyến.
Nhưng trên Edge-Leafs, chúng tôi nhập nó vào Global BGP. Giữa các địa chỉ Loopback, Edge-Leafs sẽ thiết lập phiên BGP trong họ IPv4 VPN với nhau.
Chúng tôi sẽ có đường trục OSPF+LDP giữa các thiết bị EDGE. Mọi thứ đều ở trong một khu vực. Cấu hình cực kỳ đơn giản.
Đây là hình ảnh với định tuyến.
BGP ASN
ASN Lá Cạnh
Edge-Leafs sẽ có một ASN trong tất cả các DC. Điều quan trọng là có iBGP giữa Edge-Leafs và chúng tôi không bị cuốn vào các sắc thái của eBGP. Đặt nó là 65535. Trên thực tế, đây có thể là số của một AS công khai.
ASN cột sống
Trên Spine, chúng tôi sẽ có một ASN cho mỗi DC. Hãy bắt đầu ở đây với số đầu tiên trong phạm vi AS riêng - 64512, 64513, v.v.
Tại sao ASN trên DC?
Hãy chia câu hỏi này thành hai:
- Tại sao các ASN giống nhau trên tất cả các gai của một DC?
- Tại sao chúng lại khác nhau ở các DC khác nhau?
Tại sao các ASN giống nhau trên tất cả các gai của một DC?
Đây là giao diện của lộ trình AS-Path của Underlay trên Edge-Leaf:
[leafX_ASN, spine_ASN, edge_ASN]
Khi bạn cố gắng quảng cáo nó trở lại Spine, nó sẽ loại bỏ nó vì AS (Spine_AS) của nó đã có trong danh sách.
Tuy nhiên, trong DC, chúng tôi hoàn toàn hài lòng rằng các tuyến Underlay đi lên Edge sẽ không thể đi xuống. Tất cả giao tiếp giữa các máy chủ trong DC phải diễn ra ở cấp độ cột sống.
Đồng thời, các tuyến tổng hợp của các DC khác trong mọi trường hợp sẽ dễ dàng tiếp cận ToR - Đường dẫn AS của chúng sẽ chỉ có ASN 65535 - số lượng AS Edge-Leafs, vì đó là nơi chúng được tạo.
Tại sao chúng lại khác nhau ở các DC khác nhau?
Về mặt lý thuyết, chúng ta có thể cần kéo Loopback và một số máy ảo dịch vụ giữa các DC.
Ví dụ: trên máy chủ, chúng tôi sẽ chạy Route Reflector hoặc (Cổng mạng ảo), sẽ khóa TopR thông qua BGP và thông báo vòng lặp của nó, có thể truy cập được từ tất cả các DC.
Vì vậy, AS-Path của nó sẽ trông như thế này:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Và không được có ASN trùng lặp ở bất kỳ đâu.
Nghĩa là, Spine_DC1 và Spine_DC2 phải khác nhau, giống như leafX_DC1 và leafY_DC2, đó chính xác là những gì chúng ta đang tiếp cận.
Như bạn có thể đã biết, có những cách hack cho phép bạn chấp nhận các tuyến đường có ASN trùng lặp bất chấp cơ chế ngăn chặn vòng lặp (cho phép tham gia trên Cisco). Và nó thậm chí còn có những công dụng hợp pháp. Nhưng đây là một lỗ hổng tiềm tàng về tính ổn định của mạng. Và cá nhân tôi đã rơi vào đó một vài lần.
Và nếu có cơ hội không sử dụng những thứ nguy hiểm thì chúng ta sẽ tận dụng nó.
ASN lá
Chúng tôi sẽ có một ASN riêng trên mỗi bộ chuyển mạch Lá trên toàn mạng.
Chúng tôi làm điều này vì những lý do nêu trên: AS-Path không có vòng lặp, cấu hình BGP không có dấu trang.
Để các tuyến đường giữa các Lá được thông suốt, AS-Path sẽ có dạng như sau:
[leafX_ASN, spine_ASN, leafY_ASN]
trong đó leafX_ASN và leafY_ASN sẽ khác nhau.
Điều này cũng được yêu cầu trong trường hợp có thông báo về vòng lặp VNF giữa các DC:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Chúng tôi sẽ sử dụng ASN 4 byte và tạo nó dựa trên ASN của Spine và số chuyển đổi Lá, cụ thể là như thế này: Cột sống_ASN.0000X.
Đây là hình ảnh với ASN.
gói IP
Về cơ bản, chúng ta cần phân bổ địa chỉ cho các kết nối sau:
- Lót địa chỉ mạng giữa ToR và máy. Chúng phải là duy nhất trong toàn bộ mạng để bất kỳ máy nào cũng có thể giao tiếp với bất kỳ máy nào khác. Phù hợp 10/8. Đối với mỗi giá có /26 có dự trữ. Chúng tôi sẽ phân bổ /19 cho mỗi DC và /17 cho mỗi khu vực.
- Địa chỉ liên kết giữa Leaf/Tor và Spine.
Tôi muốn gán chúng theo thuật toán, tức là tính toán chúng từ tên của các thiết bị cần kết nối.
Hãy để nó là... 169.254.0.0/16.
Cụ thể 169.254.00X.Y/31Đâu X - Số cột sống, Y — Mạng P2P /31.
Điều này sẽ cho phép bạn khởi chạy tối đa 128 giá đỡ và tối đa 10 Spin trong DC. Địa chỉ liên kết có thể (và sẽ) được lặp lại từ DC này sang DC khác. - Chúng tôi tổ chức ngã ba Spine-Edge-Leaf trên các mạng con 169.254.10X.Y/31, ở đâu giống hệt nhau X - Số cột sống, Y — Mạng P2P /31.
- Liên kết địa chỉ từ Edge-Leaf tới đường trục MPLS. Ở đây, tình huống hơi khác - nơi tất cả các mảnh được kết nối thành một chiếc bánh, do đó việc sử dụng lại cùng một địa chỉ sẽ không hiệu quả - bạn cần chọn mạng con miễn phí tiếp theo. Vì vậy, hãy lấy làm cơ sở 192.168.0.0/16 và chúng tôi sẽ lấy ra những cái miễn phí từ nó.
- Địa chỉ vòng lặp. Chúng tôi sẽ cung cấp toàn bộ phạm vi cho họ 172.16.0.0/12.
- Lá - /25 mỗi DC - cùng 128 giá đỡ. Chúng tôi sẽ phân bổ /23 cho mỗi khu vực.
- Cột sống - /28 mỗi DC - tối đa 16 Cột sống. Hãy phân bổ /26 cho mỗi vùng.
- Edge-Leaf - /29 mỗi DC - tối đa 8 hộp. Hãy phân bổ /27 cho mỗi vùng.
Nếu chúng tôi không có đủ phạm vi được phân bổ trong DC (và sẽ không có bất kỳ phạm vi nào - chúng tôi tuyên bố là siêu quy mô), chúng tôi chỉ cần chọn khối tiếp theo.
Đây là hình ảnh có địa chỉ IP.
Vòng lặp:
Tiền tố
Vai trò của thiết bị
Vùng
DC
172.16.0.0/23
cạnh
172.16.0.0/27
ru
172.16.0.0/29
msk
172.16.0.8/29
kzn
172.16.0.32/27
sp
172.16.0.32/29
BCN
172.16.0.40/29
mlg
172.16.0.64/27
cn
172.16.0.64/29
sha
172.16.0.72/29
sia
172.16.2.0/23
gai
172.16.2.0/26
ru
172.16.2.0/28
msk
172.16.2.16/28
kzn
172.16.2.64/26
sp
172.16.2.64/28
BCN
172.16.2.80/28
mlg
172.16.2.128/26
cn
172.16.2.128/28
sha
172.16.2.144/28
sia
172.16.8.0/21
lá
172.16.8.0/23
ru
172.16.8.0/25
msk
172.16.8.128/25
kzn
172.16.10.0/23
sp
172.16.10.0/25
BCN
172.16.10.128/25
mlg
172.16.12.0/23
cn
172.16.12.0/25
sha
172.16.12.128/25
sia
Lớp lót:
Tiền tố
Vùng
DC
10.0.0.0/17
ru
10.0.0.0/19
msk
10.0.32.0/19
kzn
10.0.128.0/17
sp
10.0.128.0/19
BCN
10.0.160.0/19
mlg
10.1.0.0/17
cn
10.1.0.0/19
sha
10.1.32.0/19
sia
Laba
Hai nhà cung cấp. Một mạng. ADSM.
Cây bách xù + Arista. Ubuntu. Chúc Eva già tốt lành.
Lượng tài nguyên trên máy chủ ảo của chúng tôi ở Mirana vẫn còn hạn chế, vì vậy để thực hành, chúng tôi sẽ sử dụng mạng được đơn giản hóa đến mức giới hạn.
Hai trung tâm dữ liệu: Kazan và Barcelona.
- Hai gai mỗi loại: Juniper và Arista.
- Mỗi hình xuyến (Lá) - Juniper và Arista, với một máy chủ được kết nối (hãy sử dụng Cisco IOL nhẹ cho việc này).
- Mỗi nút Edge-Leaf (hiện tại chỉ có Juniper).
- Một thiết bị chuyển mạch của Cisco để thống trị tất cả.
- Ngoài các hộp mạng, một máy điều khiển ảo đang chạy. Chạy Ubuntu.
Nó có quyền truy cập vào tất cả các thiết bị, nó sẽ chạy các hệ thống IPAM/DCIM, một loạt tập lệnh Python, Ansible và bất kỳ thứ gì khác mà chúng ta có thể cần.
của tất cả các thiết bị mạng mà chúng tôi sẽ cố gắng tái tạo bằng cách sử dụng tự động hóa.
Kết luận
Điều đó cũng được chấp nhận phải không? Có nên viết kết luận ngắn gọn dưới mỗi bài viết?
Vì vậy chúng tôi đã chọn Mạng Kloz bên trong DC, vì chúng tôi mong đợi có nhiều lưu lượng truy cập Đông-Tây và muốn có ECMP.
Mạng được chia thành vật lý (lớp phủ) và ảo (lớp phủ). Đồng thời, lớp phủ bắt đầu từ máy chủ - từ đó đơn giản hóa các yêu cầu đối với lớp phủ.
Chúng tôi đã chọn BGP làm giao thức định tuyến cho mạng mạng vì khả năng mở rộng và tính linh hoạt về chính sách của nó.
Chúng ta sẽ có các node riêng biệt để tổ chức DCI - Edge-leaf.
Đường trục sẽ có OSPF+LDP.
DCI sẽ được triển khai dựa trên MPLS L3VPN.
Đối với liên kết P2P, chúng tôi sẽ tính toán địa chỉ IP theo thuật toán dựa trên tên thiết bị.
Chúng tôi sẽ chỉ định các vòng lặp theo vai trò của thiết bị và vị trí của chúng một cách tuần tự.
Tiền tố lót - chỉ trên các công tắc Lá tuần tự dựa trên vị trí của chúng.
Giả sử rằng hiện tại chúng ta chưa lắp đặt thiết bị.
Do đó, các bước tiếp theo của chúng tôi sẽ là thêm chúng vào hệ thống (IPAM, kho lưu trữ), tổ chức quyền truy cập, tạo cấu hình và triển khai nó.
Trong bài viết tiếp theo, chúng ta sẽ giải quyết Netbox - một hệ thống quản lý và kiểm kê không gian IP trong DC.
Cảm ơn
- Andrey Glazkov hay còn gọi là @glazgoo để hiệu đính và chỉnh sửa
- Alexander Klimenko aka @v00lk để hiệu đính và chỉnh sửa
- Artyom Chernobay cho KDPV
Nguồn: www.habr.com