Hôm nay tôi sẽ kể cho bạn nghe về ý tưởng tạo ra một mạng nội bộ mới cho công ty chúng tôi đã nảy sinh và được thực hiện như thế nào. Quan điểm của ban quản lý là bạn cần thực hiện cùng một dự án chính thức cho chính mình cũng như cho khách hàng. Nếu chúng tôi làm điều đó tốt cho chính mình, chúng tôi có thể mời khách hàng và cho thấy những gì chúng tôi cung cấp cho họ có tác dụng và hiệu quả như thế nào. Do đó, chúng tôi đã tiếp cận việc phát triển khái niệm mạng mới cho văn phòng Moscow một cách rất kỹ lưỡng, sử dụng toàn bộ chu trình sản xuất: phân tích nhu cầu của các bộ phận → lựa chọn giải pháp kỹ thuật → thiết kế → triển khai → thử nghiệm. Vậy hãy bắt đầu.
Lựa chọn giải pháp kỹ thuật: Khu bảo tồn đột biến
Quy trình làm việc trên một hệ thống tự động phức tạp hiện được mô tả tốt nhất trong GOST 34.601-90 “Hệ thống tự động. Các giai đoạn sáng tạo”, nên chúng tôi đã làm việc theo nó. Và đã ở giai đoạn hình thành yêu cầu và phát triển khái niệm, chúng tôi đã gặp phải những khó khăn đầu tiên. Các tổ chức thuộc nhiều danh mục khác nhau - ngân hàng, công ty bảo hiểm, nhà phát triển phần mềm, v.v. - đối với nhiệm vụ và tiêu chuẩn của mình, họ cần một số loại mạng nhất định, các chi tiết cụ thể rõ ràng và được tiêu chuẩn hóa. Tuy nhiên, điều này sẽ không hiệu quả với chúng tôi.
Tại sao?
Jet Infosystems là một công ty CNTT đa ngành lớn. Đồng thời, bộ phận hỗ trợ nội bộ của chúng tôi tuy nhỏ (nhưng đáng tự hào), đảm bảo chức năng của các dịch vụ và hệ thống cơ bản. Công ty có nhiều bộ phận thực hiện các chức năng khác nhau: đây là một số nhóm gia công mạnh mẽ và các nhà phát triển nội bộ hệ thống kinh doanh và bảo mật thông tin cũng như kiến trúc sư của hệ thống máy tính - nói chung, bất kể đó là ai. Theo đó, nhiệm vụ, hệ thống và chính sách bảo mật của chúng cũng khác nhau. Đúng như dự đoán, điều này đã tạo ra những khó khăn trong quá trình phân tích và tiêu chuẩn hóa nhu cầu.
Ví dụ, đây là bộ phận phát triển: nhân viên của bộ phận này viết và kiểm tra mã cho một số lượng lớn khách hàng. Thường cần phải nhanh chóng tổ chức môi trường thử nghiệm, và nói thẳng ra là không phải lúc nào cũng có thể xây dựng yêu cầu cho từng dự án, yêu cầu tài nguyên và xây dựng môi trường thử nghiệm riêng theo đúng mọi quy định nội bộ. Điều này dẫn đến những tình huống gây tò mò: một ngày nọ, người hầu khiêm tốn của bạn nhìn vào phòng của các nhà phát triển và tìm thấy dưới gầm bàn một cụm Hadoop gồm 20 máy tính để bàn đang hoạt động bình thường, được kết nối với một mạng chung một cách không thể giải thích được. Tôi không nghĩ cần phải làm rõ rằng bộ phận CNTT của công ty không biết về sự tồn tại của nó. Hoàn cảnh này, giống như nhiều tình huống khác, là nguyên nhân dẫn đến thực tế là trong quá trình phát triển dự án, thuật ngữ “dự trữ đột biến” đã ra đời, mô tả tình trạng cơ sở hạ tầng văn phòng đã tồn tại lâu dài.
Hoặc đây là một ví dụ khác. Định kỳ, một băng ghế thử nghiệm được thiết lập trong một bộ phận. Đây là trường hợp của Jira và Confluence, được Trung tâm Phát triển Phần mềm sử dụng ở một mức độ hạn chế trong một số dự án. Sau một thời gian, các bộ phận khác biết đến những tài nguyên hữu ích này, đánh giá chúng và vào cuối năm 2018, Jira và Confluence chuyển từ trạng thái “đồ chơi của lập trình viên địa phương” sang trạng thái “tài nguyên của công ty”. Bây giờ chủ sở hữu phải được chỉ định cho các hệ thống này, SLA, chính sách truy cập/bảo mật thông tin, chính sách sao lưu, giám sát, quy tắc định tuyến yêu cầu khắc phục sự cố phải được xác định - nói chung, phải có tất cả các thuộc tính của một hệ thống thông tin chính thức .
Mỗi bộ phận của chúng tôi cũng là một vườn ươm phát triển các sản phẩm của riêng mình. Một số trong số chúng chết ở giai đoạn phát triển, một số chúng tôi sử dụng khi thực hiện các dự án, trong khi một số khác bám rễ và trở thành giải pháp nhân rộng mà chúng tôi bắt đầu sử dụng và bán cho khách hàng. Đối với mỗi hệ thống như vậy, điều mong muốn là có môi trường mạng riêng, nơi nó sẽ phát triển mà không can thiệp vào các hệ thống khác và tại một thời điểm nào đó có thể được tích hợp vào cơ sở hạ tầng của công ty.
Ngoài việc phát triển, chúng tôi còn có một lượng lớn với hơn 500 nhân viên, được thành lập thành các đội cho từng khách hàng. Họ tham gia vào việc duy trì mạng và các hệ thống khác, giám sát từ xa, giải quyết khiếu nại, v.v. Nghĩa là, cơ sở hạ tầng của SC trên thực tế là cơ sở hạ tầng của khách hàng mà họ hiện đang làm việc cùng. Điểm đặc biệt khi làm việc với phần mạng này là các máy trạm của họ đối với công ty chúng tôi một phần ở bên ngoài và một phần là nội bộ. Do đó, đối với SC, chúng tôi đã triển khai phương pháp sau - công ty cung cấp cho bộ phận tương ứng mạng và các tài nguyên khác, coi máy trạm của các bộ phận này là kết nối bên ngoài (bằng cách tương tự với các chi nhánh và người dùng từ xa).
Thiết kế đường cao tốc: chúng tôi là người điều hành (ngạc nhiên)
Sau khi đánh giá tất cả các cạm bẫy, chúng tôi nhận ra rằng chúng tôi đang có mạng lưới của một nhà khai thác viễn thông trong một văn phòng và chúng tôi bắt đầu hành động tương ứng.
Chúng tôi đã tạo ra một mạng lõi với sự trợ giúp của mạng mà bất kỳ người tiêu dùng nội bộ nào và trong tương lai cũng như bên ngoài đều được cung cấp dịch vụ cần thiết: L2 VPN, L3 VPN hoặc định tuyến L3 thông thường. Một số bộ phận cần truy cập Internet an toàn, trong khi những bộ phận khác cần truy cập sạch mà không cần tường lửa, nhưng đồng thời bảo vệ tài nguyên công ty và mạng lõi của chúng ta khỏi lưu lượng truy cập của chúng.
Chúng tôi đã “ký kết SLA” một cách không chính thức với từng bộ phận. Theo đó, mọi sự cố phát sinh phải được loại bỏ trong một khoảng thời gian nhất định đã được thỏa thuận trước. Các yêu cầu của công ty đối với mạng lưới của mình hóa ra rất nghiêm ngặt. Thời gian phản hồi tối đa cho sự cố trong trường hợp điện thoại và email bị lỗi là 5 phút. Thời gian để khôi phục chức năng mạng trong trường hợp xảy ra lỗi thông thường không quá một phút.
Vì chúng tôi có mạng cấp nhà cung cấp dịch vụ nên bạn chỉ có thể kết nối với mạng đó theo các quy tắc nghiêm ngặt. Đơn vị dịch vụ thiết lập chính sách và cung cấp dịch vụ. Họ thậm chí không cần thông tin về kết nối của các máy chủ, máy ảo và máy trạm cụ thể. Nhưng đồng thời, cần có các cơ chế bảo vệ, vì không một kết nối nào có thể vô hiệu hóa mạng. Nếu một vòng lặp vô tình được tạo ra, những người dùng khác sẽ không nhận thấy điều này, tức là cần có phản hồi đầy đủ từ mạng. Bất kỳ nhà khai thác viễn thông nào cũng liên tục giải quyết các vấn đề có vẻ phức tạp tương tự trong mạng lõi của mình. Nó cung cấp dịch vụ cho nhiều khách hàng với nhu cầu và lưu lượng truy cập khác nhau. Đồng thời, những người đăng ký khác nhau sẽ không gặp phải sự bất tiện do lưu lượng truy cập của người khác.
Ở nhà, chúng tôi đã giải quyết vấn đề này theo cách sau: chúng tôi xây dựng mạng L3 đường trục với đầy đủ dự phòng, sử dụng giao thức IS-IS. Mạng lớp phủ được xây dựng trên lõi dựa trên công nghệ /, sử dụng giao thức định tuyến . Để tăng tốc độ hội tụ của các giao thức định tuyến, công nghệ BFD đã được sử dụng.
Cấu trúc mạng
Trong các thử nghiệm, sơ đồ này cho thấy nó rất xuất sắc - khi bất kỳ kênh hoặc bộ chuyển mạch nào bị ngắt kết nối, thời gian hội tụ không quá 0.1-0.2 giây, mất gói tối thiểu (thường là không), phiên TCP không bị rách, các cuộc trò chuyện qua điện thoại không bị gián đoạn.
Lớp lót - Định tuyến
Lớp phủ - Định tuyến
Thiết bị chuyển mạch Huawei CE6870 có giấy phép VXLAN đã được sử dụng làm thiết bị chuyển mạch phân phối. Thiết bị này có tỷ lệ giá/chất lượng tối ưu, cho phép bạn kết nối các thuê bao ở tốc độ 10 Gbit/s và kết nối với đường trục ở tốc độ 40–100 Gbit/s, tùy thuộc vào bộ thu phát được sử dụng.
Thiết bị chuyển mạch Huawei CE6870
Thiết bị chuyển mạch Huawei CE8850 được sử dụng làm thiết bị chuyển mạch lõi. Mục tiêu là truyền tải lưu lượng truy cập một cách nhanh chóng và đáng tin cậy. Không có thiết bị nào được kết nối với chúng ngoại trừ các thiết bị chuyển mạch phân phối, chúng không biết gì về VXLAN, vì vậy một mô hình có 32 cổng 40/100 Gbps đã được chọn, với giấy phép cơ bản cung cấp định tuyến L3 và hỗ trợ cho IS-IS và MP-BGP giao thức .
Phía dưới là switch lõi Huawei CE8850
Ở giai đoạn thiết kế, một cuộc thảo luận đã nổ ra trong nhóm về các công nghệ có thể được sử dụng để triển khai kết nối có khả năng chịu lỗi tới các nút mạng lõi. Văn phòng ở Moscow của chúng tôi nằm trong ba tòa nhà, chúng tôi có 7 phòng phân phối, trong mỗi phòng có hai thiết bị chuyển mạch phân phối Huawei CE6870 (chỉ các công tắc truy cập được lắp đặt trong một số phòng phân phối). Khi phát triển khái niệm mạng, hai phương án dự phòng đã được xem xét:
- Hợp nhất các thiết bị chuyển mạch phân phối thành một ngăn xếp có khả năng chịu lỗi trong mỗi phòng kết nối chéo. Ưu điểm: đơn giản và dễ cài đặt. Nhược điểm: có khả năng xảy ra lỗi toàn bộ ngăn xếp cao hơn khi xảy ra lỗi trong phần sụn của các thiết bị mạng (“rò rỉ bộ nhớ” và những thứ tương tự).
- Áp dụng công nghệ cổng M-LAG và Anycast để kết nối thiết bị với các thiết bị chuyển mạch phân phối.
Cuối cùng, chúng tôi quyết định lựa chọn thứ hai. Nó khó cấu hình hơn một chút, nhưng đã thể hiện trên thực tế hiệu suất và độ tin cậy cao.
Trước tiên chúng ta hãy xem xét việc kết nối các thiết bị đầu cuối với các thiết bị chuyển mạch phân phối:
Đi qua
Bộ chuyển mạch truy cập, máy chủ hoặc bất kỳ thiết bị nào khác yêu cầu kết nối có khả năng chịu lỗi đều được bao gồm trong hai bộ chuyển mạch phân phối. Công nghệ M-LAG cung cấp khả năng dự phòng ở cấp độ liên kết dữ liệu. Giả định rằng hai thiết bị chuyển mạch phân phối xuất hiện trên thiết bị được kết nối dưới dạng một thiết bị. Dự phòng và cân bằng tải được thực hiện bằng giao thức LACP.
Công nghệ cổng Anycast cung cấp khả năng dự phòng ở cấp độ mạng. Một số lượng khá lớn các VRF được cấu hình trên mỗi thiết bị chuyển mạch phân phối (mỗi VRF được thiết kế cho các mục đích riêng của nó - riêng cho người dùng “thông thường”, riêng cho điện thoại, riêng cho các môi trường thử nghiệm và phát triển khác nhau, v.v.) và trong mỗi thiết bị chuyển mạch phân phối. VRF có một số VLAN được cấu hình. Trong mạng của chúng tôi, bộ chuyển mạch phân phối là cổng mặc định cho tất cả các thiết bị được kết nối với chúng. Địa chỉ IP tương ứng với giao diện VLAN giống nhau đối với cả hai thiết bị chuyển mạch phân phối. Lưu lượng được định tuyến thông qua công tắc gần nhất.
Bây giờ hãy xem việc kết nối các switch phân phối với kernel:
Khả năng chịu lỗi được cung cấp ở cấp độ mạng bằng giao thức IS-IS. Xin lưu ý rằng một đường truyền L3 riêng biệt được cung cấp giữa các thiết bị chuyển mạch, ở tốc độ 100G. Về mặt vật lý, đường dây liên lạc này là cáp Truy cập Trực tiếp; nó có thể được nhìn thấy ở bên phải trong ảnh của các thiết bị chuyển mạch Huawei CE6870.
Một giải pháp thay thế là tổ chức cấu trúc liên kết sao đôi được kết nối đầy đủ “trung thực”, nhưng, như đã đề cập ở trên, chúng tôi có 7 phòng kết nối chéo trong ba tòa nhà. Theo đó, nếu chúng ta chọn cấu trúc liên kết “sao đôi”, chúng ta sẽ cần số lượng bộ thu phát 40G “tầm xa” gấp đôi. Khoản tiết kiệm ở đây là rất đáng kể.
Cần phải nói đôi lời về cách các công nghệ cổng VXLAN và Anycast phối hợp với nhau. VXLAN, không đi sâu vào chi tiết, là một đường hầm để vận chuyển các khung Ethernet bên trong các gói UDP. Giao diện loopback của bộ chuyển mạch phân phối được sử dụng làm địa chỉ IP đích của đường hầm VXLAN. Mỗi bộ chuyển mạch chéo có hai bộ chuyển mạch có cùng địa chỉ giao diện loopback, do đó, một gói có thể đến bất kỳ bộ chuyển mạch nào trong số chúng và có thể trích xuất khung Ethernet từ nó.
Nếu switch biết về địa chỉ MAC đích của khung được truy xuất thì khung đó sẽ được gửi chính xác đến đích của nó. Để đảm bảo rằng cả hai bộ chuyển mạch phân phối được cài đặt trong cùng một kết nối chéo đều có thông tin cập nhật về tất cả các địa chỉ MAC “đến” từ các bộ chuyển mạch truy cập, cơ chế M-LAG chịu trách nhiệm đồng bộ hóa các bảng địa chỉ MAC (cũng như ARP). bảng) trên cả hai cặp switch M-LAG.
Cân bằng lưu lượng đạt được nhờ sự hiện diện trong mạng cơ sở của một số tuyến đến giao diện vòng lặp của các thiết bị chuyển mạch phân phối.
Thay vì một kết luận
Như đã đề cập ở trên, trong quá trình thử nghiệm và vận hành, mạng cho thấy độ tin cậy cao (thời gian khôi phục đối với các lỗi thông thường không quá hàng trăm mili giây) và hiệu suất tốt - mỗi kết nối chéo được kết nối với lõi bằng hai kênh 40 Gbit/s. Các bộ chuyển mạch truy cập trong mạng của chúng tôi được xếp chồng lên nhau và kết nối với các bộ chuyển mạch phân phối thông qua LACP/M-LAG với hai kênh 10 Gbit/s. Một ngăn xếp thường chứa 5 bộ chuyển mạch, mỗi bộ có 48 cổng và có tối đa 10 ngăn xếp truy cập được kết nối với phân phối trong mỗi kết nối chéo. Do đó, đường trục cung cấp khoảng 30 Mbit/s cho mỗi người dùng ngay cả ở mức tải lý thuyết tối đa, tại thời điểm viết bài này là đủ cho tất cả các ứng dụng thực tế của chúng ta.
Mạng cho phép bạn tổ chức liền mạch việc ghép nối mọi thiết bị được kết nối tùy ý thông qua cả L2 và L3, cung cấp khả năng cách ly hoàn toàn lưu lượng truy cập (điều mà dịch vụ bảo mật thông tin thích) và các miền lỗi (mà nhóm vận hành thích).
Trong phần tiếp theo, chúng tôi sẽ cho bạn biết cách chúng tôi di chuyển sang mạng mới. Giữ nguyên!
Maxim Klochkov
Chuyên gia tư vấn cấp cao của nhóm kiểm toán mạng và các dự án phức tạp
Trung tâm giải pháp mạng
"Hệ thống thông tin máy bay phản lực"
Nguồn: www.habr.com