Bir anahtarın hikayesi

Yerel ağ topluluğumuzda altı çift Arista DCS-7050CX3-32S anahtarımız ve bir çift Brocade VDX 6940-36Q anahtarımız vardı. Bu ağdaki Brocade switchlerden çok fazla zorlanmıyoruz, çalışıyorlar ve işlevlerini yerine getiriyorlar ama bazı eylemlerin tam otomasyonunu hazırlıyorduk ve bu switchlerde bu yeteneklere sahip değildik. Ben de önümüzdeki 40-100 yıl için rezerve etmek amacıyla 2GE arayüzlerinden 3GE kullanma olanağına geçmek istedim. Biz de Brocade'i Arista olarak değiştirmeye karar verdik.

Bu anahtarlar, her veri merkezi için LAN toplama anahtarlarıdır. Dağıtım anahtarları (ikinci toplama düzeyi), halihazırda Raf Üstü yerel ağ anahtarlarını sunucularla birlikte raflarda birleştiren bunlara doğrudan bağlıdır.

Her sunucu bir veya iki erişim anahtarına bağlanır. Erişim anahtarları bir çift dağıtım anahtarına bağlanır (yedeklik için iki dağıtım anahtarı ve erişim anahtarından farklı dağıtım anahtarlarına iki fiziksel bağlantı kullanılır).

Her sunucu kendi istemcisi tarafından kullanılabilir, böylece istemciye ayrı bir VLAN tahsis edilir. Aynı VLAN daha sonra bu istemcinin herhangi bir raftaki başka bir sunucusuna kaydedilir. Veri merkezi bu tür birkaç sıradan (POD) oluşur; her raf sırasının kendi dağıtım anahtarları vardır. Daha sonra bu dağıtım anahtarları toplama anahtarlarına bağlanır.

İstemciler herhangi bir satırda bir sunucu sipariş edebilir; sunucunun belirli bir raftaki belirli bir sıraya tahsis edileceğini veya kurulacağını önceden tahmin etmek imkansızdır, dolayısıyla her veri merkezinde toplama anahtarlarında yaklaşık 2500 VLAN bulunur.

DCI (Veri Merkezi Ara Bağlantısı) ekipmanı toplama anahtarlarına bağlanır. L2 bağlantısı (başka bir veri merkezine VXLAN tüneli oluşturan bir çift anahtar) veya L3 bağlantısı (iki MPLS yönlendiricisi) için tasarlanmış olabilir.

Daha önce yazdığım gibi, ekipman üzerindeki hizmetlerin yapılandırmasını otomatikleştirme süreçlerini tek bir veri merkezinde birleştirmek için merkezi toplama anahtarlarının değiştirilmesi gerekiyordu. Mevcut anahtarların yanına yeni anahtarlar taktık, bunları bir MLAG çifti halinde birleştirdik ve işe hazırlanmaya başladık. Hemen mevcut toplama anahtarlarına bağlandılar, böylece tüm istemci VLAN'larında ortak bir L2 alanına sahip oldular.

Devre ayrıntıları

Ayrıntılar için eski toplama anahtarlarını adlandıralım A1 и A2, yeni - N1 и N2. Bunu hayal edelim BÖLÜM 1 и BÖLÜM 4 bir istemcinin sunucuları barındırılıyor С1,İstemci VLAN'ı mavi renkle gösterilir. Bu istemci başka bir veri merkeziyle L2 bağlantı hizmetini kullanıyor, dolayısıyla VLAN'ı bir çift VXLAN anahtarına besleniyor.

Müşteri С2 sunucuları barındırır BÖLÜM 2 и BÖLÜM 3,İstemci VLAN'ı koyu yeşil renkle gösterilir. Bu istemci ayrıca başka bir veri merkeziyle (L3) bağlantı hizmetini kullanıyor, dolayısıyla VLAN'ı bir çift L3VPN yönlendiricisine besleniyor.

Değiştirme işinin hangi aşamalarında ne olduğunu, iletişim kesintisinin nerede oluştuğunu ve süresinin ne olabileceğini anlamak için istemci VLAN'lara ihtiyacımız var. Bu şemada STP protokolü kullanılmaz, çünkü bu durumda ağacın genişliği büyüktür ve protokolün yakınsaması, cihaz sayısı ve aralarındaki bağlantılarla birlikte katlanarak artar.

Çift bağlantıyla bağlanan tüm cihazlar bir yığın, MLAG çifti veya VCS Ethernet dokusu oluşturur. Bir çift L3VPN yönlendiricisi için L2 yedekliliğine gerek olmadığından bu tür teknolojiler kullanılmaz; toplama anahtarları aracılığıyla birbirlerine L2 bağlantısına sahip olmaları yeterlidir.

Uygulama seçenekleri

Daha sonraki etkinlikler için seçenekleri analiz ederken, bu çalışmayı yürütmenin birkaç yolu olduğunu fark ettik. Yerel ağın tamamında küresel bir kesintiden, ağın bazı kısımlarında kelimenin tam anlamıyla 1-2 saniyelik küçük kesintilere kadar.

Ağ, dur! Anahtarlar, değiştirin!

En kolay yol elbette tüm POD'larda ve tüm DCI hizmetlerinde küresel bir iletişim kesintisi ilan etmek ve anahtarlardaki tüm bağlantıları değiştirmektir. А anahtarlara N.

Zamanını güvenilir bir şekilde tahmin edemediğimiz kesinti dışında (evet, bağlantı sayısını biliyoruz, ancak kırık bir bağlantı kablosundan veya hasarlı konektörden hatalı bir bağlantı noktasına veya alıcı-vericiye kadar bir şeyin kaç kez ters gideceğini bilmiyoruz) ), eski A anahtarlarına bağlı yama kablolarının (DAC, AOC) uzunluğunun, yanlarında durmasına rağmen yine de biraz uzakta olmasına rağmen onları yeni N anahtarlarına ulaştırmak için yeterli olup olmayacağını önceden tahmin edemiyoruz. yan tarafta ve aynı alıcı-vericilerin Brocade anahtarlardan Arista anahtarlara kadar /DAC/AOC çalışıp çalışmadığı.

Ve tüm bunlar müşterilerden ve teknik destekten gelen şiddetli baskı koşulları altında (“Natasha, kalk! Natasha, orada her şey çalışmıyor! Natasha, dürüst olmak gerekirse teknik desteğe zaten yazdık! Natasha, zaten her şeyi bıraktılar) ! Natasha, daha kaç tanesi işe yaramayacak? Natasha, ne zaman işe yarayacak?!"). Önceden duyurulan ara ve müşterilere yapılan bildirimlere rağmen, böyle bir zamanda talep akışı garanti edilmektedir.

Dur, 1-2-3-4!

Peki ya küresel bir kesinti yerine POD ve DCI hizmetleri için bir dizi küçük iletişim kesintisini duyursak? İlk mola sırasında anahtarlara geçin N sadece BÖLÜM 1ikincisinde - birkaç gün içinde - BÖLÜM 2, ardından birkaç gün daha BÖLÜM 3Daha fazla POD 4…[N], ardından VXLAN anahtarları ve ardından L3VPN yönlendiricileri.

Bu iş değiştirme organizasyonuyla, tek seferlik işin karmaşıklığını azaltıyoruz ve bir şeyler aniden ters gittiğinde sorunları çözmek için harcadığımız zamanı artırıyoruz. POD 1, geçişten sonra diğer POD'lara ve DCI'lara bağlı kalır. Ancak işin kendisi uzun bir süre sürüyor; veri merkezindeki bu çalışma sırasında, bir mühendisin fiziksel olarak geçişi gerçekleştirmesi gerekir ve çalışma sırasında (ve bu tür çalışmalar kural olarak gece saat 2'den 5'ye kadar gerçekleştirilir) sabah 2'e kadar), oldukça yüksek düzeyde niteliklere sahip bir çevrimiçi ağ mühendisinin varlığı gereklidir. Ancak daha sonra kısa iletişim kesintileri yaşıyoruz, kural olarak, çalışma 20 dakikaya kadar ara ile yarım saatlik aralıklarla gerçekleştirilebilir (pratikte, ekipmanın beklenen davranışıyla genellikle 30-XNUMX saniye).

Örnek istemcide С1 veya müşteri С2 iletişim kesintisi ile çalışma konusunda en az üç kez uyarmanız gerekecek - ilk kez sunucularından birinin bulunduğu bir POD üzerinde çalışma yapmak için, ikinci kez - ikinci kez ve üçüncü kez - ne zaman DCI hizmetleri için anahtarlama ekipmanı.

Toplu iletişim kanallarını değiştirme

Neden ekipmanın beklenen davranışından ve iletişim kesintisini en aza indirirken toplu kanalların nasıl değiştirilebileceğinden bahsediyoruz? Aşağıdaki resmi hayal edelim:

Bağlantının bir tarafında POD dağıtım anahtarları vardır - D1 и D2birbirleriyle bir MLAG çifti oluştururlar (yığın, VCS fabrikası, vPC çifti), diğer yandan iki bağlantı vardır - 1 bağlantısını bağla и 2 bağlantısını bağla - MLAG eski toplama anahtarları çiftine dahildir А. Anahtar tarafında D adı taşıyan toplu bir arayüz Bağlantı noktası kanalı A, toplama anahtarlarının yanında А - adı içeren toplu arayüz Bağlantı noktası kanalı D.

Birleştirilmiş arayüzler, operasyonlarında LACP'yi kullanır; yani, her iki taraftaki anahtarlar, bağlantıların:

• çalışma;
• uzak taraftaki bir çift cihaza dahildir.

Paket alışverişi yaparken paket değeri taşır sistem kimliği, bu bağlantıların bulunduğu cihazı belirtir. Bir MLAG çifti (yığın, fabrika vb.) için, toplu arayüzü oluşturan cihazların sistem kimliği değeri aynıdır. Anahtar D1 gönderir 1 bağlantısını bağla değer sistem kimliği Dve geçiş yapın D2 gönderir 2 bağlantısını bağla değer sistem kimliği D.

Anahtarlar A1 и A2 bir Po D arayüzü üzerinden alınan LACPDU paketlerini analiz edin ve içlerindeki sistem kimliğinin eşleşip eşleşmediğini kontrol edin. Bir bağlantı yoluyla alınan sistem kimliği aniden farklılaşırsa mevcut çalışma değerinden, daha sonra bu bağlantı, durum düzeltilene kadar toplu arayüzden kaldırılır. Şimdi anahtar tarafımızda D LACP ortağından gelen mevcut sistem kimliği değeri - Ave anahtar tarafında А — LACP ortağından alınan mevcut sistem kimliği değeri — D.

Toplu arayüzü değiştirmemiz gerekirse bunu iki farklı şekilde yapabiliriz:

Yöntem 1 - Basit
A anahtarlarından her iki bağlantıyı da devre dışı bırakın. Bu durumda toplu kanal çalışmaz.

Her iki bağlantıyı da anahtarlara tek tek bağlayın Nardından LACP çalışma parametreleri yeniden görüşülecek ve arayüz oluşturulacak Po D anahtarlarda N ve değerlerin bağlantılarda aktarımı sistem kimliği N.

Yöntem 2 - Kesintiyi en aza indirin
Bağlantı 2'yi A2 anahtarından ayırın. Aynı zamanda aralarındaki trafik А и D toplu arayüzün bir parçası olarak kalacak olan bağlantılardan biri üzerinden iletilmeye devam edecektir.

Bağlantı 2'yi N2 anahtarına bağlayın. Anahtar üzerinde N toplu arayüz zaten yapılandırılmış Po DNve geçiş yapın N2 LACPDU'ya aktarıma başlayacak sistem kimliği N. Bu aşamada anahtarın açık olup olmadığını zaten kontrol edebiliriz. N2 kullanılan alıcı-vericiyle doğru şekilde çalışır 2 bağlantısını bağlabağlantı noktasının duruma girdiğini Upve LACPDU'ları iletirken bağlantı portunda hiçbir hata oluşmamasını sağlayın.

Ama gerçek şu ki, anahtar D2 toplu arayüz için Po A tarafından Bağlantı 2, geçerli işletim sistemi kimliği A değerinden farklı bir sistem kimliği N değeri alır, anahtarlara izin vermiyor D girmek 2 bağlantısını bağla toplu arayüzün bir parçası Po A. Anahtar N giremiyorum 2 bağlantısını bağla anahtarın LACP ortağından çalışabilirlik onayı almadığı için çalışır durumda D2. Sonuçta ortaya çıkan trafik 2 bağlantısını bağla geçemiyorum.

Ve şimdi A1 anahtarından Link 1'i kapatıyoruz.böylece anahtarlardan mahrum kalırsınız А и D çalışma toplu arayüzü. Yani anahtar tarafında D arayüzün mevcut çalışma sistemi kimliği değeri kayboluyor Po A.

Bu, anahtarlara izin verir D и N sistem kimliğini değiştirmeyi kabul ediyorum BİR arayüzlerde Po A и Po DNböylece trafik bağlantı boyunca iletilmeye başlar 2 bağlantısını bağla. Bu durumda mola pratikte 2 saniyeye kadardır.

Artık Bağlantı 1'i N1'e kolayca değiştirebiliriz, kapasitenin ve arayüz yedekliliğinin seviyesinin geri yüklenmesi Po A и Po DN. Bu link bağlandığında her iki tarafta da mevcut sistem-id değeri değişmediğinden herhangi bir kesinti yaşanmaz.

Ek bağlantılar

Ancak geçiş, geçiş sırasında bir mühendisin varlığı olmadan gerçekleştirilebilir. Bunu yapmak için dağıtım anahtarları arasında önceden ek bağlantılar kurmamız gerekecek D ve yeni toplama anahtarları N.

Toplama anahtarları arasında yeni bağlantılar kuruyoruz N ve tüm POD'lar için dağıtım anahtarları. Bu, ek ara kabloların sipariş edilmesini ve döşenmesini ve aşağıdaki gibi ek alıcı-vericilerin kurulmasını gerektirir. Nve D. Bunu yapabiliriz çünkü anahtarlarımızda D Her POD'un boş bağlantı noktaları vardır (ya da bunları önceden serbest bırakırız). Sonuç olarak her bir POD, eski A anahtarlarına ve yeni N anahtarlarına iki bağlantıyla fiziksel olarak bağlanır.

Anahtar üzerinde D iki toplu arayüz oluşturuldu - Po A bağlantılar ile 1 bağlantısını bağla и 2 bağlantısını bağlave PoN - bağlantılarla Bağlantı N1 и Bağlantı N2. Bu aşamada arayüzlerin ve bağlantıların doğru bağlandığını, bağlantıların her iki ucundaki optik sinyal seviyelerini (anahtarlardan gelen DDM bilgileri aracılığıyla) kontrol ediyoruz, hatta bağlantının yük altındaki performansını kontrol edebiliyor veya durumlarını takip edebiliyoruz. birkaç gün boyunca optik sinyaller ve alıcı-verici sıcaklıkları.

Trafik hâlâ arayüz üzerinden gönderiliyor Po Ave arayüz PoN trafik maliyeti yoktur. Arayüzlerdeki ayarlar şuna benzer:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

D anahtarları kural olarak oturum bazlı konfigürasyon değişikliklerini destekler, bu işlevselliğe sahip anahtar modelleri kullanılır. Böylece Po A ve Po N arayüzlerinin ayarlarını tek adımda değiştirebiliriz:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Daha sonra konfigürasyon değişikliği yeterince hızlı gerçekleşecek ve pratikte mola 5 saniyeden fazla olmayacak.

Bu yöntem, tüm hazırlık çalışmalarını önceden tamamlamamıza, gerekli tüm kontrolleri yapmamıza, süreçteki katılımcılarla çalışmayı koordine etmemize, “her şey ters gittiğinde” yaratıcılık uçuşları olmadan iş üretimine yönelik eylemleri ayrıntılı olarak tahmin etmemize olanak tanır. ”ve önceki konfigürasyona geri dönmek için bir planınız var. Bu plana göre çalışma, sahada anahtarlamayı fiziksel olarak gerçekleştiren bir veri merkezi mühendisi bulunmadan bir ağ mühendisi tarafından gerçekleştirilir.

Bu geçiş yönteminde önemli olan, tüm yeni bağlantıların önceden izleniyor olmasıdır. Hatalar, bağlantıların üniteye dahil edilmesi, bağlantıların yüklenmesi - gerekli tüm bilgiler zaten izleme sisteminde bulunmaktadır ve bunlar zaten haritalara çizilmiştir.

Büyük gün

POD

Müşteriler için en az acı veren geçiş yolunu ve ek bağlantılarla "bir şeyler ters gitti" senaryolarına en az yatkın olanı seçtik. Bu yüzden birkaç gece içinde tüm POD'ları yeni toplama anahtarlarına geçirdik.

Ancak geriye kalan tek şey DCI hizmetleri sağlayan ekipmanı değiştirmek.

L2

L2 bağlantısını sağlayan ekipmanlarda ise ek bağlantılar ile benzer çalışmaları gerçekleştiremedik. Bunun en az iki nedeni var:

• VXLAN anahtarlarında gerekli hızda boş bağlantı noktalarının bulunmaması.
• VXLAN anahtarlarında oturum yapılandırmasını değiştirme işlevinin olmaması.

Yeni bir sistem kimliği çifti üzerinde anlaşırken bağlantıları "birer birer" ara vererek değiştirmedik, çünkü prosedürün doğru ilerleyeceğine %100 güvenimiz yoktu ve laboratuvarda yapılan bir test şunu gösterdi: "bir şeyler ters giderse" yine de bağlantı kesintisi yaşarız ve en kötüsü yalnızca diğer veri merkezleriyle L2 bağlantısı olan istemciler için değil, genel olarak bu veri merkezinin tüm istemcileri için olur.

L2 kanallarından geçiş konusunda propaganda çalışmalarını önceden gerçekleştirdik, bu nedenle VXLAN anahtarları üzerindeki çalışmalardan etkilenen istemcilerin sayısı bir yıl öncesine göre zaten birkaç kat daha azdı. Sonuç olarak, yerel ağ hizmetlerinin normal işleyişini tek bir veri merkezinde sürdürmemiz koşuluyla, L2 bağlantı hizmeti üzerinden iletişimi kesmeye karar verdik. Ek olarak, bu hizmete ilişkin SLA, planlı çalışmaların kesintilerle gerçekleştirilmesi olanağını sağlar.

L3

DCI hizmetlerini düzenlerken neden herkesin L3VPN'e geçmesini önerdik? Bunun nedenlerinden biri, iletişimi kesintiye uğratmadan artıklık seviyesini N+0'a düşürerek bu hizmeti sağlayan yönlendiricilerden birinde çalışma yapabilme yeteneğidir.

Hizmet sunum şemasına daha yakından bakalım. Bu hizmette L2 segmenti istemci sunucularından yalnızca L3VPN Selectel yönlendiricilerine gider. İstemci ağı yönlendiricilerde sonlandırılır.

Her istemci sunucusu, ör. S2 и S3 yukarıdaki şemada kendi özel IP adreslerine sahipler - S10.0.0.2 sunucusunda 24/2 и S10.0.0.3 sunucusunda 24/3. Adresler 10.0.0.252/24 и 10.0.0.253/24 Selectel tarafından yönlendiricilere atanan L3VPN-1 и L3VPN-2, sırasıyla. IP adresi 10.0.0.254/24 bir VRRP VIP adresidir Selectel yönlendiricilerinde.

L3VPN hizmeti hakkında daha fazla bilgi edinebilirsiniz okumak blogumuzda.

Geçişten önce her şey yaklaşık olarak şemadaki gibi görünüyordu:

İki yönlendirici L3VPN-1 и L3VPN-2 eski toplama anahtarına bağlıydı А. VRRP VIP adresi 10.0.0.254'ün ana adresi yönlendiricidir L3VPN-1. Bu adres için yönlendiriciden daha yüksek önceliğe sahiptir L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

S2 sunucusu, diğer konumlardaki sunucularla iletişim kurmak için ağ geçidi 10.0.0.254'ü kullanır. Bu nedenle, L3VPN-2 yönlendiricisinin ağla olan bağlantısının kesilmesi (tabii ki ilk önce MPLS etki alanıyla bağlantısı kesilirse) istemcinin sunucularının bağlantısını etkilemez. Bu noktada devrenin artıklık seviyesi basitçe azalır.

Bundan sonra yönlendiriciyi güvenli bir şekilde yeniden bağlayabiliriz L3VPN-2 bir çift anahtara N. Bağlantıları döşeyin, alıcı-vericileri değiştirin. İstemci hizmetlerinin çalışmasının bağlı olduğu yönlendiricinin mantıksal arayüzleri, her şeyin olması gerektiği gibi çalıştığı doğrulanana kadar devre dışı bırakılır.

Arayüzlerdeki bağlantıları, alıcı-vericileri, sinyal seviyelerini ve hata seviyelerini kontrol ettikten sonra yönlendirici devreye alınır, ancak zaten yeni bir anahtar çiftine bağlanmıştır.

Daha sonra, L3VPN-1 yönlendiricisinin VRRP önceliğini düşürüyoruz ve 10.0.0.254 VIP adresi L3VPN-2 yönlendiricisine taşınıyor. Bu çalışmalar aynı zamanda iletişim kesintisi olmadan gerçekleştirilir.

10.0.0.254 VIP adresini yönlendiriciye aktarma L3VPN-2 yönlendiriciyi devre dışı bırakmanıza olanak tanır L3VPN-1 istemcinin iletişimini kesmeden ve onu yeni bir toplama anahtarı çiftine bağlayarak N.

VRRP VIP'nin L3VPN-1 yönlendiricisine iade edilip edilmeyeceği başka bir sorudur ve iade edilse bile bağlantı kesilmeden yapılır.

Toplam

Tüm bu adımlardan sonra aslında veri merkezlerimizden birindeki toplama anahtarlarını değiştirerek müşterilerimiz için kesintiyi en aza indirdik.

Geriye kalan tek şey sökmek. Eski anahtarların sökülmesi, A ve D anahtarları arasındaki eski bağlantıların sökülmesi, alıcı-vericilerin bu bağlantılardan sökülmesi, izlemenin düzeltilmesi, dokümantasyon ve izlemede ağ şemalarının düzeltilmesi.

Başka projelerde veya benzeri başka anahtarlamalarda anahtarlamadan sonra kalan anahtarları, alıcı-vericileri, patch kabloları, AOC, DAC'yi kullanabiliriz.

“Natasha, her şeyi değiştirdik!”

Kaynak: habr.com