Yeni hizmetler başlattık, trafik arttı, sunucuları değiştirdik, yeni siteler bağladık ve veri merkezlerini yeniden tasarladık; başlangıcını size beş yıl önce tanıttığımız bu hikayeyi şimdi anlatacağız..
Beş yıl, ara sonuçların toplanması için tipik bir zamandır. Bu nedenle, son beş yılda şaşırtıcı derecede ilginç bir gelişme yolundan geçen ve gurur duyduğumuz altyapımızın gelişimi hakkında konuşmaya karar verdik. Uyguladığımız niceliksel değişiklikler niteliksel değişikliklere dönüştü; artık altyapı son on yılın ortasında harika görünen modlarda çalışabiliyor.
PREMIER ve Match TV de dahil olmak üzere, en katı güvenilirlik ve yük gereksinimlerine sahip en karmaşık projelerin yürütülmesini sağlıyoruz. Spor yayınları ve popüler dizilerin galaları terabit/s cinsinden trafik gerektiriyor, bunu kolaylıkla uyguluyoruz ve bu hızlarla çalışmak artık bizim için sıradan hale geldi. Ve beş yıl önce, sistemlerimizde yürütülen en ağır proje, o zamandan beri geliştirilen ve yükleri planlarken dikkate alınması gereken hacimleri ve trafiği artıran Rutube'du.
Altyapımızın donanımını nasıl geliştirdiğimizi konuştuk () ve videoların yüklenmesinden sorumlu bir sistem geliştirdi (), ancak bu metinlerin yazılmasının üzerinden çok zaman geçti, sonuçları modern gereksinimleri karşılamamıza ve yeni görevlere uyum sağlayacak kadar esnek olmamıza olanak tanıyan birçok başka çözüm yaratıldı ve uygulandı.
Ağ çekirdeği Sürekli gelişiyoruz. Bir önceki yazımızda bahsettiğimiz Cisco ekipmanlarına 2015 yılında geçiş yaptık. O zamanlar hala aynı 10/40G'ydi, ancak bariz nedenlerden dolayı, birkaç yıl sonra mevcut şasiyi yükselttiler ve şimdi aktif olarak 25/100G kullanıyoruz.
100G bağlantıları uzun zamandır ne bir lüks (daha doğrusu bu, bizim segmentimizde çağın acil bir gerekliliği) ne de nadir görülen bir durum (giderek daha fazla sayıda operatör bu hızlarda bağlantı sağlıyor). Bununla birlikte, 10/40G geçerliliğini koruyor: Bu bağlantılar aracılığıyla operatörleri az miktarda trafikle bağlamaya devam ediyoruz, bu durumda daha geniş bir bağlantı noktası kullanmanın şu anda uygun olmadığı görülüyor.
Oluşturduğumuz ağ çekirdeği ayrı bir değerlendirmeyi hak ediyor ve biraz sonra ayrı bir makalenin konusu olacak. Orada teknik ayrıntılara gireceğiz ve bunu oluştururken eylemlerimizin mantığını dikkate alacağız. Ama şimdi dikkatiniz sınırsız olmadığı için altyapıyı daha şematik çizmeye devam edeceğiz sevgili okurlar.
Video çıkış sunucuları hızlı bir şekilde gelişiyor ve bunun için çok çaba harcıyoruz. Daha önce her biri iki adet 2G bağlantı noktasına sahip 4-5 ağ kartına sahip 10U sunucuları kullanıyorduk, şimdi trafiğin çoğu, her biri iki adet 1G bağlantı noktasına sahip 2-3 karta sahip 25U sunuculardan gönderiliyor. 10G ve 25G'li kartların maliyeti neredeyse eşit olup, daha hızlı çözümler hem 10G hem de 25G üzerinden iletim yapmanıza olanak tanır. Sonuç bariz tasarruf oldu: daha az sunucu bileşeni ve bağlantı için kablo - daha düşük maliyet (ve daha yüksek güvenilirlik), bileşenler rafta daha az yer kaplıyor - birim alan başına daha fazla sunucu yerleştirmek ve dolayısıyla daha düşük kira maliyetleri mümkün hale geldi.
Ancak daha da önemlisi hızdaki kazançtır! Artık 1U ile 100G'den fazlasını gönderebiliyoruz! Ve bu, bazı büyük Rus projelerinin 40U'dan 2G üretimini "başarı" olarak nitelendirdiği bir durumun arka planında yer alıyor. Sorunlarını isteriz!
Hala yalnızca 10G'de çalışabilen nesil ağ kartlarını kullandığımızı unutmayın. Bu ekipman istikrarlı bir şekilde çalışıyor ve bize çok tanıdık geliyor, bu yüzden onu atmadık, ancak yeni bir kullanım alanı bulduk. Bu bileşenleri, bir veya iki 1G arayüzünün etkili bir şekilde çalışmak için açıkça yeterli olmadığı video depolama sunucularına kurduk; burada 10G kartların uygun olduğu ortaya çıktı.
Depolama sistemleri da büyüyorlar. Son beş yılda on iki diskten (12x HDD 2U) otuz altı diske (36x HDD 4U) geçiş yaptılar. Bazıları bu kadar geniş "karkasları" kullanmaktan korkuyor çünkü böyle bir şasi arızalanırsa üretkenlik ve hatta çalışabilirlik açısından bir tehdit oluşabilir! – tüm sistem için. Ancak bu bizde olmayacak: Verilerin coğrafi olarak dağıtılmış kopyaları düzeyinde yedekleme sağladık. Şasileri farklı veri merkezlerine dağıttık (toplamda XNUMX adet kullanıyoruz) ve bu da hem şasede arıza olması durumunda hem de sahanın düşmesi durumunda sorun yaşanmasını ortadan kaldırıyor.
Elbette bu yaklaşım donanımsal RAID'i gereksiz hale getirdi ve biz de bundan vazgeçtik. Artıklığı ortadan kaldırarak, çözümü basitleştirerek ve olası arıza noktalarından birini ortadan kaldırarak sistem güvenilirliğini aynı anda artırdık. Depolama sistemlerimizin “ev yapımı” olduğunu da hatırlatalım. Bunu oldukça bilinçli olarak yaptık ve sonuçtan tamamen memnun kaldık.
Veri merkezleri Son beş yılda birkaç kez değiştik. Önceki makalenin yazılmasından bu yana yalnızca bir veri merkezini (DataLine) değiştirmedik; geri kalanın altyapımız geliştikçe değiştirilmesi gerekti. Siteler arasındaki tüm transferler planlandı.
İki yıl önce MMTS-9'un içine geçtik, yüksek kaliteli onarımların yapıldığı, iyi bir soğutma sistemine sahip, istikrarlı bir güç kaynağına sahip ve daha önce tüm yüzeylerde kalın tabakalar halinde kalan ve ekipmanımızın iç kısımlarını tıkayan tozun olmadığı bir yere taşındık. . Kaliteli hizmetleri seçin – ve toz yok! – taşınmamızın nedeni oldu.
Neredeyse her zaman “bir hareket iki yangına eşittir” ama göç sırasındaki sorunlar her seferinde farklıdır. Bu kez, tek bir veri merkezi içinde hareket etmenin temel zorluğu optik çapraz bağlantılarla "sağlandı"; telekom operatörleri tarafından tek bir çapraz bağlantıda birleştirilmeksizin katlar arasında çok sayıda bağlantı vardı. Çapraz bağlantıların güncellenmesi ve yeniden yönlendirilmesi süreci (MMTS-9 mühendislerinin bize yardımcı olduğu) belki de geçişin en zor aşamasıydı.
İkinci geçiş bir yıl önce 2019'da gerçekleşti; pek iyi olmayan bir veri merkezinden O2xygen'e geçtik. Hareketin nedenleri yukarıda tartışılanlara benzerdi, ancak orijinal veri merkezinin telekom operatörleri için çekici olmaması sorunu da bunlara eklendi - birçok sağlayıcı bu noktaya kendi başına "yetişmek" zorunda kaldı.
MMTS-13'da 9 rafın yüksek kaliteli bir sahaya taşınması, bu konumun yalnızca bir operatörün konumu (birkaç raf ve operatörlerin "ileri") olarak geliştirilmesini değil, aynı zamanda burayı en iyi operatörlerden biri olarak kullanmayı da mümkün kıldı. ana olanlar. Bu, pek iyi olmayan bir veri merkezinden geçişi bir şekilde basitleştirdi - ekipmanın çoğunu oradan başka bir sahaya taşıdık ve O2xygen'e geliştirme rolü verildi ve oraya ekipmanla birlikte 5 raf gönderildi.
Bugün O2xygen zaten ihtiyacımız olan operatörlerin "geldiği" ve yenilerinin bağlanmaya devam ettiği tam teşekküllü bir platformdur. Operatörler için O2xygen'in stratejik gelişim açısından da cazip olduğu ortaya çıktı.
Taşınmanın ana aşamasını her zaman bir gecede gerçekleştiriyoruz ve MMTS-9 ile O2xygen'e geçiş yaparken de bu kurala uyduk. Raf sayısına bakılmaksızın “bir gecede hareket et” kuralına kesinlikle uyduğumuzu vurguluyoruz! Hatta 20 rafı taşıyıp bunu da bir gecede tamamladığımızın bir örneği vardı. Taşıma, doğruluk ve tutarlılık gerektiren oldukça basit bir süreçtir, ancak burada hem hazırlık sürecinde, hem taşınırken hem de yeni bir konuma dağıtım yaparken bazı püf noktaları vardır. İlgileniyorsanız göç konusunu detaylı olarak konuşmaya hazırız.
Bulgular Beş yıllık kalkınma planlarını seviyoruz. Üç veri merkezine dağıtılan, hataya dayanıklı yeni bir altyapının inşasını tamamladık. Trafik yoğunluğunu keskin bir şekilde artırdık - yakın zamanda 40U ile 80-2G'den memnun olsaydık, artık bizim için norm 100U ile 1G'dir. Artık bir terabitlik trafik bile bizim tarafımızdan sıradan algılanıyor. Esnek ve ölçeklenebilir hale gelen altyapımızı daha da geliştirmeye hazırız.
Soru: Aşağıdaki metinlerde size neleri anlatmalıyım sevgili okuyucular? Neden ev yapımı veri depolama sistemleri oluşturmaya başladığımız hakkında? Ağ çekirdeği ve özellikleri hakkında? Veri merkezleri arasındaki geçişin püf noktaları ve incelikleri hakkında? Bileşenleri seçerek ve parametrelere ince ayar yaparak teslimat kararlarını optimize etmeye ne dersiniz? Üç veri merkezi yapısında uygulanan, veri merkezi içerisinde çoklu yedeklilik ve yatay ölçeklendirme yetenekleri sayesinde sürdürülebilir çözümler yaratmaya ne dersiniz?
Yazar: Petr Vinogradov - Uma.Tech Teknik Direktörü
Kaynak: habr.com