İyi günler sevgili Habrovsk sakinleri!
Bir "köy süper bilgisayarı" kurmayla ilgili hikayeme devam etmek istiyorum. Neden bu şekilde adlandırıldığını açıklayacağım; nedeni basit. Ben kendim bir köyde yaşıyorum. Ve bu isim internette "Moskova Çevre Yolu'nun ötesinde hayat yok!", "Rus köyü sarhoş oldu ve ölüyor!" diye bağıranların hafif bir trolü. Yani bir yerlerde bu doğru olabilir ama ben bu kuralın istisnası olacağım. İçmiyorum, sigara içmiyorum, her "şehirli krakerin" karşılayamayacağı şeyler yapıyorum. Ancak koyunlarımıza, daha doğrusu, yazının ilk bölümünün sonunda zaten “yaşam belirtileri gösteren” sunucuya dönelim.
Anakart masanın üzerinde yatıyordu, BIOS'a tırmandım, beğenime göre ayarladım, basitlik için Ubuntu 16.04 Masaüstünü kestim ve "süper makineye" bir video kartı bağlamaya karar verdim. Ancak elimizdeki tek şey, orijinal olmayan ağır bir fanın takıldığı bir GTS 250'ydi. Bunu güç düğmesinin yanındaki PCI-E 16x yuvasına taktım.
“Bir paket Belomor (c) ile çektim” bu yüzden lütfen fotoğrafın kalitesi için beni suçlamayın. Onlarda çekilenler hakkında yorum yapmayı tercih ederim.
İlk olarak, kısa bir video kartının bile bir yuvaya takıldığında kartı bellek yuvalarına dayandırdığı ortaya çıktı; bu durumda takılamaz ve hatta mandalların indirilmesi gerekir. İkinci olarak, video kartının demir montaj şeridi güç düğmesini kapatıyor, bu yüzden çıkarılması gerekiyordu. Bu arada, güç düğmesinin kendisi iki renkli bir LED ile aydınlatılıyor; bu LED her şey yolunda olduğunda yeşil renkte yanıyor ve herhangi bir sorun olduğunda, kısa devre olduğunda ve güç kaynağı koruması devreye girdiğinde veya +12VSB gücünde turuncu renkte yanıp sönüyor arz çok yüksek veya çok düşük.
Aslında bu anakart, video kartlarını PCI-E 16x yuvalarına "doğrudan" dahil edecek şekilde tasarlanmamıştır; hepsi yükselticilere bağlıdır. Güç düğmesinin yanındaki yuvalara bir genişletme kartı takmak için köşe yükselticileri, birinci işlemci radyatörünün uzunluğuna kadar kısa kartları takmak için alçak bir yükseltici ve ek +12V güç konnektörünü takmak için yüksek bir köşe yükseltici bulunur. video kartı standart düşük 1U soğutucunun "üstünde". GTX 780, GTX 980, GTX 1080 gibi büyük ekran kartlarını veya Nvidia Tesla K10-K20-K40 özel GPGPU kartlarını veya Intel Xeon Phi 5110p ve benzerlerini "bilgi işlem kartları" içerebilir.
Ancak GPGPU yükselticide, EdgeSlot'ta bulunan kart, yalnızca yüksek köşe yükselticidekiyle aynı konektöre tekrar ek güç bağlanarak doğrudan bağlanabilir. İlgilenenler için eBay'de bu esnek yükselticiye "Dell PowerEdge C8220X PCI-E GPGPU DJC89" adı veriliyor ve maliyeti yaklaşık 2.5-3 bin ruble. Ek güce sahip köşe yükselticiler çok daha nadirdir ve bunları Whisper aracılığıyla özel bir sunucu parçaları mağazasından almak için pazarlık yapmak zorunda kaldım. Tanesi 7 bine mal oldu.
Hemen şunu söyleyeyim, "Riskli adamlar (tm)" bir çift GTX 980'i Çin esnek yükselticilerine sahip 16x anakarta bile bağlayabilir, tıpkı "That Same Forum"da bir kişinin yaptığı gibi; bu arada, Çinliler oldukça başarılılar. Thermaltek esnek yükselticiler tarzında PCI-E 16x 2.0 üzerinde çalışan iyi el sanatları, ancak bu bir gün sunucu anakartındaki güç devrelerini yakmanıza neden olursa, yalnızca kendinizi suçlayacaksınız. Pahalı ekipmanı riske atmadım ve ek güce sahip orijinal yükselticiler ve bir Çin esnek yükselticisi kullandım, bir kartı "doğrudan" bağlamanın anakartı yakmayacağını düşündüm.
Sonra ek güç bağlamak için uzun zamandır beklenen konektörler geldi ve EdgeSlot'taki yükselticim için bir kuyruk yaptım. Ve aynı konektör, ancak farklı bir pin çıkışıyla, anakarta ek güç sağlamak için kullanılır. Bu konektör aynı EdgeSlot konektörünün hemen yanındadır, burada ilginç bir pin yapısı vardır. Yükselticide 2 +12 ve 2 ortak kablo varsa, kartta 3 +12 ve 1 ortak kablo bulunur.
Bu aslında GPGPU yükselticisinde bulunan GTS 250'nin aynısıdır. Bu arada, yükselticilere ve anakarta, güç kaynağımın CPU'sunun ikinci +12V güç konektöründen ek güç sağlanıyor. Bunu yapmanın daha doğru olacağına karar verdim.
Peri masalı kendini hızlı bir şekilde anlatıyor, ancak paketler yavaş yavaş Çin'den ve dünyanın diğer yerlerinden Rusya'ya ulaşıyor. Bu nedenle “süper bilgisayar”ın montajında büyük boşluklar vardı. Ama sonunda pasif radyatörlü Nvidia Tesla K20M sunucusu elime ulaştı. Üstelik kesinlikle sıfır, orijinal kutusunda, mühürlü, orijinal ambalajında, garanti belgeleriyle birlikte. Ve acı başladı: nasıl soğutulur?
İlk olarak İngiltere'den iki küçük "türbinli" özel bir soğutucu satın alındı, işte fotoğrafta, ev yapımı karton difüzörlü.
Ve bunların tamamen saçmalık olduğu ortaya çıktı. Çok fazla ses çıkardılar, montaj parçası hiç oturmuyordu, zayıf bir şekilde patladılar ve o kadar titreşim verdiler ki, bileşenlerin Tesla panosundan düşeceğinden korktum! Neden hemen çöpe atıldılar?
Bu arada Tesla'nın altındaki fotoğrafta, Aliexpress'den satın alınan Coolerserver'dan bir salyangoz ile işlemcilere takılan LGA 2011 1U sunucu bakır radyatörlerini görebilirsiniz. Biraz gürültülü olmasına rağmen çok iyi soğutucular. Mükemmel uyum sağlıyorlar.
Ama aslında Tesla için yeni bir soğutucu beklerken, bu sefer Avustralya'dan 1012D baskılı montajlı büyük bir BFB3EN salyangozu sipariş ettikten sonra sıra sunucu depolama sistemine geldi. Sunucu anakartında, 4 SATA ve 2 SATA konektörünün daha çıktığı bir mini SAS konektörü bulunur. Tüm SATA standardı 2.0 ama bu bana uygun.
Yonga setine entegre edilen Intel C602 RAID fena değil ve asıl önemli olan, birçok ucuz harici RAID denetleyicisinin yapmadığı SSD'ler için TRIM komutunu atlamasıdır.
EBay'den bir metre uzunluğunda mini SAS'tan 4 SATA'ya kablo satın aldım ve Avito'dan 5,25 x 4" SAS-SATA için 2,5" bölmeli, çalışırken değiştirilebilir bir araba satın aldım. Böylece kablo ve sepet geldiğinde, içine 4 terabayt Seagate kuruldu, BIOS'ta 5 cihaz için RAID4 oluşturuldu, Ubuntu sunucusunu kurmaya başladım... ve disk bölümleme programının bana izin vermediği gerçeğiyle karşılaştım Baskında bir takas bölümü oluşturmak için.
Sorunu doğrudan çözdüm - DNS'den ASUS HYPER M.2 x 2 MINI ve M.4 SSD Samsung 2 EVO 960 Gb adaptör satın aldım ve sistem çalışacağından maksimum hızlı cihazın takas için ayrılması gerektiğine karar verdim yüksek hesaplama yüküne sahip ve bellek hala veri boyutundan açıkça daha az. Ve 250 GB bellek bu SSD'den daha pahalıydı.
Alçak köşe yükselticisine takılı bir SSD'ye sahip aynı adaptör.
Şu soruları tahmin ederek: "Neden tüm sistemi M.2 üzerinde yapmıyoruz ve SATA'ya yapılan baskından daha yüksek bir maksimum erişim hızına sahip olmuyoruz?" - Cevaplayacağım. Öncelikle 1 TB ve üzeri M2 SSD'ler bana çok pahalı geliyor. İkinci olarak, BIOS en son sürüm 2.8.1'e güncellendikten sonra bile sunucu M.2 NVE cihazlarının yüklenmesini hala desteklemiyor. Sistemin USB FLASH 64 Gb'ye ve diğer her şeyin M.2 SSD'ye ayarlandığı/önyüklendiği bir deney yaptım ancak hoşuma gitmedi. Prensip olarak böyle bir kombinasyon oldukça uygulanabilir olmasına rağmen. Yüksek kapasiteli M.2 NVE'ler ucuzlarsa bu seçeneğe dönebilirim ama şimdilik depolama sistemi olarak SATA RAID bana oldukça uygun.
Disk alt sistemine karar verdiğimde ve 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “takas” kombinasyonunu bulduğumda bu GPU ile deneylerime devam etme zamanı Zaten bir Tesla'm vardı ve Avustralyalı bir soğutucu, 2.94V'de 12A kadar yiyen "kötü" bir salyangozla geldi, ikinci yuva M.2 tarafından işgal edildi ve üçüncü yuva için "deneyler için" bir GT 610 ödünç aldım.
Fotoğrafta 3 cihazın tamamı bağlı ve M.2 SSD, 3.0 veriyolunda hatasız çalışan video kartları için esnek bir Thermaltech yükseltici aracılığıyla bağlı. Bu, SATA kablolarının yapıldığına benzer birçok ayrı "şeritten" yapılmış gibidir. Eski IDE-SCSI'ler gibi monolitik düz kablodan yapılmış PCI-E 16x yükselticileri bir felakettir, karşılıklı girişim nedeniyle hatalardan muzdarip olacaklardır. Ve daha önce de söylediğim gibi, Çinliler artık Thermaltek'inkine benzer ancak daha kısa yükselticiler de üretiyor.
Tesla K20 + GT 610 ile birlikte birçok şey denedim, aynı zamanda harici bir video kartı bağlayıp BIOS'ta çıkışı ona değiştirirken vKVM'nin çalışmadığını öğrendim ki bu gerçekten işe yaramadı beni üzdü. Neyse, bu sistemde harici video kullanmayı planlamamıştım, Tesla'da video çıkışı yok ve SSH aracılığıyla ve X-owl'lar olmadan uzaktan yönetici paneli, GUI'siz bir komut satırının ne olduğunu biraz hatırladığınızda harika çalışıyor. . Ancak IPMI + vKVM, uzak sunucuyla ilgili yönetimi, yeniden kurulumu ve diğer sorunları büyük ölçüde basitleştirir.
Genel olarak bu anakartın IPMI'sı harika. Ayrı bir 100 Mbit bağlantı noktası, 10 Gbit bağlantı noktalarından birine paket enjeksiyonunu yeniden yapılandırma yeteneği, sunucuların güç yönetimi ve kontrolü için yerleşik bir Web sunucusu, buradan bir vKVM Java istemcisinin doğrudan indirilmesi ve disklerin uzaktan montajı için bir istemci veya yeniden kurulum için görüntüler... Tek şey, istemcilerin artık Linux'ta desteklenmeyen eski Java Oracle ile aynı olması ve uzak yönetici paneli için bununla Win XP SP3 içeren bir dizüstü bilgisayar almak zorunda kaldım. antik Kurbağa. İstemci yavaş, yönetici paneli için yeterli ve tüm bunlar var, ancak uzaktan oyun oynayamazsınız, FPS küçük. Ve IPMI ile entegre olan ASPEED videosu zayıftır, yalnızca VGA'dır.
Sunucuyla ilgilenme sürecinde Dell'den çok şey öğrendim ve profesyonel sunucu donanımı alanında da çok şey öğrendim. İyi harcanan zaman ve paranın yanı sıra hiç de pişman değilim. Çerçevenin tüm sunucu bileşenleriyle birlikte bir araya getirilmesiyle ilgili eğitici hikayeye daha sonra devam edilecektir.
3. bölümün bağlantısı:
Kaynak: habr.com