Gününüz xeyir, əziz Xabrovsk sakinləri!
“Kənd superkompüterinin” yığılması haqqında hekayəmi davam etdirmək istərdim. Və bunun niyə belə adlandırıldığını izah edəcəyəm - səbəb sadədir. Mən özüm kənddə yaşayıram. Adı isə internetdə “Moskva Dairəvi yolundan o yana həyat yoxdur!”, “Rus kəndi sərxoş olub, ölür!” deyə qışqıranların kiçik trolluğudur. Beləliklə, haradasa bu doğru ola bilər, amma mən qaydadan istisna olacağam. Mən içki içmirəm, siqaret çəkmirəm, hər “şəhər krakerinin” ödəyə bilməyəcəyi şeylər edirəm. Ancaq gəlin qoyunlarımıza, daha dəqiq desək, məqalənin birinci hissəsinin sonunda artıq “həyat əlamətləri göstərən” serverə qayıdaq.
Lövhə stolun üstündə uzanmışdı, mən BIOS-dan keçdim, onu öz istəyimə uyğunlaşdırdım, sadəlik üçün Ubuntu 16.04 Desktop-dan çıxdım və video kartı "super maşına" qoşmaq qərarına gəldim. Ancaq əlində olan yeganə şey, güclü qeyri-orijinal fan əlavə edilmiş GTS 250 idi. Mən güc düyməsinin yanındakı PCI-E 16x yuvasına quraşdırdım.
“Mən onu bir paket Belomor (c) ilə götürmüşəm” ona görə də fotonun keyfiyyətinə görə məni qınamayın. Mən onlar haqqında yazılanları şərh etməyi üstün tuturam.
Birincisi, məlum oldu ki, bir yuvaya quraşdırıldıqda, hətta qısa bir video kart da lövhəni yaddaş yuvalarına söykəyir, bu halda onu quraşdırmaq mümkün deyil və hətta kilidləri aşağı salmaq lazımdır. İkincisi, video kartın dəmir montaj zolağı güc düyməsini əhatə edir, ona görə də onu çıxarmaq lazım idi. Yeri gəlmişkən, güc düyməsinin özü iki rəngli LED ilə işıqlandırılır, hər şey qaydasında olduqda yaşıl yanır və hər hansı bir problem, qısaqapanma və enerji təchizatı mühafizəsi bağlandıqda və ya +12VSB güc olduqda narıncı yanır. təchizatı çox yüksək və ya çox aşağıdır.
Əslində, bu anakart video kartları "birbaşa" PCI-E 16x yuvalarına daxil etmək üçün nəzərdə tutulmayıb; onların hamısı yükselticilərə bağlıdır. Güc düyməsinin yanındakı yuvalara genişləndirmə kartını quraşdırmaq üçün künc qaldırıcıları, birinci prosessor radiatorunun uzunluğuna qədər qısa kartları quraşdırmaq üçün aşağı bir kart və quraşdırma üçün əlavə +12V güc konnektoru olan yüksək künc var. standart aşağı 1U soyuducudan "yuxarıda" video kartı. Buraya GTX 780, GTX 980, GTX 1080 kimi böyük video kartları və ya xüsusi GPGPU kartları Nvidia Tesla K10-K20-K40 və ya “hesablama kartları” Intel Xeon Phi 5110p və s. daxil ola bilər.
Lakin GPGPU yükselticisində, EdgeSlot-a daxil olan kart, yalnız yüksək künc yükselticisində olduğu kimi eyni bağlayıcı ilə əlavə gücü yenidən birləşdirməklə birbaşa qoşula bilər. Maraqlananlar üçün eBay-də bu çevik yükseltici "Dell PowerEdge C8220X PCI-E GPGPU DJC89" adlanır və təxminən 2.5-3 min rubla başa gəlir. Əlavə enerji təchizatı olan künc qaldırıcıları daha nadirdir və mən onları Whisper vasitəsilə ixtisaslaşmış server hissələri mağazasından almaq üçün danışıqlar aparmalı oldum. Hər biri 7 minə başa gəlir.
Dərhal deyim ki, “riskli uşaqlar (tm)” hətta bir nəfərin “Həmin Forum”da etdiyi kimi, bir cüt GTX 980-ni 16x Çinli çevik yükselticilərlə lövhəyə qoşa bilər; yeri gəlmişkən, çinlilər kifayət qədər şey edir. PCI-E 16x 2.0-də Thermaltek üslubunda işləyən yaxşı sənətkarlıqlar çevik yükselticiler, lakin bu bir gün server lövhəsindəki elektrik dövrələrini yandırmağınıza səbəb olarsa, yalnız özünüzü günahlandıracaqsınız. Mən bahalı avadanlıqları riskə atmadım və bir kartı "birbaşa" birləşdirməyin lövhəni yandırmayacağını düşünərək əlavə gücə və bir Çin çevikinə malik orijinal yükselticilərdən istifadə etdim.
Sonra əlavə gücə qoşulmaq üçün çoxdan gözlənilən bağlayıcılar gəldi və mən EdgeSlot-da yükselticim üçün quyruq düzəltdim. Və eyni bağlayıcı, lakin fərqli bir pinout ilə, ana plata əlavə güc təmin etmək üçün istifadə olunur. Bu birləşdirici eyni EdgeSlot konnektorunun yanındadır, orada maraqlı bir pinout var. Yükselticidə 2 tel +12 və 2 ümumi varsa, lövhədə 3 tel +12 və 1 ümumi var.
Bu, əslində GPGPU yükselticisinə daxil olan eyni GTS 250-dir. Yeri gəlmişkən, yükselticilərə və anakarta əlavə güc verilir - mənim enerji təchizatı CPU-nun ikinci +12V güc konnektorundan. Qərara gəldim ki, bunu etmək daha düzgün olardı.
Nağıl tez danışır, lakin yavaş-yavaş bağlamalar Çindən və dünyanın digər yerlərindən Rusiyaya gəlir. Buna görə də "superkompüter"in yığılmasında böyük boşluqlar var idi. Ancaq nəhayət, passiv radiatoru olan Nvidia Tesla K20M serveri mənə gəldi. Üstəlik, tam sıfırdır, anbardan, orijinal qutusunda, orijinal qablaşdırmada, zəmanət kağızları ilə bağlanır. Və əzab başladı: onu necə soyutmaq olar?
Əvvəlcə İngiltərədən iki kiçik "turbin" olan xüsusi bir soyuducu alındı, burada evdə hazırlanmış karton diffuzor ilə fotoşəkildə var.
Və onların tam bir axmaq olduğu ortaya çıxdı. Çox səs-küy saldılar, montaj heç uyğun gəlmədi, zəif partladılar və elə vibrasiya verdilər ki, komponentlərin Tesla lövhəsindən düşəcəyindən qorxdum! Niyə demək olar ki, dərhal zibil qutusuna atıldılar?
Yeri gəlmişkən, Tesla altındakı fotoda siz Aliexpress-dən alınmış Coolerserver-dən ilbizlə prosessorlarda quraşdırılmış LGA 2011 1U server mis radiatorlarını görə bilərsiniz. Bir az səs-küylü olsa da, çox layiqli soyuducular. Onlar mükəmməl uyğun gəlir.
Amma əslində mən Tesla üçün yeni soyuducu gözləyərkən, bu dəfə Avstraliyadan 1012D çap qurğusu olan böyük BFB3EN ilbizini sifariş etdikdən sonra o, server saxlama sisteminə gəldi. Server lövhəsində 4 SATA və daha 2 SATA konnektorunun çıxışı üçün mini-SAS konnektoru var. Bütün SATA standart 2.0, lakin bu mənə uyğundur.
Çipsetə inteqrasiya olunmuş intel C602 RAID pis deyil və əsas odur ki, o, bir çox ucuz xarici RAID kontrollerlərinin etmədiyi SSD-lər üçün TRIM əmrini atlayır.
eBay-də bir metr uzunluğunda mini-SAS-dan 4 SATA kabelinə, Avito-da isə 5,25 x 4 ″ SAS-SATA üçün 2,5 ″ yuvası olan isti dəyişdirmə arabası aldım. Beləliklə, kabel və səbət gələndə orada 4 terabayt Seagates quraşdırıldı, BIOS-da 5 cihaz üçün RAID4 quruldu, Ubuntu serverini quraşdırmağa başladım... və disk bölmə proqramının mənə icazə verməməsi ilə qarşılaşdım. reyddə dəyişdirmə bölməsi yaratmaq.
Problemi baş-başa həll etdim - DNS-dən ASUS HYPER M.2 x 2 MINI və M.4 SSD Samsung 2 EVO 960 Gb adapter aldım və sistem işləyəcəyi üçün mübadilə üçün maksimum sürət cihazının ayrılması qərarına gəldim. yüksək hesablama yükü ilə və yaddaş hələ də məlumat ölçüsündən açıq-aydın azdır. Və 250 GB yaddaş bu SSD-dən daha bahalı idi.
Aşağı künc yükselticisində quraşdırılmış SSD ilə eyni adapter.
Sualları gözləyin - "Niyə bütün sistemi M.2-də düzəltməyəsiniz və SATA-ya basqının sürətindən daha yüksək bir maksimum giriş sürətinə sahib deyilsiniz?" - cavab verim. Birincisi, 1 TB və ya daha çox M2 SSD mənim üçün çox bahadır. İkincisi, BIOS-u ən son 2.8.1 versiyasına yenilədikdən sonra belə, server hələ də M.2 NVE cihazlarının yüklənməsini dəstəkləmir. Sistemin USB FLASH 64 Gb-a və hər şeyi M.2 SSD-yə təyin etdiyi /yüklədiyi bir təcrübə etdim, lakin bunu bəyənmədim. Baxmayaraq ki, prinsipcə, belə bir birləşmə olduqca işləkdir. Yüksək tutumlu M.2 NVE-lər ucuzlaşarsa, mən bu seçimə qayıda bilərəm, lakin hələlik yaddaş sistemi kimi SATA RAID mənə çox uyğun gəlir.
Disk altsisteminə qərar verəndə və 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “dəyişdirmə” kombinasiyasını təklif edəndə bu, GPU ilə təcrübələrimi davam etdirmək vaxtıdır Mənim artıq Tesla avtomobilim var idi və avstraliyalı soyuducu 2.94V-də 12A qədər yeyən “şər” ilbizlə gəldi, ikinci yuva M.2 tərəfindən tutuldu və üçüncü üçün “təcrübələr üçün” GT 610 götürdüm.
Burada fotoda hər 3 cihaz birləşdirilib və M.2 SSD 3.0 avtobusunda səhvsiz işləyən video kartlar üçün çevik Thermaltech yükselticisi vasitəsilədir. Bu, SATA kabellərinin hazırlandığına bənzər bir çox fərdi "lentlərdən" hazırlanmışdır. Köhnə IDE-SCSI kimi monolit düz kabeldən hazırlanmış PCI-E 16x yükselticiləri fəlakətdir, qarşılıqlı müdaxilə nəticəsində səhvlərdən əziyyət çəkəcəklər. Artıq dediyim kimi, çinlilər də Thermaltek-inkinə bənzər, lakin daha qısa qaldırıcılar hazırlayırlar.
Tesla K20 + GT 610 ilə birlikdə çox şey sınadım, eyni zamanda xarici bir video kartı qoşduqda və çıxışı BIOS-da ona keçirərkən vKVM işləmir ki, bu da həqiqətən olmadı. məni incidir. Hər halda, bu sistemdə xarici videodan istifadə etməyi planlaşdırmadım, Teslas-da heç bir video çıxışı yoxdur və SSH vasitəsilə və X-owls olmadan uzaqdan idarəetmə paneli GUI olmayan bir əmr xəttinin nə olduğunu bir az xatırlayanda əla işləyir. . Lakin IPMI + vKVM uzaq serverlə idarəetmə, yenidən quraşdırma və digər məsələləri xeyli asanlaşdırır.
Ümumiyyətlə, bu lövhənin IPMI əladır. Ayrı bir 100 Mbit port, 10 Gbit portlardan birinə paket inyeksiyasını yenidən konfiqurasiya etmək imkanı, serverlərin güc idarə edilməsi və nəzarəti üçün daxili veb server, vKVM Java müştərisini birbaşa ondan yükləmək və disklərin uzaqdan quraşdırılması üçün müştəri və ya yenidən quraşdırma üçün şəkillər... Yeganə odur ki, müştərilər köhnə Java Oracle ilə eynidir, artıq Linux-da dəstəklənmir və uzaq idarəetmə paneli üçün mən Win XP SP3 ilə noutbuk almalıydım. qədim Qurbağa. Yaxşı, müştəri yavaşdır, idarəetmə paneli və bütün bunlar üçün kifayət qədər var, ancaq uzaqdan oyun oynaya bilməzsiniz, FPS kiçikdir. Və IPMI ilə inteqrasiya olunmuş ASPEED video zəifdir, yalnız VGA.
Serverlə işləmək prosesində mən Dell-dən peşəkar server avadanlıqları sahəsində çox şey öyrəndim və çox şey öyrəndim. Yaxşı xərclənən vaxt və pul kimi heç peşman deyiləm. Çərçivənin bütün server komponentləri ilə əslində yığılması haqqında maarifləndirici hekayə daha sonra davam etdiriləcəkdir.
3-cü hissəyə keçid:
Mənbə: www.habr.com