Xayrli kun, aziz Xabrovskliklar!
Men "qishloq superkompyuterini" yig'ish haqidagi hikoyamni davom ettirmoqchiman. Va men nima uchun bunday deb nomlanganini tushuntiraman - sababi oddiy. Men o'zim qishloqda yashayman. Va bu nom Internetda "Moskva halqa yo'lidan tashqarida hayot yo'q!", "Rus qishlog'i mast bo'lib qoldi va yo'q bo'lib ketmoqda!", deb baqirayotganlarning biroz trollingidir. Demak, biror joyda bu haqiqat bo'lishi mumkin, lekin men qoidadan istisno bo'laman. Men ichmayman, chekmayman, har bir "shahar kraker (lar)i" ga qodir bo'lmagan narsalarni qilaman. Ammo keling, qo'ylarimizga, aniqrog'i, maqolaning birinchi qismi oxirida allaqachon "hayot belgilarini ko'rsatgan" serverga qaytaylik.
Kengash stol ustida yotardi, men BIOS-dan o'tib, uni o'zimning xohishimga ko'ra o'rnatdim, soddalik uchun Ubuntu 16.04 ish stolini o'chirib tashladim va video kartani "super mashina" ga ulashga qaror qildim. Ammo qo'l ostidagi yagona narsa GTS 250 edi. Men quvvat tugmasi yonidagi PCI-E 16x uyasiga o'rnatdim.
"Men uni bir paket Belomor (c) bilan oldim", shuning uchun fotosuratning sifati uchun meni ayblamang. Men ularda qo'lga kiritilgan narsalar haqida sharh berishni afzal ko'raman.
Birinchidan, ma'lum bo'lishicha, uyaga o'rnatilganda, hatto qisqa video karta ham platani xotira uyalariga qo'yadi, bu holda uni o'rnatib bo'lmaydi va hatto mandallarni tushirish kerak bo'ladi. Ikkinchidan, video kartaning temir o'rnatish chizig'i quvvat tugmachasini qoplaydi, shuning uchun uni olib tashlash kerak edi. Aytgancha, quvvat tugmasining o'zi ikki rangli LED bilan yoritiladi, u hamma narsa tartibda bo'lganda yashil yonadi va biron bir muammo, qisqa tutashuv va quvvat manbai himoyasi uzilib qolgan yoki +12VSB quvvati bo'lsa, to'q sariq rangda miltillaydi. ta'minot juda yuqori yoki juda past.
Aslida, ushbu anakart video kartalarni "to'g'ridan-to'g'ri" PCI-E 16x uyasiga kiritish uchun mo'ljallanmagan; ularning barchasi ko'targichlarga ulangan. Quvvat tugmasi yonidagi uyalarga kengaytirish kartasini o'rnatish uchun burchak ko'targichlari, birinchi protsessor radiatorining uzunligigacha qisqa kartalarni o'rnatish uchun pasti va yuqori burchakli - qo'shimcha +12V quvvat ulagichi bilan jihozlangan. video karta standart past 1U sovutgichdan "yuqorida". U GTX 780, GTX 980, GTX 1080 yoki maxsus GPGPU kartalari Nvidia Tesla K10-K20-K40 yoki Intel Xeon Phi 5110p va shunga o'xshash "hisoblash kartalari" kabi katta video kartalarni o'z ichiga olishi mumkin.
Ammo GPGPU ko'targichida EdgeSlot-ga kiritilgan karta to'g'ridan-to'g'ri ulanishi mumkin, faqat yuqori burchak ko'targichidagi kabi bir xil ulagich bilan qo'shimcha quvvatni yana ulash orqali. Qiziqqanlar uchun eBay-da bu moslashuvchan ko'taruvchi "Dell PowerEdge C8220X PCI-E GPGPU DJC89" deb nomlanadi va taxminan 2.5-3 ming rublni tashkil qiladi. Qo'shimcha quvvat manbaiga ega burchak ko'targichlar juda kam uchraydi va men ularni Whisper orqali ixtisoslashtirilgan server qismlari do'konidan olish uchun muzokara qilishim kerak edi. Ularning narxi 7 ming.
Men darhol aytaman, "xavfli yigitlar (tm)" hatto bir kishi "O'sha forumda" qilganidek, bir juft GTX 980 ni 16x xitoylik moslashuvchan ko'targichlar bilan plataga ulashi mumkin; Aytgancha, xitoyliklar PCI-E 16x 2.0 da Thermaltek moslashuvchan ko'targichlar uslubida ishlaydigan yaxshi qo'l san'atlari, lekin agar bu bir kun sizni server platasidagi elektr zanjirlarini yoqib yuborishga olib keladigan bo'lsa, faqat o'zingiz aybdor bo'lasiz. Men qimmatbaho uskunani xavf ostiga qo'ymadim va bitta kartani "to'g'ridan-to'g'ri" ulash taxtani yoqib yubormasligini o'ylab, qo'shimcha quvvatga ega va bitta xitoycha moslashuvchan ko'targichlardan foydalandim.
Keyin qo'shimcha quvvatni ulash uchun uzoq kutilgan ulagichlar keldi va men EdgeSlot-da ko'taruvchim uchun quyruq qildim. Va bir xil ulagich, lekin boshqa pinout bilan, anakartga qo'shimcha quvvat berish uchun ishlatiladi. Ushbu ulagich xuddi shu EdgeSlot ulagichining yonida joylashgan bo'lib, u erda qiziqarli pinout mavjud. Agar ko'taruvchida 2 ta sim +12 va 2 ta umumiy bo'lsa, u holda taxtada 3 ta sim +12 va 1 ta umumiy mavjud.
Bu aslida GPGPU ko'taruvchisiga kiritilgan bir xil GTS 250. Aytgancha, ko'targichlar va anakartga qo'shimcha quvvat beriladi - mening quvvat manbai protsessorining ikkinchi +12V quvvat ulagichidan. Men buni qilish to'g'riroq deb qaror qildim.
Ertak o'zini tezda aytib beradi, lekin asta-sekin posilkalar Xitoydan va dunyoning boshqa joylaridan Rossiyaga etib boradi. Shu sababli, "superkompyuter" ni yig'ishda katta bo'shliqlar mavjud edi. Lekin nihoyat menga passiv radiatorli Nvidia Tesla K20M serveri keldi. Bundan tashqari, u asl qutisida, asl o'ramida, kafolat qog'ozlari bilan muhrlangan, saqlashdan mutlaqo nolga teng. Va azob-uqubatlar boshlandi: uni qanday sovutish kerak?
Birinchidan, ikkita kichik "turbinali" maxsus sovutgich Angliyadan sotib olindi, bu erda u fotosuratda, uy qurilishi kartonli diffuzer bilan.
Va ular butunlay ahmoq bo'lib chiqdi. Ular juda ko'p shovqin qilishdi, o'rnatish mos kelmadi, ular zaif pufladi va shunday tebranish berdiki, men komponentlar Tesla taxtasidan tushib ketishidan qo'rqardim! Nega ular deyarli darhol axlatga tashlandi?
Aytgancha, Tesla ostidagi fotosuratda siz Aliexpress-dan sotib olingan Coolerserver-dan salyangoz bilan protsessorlarga o'rnatilgan LGA 2011 1U server mis radiatorlarini ko'rishingiz mumkin. Bir oz shovqinli bo'lsa-da, juda yaxshi sovutgichlar. Ular mukammal darajada mos keladi.
Lekin, aslida, men Tesla uchun yangi sovutgichni kutayotganimda, bu safar Avstraliyadan 1012D bosib chiqarish moslamasi bo'lgan katta BFB3EN salyangoziga buyurtma berib, u serverni saqlash tizimiga keldi. Server platasida mini-SAS ulagichi mavjud bo'lib, u orqali 4 ta SATA va yana 2 ta SATA ulagichlari chiqadi. Barcha SATA standarti 2.0, lekin bu menga mos keladi.
Chipsetga o'rnatilgan intel C602 RAID yomon emas va asosiysi shundaki, u SSD-lar uchun TRIM buyrug'ini o'tkazib yuboradi, ko'plab arzon tashqi RAID kontrollerlari buni qilmaydi.
EBay-da men bir metr uzunlikdagi mini-SAS-dan 4-SATA kabelini sotib oldim va Avito-da men 5,25 x 4 dyuymli SAS-SATA uchun 2,5 dyuymli uyali issiq almashtirish aravasini sotib oldim. Shunday qilib, kabel va savat kelganida, unda 4 terabayt Seagate o'rnatildi, BIOS-da 5 ta qurilma uchun RAID4 o'rnatildi, men Ubuntu serverini o'rnatishni boshladim ... va diskni qismlarga ajratish dasturi menga ruxsat bermaganiga duch keldim. reydda almashtirish bo'limini yaratish uchun.
Men muammoni boshdan-oyoq hal qildim - DNS-dan ASUS HYPER M.2 x 2 MINI va M.4 SSD Samsung 2 EVO 960 Gb adapterini sotib oldim va tizim ishlaydi, chunki almashtirish uchun maksimal tezlikdagi qurilmani ajratish kerak, deb qaror qildim. yuqori hisoblash yukiga ega va xotira hali ham ma'lumotlar hajmidan kamroq ekanligi aniq. Va 250 GB xotira bu SSD-dan qimmatroq edi.
Past burchakli ko'targichga o'rnatilgan SSD bilan bir xil adapter.
Savollarni kutish - "Nima uchun butun tizimni M.2-ga aylantirmasligingiz kerak va maksimal kirish tezligi SATA-dagi reyddan yuqori bo'lishi mumkin?" - Men javob beraman. Birinchidan, 1 TB yoki undan ortiq M2 SSD-lar men uchun juda qimmat. Ikkinchidan, BIOS-ni 2.8.1 so'nggi versiyasiga yangilagandan keyin ham server M.2 NVE qurilmalarini yuklashni qo'llab-quvvatlamaydi. Men tajriba o'tkazdim, unda tizim USB FLASH 64 Gb ga / yuklash va boshqa hamma narsani M.2 SSD ga o'rnatdi, lekin menga yoqmadi. Garchi, printsipial jihatdan, bunday kombinatsiya juda samarali. Agar yuqori sig'imli M.2 NVE'lar arzonlashsa, men bu variantga qaytishim mumkin, ammo hozircha SATA RAID saqlash tizimi sifatida menga juda mos keladi.
Disk quyi tizimiga qaror qilganimda va 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "almashtirish" kombinatsiyasini o'ylab topdim. GPU bilan tajribalarimni davom ettirish vaqti keldi Menda Tesla bor edi va avstraliyalik sovutgich hozirgina 2.94V da 12A ni iste'mol qiladigan "yomon" salyangoz bilan keldi, ikkinchi uyasi M.2 bilan band edi, uchinchisiga esa "tajribalar uchun" GT 610 ni oldim.
Bu erda fotosuratda barcha 3 ta qurilma ulangan va M.2 SSD 3.0 avtobusida xatosiz ishlaydigan video kartalar uchun moslashuvchan Thermaltech ko'taruvchisi orqali. Bu SATA kabellari ishlab chiqarilganlarga o'xshash ko'plab individual "lentalardan" qilingan. Qadimgi IDE-SCSI kabi monolit tekis kabeldan tayyorlangan PCI-E 16x ko'targichlar halokatli bo'lib, ular o'zaro aralashuv tufayli xatolarga yo'l qo'yadilar. Yuqorida aytib o'tganimdek, xitoyliklar endi Thermalteknikiga o'xshash ko'targichlarni ishlab chiqaradilar, ammo qisqaroq.
Tesla K20 + GT 610 bilan birgalikda men juda ko'p narsalarni sinab ko'rdim, shu bilan birga men tashqi video kartani ulashda va BIOS-da chiqishni o'tkazishda vKVM ishlamasligini aniqladim, bu haqiqatan ham ishlamadi. meni xafa qildi. Qanday bo'lmasin, men ushbu tizimda tashqi videodan foydalanishni rejalashtirmagan edim, Teslas-da video chiqishlari yo'q va SSH orqali va X-boyqushlarsiz masofaviy boshqaruv paneli GUIsiz buyruq qatori nima ekanligini bir oz eslab qolsangiz, ajoyib ishlaydi. . Ammo IPMI + vKVM masofaviy server bilan boshqarish, qayta o'rnatish va boshqa muammolarni sezilarli darajada osonlashtiradi.
Umuman olganda, ushbu kengashning IPMI juda yaxshi. Alohida 100 Mbit port, 10 Gbit portlardan biriga paketni kiritishni qayta sozlash imkoniyati, quvvatni boshqarish va serverlarni boshqarish uchun o'rnatilgan veb-server, undan to'g'ridan-to'g'ri vKVM Java mijozini yuklab olish va disklarni masofadan o'rnatish uchun mijoz yoki qayta o'rnatish uchun tasvirlar... Bitta narsa shundaki, mijozlar eski Java Oracle bilan bir xil bo'lib, endi Linuxda qo'llab-quvvatlanmaydi va masofaviy boshqaruv paneli uchun men Win XP SP3 bilan noutbukni olishim kerak edi. qadimgi Toad. Xo'sh, mijoz sekin, administrator paneli va bularning barchasi uchun etarli, lekin siz masofadan turib o'yin o'ynay olmaysiz, FPS kichik. Va IPMI bilan birlashtirilgan ASPEED video zaif, faqat VGA.
Server bilan ishlash jarayonida men ko'p narsalarni o'rgandim va Dell'dan professional server apparati sohasida ko'p narsalarni o'rgandim. Men umuman afsuslanmayman, shuningdek, yaxshi sarflangan vaqt va pul. Barcha server komponentlari bilan ramkani haqiqatda yig'ish haqidagi ta'lim hikoyasi keyinroq davom ettiriladi.
3-qismga havola:
Manba: www.habr.com