Өдрийн мэнд, эрхэм Khabrovsk оршин суугчид!
“Тосгоны супер компьютер” угсарсан түүхээ үргэлжлүүлэхийг хүсч байна. Би яагаад ингэж нэрлэснийг тайлбарлах болно - шалтгаан нь энгийн. Би өөрөө тосгонд амьдардаг. Энэ нэр нь интернетээр "Москвагийн тойруугаас цааш амьдрал байхгүй!", "Оросын тосгон архичин болж, мөхөж байна!" гэж хашгирч буй хүмүүсийн бага зэрэг тролль юм. Тиймээс, хаа нэгтээ энэ нь үнэн байж болох ч би дүрмээс үл хамаарах зүйл байх болно. Би архи уудаггүй, тамхи татдаггүй, "хотын жигнэмэг" болгоны төлж чадахгүй зүйлсийг хийдэг. Гэхдээ нийтлэлийн эхний хэсгийн төгсгөлд "амьдралын шинж тэмдэг илэрсэн" байсан сервер рүүгээ буцаж орцгооё.
Самбар ширээн дээр хэвтэж байсан, би BIOS-оор авирч, үүнийг өөрийн хүссэнээр тохируулж, энгийн болгох үүднээс Ubuntu 16.04 ширээний компьютерээс тасарч, видео картыг "супер машин" руу холбохоор шийдэв. Гэхдээ гарт байгаа цорын ганц зүйл бол оригинал бус том сэнстэй GTS 250 байв. Үүнийг би асаах товчлуурын ойролцоох PCI-E 16x үүрэнд суулгасан.
"Би үүнийг нэг боодол Беломор (c)-тай хамт авсан" тул зургийн чанарт намайг битгий буруутгаарай. Би тэдэн дээр баригдсан зүйлийн талаар тайлбар хийхийг илүүд үздэг.
Нэгдүгээрт, үүрэнд суулгасан үед богино хэмжээний видео карт ч гэсэн самбарыг санах ойн үүрэнд наалддаг бөгөөд энэ тохиолдолд үүнийг суулгах боломжгүй, бүр түгжээг нь буулгах шаардлагатай болдог. Хоёрдугаарт, видео картын төмөр бэхэлгээний тууз нь цахилгаан товчийг хамардаг тул үүнийг арилгах шаардлагатай болсон. Дашрамд дурдахад цахилгаан товч нь өөрөө хоёр өнгийн LED-ээр гэрэлтдэг бөгөөд бүх зүйл эмх цэгцтэй байх үед ногоон гэрэл асдаг бөгөөд ямар нэгэн асуудал гарсан, богино холболт, тэжээлийн хамгаалалт тасарсан эсвэл +12VSB хүчдэл гарсан тохиолдолд улбар шараар анивчдаг. нийлүүлэлт хэт их эсвэл хэт бага байна.
Үнэн хэрэгтээ энэ эх хавтан нь видео картуудыг өөрийн PCI-E 16x үүрэнд "шууд" оруулахад зориулагдаагүй бөгөөд тэдгээр нь бүгд ус өргөгчтэй холбогдсон байдаг. Цахилгаан товчны ойролцоох үүрэнд өргөтгөх картыг суулгахын тулд булангийн өргөгч, эхний процессорын радиаторын урт хүртэлх богино картыг суулгахад зориулагдсан нам, өндөр буланд суурилуулах нэмэлт +12V цахилгаан холбогчтой. стандарт бага 1U хөргөгч "дээр" видео карт. Үүнд GTX 780, GTX 980, GTX 1080 гэх мэт том видео картууд эсвэл Nvidia Tesla K10-K20-K40 тусгай GPGPU картууд эсвэл Intel Xeon Phi 5110p гэх мэт "тооцоолох картууд" багтаж болно.
Гэхдээ GPGPU өргөгч дээр EdgeSlot-д багтсан картыг өндөр булангийн өргөгчтэй ижил холбогчтой нэмэлт хүчийг дахин холбох замаар шууд холбож болно. Сонирхсон хүмүүсийн хувьд eBay дээр энэхүү уян хатан өргөгчийг "Dell PowerEdge C8220X PCI-E GPGPU DJC89" гэж нэрлэдэг бөгөөд ойролцоогоор 2.5-3 мянган рублийн үнэтэй байдаг. Нэмэлт тэжээлийн хангамж бүхий булангийн өргөгч нь илүү ховор байдаг тул би Whisper-ээр дамжуулан серверийн сэлбэгийн төрөлжсөн дэлгүүрээс авахын тулд тохиролцох шаардлагатай болсон. Нэг ширхэг нь 7 мянган үнэтэй.
Би шууд хэлье, "эрсдэлтэй залуус (tm)" нь "Тэр форум" дээр нэг хүн хийсэн шиг GTX 980-г хос GTX 16-ийг 16x хятад уян өргөгчтэй холбож чадна; Дашрамд хэлэхэд, Хятадууд нэлээд сайн хийдэг. PCI-E 2.0x XNUMX дээр Thermaltek уян хатан өргөгч загвар дээр ажилладаг сайн гар урлалууд, гэхдээ хэрэв энэ нэг өдөр таныг серверийн самбар дээрх цахилгаан хэлхээг шатаахад хүргэвэл та зөвхөн өөрийгөө буруутгах болно. Би үнэтэй тоног төхөөрөмжид эрсдэл учруулаагүй бөгөөд нэг картыг "шууд" холбоход самбарыг шатаахгүй гэж үзээд нэмэлт хүч чадалтай анхны ус өргөгч, нэг хятад уян хатан төхөөрөмж ашигласан.
Дараа нь нэмэлт тэжээл холбох удаан хүлээгдэж буй холбогчууд ирсэн бөгөөд би EdgeSlot дээр ус өргөгчдөө сүүл хийсэн. Мөн ижил холбогч, гэхдээ өөр зүү нь эх хавтанд нэмэлт тэжээл өгөхөд ашиглагддаг. Энэ холбогч нь яг ижил EdgeSlot холбогчийн хажууд байгаа бөгөөд тэнд сонирхолтой залгуур байна. Хэрэв ус өргөгч нь +2 ба 12 нийтлэг 2 утастай бол самбар нь +3 ба 12 нийтлэг 1 утастай байна.
Энэ нь үнэндээ GPGPU ус өргөх төхөөрөмжид багтсан ижил GTS 250 юм. Дашрамд хэлэхэд, нэмэлт тэжээлийг ус өргөгч ба эх хавтанд нийлүүлдэг - миний тэжээлийн хангамжийн CPU-ийн хоёр дахь +12V тэжээлийн холбогчоос. Үүнийг хийх нь илүү зөв байх болно гэж би шийдсэн.
Үлгэр нь өөрөө хурдан өгүүлдэг боловч илгээмжүүд Хятад болон дэлхийн өнцөг булан бүрээс Орос руу аажмаар ирдэг. Тиймээс "супер компьютер" -ийг угсрах ажилд том цоорхой гарсан. Гэвч эцэст нь идэвхгүй радиатор бүхий Nvidia Tesla K20M сервер надад ирэв. Түүгээр ч зогсохгүй, хадгалалтаас эхлээд XNUMX, анхны хайрцагтаа битүүмжилсэн, анхны савлагаатай, баталгаат цаасны хамт. Тэгээд зовлон зүдгүүр эхэлсэн: үүнийг яаж хөргөх вэ?
Эхлээд хоёр жижиг "турбин" бүхий тусгай хөргөгчийг Англиас худалдаж авсан бөгөөд энэ нь зураг дээр гар хийцийн картон диффузортой байна.
Тэгээд тэд бүрэн новш болж хувирав. Тэд маш их чимээ шуугиан тарьсан, угсралт нь огт тохирохгүй, сул үлээж, тийм чичиргээ өгсөн тул эд ангиуд нь Тесла самбараас унах вий гэж айж байсан! Яагаад тэднийг бараг тэр даруй хогийн сав руу хаясан бэ?
Дашрамд дурдахад, Tesla-ийн доор байгаа зурган дээр та LGA 2011 1U серверийн зэс радиаторуудыг Aliexpress-ээс худалдаж авсан Coolerserver-ийн эмгэн хумстай процессорууд дээр суулгасан байхыг харж болно. Бага зэрэг чимээ шуугиантай ч гэсэн маш сайн хөргөгч. Тэд төгс тохирно.
Гэвч үнэндээ би Tesla-д зориулж шинэ хөргөгч хүлээж байтал энэ удаад Австралиас 1012D хэвлэсэн бэхэлгээтэй том BFB3EN эмгэн хумс захиалж аваад серверийн хадгалах системд ирлээ. Серверийн самбар нь мини-SAS холбогчтой бөгөөд түүгээр дамжуулан 4 SATA болон өөр 2 SATA холбогч гарна. Бүх SATA стандарт 2.0 гэхдээ энэ нь надад тохирсон.
Чипсетэд нэгтгэсэн intel C602 RAID нь тийм ч муу биш бөгөөд гол зүйл нь SSD-д зориулсан TRIM командыг алгасаж байгаа бөгөөд үүнийг олон хямд гадаад RAID хянагч нар хийдэггүй.
eBay дээр би метрийн урттай мини-SAS-аас 4 SATA кабель худалдаж авсан бол Avito дээр би 5,25 x 4" SAS-SATA-д зориулж 2,5" булантай халуун своп тэрэг худалдаж авсан. Ингээд кабель, сагс ирэхэд 4 терабайт Seagates суулгасан, BIOS-д 5 төхөөрөмжид зориулсан RAID4 суулгасан, би Ubuntu серверийг суулгаж эхэлсэн ... диск хуваах програм намайг зөвшөөрөхгүй байна гэж гүйлээ. raid дээр своп хуваалт үүсгэх.
Би асуудлыг шууд шийдсэн - би DNS-ээс ASUS HYPER M.2 x 2 MINI болон M.4 SSD Samsung 2 EVO 960 Gb адаптер худалдаж авсан бөгөөд систем ажиллах тул хамгийн дээд хурдны төхөөрөмжийг солиход хуваарилах хэрэгтэй гэж шийдсэн. өндөр тооцооллын ачаалалтай, санах ой нь өгөгдлийн хэмжээнээс бага хэвээр байгаа нь ойлгомжтой. Мөн 250 ГБ санах ой нь энэ SSD-ээс илүү үнэтэй байсан.
Бага буланд суурилуулсан SSD-тэй ижил адаптер.
"Яагаад системийг бүхэлд нь M.2 дээр хийж, SATA-д хийсэн дайралтаас илүү нэвтрэх хурдтай байж болохгүй гэж?" - Би хариулъя. Нэгдүгээрт, 1 TB ба түүнээс дээш M2 SSD нь надад хэтэрхий үнэтэй байна. Хоёрдугаарт, BIOS-ийг хамгийн сүүлийн үеийн 2.8.1 хувилбар руу шинэчилсэн ч сервер M.2 NVE төхөөрөмжийг ачаалахыг дэмждэггүй. Систем USB FLASH 64 Gb болон бусад бүх зүйлийг M.2 SSD дээр тохируулах /ачаалах туршилтыг би хийсэн боловч надад таалагдаагүй. Хэдийгээр зарчмын хувьд ийм хослол нь нэлээд үр дүнтэй байдаг. Хэрэв өндөр хүчин чадалтай M.2 NVE-ууд хямдрах юм бол би энэ сонголт руу буцаж магадгүй, гэхдээ одоогоор хадгалах систем болох SATA RAID надад маш сайн тохирч байна.
Би дискний дэд системээ сонгоод 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Гб “солилцох” хослолыг гаргаж ирэхэд энэ нь GPU дээр туршилтаа үргэлжлүүлэх цаг боллоо Би аль хэдийн Tesla машинтай байсан ба Австралийн хөргөгч 2.94V-д 12А хүртэл иддэг "муу" эмгэн хумстай ирсэн, хоёр дахь үүрэнд M.2, гурав дахь нь би "туршилтанд" GT 610 зээлсэн.
Зурган дээр бүх 3 төхөөрөмж холбогдсон бөгөөд M.2 SSD нь 3.0 автобусанд алдаагүй ажилладаг видео картуудад зориулсан уян хатан Thermaltech ус өргөгчөөр дамжуулан байна. Энэ нь SATA кабелиудтай төстэй олон бие даасан "тууз" -аар хийгдсэн байдаг. Хуучин IDE-SCSI шиг цул хавтгай кабелиар хийгдсэн PCI-E 16x ус өргөгч нь гамшиг бөгөөд харилцан хөндлөнгийн оролцооноос болж алдаа гарах болно. Миний хэлсэнчлэн Хятадууд одоо Thermaltek-тэй төстэй ус өргөгч хийдэг, гэхдээ арай богино.
Tesla K20 + GT 610-тай хослуулан би маш олон зүйлийг туршиж үзсэн бөгөөд үүний зэрэгцээ гадаад видео картыг холбож, гаралтыг BIOS-д шилжүүлэх үед vKVM ажиллахгүй байгааг олж мэдсэн. намайг бухимдуулсан. Ямар ч байсан би энэ системд гадаад видео ашиглахаар төлөвлөөгүй, Teslas дээр видео гаралт байхгүй, GUI-гүй командын мөр гэж юу болохыг бага зэрэг санахад SSH-ээр дамжуулан, X-owls-гүй алсын админ самбар маш сайн ажилладаг. . Гэхдээ IPMI + vKVM нь алсын серверийн удирдлага, дахин суулгах болон бусад асуудлуудыг ихээхэн хялбаршуулдаг.
Ерөнхийдөө энэ зөвлөлийн IPMI нь маш сайн. Тусдаа 100 Мбит порт, 10 Гбит портуудын аль нэгэнд пакет тарилгыг дахин тохируулах чадвар, серверүүдийг эрчим хүчний удирдлага, хянах зориулалттай вэб сервер, vKVM Java клиентийг түүнээс шууд татаж авах, дискийг алсаас холбох клиент. эсвэл дахин суулгахад зориулсан зургууд... Цорын ганц зүйл бол үйлчлүүлэгчид нь хуучин Java Oracle-тай адилхан бөгөөд энэ нь Линукс дээр дэмжигдэхгүй бөгөөд алсын удирдлагын самбарын хувьд би Win XP SP3 бүхий зөөврийн компьютер авах шаардлагатай болсон. эртний бах. За, үйлчлүүлэгч удаан, админ самбар болон бусад бүх зүйл хангалттай, гэхдээ та алсаас тоглоом тоглох боломжгүй, FPS бага байна. Мөн IPMI-тэй нэгдсэн ASPEED видео сул, зөвхөн VGA.
Сервертэй харьцах явцад би Dell-ээс мэргэжлийн серверийн техник хангамжийн чиглэлээр маш их зүйлийг сурч мэдсэн. Үүнд би огтхон ч харамсдаггүй, мөн сайн зарцуулсан цаг хугацаа, мөнгө. Хүрээг серверийн бүх бүрэлдэхүүн хэсгүүдээр угсрах тухай боловсролын түүхийг дараа нь үргэлжлүүлэх болно.
3-р хэсгийн холбоос:
Эх сурвалж: www.habr.com