Tere päevast, kallid Habrovski elanikud!
Jätkaks oma lugu “küla superarvuti” kokkupanemisest. Ja ma selgitan, miks seda nii nimetatakse – põhjus on lihtne. Ise elan külas. Ja see nimi on kerge trollimine nendest, kes Internetis karjuvad: "Moskva ringtee taga pole elu!", "Vene küla on joodikuks muutunud ja sureb välja!" Nii et kuskil võib see tõsi olla, kuid ma olen erand reeglist. Ma ei joo, ma ei suitseta, teen asju, mida iga "linnakreeker(id)" endale lubada ei saa. Aga tuleme tagasi oma lammaste, täpsemalt serveri juurde, mis artikli esimese osa lõpus juba "näitas elumärke".
Tahvel lebas laual, ronisin BIOS-ist läbi, seades selle oma maitse järgi, tõmbasin lihtsuse huvides maha Ubuntu 16.04 Desktopi ja otsustasin ühendada "supermasinaga" videokaardi. Kuid ainus, mis käepärast oli, oli GTS 250, millele oli lisatud kopsakas mitteoriginaalne ventilaator. Selle installisin toitenupu lähedal olevasse PCI-E 16x pessa.
"Ma võtsin selle pakiga Belomor (c)", nii et palun ärge süüdistage mind foto kvaliteedis. Ma pigem kommenteerin seda, mis neile jäädvustatud.
Esiteks selgus, et pesasse paigaldades toetub ka lühike videokaart plaati vastu mälupesasid, mille puhul seda paigaldada ei saa ja isegi riivid tuleb alla lasta. Teiseks katab videokaardi rauast kinnitusriba toitenuppu, nii et see tuli eemaldada. Muide, toitenuppu ennast valgustab kahevärviline LED, mis põleb roheliselt, kui kõik on korras ja vilgub oranžilt, kui on probleeme, lühis ja toitekaitse on rakendunud või +12VSB toide pakkumine on liiga suur või liiga madal.
Tegelikult ei ole see emaplaat mõeldud videokaartide lisamiseks "otse" PCI-E 16x pesadesse; need on kõik ühendatud tõusutorudega. Laienduskaardi paigaldamiseks toitenupu lähedal asuvatesse pesadesse on nurgapüstikud, madal lühikeste kaartide paigaldamiseks kuni esimese protsessori radiaatori pikkuseni ja kõrge nurgapealne lisa +12 V toitepistikuga videokaart "üle" tavalise madala 1U jahuti. See võib sisaldada suuri videokaarte nagu GTX 780, GTX 980, GTX 1080 või spetsiaalseid GPGPU kaarte Nvidia Tesla K10-K20-K40 või "arvutuskaarte" Intel Xeon Phi 5110p jms.
Kuid GPGPU tõusutorus saab EdgeSlotis sisalduvat kaarti otse ühendada, ainult ühendades uuesti lisatoite sama pistikuga, mis kõrgel nurgal. Huvilistele on eBays selle paindliku tõusutoru nimi "Dell PowerEdge C8220X PCI-E GPGPU DJC89" ja see maksab umbes 2.5-3 tuhat rubla. Täiendava toiteallikaga nurgapüstikud on palju haruldasemad ja pidin läbirääkimisi pidama, et saada need spetsiaalsest serveriosade poest Whisperi kaudu. Need maksavad 7 tuhat tükk.
Ütlen kohe, et “riskantsed poisid (tm)” suudavad isegi paar GTX 980 plaadi külge ühendada Hiina painduvate 16-kordsete püstikutega, nagu üks inimene “Sellesama foorumis” tegi; muide, hiinlased teevad päris palju hea meisterdamine, mis töötab PCI-E 16x 2.0 peal Thermaltek painduvate tõusutorude stiilis, aga kui see ühel päeval põhjustab serveriplaadi toiteahelate läbipõlemise, siis on ainult iseennast süüdi. Ma ei riskinud kallite seadmetega ja kasutasin originaalseid lisavõimsusega püstikuid ja ühte Hiina painduvat, mõeldes, et ühe kaardi "otse" ühendamine ei põleta plaati.
Siis saabusid kauaoodatud pistikud lisavõimsuse ühendamiseks ja tegin EdgeSlotis oma riserile saba. Ja sama pistikut, kuid erineva pinoutiga, kasutatakse emaplaadi lisatoite andmiseks. See pistik on täpselt selle sama EdgeSloti pistiku kõrval, seal on huvitav pinout. Kui tõusutorus on 2 juhet +12 ja 2 ühist, siis plaadil on 3 juhet +12 ja 1 ühine.
See on tegelikult sama GTS 250, mis sisaldub GPGPU tõusutorus. Muide, tõusutorudele ja emaplaadile antakse lisatoidet - minu toiteallika protsessori teisest +12 V toitepistikust. Otsustasin, et seda oleks õigem teha.
Muinasjutt jutustab end kiiresti, kuid aeglaselt jõuavad pakid Venemaale Hiinast ja mujalt üle maakera. Seetõttu olid "superarvuti" koostamisel suured lüngad. Kuid lõpuks jõudis minuni Nvidia Tesla K20M server koos passiivse radiaatoriga. Pealegi on see absoluutselt null, laost, suletud originaalkarbis, originaalpakendis, garantiipaberitega. Ja algasid kannatused: kuidas seda jahutada?
Esiteks sai Inglismaalt ostetud kahe väikese “turbiiniga” custom jahuti, siin on see fotol, isetehtud papist hajuti.
Ja need osutusid täielikuks jamaks. Nad tegid palju müra, kinnitus ei sobinud üldse, puhusid nõrgalt ja andsid sellist vibratsiooni, et kartsin, et komponendid kukuvad Tesla plaadilt maha! Miks nad peaaegu kohe prügikasti visati?
Muide, Tesla all oleval fotol on Aliexpressist ostetud Coolerserverist pärit teoga protsessoritele paigaldatud LGA 2011 1U serveri vaskradiaatorid. Väga korralikud jahutid, kuigi veidi lärmakad. Need sobivad ideaalselt.
Aga tegelikult, kui ootasin Teslale uut jahutit, olles seekord tellinud Austraaliast suure 1012D prinditud kinnitusega BFB3EN teo, jõudis see serveri salvestussüsteemi. Serveriplaadil on mini-SAS pistik, mille kaudu väljastatakse 4 SATA ja veel 2 SATA pistikut. Kõik SATA standard 2.0, aga mulle sobib.
Kiibikomplekti integreeritud intel C602 RAID pole halb ja peaasi, et see jätab SSD-de puhul vahele käsu TRIM, mida paljud odavad välised RAID-kontrollerid ei tee.
eBayst ostsin meetripikkuse mini-SAS–4 SATA kaabli ja Avitost 5,25-tollise lahtriga kiirvahetuskäru 4 x 2,5-tollise SAS-SATA jaoks. Nii et kui kaabel ja korv kohale jõudsid, sai sinna paigaldatud 4 terabaidine Seagates, BIOS-i sisse ehitatud RAID5 4 seadmele, alustasin serveri Ubuntu installimisega... ja sattusin sellega, et ketta partitsiooni programm ei lubanud. Raidil vahetuspartitsiooni loomiseks.
Lahendasin probleemi otse - ostsin DNS-ist ASUS HYPER M.2 x 2 MINI ja M.4 SSD Samsung 2 EVO 960 Gb adapteri ja otsustasin, et vahetamiseks tuleks eraldada maksimaalse kiirusega seade, kuna süsteem töötab. suure arvutuskoormusega ja mälu on siiski ilmselgelt väiksem kui andmete maht. Ja 250 GB mälu oli kallim kui see SSD.
See sama adapter koos SSD-ga, mis on paigaldatud madalasse nurka.
Ennetades küsimusi - "Miks mitte teha kogu süsteem M.2-le ja saada maksimaalne juurdepääsukiirus suurem kui SATA-raidil?" - ma vastan. Esiteks on 1 TB või enama M2 SSD-d minu jaoks liiga kallid. Teiseks, isegi pärast BIOS-i värskendamist uusimale versioonile 2.8.1, ei toeta server endiselt M.2 NVE seadmete laadimist. Tegin katse, kus süsteem seadis /boot USB FLASH 64 Gb ja kõik muu M.2 SSD-le, aga see ei meeldinud. Kuigi põhimõtteliselt on selline kombinatsioon üsna toimiv. Kui suure mahutavusega M.2 NVE-d odavamaks lähevad, võin selle variandi juurde tagasi pöörduda, aga praegu sobib mulle SATA RAID salvestussüsteemina päris hästi.
Kui otsustasin ketta alamsüsteemi kasuks ja leidsin kombinatsiooni 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap”, see on aeg jätkata katseid GPU-ga Mul oli juba Tesla ja äsja saabus Austraalia jahuti “kurja” tiguga, mis sööb 2.94V juures koguni 12A, teise pesa hõivas M.2 ja kolmanda jaoks laenasin “katseteks” GT 610.
Siin fotol on kõik 3 seadet ühendatud ja M.2 SSD on läbi painduva Thermaltechi tõusutoru videokaartidele, mis töötab 3.0 siinil vigadeta. See on selline, valmistatud paljudest üksikutest "lintidest", mis on sarnased nendega, millest SATA-kaablid on valmistatud. Monoliitsest lamekaablist PCI-E 16x püstikud, umbes nagu vanad IDE-SCSI omad, on katastroof, vastastikuste häirete tõttu kannatavad need vigade käes. Ja nagu ma juba ütlesin, siis hiinlased teevad nüüd ka Thermalteki omadele sarnaseid püstikuid, aga lühemaid.
Koos Tesla K20 + GT 610-ga proovisin palju asju, samal ajal sain teada, et välise videokaardi ühendamisel ja BIOS-is sellele väljundi lülitamisel vKVM ei tööta, mis tegelikult ei toiminud. häiris mind. Igatahes ei plaaninud ma selles süsteemis välist videot kasutada, Teslas pole videoväljundeid ja kaughalduri paneel SSH kaudu ja ilma X-owlideta töötab suurepäraselt, kui natukenegi meenutada, mis on käsurida ilma GUIta. . Kuid IPMI + vKVM lihtsustab oluliselt haldust, uuesti installimist ja muid kaugserveriga seotud probleeme.
Üldiselt on selle plaadi IPMI suurepärane. Eraldi 100 Mbit port, võimalus ümber konfigureerida pakettide sisestamine ühte 10 Gbit portidest, sisseehitatud veebiserver serverite toitehalduseks ja juhtimiseks, vKVM Java kliendi otse sellest allalaadimine ja klient ketaste kaugpaigaldamiseks või pilte uuesti installimiseks... Ainuke asi, et kliendid on samad mis vanal Java Oracle'il, mida Linuxis enam ei toetata ja kaughalduri paneeli jaoks tuli hankida Win XP SP3-ga sülearvuti just selle väga iidne kärnkonn. Noh, klient on aeglane, administraatoripaneeli ja muu jaoks on piisavalt, aga kaugmänge mängida ei saa, FPS on väike. Ja IPMI-ga integreeritud ASPEED-video on nõrk, ainult VGA.
Serveriga tegelemise käigus õppisin palju ja õppisin palju Delli professionaalse serveri riistvara valdkonnas. Mida ma üldse ei kahetse, samuti hästi kulutatud aega ja raha. Õpetlik lugu raami tegelikust kokkupanemisest koos kõigi serverikomponentidega jätkub hiljem.
Link 3. osale:
Allikas: www.habr.com