Қайырлы күн, құрметті Хабаровск тұрғындары!
Мен «ауылдық суперкомпьютерді» құрастыру туралы әңгімемді жалғастырғым келеді. Неліктен бұлай аталатынын түсіндіремін - себебі қарапайым. Мен өзім ауылда тұрамын. Ал бұл атау интернетте «Мәскеу айналма жолынан ары өмір жоқ!», «Орыс ауылы ішімдікке айналып, өліп барады!» деп айқайлап жүргендердің азғантай троллингі. Сонымен, бір жерде бұл шындық болуы мүмкін, бірақ мен ережеден ерекше боламын. Мен ішпеймін, темекі шекпеймін, кез келген «қалалық крекердің» қолынан келмейтін нәрселерді істеймін. Бірақ біздің қойларымызға, дәлірек айтқанда, мақаланың бірінші бөлігінің соңында «тіршілік белгілерін көрсеткен» серверге оралайық.
Тақта үстелде жатты, мен BIOS арқылы көтеріліп, оны өз қалауым бойынша орнаттым, қарапайым болу үшін Ubuntu 16.04 жұмыс үстелінен шығып кеттім және бейне картаны «супер машинаға» қосуды шештім. Бірақ қолдағы жалғыз нәрсе - түпнұсқа емес үлкен желдеткіші бар GTS 250. Оны мен қуат түймесінің жанындағы PCI-E 16x ұяшығына орнаттым.
«Мен оны Беломор (c) пакетімен алдым», сондықтан фотосуреттің сапасы үшін мені айыптамаңыз. Мен олар туралы жазылған нәрсеге түсініктеме бергенді жөн көремін.
Біріншіден, слотқа орнатылған кезде тіпті қысқа бейне карта тақтаны жад слоттарына тірейді, бұл жағдайда оны орнату мүмкін емес, тіпті ысырмаларды түсіру керек. Екіншіден, видеокартаның темір бекіткіш жолағы қуат түймесін жабады, сондықтан оны алып тастау керек болды. Айтпақшы, қуат түймесінің өзі екі түсті жарық диодымен жарықтандырылады, ол бәрі реттелген кезде жасыл болып жанады және қандай да бір ақаулар, қысқа тұйықталу және қуат көзінің қорғанысы істен шыққан немесе +12VSB қуат көзі болса, қызғылт сары болып жыпылықтайды. қамтамасыз ету тым жоғары немесе тым төмен.
Шын мәнінде, бұл аналық плата бейне карталарды өзінің PCI-E 16x слоттарына «тікелей» қосуға арналмаған; олардың барлығы көтергіштерге қосылған. Қуат түймешігінің жанындағы ұяшықтарға кеңейту картасын орнату үшін бұрыштық көтергіштер, бірінші процессор радиаторының ұзындығына дейін қысқа карталарды орнатуға арналған төменгі карта және батареяны орнатуға арналған қосымша +12 В қуат қосқышы бар жоғары бұрышы бар. стандартты төмен 1U салқындатқыштың «жоғарыда» бейне картасы. Ол GTX 780, GTX 980, GTX 1080 немесе мамандандырылған GPGPU карталары Nvidia Tesla K10-K20-K40 немесе Intel Xeon Phi 5110p және т.б. «есептеу карталары» сияқты үлкен бейне карталарды қамтуы мүмкін.
Бірақ GPGPU көтергішінде EdgeSlot ішіне кіретін картаны тікелей қосуға болады, тек жоғары бұрыштық көтергіштегі сияқты бірдей қосқышпен қосымша қуатты қайта қосу арқылы. Қызығушылық танытқандар үшін eBay-де бұл икемді көтергіш «Dell PowerEdge C8220X PCI-E GPGPU DJC89» деп аталады және шамамен 2.5-3 мың рубльді құрайды. Қосымша қуат көзі бар бұрыштық көтергіштер әлдеқайда сирек және мен оларды Whisper арқылы мамандандырылған сервер бөліктері дүкенінен алу үшін келіссөздер жүргізуге тура келді. Олардың әрқайсысы 7 мың тұрады.
Мен бірден айтамын, «тәуекелді жігіттер (tm)» тіпті GTX 980 жұбын қытайлық икемді көтергіштері бар 16x тақтаға қоса алады, «Сол бір форумда» бір адам істеді; Айтпақшы, қытайлықтар өте жақсы жасайды. Thermaltek стилінде PCI-E 16x 2.0 жұмыс істейтін жақсы қолөнер икемді көтергіштер, бірақ егер бұл бір күні сервер тақтасындағы қуат тізбектерінің күйіп кетуіне себеп болса, сіз тек өзіңіз кінәлі боласыз. Мен қымбат жабдыққа тәуекел етпедім және бір картаны «тікелей» қосу тақтаны күйдірмейтінін ойлап, қосымша қуаты бар түпнұсқа көтергіштерді және бір қытай икемдісін қолдандым.
Содан кейін қосымша қуат қосуға арналған көптен күткен қосқыштар келді және мен EdgeSlot-те көтергішіме құйрық жасадым. Аналық платаға қосымша қуат беру үшін бірдей қосқыш, бірақ басқа түйреуіш бар. Бұл қосқыш дәл осы EdgeSlot қосқышының жанында орналасқан, онда қызықты түйреуіш бар. Егер көтергіште 2 сым +12 және 2 ортақ болса, онда тақтада 3 сым +12 және 1 ортақ болады.
Бұл шын мәнінде GPGPU көтергішіне енгізілген GTS 250. Айтпақшы, қосымша қуат көтергіштерге және аналық платаға - менің қуат көзімнің орталық процессорының екінші +12 В қуат қосқышынан беріледі. Мен мұны істеу дұрысырақ деп шештім.
Ертегі тез баяндалады, бірақ сәлемдемелер Қытайдан және әлемнің басқа елдерінен Ресейге баяу келеді. Сондықтан «суперкомпьютерді» құрастыруда үлкен олқылықтар болды. Бірақ ақырында маған пассивті радиаторы бар Nvidia Tesla K20M сервері келді. Оның үстіне, ол мүлдем нөлге тең, сақтаудан бастап, өзінің түпнұсқалық қорабында, түпнұсқа қаптамасында, кепілдік қағаздарымен мөрленген. Ал азап басталды: оны қалай салқындату керек?
Біріншіден, Англиядан екі кішкентай «турбинасы» бар арнайы салқындатқыш сатып алынды, міне, фотода үйде жасалған картон диффузоры бар.
Және олар мүлдем ақымақ болып шықты. Олар қатты шу шығарды, қондырма мүлдем сәйкес келмеді, олар әлсіз соқты және діріл берді, сондықтан мен компоненттер Tesla тақтасынан құлап кетеді деп қорықтым! Неліктен олар бірден қоқыс жәшігіне лақтырылды?
Айтпақшы, Tesla астындағы фотода сіз Aliexpress-тен сатып алынған Coolerserver-ден ұлулармен процессорларға орнатылған LGA 2011 1U серверлік мыс радиаторларын көре аласыз. Кішкене шулы болса да, өте лайықты салқындатқыштар. Олар тамаша үйлеседі.
Бірақ шын мәнінде, мен Tesla үшін жаңа салқындатқышты күтіп жүргенімде, бұл жолы Австралиядан 1012D басып шығарылған бекіткіші бар үлкен BFB3EN ұлуына тапсырыс беріп, ол серверді сақтау жүйесіне келді. Сервер тақтасында 4 SATA және тағы 2 SATA қосқышы шығатын мини-SAS қосқышы бар. Барлық SATA стандарты 2.0, бірақ бұл маған сәйкес келеді.
Чипсетке біріктірілген intel C602 RAID жаман емес және ең бастысы, ол көптеген қымбат емес сыртқы RAID контроллерлері жасамайтын SSD дискілеріне арналған TRIM пәрменін өткізіп жібереді.
eBay-де ұзындығы метрлік шағын SAS-тан 4-ке дейін SATA кабелін сатып алдым, ал Avito-да 5,25 x 4 дюймдік SAS-SATA-ға арналған 2,5 дюймдік ұясы бар ыстық ауыстыратын арбаны сатып алдым. Сонымен, кабель мен себет келгенде, оған 4 терабайт Seagates орнатылды, BIOS-та 5 құрылғыға арналған RAID4 салынды, мен Ubuntu серверін орнатуды бастадым ... және дискіні бөлу бағдарламасы рұқсат етпейтініне тап болдым. рейдте своп бөлімін жасау үшін.
Мен мәселені бетпе-бет шешіп алдым - DNS жүйесінен ASUS HYPER M.2 x 2 MINI және M.4 SSD Samsung 2 EVO 960 Гб адаптерін сатып алдым және жүйе жұмыс істейтіндіктен, своп үшін максималды жылдамдықты құрылғыны бөлу керек деп шештім. жоғары есептеу жүктемесі бар және жад әлі де деректер өлшемінен аз екені анық. Ал 250 ГБ жады бұл SSD-ден қымбатырақ болды.
Төмен бұрышты көтергіште орнатылған SSD бар дәл осы адаптер.
Сұрақтарды күту - «Неге бүкіл жүйені M.2 жүйесінде жасамасқа және SATA-дағы рейдтен жоғары кіру жылдамдығына ие болмасқа?» - жауап беремін. Біріншіден, 1 ТБ немесе одан көп M2 SSD дискілері мен үшін тым қымбат. Екіншіден, BIOS-ны 2.8.1 соңғы нұсқасына жаңартқаннан кейін де сервер M.2 NVE құрылғыларын жүктеуді қолдамайды. Жүйе USB FLASH 64 Гб және қалғанының барлығын M.2 SSD дискісіне орнатқан /жүктейтін эксперимент жасадым, бірақ бұл маған ұнамады. Негізінде, мұндай комбинация өте тиімді. Егер сыйымдылығы жоғары M.2 NVEs арзандаса, мен бұл опцияға қайта оралуым мүмкін, бірақ қазір сақтау жүйесі ретінде SATA RAID маған өте қолайлы.
Мен дискінің ішкі жүйесін таңдап, 2 x SSD Kingston 240 Гб RAID1 “/” + 4 x HDD Seagate 1 Тб RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Гб “алмасу” комбинациясын ойлап тапқан кезде, бұл GPU-мен тәжірибелерімді жалғастыру уақыты келді Менде Tesla болды және австралиялық салқындатқыш 2.94 В-та 12А жейтін «жаман» ұлумен келді, екінші ұяшықта M.2 болды, ал үшіншісі үшін «тәжірибелер үшін» GT 610 алдым.
Мұнда фотосуретте барлық 3 құрылғы қосылған және M.2 SSD 3.0 шинасында қатесіз жұмыс істейтін видеокарталарға арналған икемді Thermaltech көтергіші арқылы. Бұл SATA кабельдері жасалғандарға ұқсас көптеген жеке «ленталардан» жасалған. Ескі IDE-SCSI сияқты монолитті жалпақ кабельден жасалған PCI-E 16x көтергіштері апат болып табылады, олар өзара кедергіге байланысты қателіктерге ұшырайды. Жоғарыда айтқанымдай, қытайлықтар қазір Thermaltek сияқты стояктарды жасайды, бірақ қысқарақ.
Tesla K20 + GT 610 ұштастыра отырып, мен көп нәрсені сынап көрдім, сонымен бірге сыртқы видеокартаны қосқанда және BIOS-та шығысты ауыстырған кезде vKVM жұмыс істемейтінін білдім, бұл шынымен де жұмыс істемейді. мені ренжітті. Қалай болғанда да, мен бұл жүйеде сыртқы бейнені пайдалануды жоспарлаған жоқпын, Teslas-та бейне шығыстары жоқ, ал SSH арқылы және X-owls жоқ қашықтағы басқару тақтасы GUI жоқ пәрмен жолы не екенін аздап еске түсіргенде тамаша жұмыс істейді. . Бірақ IPMI + vKVM қашықтағы сервермен басқаруды, қайта орнатуды және басқа мәселелерді айтарлықтай жеңілдетеді.
Жалпы, бұл тақтаның IPMI тамаша. Бөлек 100 Мбит порт, 10 Гбит порттардың біріне пакет инъекциясын қайта конфигурациялау мүмкіндігі, қуатты басқаруға және серверлерді басқаруға арналған кірістірілген веб-сервер, одан vKVM Java клиентін тікелей жүктеп алу және дискілерді қашықтан орнатуға арналған клиент немесе қайта орнатуға арналған кескіндер... Жалғыз нәрсе, клиенттер бұрынғы Java Oracle сияқты, оған Linux жүйесінде енді қолдау көрсетілмейді және қашықтағы басқару панелі үшін Win XP SP3 нұсқасы бар ноутбук алуға тура келді. ежелгі бақа. Клиент баяу, әкімші панелі және осының бәрі жеткілікті, бірақ сіз ойындарды қашықтан ойнай алмайсыз, FPS аз. Ал IPMI-мен біріктірілген ASPEED бейнесі әлсіз, тек VGA.
Сервермен жұмыс істеу барысында мен Dell компаниясынан кәсіби серверлік жабдық саласында көп нәрсені үйрендім және көп нәрсені үйрендім. Мен бұған мүлдем өкінбеймін, сонымен қатар жақсы жұмсалған уақыт пен ақша. Барлық сервер құрамдас бөліктерімен жақтауды шын мәнінде құрастыру туралы білім беру тарихы кейінірек жалғасады.
3-бөлімге сілтеме:
Ақпарат көзі: www.habr.com