روز بخیر، ساکنان خابروفسک عزیز!
من می خواهم داستان خود را در مورد مونتاژ یک "ابر کامپیوتر روستایی" ادامه دهم. و من توضیح خواهم داد که چرا به این شکل نامیده می شود - دلیل آن ساده است. من خودم در یک روستا زندگی می کنم. و این نام ترول مختصری از کسانی است که در اینترنت فریاد می زنند "آنسوی جاده کمربندی مسکو زندگی نیست!"، "روستای روسیه مست شده و در حال مرگ است!" بنابراین، در جایی ممکن است این درست باشد، اما من استثنا قاعده خواهم بود. من مشروب نمی‌خورم، سیگار نمی‌کشم، کارهایی را انجام می‌دهم که هر «ترقه‌ای شهری» توان پرداخت آن را ندارد. اما بیایید به گوسفندمان، یا دقیق‌تر، به سروری برگردیم که در پایان قسمت اول مقاله قبلاً «نشانه‌های حیات را نشان می‌داد».
برد روی میز خوابیده بود، من از طریق BIOS بالا رفتم، آن را مطابق میل خود تنظیم کردم، برای سادگی، از دسکتاپ Ubuntu 16.04 فاصله گرفتم و تصمیم گرفتم یک کارت گرافیک را به "سوپر ماشین" متصل کنم. اما تنها چیزی که در دسترس بود یک GTS 250 بود که یک فن سنگین غیر اصلی به آن متصل بود. که من در اسلات PCI-E 16x نزدیک دکمه پاور نصب کردم.
"من آن را با یک بسته بلومور (c) گرفتم" بنابراین لطفاً من را به خاطر کیفیت عکس سرزنش نکنید. من ترجیح می دهم در مورد آنچه در آنها ثبت شده است نظر بدهم.
اولاً، معلوم شد که هنگام نصب در یک اسلات، حتی یک کارت ویدیوی کوتاه، برد را در برابر شکاف های حافظه قرار می دهد، که در این حالت نمی توان آن را نصب کرد و حتی باید چفت ها را پایین آورد. ثانیاً، نوار اتصال آهنی کارت گرافیک دکمه پاور را می پوشاند، بنابراین باید حذف می شد. ضمناً خود دکمه پاور توسط یک LED دو رنگ روشن می شود که وقتی همه چیز مرتب است سبز روشن می شود و در صورت بروز هرگونه مشکل، اتصال کوتاه و قطع شدن محافظ منبع تغذیه یا برق +12VSB به رنگ نارنجی چشمک می زند. عرضه خیلی زیاد یا خیلی کم است.
در واقع، این مادربرد طوری طراحی نشده است که کارت‌های ویدئویی را «مستقیم» در اسلات‌های PCI-E 16x خود قرار دهد؛ همه آنها به رایزر متصل هستند. برای نصب کارت انبساط در شیارهای نزدیک دکمه پاور، رادیاتور گوشه‌ای وجود دارد، یکی پایین برای نصب کارت‌های کوتاه تا طول اولین رادیاتور پردازنده و دیگری گوشه بالا با یک کانکتور برق اضافی +12 ولت برای نصب کارت گرافیک "بالاتر از" یک خنک کننده استاندارد کم 1U. این می تواند شامل کارت های گرافیکی بزرگ مانند GTX 780، GTX 980، GTX 1080 یا کارت های تخصصی GPGPU Nvidia Tesla K10-K20-K40 یا "کارت های محاسباتی" Intel Xeon Phi 5110p و موارد مشابه باشد.
اما در رایزر GPGPU، کارت موجود در EdgeSlot را می‌توان مستقیماً وصل کرد، فقط با اتصال مجدد برق اضافی با همان کانکتور در رایزر گوشه بالا. برای علاقه مندان، در eBay این رایزر انعطاف پذیر "Dell PowerEdge C8220X PCI-E GPGPU DJC89" نامیده می شود و حدود 2.5-3 هزار روبل قیمت دارد. رایزرهای گوشه ای با منبع تغذیه اضافی بسیار نادرتر هستند و من مجبور شدم برای دریافت آنها از فروشگاه تخصصی قطعات سرور از طریق Whisper مذاکره کنم. قیمت آنها 7 هزار است.
فوراً می گویم، "مردان خطرناک (tm)" حتی می توانند یک جفت GTX 980 را با رایزرهای انعطاف پذیر چینی 16 برابر به برد متصل کنند، همانطور که یک نفر در "That Same Forum" انجام داد؛ اتفاقاً چینی ها کاملاً درست می کنند. صنایع دستی خوبی که بر روی PCI-E 16x 2.0 به سبک رایزرهای انعطاف پذیر Thermaltek کار می کنند، اما اگر این روزی باعث شود مدارهای برق روی برد سرور را بسوزانید، فقط خودتان را مقصر خواهید داشت. من خطر تجهیزات گران قیمت را نداشتم و از رایزرهای اصلی با قدرت اضافی و یک رایزر انعطاف پذیر چینی استفاده کردم و تصور می کردم که اتصال یک کارت "مستقیم" باعث سوختن برد نمی شود.
سپس کانکتورهای مورد انتظار برای اتصال برق اضافی رسید و من یک دم برای رایزر خود در EdgeSlot ساختم. و از همان کانکتور، اما با پین اوت متفاوت، برای تامین برق اضافی به مادربرد استفاده می شود. این کانکتور درست در کنار همین کانکتور EdgeSlot است، یک پین‌آوت جالب در آنجا وجود دارد. اگر رایزر 2 سیم +12 و 2 سیم مشترک داشته باشد، برد دارای 3 سیم +12 و 1 مشترک است.
این در واقع همان GTS 250 موجود در رایزر GPGPU است. به هر حال ، برق اضافی به رایزرها و مادربرد - از کانکتور برق + 12 ولت دوم CPU منبع تغذیه من تأمین می شود. من تصمیم گرفتم که انجام این کار صحیح تر است.
این افسانه به سرعت خود را روایت می کند، اما به آرامی بسته ها از چین و سایر نقاط جهان به روسیه می رسد. بنابراین، شکاف های بزرگی در مونتاژ "ابر رایانه" وجود داشت. اما بالاخره سرور Nvidia Tesla K20M با رادیاتور غیرفعال به من رسید. علاوه بر این، از ذخیره سازی کاملاً صفر است، در جعبه اصلی خود، در بسته بندی اصلی خود، با اوراق گارانتی مهر و موم شده است. و رنج شروع شد: چگونه آن را خنک کنیم؟
ابتدا یک کولر سفارشی با دو "توربین" کوچک از انگلیس خریداری شد، در اینجا در عکس است، با یک پخش کننده مقوای خانگی.
و معلوم شد که آنها یک مزخرف کامل هستند. خیلی سر و صدا می کردند، پایه اصلاً جا نمی شد، ضعیف می دمیدند و چنان لرزشی می دادند که می ترسیدم قطعات از برد تسلا بیفتند! چرا آنها تقریباً بلافاصله در سطل زباله انداخته شدند؟
به هر حال ، در عکس زیر تسلا می توانید رادیاتور مسی سرور LGA 2011 1U را مشاهده کنید که روی پردازنده ها با حلزونی از Coolerserver خریداری شده از Aliexpress نصب شده است. کولرهای بسیار مناسب، هرچند کمی پر سر و صدا. آنها کاملا مناسب هستند.
اما در واقع، در حالی که من منتظر یک خنک کننده جدید برای تسلا بودم، این بار با سفارش یک حلزون بزرگ BFB1012EN از استرالیا با پایه پرینت سه بعدی، به سیستم ذخیره سازی سرور آمد. برد سرور دارای یک کانکتور mini-SAS است که از طریق آن 3 کانکتور SATA و 4 کانکتور SATA دیگر خروجی می شود. همه استانداردهای SATA 2 اما برای من مناسب است.
اینتل C602 RAID ادغام شده در چیپست بد نیست و نکته اصلی این است که دستور TRIM را برای SSD ها نادیده می گیرد، که بسیاری از کنترلرهای RAID خارجی ارزان قیمت انجام نمی دهند.
در eBay یک کابل mini-SAS به 4 SATA به طول یک متر خریدم، و در Avito یک گاری تعویض داغ با یک 5,25 اینچ با 4 x 2,5 اینچ SAS-SATA خریدم. بنابراین وقتی کابل و سبد رسید، 4 ترابایت سیگیتس در آن نصب شد، RAID5 برای 4 دستگاه در بایوس ساخته شد، من شروع به نصب سرور اوبونتو کردم ... و متوجه شدم که برنامه پارتیشن بندی دیسک به من اجازه نمی دهد. برای ایجاد یک پارتیشن swap در حمله.
من مشکل را مستقیماً حل کردم - یک آداپتور ASUS HYPER M.2 x 2 MINI و M.4 SSD Samsung 2 EVO 960 Gb از DNS خریدم و تصمیم گرفتم که حداکثر سرعت دستگاه باید برای تعویض اختصاص داده شود، زیرا سیستم کار می کند. با بار محاسباتی بالا، و حافظه هنوز به وضوح کمتر از اندازه داده است. و حافظه 250 گیگابایتی از این SSD گرانتر بود.
همین آداپتور با یک SSD نصب شده در یک رایزر پایین گوشه.
پیش بینی سوالات - "چرا کل سیستم را روی M.2 نمی سازیم و حداکثر سرعت دسترسی بالاتر از حمله به SATA نداریم؟" - جواب میدم اولا، 1 ترابایت یا بیشتر M2 SSD برای من خیلی گران است. ثانیا، حتی پس از به روز رسانی بایوس به آخرین نسخه 2.8.1، سرور هنوز از بارگیری دستگاه های M.2 NVE پشتیبانی نمی کند. من آزمایشی را انجام دادم که در آن سیستم / بوت را روی USB FLASH 64 گیگابیت و همه چیزهای دیگر را روی M.2 SSD تنظیم کرد، اما آن را دوست نداشتم. اگرچه، در اصل، چنین ترکیبی کاملاً قابل اجرا است. اگر M.2 NVE های با ظرفیت بالا ارزان تر شوند، ممکن است به این گزینه برگردم، اما در حال حاضر SATA RAID به عنوان یک سیستم ذخیره سازی کاملاً مناسب من است.
وقتی تصمیم به زیرسیستم دیسک گرفتم و به ترکیبی از 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" رسیدم. وقت آن است که آزمایشات خود را با GPU ادامه دهم من قبلاً یک تسلا و یک خنک کننده استرالیایی داشتم که به تازگی با یک حلزون "شیطان" که 2.94 آمپر در ولتاژ 12 ولت می خورد، دومین شیار توسط M.2 اشغال شده بود و برای سومین شیار یک GT 610 "برای آزمایش" قرض گرفتم.
در اینجا در عکس، هر 3 دستگاه متصل هستند، و SSD M.2 از طریق یک رایزر انعطاف پذیر Thermaltech برای کارت های ویدئویی است که در گذرگاه 3.0 بدون خطا کار می کند. این مانند این است که از بسیاری از "روبان‌های" منفرد مشابه آنهایی که کابل‌های SATA از آنها ساخته شده‌اند، ساخته شده است. رایزرهای PCI-E 16x که از یک کابل تخت یکپارچه ساخته شده اند، مانند کابل های قدیمی IDE-SCSI، فاجعه بار هستند و به دلیل تداخل متقابل دچار خطا خواهند شد. و همانطور که قبلاً گفتم، چینی‌ها هم اکنون رایزرهایی شبیه به Thermaltek می‌سازند، اما کوتاه‌تر.
در ترکیب با Tesla K20 + GT 610، من چیزهای زیادی را امتحان کردم، در همان زمان متوجه شدم که هنگام اتصال یک کارت گرافیک خارجی و تعویض خروجی به آن در BIOS، vKVM کار نمی کند، که واقعاً کار نمی کند. من رو ناراحت کرد. به هر حال، من قصد نداشتم از ویدیوی خارجی در این سیستم استفاده کنم، هیچ خروجی ویدیویی در تسلاس وجود ندارد، و پنل مدیریت از راه دور از طریق SSH و بدون X-owls عالی کار می کند، وقتی کمی به یاد بیاورید که خط فرمان بدون رابط کاربری گرافیکی چیست. . اما IPMI + vKVM مدیریت، نصب مجدد و سایر مسائل مربوط به سرور راه دور را بسیار ساده می کند.
در کل IPMI این برد عالی است. یک پورت 100 مگابیت جداگانه، امکان پیکربندی مجدد تزریق بسته به یکی از پورت های 10 گیگابیت، یک وب سرور داخلی برای مدیریت انرژی و کنترل سرورها، دانلود مستقیم یک کلاینت جاوا vKVM از آن و یک کلاینت برای نصب از راه دور دیسک ها یا تصاویر برای نصب مجدد... فقط کلاینت ها همون جاوا اوراکل قدیمی هستن که دیگه تو لینوکس ساپورت نمیشه و برای پنل مدیریت ریموت مجبور شدم یه لپ تاپ با Win XP SP3 با این خیلی بگیرم. وزغ باستانی خوب، کلاینت کند است، به اندازه کافی برای پنل مدیریت و همه اینها وجود دارد، اما شما نمی توانید از راه دور بازی کنید، FPS کوچک است. و ویدیو ASPEED که با IPMI ادغام شده ضعیف است و فقط VGA است.
در روند کار با سرور، چیزهای زیادی در زمینه سخت افزار سرور حرفه ای از دل آموختم و چیزهای زیادی یاد گرفتم. که من به هیچ وجه پشیمان نیستم، همچنین از زمان و پولی که به خوبی صرف شده است. داستان آموزشی در مورد مونتاژ واقعی فریم با تمام اجزای سرور در ادامه خواهد آمد.
لینک قسمت 3:
منبع: www.habr.com