סיפור הרכבת "מחשב-על כפר" מחלקי חילוף מאיביי, אליאקספרס וחנות מחשבים. חלק 2

יום טוב, תושבי חברובסק היקרים!

קישור לחלק הראשון של הסיפור למי שפספס

אני רוצה להמשיך את הסיפור שלי על הרכבת "מחשב-על בכפר". ואני אסביר למה זה נקרא כך - הסיבה פשוטה. אני עצמי גר בכפר. והשם הוא טרול קל של אלה שצועקים באינטרנט "אין חיים מעבר לכביש הטבעת של מוסקבה!", "הכפר הרוסי הפך לשיכור והוא גוסס!" אז באיזשהו מקום זה אולי נכון, אבל אני אהיה החריג לכלל. אני לא שותה, אני לא מעשן, אני עושה דברים שלא כל "קרקר(ים) עירוניים" יכולים להרשות לעצמם. אבל בואו נחזור לכבשים שלנו, או ליתר דיוק, לשרת, שבסוף החלק הראשון של המאמר כבר "הראה סימני חיים".

הלוח שכב על השולחן, טיפסתי דרך ה-BIOS, הגדרתי אותו לטעמי, שטפתי את שולחן העבודה של Ubuntu 16.04 לשם הפשטות והחלטתי לחבר כרטיס מסך ל"סופר מכונה". אבל הדבר היחיד שהיה בהישג יד היה GTS 250 עם מאוורר כבד לא מקורי מחובר. אותו התקנתי בחריץ PCI-E 16x ליד כפתור ההפעלה.





"לקחתי את זה עם חפיסת בלומור (ג)" אז בבקשה אל תאשים אותי באיכות התמונה. אני מעדיף להגיב על מה שנלכד עליהם.

ראשית, הסתבר שכאשר מותקן בחריץ, אפילו כרטיס מסך קצר מניח את הלוח כנגד חריצי הזיכרון, בהם במקרה זה לא ניתן להתקין אותו ואפילו יש להוריד את התפסים. שנית, פס ההרכבה של הברזל של כרטיס המסך מכסה את כפתור ההפעלה, אז היה צריך להסיר אותו. אגב, כפתור ההפעלה עצמו מואר על ידי נורית דו-צבעונית, שנדלקת בירוק כשהכל תקין ומהבהבת בכתום אם יש בעיות, קצר חשמלי והגנת אספקת החשמל נפלה או מתח +12VSB ההיצע גבוה מדי או נמוך מדי.

למעשה, לוח האם הזה לא נועד לכלול כרטיסי מסך "ישירות" לתוך חריצי ה-PCI-E 16x שלו; כולם מחוברים ל-risers. להתקנת כרטיס הרחבה בחריצים ליד כפתור ההדלקה, יש אופניים פינתיים, נמוך להתקנת כרטיסים קצרים עד אורך רדיאטור המעבד הראשון, ופינה גבוהה עם מחבר מתח נוסף +12V להתקנת כרטיס מסך "מעל" מצנן נמוך סטנדרטי של 1U. זה יכול לכלול כרטיסי מסך גדולים כמו GTX 780, GTX 980, GTX 1080 או כרטיסי GPGPU מיוחדים Nvidia Tesla K10-K20-K40 או "כרטיסי מחשוב" Intel Xeon Phi 5110p וכדומה.

אבל ב-GPGPU riser, ניתן לחבר את הכרטיס הכלול ב-EdgeSlot ישירות, רק על ידי חיבור שוב כוח נוסף עם אותו מחבר כמו ב-riser הפינתי הגבוה. למעוניינים, ב-eBay ה-Riser הגמיש הזה נקרא "Dell PowerEdge C8220X PCI-E GPGPU DJC89" ועולה כ-2.5-3 אלף רובל. זרמים פינתיים עם ספק כוח נוסף הם הרבה יותר נדירים ונאלצתי לנהל משא ומתן כדי להשיג אותם מחנות חלקי שרתים מיוחדת דרך Whisper. הם עולים 7 אלף כל אחד.

אני אגיד מיד, "חבר'ה מסוכנים (tm)" יכולים אפילו לחבר זוג GTX 980 ללוח עם העלאות גמישות סיניות פי 16, כפי שעשה אדם אחד ב"אותו הפורום"; אגב, הסינים מייצרים די עבודות יד טובות שעובדות על PCI-E 16x 2.0 בסגנון של Thermaltek Flexibles risers, אבל אם יום אחד זה יגרום לכם לשרוף את מעגלי החשמל בלוח השרת, יהיה עליכם להאשים רק את עצמכם. לא הסתכנתי בציוד יקר והשתמשתי בעליות מקוריות עם כוח נוסף ואחד סיני גמיש, מתוך מחשבה שחיבור כרטיס אחד "ישיר" לא ישרוף את הלוח.

ואז הגיעו המחברים המיוחלים לחיבור כוח נוסף ועשיתי זנב ל-Riser שלי ב-EdgeSlot. ואותו מחבר, אבל עם pinout שונה, משמש לאספקת חשמל נוסף ללוח האם. המחבר הזה נמצא ממש ליד אותו מחבר EdgeSlot, יש שם pinout מעניין. אם ל-riser יש 2 חוטים +12 ו-2 משותפים, אז ללוח יש 3 חוטים +12 ו-1 משותף.

זהו למעשה אותו GTS 250 הכלול ב-GPGPU riser. אגב, מתח נוסף מסופק לעליות וללוח האם - ממחבר המתח השני +12V של המעבד של ספק הכוח שלי. החלטתי שזה יהיה נכון יותר לעשות את זה.

האגדה מספרת את עצמה במהירות, אבל לאט לאט מגיעות החבילות לרוסיה מסין וממקומות אחרים ברחבי הגלובוס. לכן, היו פערים גדולים בהרכבה של "מחשב העל". אבל לבסוף הגיע אלי שרת Nvidia Tesla K20M עם רדיאטור פסיבי. יתר על כן, הוא אפס לחלוטין, מאחסון, סגור בקופסה המקורית שלו, באריזתו המקורית, עם ניירות אחריות. והסבל התחיל: איך לקרר אותו?

ראשית, נרכש מאנגליה צידנית אישית עם שתי "טורבינות" קטנות, הנה היא בתמונה, עם מפזר קרטון ביתי.

והתברר שהם חרא מוחלט. הם עשו הרבה רעש, התושבת לא התאימה בכלל, הם נשפו חלש ונתנו רטט כזה שפחדתי שהרכיבים יפלו מהלוח של טסלה! למה הם נזרקו לפח כמעט מיד?

אגב, בתמונה מתחת לטסלה ניתן לראות רדיאטורים נחושת של LGA 2011 1U מותקנים על המעבדים עם חילזון מ-Coolerserver שנרכש מ- Aliexpress. מצננים הגונים מאוד, אם כי קצת רועשים. הם מתאימים בצורה מושלמת.

אבל למעשה, בזמן שחיכיתי לצידנית חדשה לטסלה, הפעם לאחר שהזמנתי חילזון BFB1012EN גדול מאוסטרליה עם תושבת מודפסת בתלת מימד, הוא הגיע למערכת אחסון השרת. ללוח השרת יש מחבר מיני-SAS שדרכו יוצאים 3 מחברי SATA ועוד 4 מחברי SATA. הכל בתקן SATA 2 אבל זה מתאים לי.

ה-intel C602 RAID המשולב בערכת השבבים לא רע והעיקר שהוא מדלג על פקודת TRIM עבור SSDs, מה שבקרי RAID חיצוניים רבים וזולים לא עושים.

באיביי קניתי כבל מיני-SAS ל-4 SATA באורך מטר, וב-Avito קניתי עגלה להחלפה חמה עם מפרץ בגודל 5,25 אינץ' עבור 4 x 2,5 אינץ' SAS-SATA. אז כשהגיע הכבל והסל, הותקנו בו 4 טרה-בייט Seagates, RAID5 ל-4 מכשירים נבנה בביוס, התחלתי להתקין את השרת אובונטו... ונתקלתי בעובדה שהתוכנה לחלוקה לדיסק לא אפשרה לי כדי ליצור מחיצת החלפה ב-raid.

פתרתי את הבעיה חזיתית - קניתי מתאם ASUS HYPER M.2 x 2 MINI ו-M.4 SSD Samsung 2 EVO 960 Gb מ-DNS והחלטתי שיש להקצות את התקן המהירות המקסימלית להחלפה, מכיוון שהמערכת תעבוד עם עומס חישובי גבוה, והזיכרון עדיין פחות מגודל הנתונים. והזיכרון של 250 ג'יגה-בייט היה יקר יותר מה-SSD הזה.

אותו מתאם עם כונן SSD מותקן במעלה פינתי נמוך.

לצפות את השאלות - "למה לא להפוך את כל המערכת ל-M.2 ולהיות עם מהירות גישה מקסימלית גבוהה מזו של פשיטה על SATA?" - אני אענה. ראשית, כונני SSD של 1 TB או יותר M2 יקרים מדי עבורי. שנית, גם לאחר עדכון ה-BIOS לגרסה האחרונה 2.8.1, השרת עדיין לא תומך בטעינת התקני M.2 NVE. עשיתי ניסוי שבו המערכת קבעה / אתחול ל-USB FLASH 64 Gb וכל השאר ל-M.2 SSD, אבל לא אהבתי את זה. אם כי, באופן עקרוני, שילוב כזה הוא די בר ביצוע. אם M.2 NVEs בעלי קיבולת גבוהה הופכים זולים יותר, אולי אחזור לאופציה הזו, אבל לעת עתה מתאימה לי SATA RAID כמערכת אחסון די טוב.
כשהחלטתי על תת-מערכת הדיסק והגעתי לשילוב של 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" זה הגיע הזמן להמשיך בניסויים שלי עם GPU כבר היו לי טסלה וציידנית אוסטרלית בדיוק הגיעה עם חילזון "מרושע" שאוכל עד 2.94A ב-12V, החריץ השני היה תפוס על ידי M.2 ובשלישי שאלתי GT 610 "לניסויים".

כאן בתמונה כל 3 המכשירים מחוברים, וה- M.2 SSD הוא דרך Thermaltech riser גמיש לכרטיסי מסך שעובד על אפיק 3.0 ללא שגיאות. זה ככה, עשוי מ"סרטים" בודדים רבים הדומים לאלה שמהם עשויים כבלי SATA. PCI-E 16x risers העשויים מכבל שטוח מונוליטי, בערך כמו ה-IDE-SCSI הישנים, הם אסון, הם יסבלו משגיאות עקב הפרעות הדדיות. וכפי שכבר אמרתי, הסינים מייצרים כעת גם עולים דומים לאלו של Thermaltek, אבל קצרים יותר.

בשילוב עם Tesla K20 + GT 610 ניסיתי הרבה דברים, במקביל גיליתי שכאשר מחברים כרטיס מסך חיצוני ומעבירים אליו את הפלט ב-BIOS, vKVM לא עובד, מה שלא ממש עבד להרגיז אותי. בכל מקרה, לא תכננתי להשתמש בוידאו חיצוני במערכת הזו, אין יציאות וידאו בטסלס, ופאנל הניהול המרוחק דרך SSH וללא X-owls עובד מצוין ברגע שאתה זוכר קצת מהי שורת פקודה ללא GUI . אבל IPMI + vKVM מפשט מאוד את הניהול, ההתקנה מחדש ובעיות אחרות עם שרת מרוחק.

באופן כללי, ה-IPMI של הלוח הזה נהדר. יציאת 100 מגה ביט נפרדת, אפשרות להגדיר מחדש הזרקת מנות לאחת מיציאות ה-10 גיגה ביט, שרת אינטרנט מובנה לניהול צריכת חשמל ושליטה בשרתים, הורדת לקוח vKVM Java ישירות ממנו ולקוח להרכבה מרחוק של דיסקים או תמונות להתקנה מחדש... הדבר היחיד הוא שהלקוחות זהים לזה הישן של Java Oracle, שכבר לא נתמך בלינוקס ולפאנל הניהול המרוחק הייתי צריך להשיג מחשב נייד עם Win XP SP3 עם זה בדיוק קרפדה עתיקה. ובכן, הלקוח איטי, יש מספיק לפאנל הניהול וכל זה, אבל אתה לא יכול לשחק משחקים מרחוק, ה-FPS קטן. וסרטון ה-ASPEED שמשולב עם IPMI חלש, רק VGA.

בתהליך ההתמודדות עם השרת למדתי המון ולמדתי המון בתחום חומרת השרתים המקצועית מבית Dell. מה שאני לא מתחרט עליו בכלל, כמו גם על הזמן והכסף שהושקעו היטב. הסיפור החינוכי על הרכבת המסגרת עם כל רכיבי השרת ימשיך בהמשך.

קישור לחלק 3: habr.com/en/post/454480

מקור: www.habr.com