"სოფლის სუპერკომპიუტერის" აწყობის ისტორია eBay-ის, Aliexpress-ის და კომპიუტერული მაღაზიის სათადარიგო ნაწილებისგან. Მე -2 ნაწილი

კარგი დღე, ძვირფასო ხაბროვსკელებო!

ისტორიის პირველი ნაწილის ბმული მათთვის, ვინც გამოტოვა

მინდა გავაგრძელო ჩემი ამბავი „სოფლის სუპერკომპიუტერის“ აწყობის შესახებ. და მე აგიხსნით, რატომ ჰქვია ასე - მიზეზი მარტივია. მე თვითონ სოფელში ვცხოვრობ. და სახელი არის მცირე ტროლინგი მათზე, ვინც ინტერნეტში ყვირის "მოსკოვის რგოლის მიღმა სიცოცხლე არ არის!", "რუსული სოფელი მთვრალი გახდა და კვდება!" ასე რომ, სადღაც შეიძლება ეს მართალია, მაგრამ მე ვიქნები გამონაკლისი წესიდან. მე არ ვსვავ, არ ვეწევი, ვაკეთებ იმას, რისი საშუალებაც ყველა „ურბანულ კრეკერ(ებ)ს“ არ შეუძლია. მაგრამ დავუბრუნდეთ ჩვენს ცხვრებს, უფრო ზუსტად, სერვერს, რომელიც სტატიის პირველი ნაწილის ბოლოს უკვე „სიცოცხლის ნიშნებს აჩვენებდა“.

დაფა მაგიდაზე იწვა, მე გადავედი BIOS-ზე, დავაყენე ის ჩემი სურვილისამებრ, სიმარტივისთვის გამოვტოვე Ubuntu 16.04 Desktop და გადავწყვიტე ვიდეო ბარათი დამეკავშირებინა „სუპერ მანქანასთან“. მაგრამ ერთადერთი, რაც ხელთ იყო, იყო GTS 250, რომელსაც მიმაგრებული ჰქონდა არაორიგინალი ვენტილატორი. რომელიც დავაინსტალირე PCI-E 16x სლოტში დენის ღილაკთან ახლოს.





"მე გადავიღე ბელომორის (გ) შეკვრით", ასე რომ, გთხოვთ, ნუ დამაბრალებთ ფოტოს ხარისხს. მე მირჩევნია კომენტარი გავაკეთო იმაზე, რაც მათზეა აღბეჭდილი.

ჯერ ერთი, აღმოჩნდა, რომ სლოტში დაყენებისას, მოკლე ვიდეოკარტაც კი ეყრდნობა დაფას მეხსიერების სლოტებთან, რაშიც ამ შემთხვევაში მისი დაყენება შეუძლებელია და საკეტებიც კი უნდა ჩამოიწიოს. მეორეც, ვიდეო ბარათის რკინის სამონტაჟო ზოლი ფარავს დენის ღილაკს, ამიტომ მისი ამოღება იყო საჭირო. სხვათა შორის, თავად ჩართვის ღილაკი განათებულია ორი ფერის LED-ით, რომელიც ანათებს მწვანედ, როცა ყველაფერი რიგზეა და ნარინჯისფრად ციმციმებს, თუ რაიმე პრობლემაა, მოკლე ჩართვა და დენის მიწოდების დაცვა გამორთულია ან +12VSB დენი. მიწოდება არის ძალიან მაღალი ან ძალიან დაბალი.

ფაქტობრივად, ეს დედაპლატა არ არის შექმნილი იმისათვის, რომ ჩართოს ვიდეო ბარათები „პირდაპირ“ თავის PCI-E 16x სლოტებში; ისინი ყველა დაკავშირებულია ამაღლებთან. დენის ღილაკთან ახლოს მდებარე სლოტებში გაფართოების ბარათის დასაყენებლად არის კუთხის ამწეები, დაბალია მოკლე ბარათების დასაყენებლად პირველი პროცესორის რადიატორის სიგრძემდე და მაღალი კუთხით დამატებითი +12 ვ დენის კონექტორით ინსტალაციისთვის. ვიდეო ბარათი "ზემოთ" სტანდარტული დაბალი 1U ქულერი. ის შეიძლება შეიცავდეს დიდ ვიდეო ბარათებს, როგორიცაა GTX 780, GTX 980, GTX 1080 ან სპეციალიზებული GPGPU ბარათები Nvidia Tesla K10-K20-K40 ან „გამოთვლითი ბარათები“ Intel Xeon Phi 5110p და მსგავსი.

მაგრამ GPGPU riser-ში EdgeSlot-ში შემავალი ბარათის პირდაპირ დაკავშირება შესაძლებელია მხოლოდ დამატებითი სიმძლავრის ხელახლა შეერთებით იმავე კონექტორით, როგორც მაღალი კუთხის ამწეზე. დაინტერესებულთათვის, eBay-ზე ამ მოქნილ ამწეზე ჰქვია "Dell PowerEdge C8220X PCI-E GPGPU DJC89" და ღირს დაახლოებით 2.5-3 ათასი რუბლი. დამატებითი ელექტრომომარაგების მქონე კუთხის ამწეები ბევრად უფრო იშვიათია და მე მომიწია მოლაპარაკება, რომ მიმეღო ისინი სერვერის ნაწილების სპეციალიზებული მაღაზიიდან Whisper-ის საშუალებით. ცალი 7 ათასი ღირს.

მე მაშინვე ვიტყვი, რომ "რისკისიან ბიჭებს (tm)" შეუძლიათ დააკავშირონ GTX 980 წყვილი დაფაზე ჩინურ მოქნილ ამწეებთან 16x, როგორც ეს ერთმა ადამიანმა გააკეთა "იგივე ფორუმზე"; სხვათა შორის, ჩინელები საკმაოდ აკეთებენ. კარგი ხელნაკეთობები, რომლებიც მუშაობენ PCI-E 16x 2.0-ზე Thermaltek-ის მოქნილი აღმართების სტილში, მაგრამ თუ ეს ერთ დღეს გამოიწვევს სერვერის დაფაზე დენის სქემების დაწვას, თქვენ მხოლოდ საკუთარ თავს დაადანაშაულებთ. მე არ გავრისკე ძვირადღირებული აღჭურვილობა და გამოვიყენე ორიგინალური ამწეები დამატებითი სიმძლავრით და ერთი ჩინური მოქნილი, მივხვდი, რომ ერთი ბარათის „პირდაპირ“ დაკავშირება არ დაწვავდა დაფას.

შემდეგ მოვიდა დიდი ხნის ნანატრი კონექტორები დამატებითი სიმძლავრის დასაკავშირებლად და EdgeSlot-ში ჩემი ამწესთვის კუდი გავაკეთე. და იგივე კონექტორი, ოღონდ განსხვავებული პინოტით, გამოიყენება დედაპლატისთვის დამატებითი ენერგიის მიწოდებისთვის. ეს კონექტორი არის ზუსტად იგივე EdgeSlot კონექტორის გვერდით, იქ არის საინტერესო პინი. თუ ამწეს აქვს 2 მავთული +12 და 2 საერთო, მაშინ დაფას აქვს 3 მავთული +12 და 1 საერთო.

სინამდვილეში ეს არის იგივე GTS 250, რომელიც შედის GPGPU riser-ში. სხვათა შორის, დამატებითი სიმძლავრე მიეწოდება ამწეებს და დედაპლატს - ჩემი კვების წყაროს CPU-ს მეორე +12V დენის კონექტორიდან. გადავწყვიტე, რომ უფრო სწორი იქნებოდა ამის გაკეთება.

ზღაპარი თავისთავად სწრაფად ყვება, მაგრამ ნელ-ნელა ამანათები რუსეთში ჩადის ჩინეთიდან და მსოფლიოს სხვა ადგილებიდან. აქედან გამომდინარე, იყო დიდი ხარვეზები "სუპერკომპიუტერის" შეკრებაში. მაგრამ საბოლოოდ Nvidia Tesla K20M სერვერი პასიური რადიატორით მოვიდა ჩემთან. უფრო მეტიც, აბსოლუტურად ნულოვანია, შენახვისგან, თავდაპირველ ყუთში დალუქული, ორიგინალურ შეფუთვაში, საგარანტიო ქაღალდებით. და დაიწყო ტანჯვა: როგორ გავაციოთ?

ჯერ ინგლისიდან იყიდეს საბაჟო ქულერი ორი პატარა „ტურბინით“, აი ფოტოზე, ხელნაკეთი მუყაოს დიფუზორით.

და ისინი სრული სისულელეები აღმოჩნდნენ. ბევრი ხმაური გამოუშვეს, სამაგრი საერთოდ არ ჯდებოდა, სუსტად ააფეთქეს და ისეთი ვიბრაცია აძლევდნენ, შემეშინდა, კომპონენტები ტესლას დაფიდან არ ჩამოვარდნილიყო! რატომ გადააგდეს ისინი ნაგავში თითქმის მაშინვე?

სხვათა შორის, Tesla-ს ქვეშ მდებარე ფოტოზე შეგიძლიათ იხილოთ LGA 2011 1U სერვერის სპილენძის რადიატორები, რომლებიც დამონტაჟებულია პროცესორებზე ალიექსპრესიდან შეძენილი Coolerserver-ის ლოკოკინით. ძალიან წესიერი გამაგრილებელი, თუმცა ცოტა ხმაურიანი. ისინი იდეალურად ერგებიან.

მაგრამ რეალურად, სანამ ველოდებოდი ტესლას ახალ გამაგრილებელს, ამჯერად შევუკვეთე დიდი BFB1012EN ლოკოკინა ავსტრალიიდან 3D დაბეჭდილი სამაგრით, ის მოვიდა სერვერის შენახვის სისტემაში. სერვერის დაფას აქვს მინი-SAS კონექტორი, რომლის მეშვეობითაც გამოდის 4 SATA და კიდევ 2 SATA კონექტორი. ყველა SATA სტანდარტი 2.0, მაგრამ ეს მაწყობს.

ჩიპსეტში ინტეგრირებული intel C602 RAID არ არის ცუდი და მთავარია ის გამოტოვებს TRIM ბრძანებას SSD-ებისთვის, რასაც ბევრი იაფი გარე RAID კონტროლერი არ აკეთებს.

eBay-ზე ვიყიდე მეტრი სიგრძის mini-SAS to 4 SATA კაბელი, ხოლო Avito-ზე ვიყიდე hot-swap cart 5,25″ bay-ით 4 x 2,5″ SAS-SATA. კაბელი და კალათა რომ მოვიდა, მასში 4 ტერაბაიტი Seagates დამონტაჟდა, BIOS-ში აშენდა RAID5 4 მოწყობილობისთვის, დავიწყე Ubuntu სერვერის ინსტალაცია... და გადავაწყდი, რომ დისკის დაყოფის პროგრამა არ მაძლევდა საშუალებას. რეიდზე სვოპ დანაყოფის შესაქმნელად.

მე გადავწყვიტე პრობლემა პირდაპირ - ვიყიდე ASUS HYPER M.2 x 2 MINI და M.4 SSD Samsung 2 EVO 960 Gb ადაპტერი DNS-დან და გადავწყვიტე, რომ მაქსიმალური სიჩქარის მოწყობილობა გამოვყო სვოპისთვის, რადგან სისტემა იმუშავებს. მაღალი გამოთვლითი დატვირთვით და მეხსიერება მაინც აშკარად ნაკლებია მონაცემთა ზომაზე. და 250 GB მეხსიერება უფრო ძვირი იყო ვიდრე ეს SSD.

იგივე ადაპტერი SSD-ით დაყენებული დაბალ კუთხეში.

კითხვების მოლოდინი - "რატომ არ უნდა გააკეთოთ მთელი სისტემა M.2-ზე და არ გქონდეთ წვდომის მაქსიმალური სიჩქარე SATA-ზე რეიდის სიჩქარეზე?" - ვუპასუხებ. ჯერ ერთი, 1 TB ან მეტი M2 SSD ჩემთვის ძალიან ძვირია. მეორეც, BIOS-ის უახლეს ვერსიაზე 2.8.1 განახლების შემდეგაც კი, სერვერი კვლავ არ უჭერს მხარს M.2 NVE მოწყობილობების ჩატვირთვას. მე ჩავატარე ექსპერიმენტი, სადაც სისტემა დააყენა /boot USB FLASH 64 Gb-ზე და ყველაფერი დანარჩენი M.2 SSD-ზე, მაგრამ არ მომეწონა. თუმცა, პრინციპში, ასეთი კომბინაცია საკმაოდ ეფექტურია. თუ მაღალი სიმძლავრის M.2 NVE გაიაფდება, შეიძლება ამ ვარიანტს დავუბრუნდე, მაგრამ ჯერჯერობით SATA RAID, როგორც შენახვის სისტემა, საკმაოდ კარგად მაწყობს.
როდესაც გადავწყვიტე დისკის ქვესისტემა და გამოვიტანე 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap"-ის კომბინაცია. დროა გავაგრძელო ექსპერიმენტები GPU-სთან მე უკვე მყავდა ტესლა და ავსტრალიური ქულერი ახლახანს ჩამოვიდა "ბოროტი" ლოკოკინით, რომელიც ჭამს 2.94A-ს 12V-ზე, მეორე სლოტი დაიკავა M.2-მა და მესამესთვის ვისესხე GT 610 "ექსპერიმენტებისთვის".

აქ ფოტოზე სამივე მოწყობილობა დაკავშირებულია და M.3 SSD არის მოქნილი Thermaltech riser-ის მეშვეობით ვიდეო ბარათებისთვის, რომელიც მუშაობს 2 ავტობუსზე შეცდომების გარეშე. ეს ასეა, დამზადებულია მრავალი ინდივიდუალური „ლენტისგან“, მსგავსი, საიდანაც მზადდება SATA კაბელები. მონოლითური ბრტყელი კაბელისგან დამზადებული PCI-E 3.0x ამწეები, ძველებური IDE-SCSI-ის მსგავსად, კატასტროფაა, ისინი დაზარალდებიან შეცდომით ურთიერთჩარევის გამო. და როგორც უკვე ვთქვი, ჩინელებიც ამზადებენ თერმალტეკის მსგავსი ამწეებს, მაგრამ უფრო მოკლე.

Tesla K20 + GT 610-თან ერთად, ბევრი რამ ვცადე, ამავდროულად გავარკვიე, რომ გარე ვიდეო ბარათის დაკავშირებისას და მასზე გამომავალი BIOS-ში გადართვისას, vKVM არ მუშაობს, რაც ნამდვილად არ მუშაობდა. გამაბრაზა. ყოველ შემთხვევაში, მე არ ვგეგმავდი ამ სისტემაში გარე ვიდეოს გამოყენებას, არ არის ვიდეო გამომავალი Teslas-ზე და დისტანციური ადმინისტრატორის პანელი SSH-ის საშუალებით და X-owls-ის გარეშე მშვენივრად მუშაობს, როგორც კი ცოტათი გახსოვთ, რა არის ბრძანების ხაზი GUI-ს გარეშე. . მაგრამ IPMI + vKVM მნიშვნელოვნად ამარტივებს მართვას, ხელახლა ინსტალაციას და დისტანციური სერვერის სხვა საკითხებს.

ზოგადად, ამ დაფის IPMI შესანიშნავია. ცალკე 100 მბიტი პორტი, პაკეტის ინექციის ხელახალი კონფიგურაციის შესაძლებლობა 10 გბიტიანი პორტებიდან ერთ-ერთში, ჩაშენებული ვებ სერვერი სერვერების ენერგიის მართვისა და კონტროლისთვის, vKVM Java კლიენტის გადმოტვირთვა პირდაპირ მისგან და კლიენტი დისკების დისტანციური მონტაჟისთვის. ან სურათები ხელახლა ინსტალაციისთვის... ერთადერთი ის არის, რომ კლიენტები იგივეა, რაც ძველი Java Oracle, რომელიც ლინუქსში აღარ არის მხარდაჭერილი და დისტანციური ადმინისტრაციული პანელისთვის მომიწია აეღო ლეპტოპი Win XP SP3-ით ამ ძალიან. უძველესი გომბეშო. კარგი, კლიენტი ნელია, საკმარისია ადმინისტრაციული პანელი და ეს ყველაფერი, მაგრამ დისტანციურად არ შეგიძლიათ თამაშების თამაში, FPS არის პატარა. და ASPEED ვიდეო, რომელიც ინტეგრირებულია IPMI-სთან, სუსტია, მხოლოდ VGA.

სერვერთან ურთიერთობის პროცესში ბევრი რამ ვისწავლე და ვისწავლე პროფესიონალური სერვერის ტექნიკის სფეროში Dell-ისგან. რასაც საერთოდ არ ვნანობ, ასევე კარგად დახარჯულ დროს და ფულს. საგანმანათლებლო ისტორია ყველა სერვერის კომპონენტთან ჩარჩოს რეალურად აწყობის შესახებ მოგვიანებით გაგრძელდება.

3 ნაწილის ლინკი: habr.com/en/post/454480

წყარო: www.habr.com