eBay, Aliexpress এবং একটি কম্পিউটার স্টোরের খুচরা যন্ত্রাংশ থেকে একটি "গ্রাম সুপার কম্পিউটার" একত্রিত করার গল্প। পার্ট 2

শুভ দিন, প্রিয় খাব্রোভস্কের বাসিন্দা!

যারা মিস করেছেন তাদের জন্য গল্পের প্রথম অংশের লিঙ্ক

আমি একটি "গ্রাম সুপার কম্পিউটার" একত্রিত করার বিষয়ে আমার গল্প চালিয়ে যেতে চাই। এবং আমি ব্যাখ্যা করব কেন এটিকে এভাবে বলা হয় - কারণটি সহজ। আমি নিজে গ্রামে থাকি। এবং নামটি তাদের সামান্য ট্রোলিং যারা ইন্টারনেটে চিৎকার করে "মস্কো রিং রোডের বাইরে কোন জীবন নেই!", "রাশিয়ান গ্রামটি মাতাল হয়ে উঠেছে এবং মারা যাচ্ছে!" সুতরাং, কোথাও এটি সত্য হতে পারে, তবে আমি নিয়মের ব্যতিক্রম হব। আমি পান করি না, আমি ধূমপান করি না, আমি এমন কিছু করি যা প্রতিটি "শহুরে ক্র্যাকার(গুলি)" বহন করতে পারে না। তবে আসুন আমাদের মেষগুলিতে বা আরও স্পষ্টভাবে, সার্ভারে ফিরে আসি, যা নিবন্ধের প্রথম অংশের শেষে ইতিমধ্যেই "জীবনের লক্ষণ দেখাচ্ছে।"

বোর্ডটি টেবিলের উপর পড়ে ছিল, আমি BIOS এর মাধ্যমে আরোহণ করেছি, এটি আমার পছন্দ অনুযায়ী সেট আপ করেছি, সরলতার জন্য উবুন্টু 16.04 ডেস্কটপ বন্ধ করে দিয়েছিলাম এবং "সুপার মেশিন" এর সাথে একটি ভিডিও কার্ড সংযুক্ত করার সিদ্ধান্ত নিয়েছি। তবে হাতের কাছে একমাত্র জিনিস ছিল একটি GTS 250 যার সাথে একটি মোটা অ-অরিজিনাল ফ্যান সংযুক্ত ছিল। যেটি আমি পাওয়ার বোতামের কাছে PCI-E 16x স্লটে ইনস্টল করেছি।





"আমি বেলোমোর (c) এর একটি প্যাক দিয়ে এটি নিয়েছি" তাই অনুগ্রহ করে ছবির গুণমানের জন্য আমাকে দোষারোপ করবেন না। আমি বরং তাদের উপর ক্যাপচার করা হয়েছে মন্তব্য করতে চাই.

প্রথমত, এটি প্রমাণিত হয়েছে যে একটি স্লটে ইনস্টল করার সময়, এমনকি একটি ছোট ভিডিও কার্ড মেমরি স্লটের বিরুদ্ধে বোর্ডকে বিশ্রাম দেয়, এই ক্ষেত্রে এটি ইনস্টল করা যাবে না এবং এমনকি ল্যাচগুলিও নামাতে হবে। দ্বিতীয়ত, ভিডিও কার্ডের লোহার মাউন্টিং স্ট্রিপ পাওয়ার বোতামটি কভার করে, তাই এটি অপসারণ করতে হয়েছিল। যাইহোক, পাওয়ার বোতামটি নিজেই একটি দুই রঙের LED দ্বারা আলোকিত হয়, যা সবকিছু ঠিকঠাক থাকলে সবুজ রঙের আলো দেয় এবং কোনো সমস্যা হলে, শর্ট সার্কিট এবং পাওয়ার সাপ্লাই প্রোটেকশন ট্রিপ হয়ে গেলে বা +12VSB পাওয়ার থাকলে কমলা রঙের আলো জ্বলে। সরবরাহ খুব বেশি বা খুব কম।

প্রকৃতপক্ষে, এই মাদারবোর্ডটি তার PCI-E 16x স্লটে ভিডিও কার্ডগুলিকে "সরাসরি" অন্তর্ভুক্ত করার জন্য ডিজাইন করা হয়নি; এগুলি সবই রাইজারের সাথে সংযুক্ত। পাওয়ার বোতামের কাছাকাছি স্লটে একটি সম্প্রসারণ কার্ড ইনস্টল করতে, কর্নার রাইজার রয়েছে, প্রথম প্রসেসর রেডিয়েটরের দৈর্ঘ্য পর্যন্ত ছোট কার্ড ইনস্টল করার জন্য একটি নিচু, এবং একটি ইনস্টল করার জন্য একটি অতিরিক্ত +12V পাওয়ার সংযোগকারী সহ একটি উচ্চ কোণে রয়েছে। ভিডিও কার্ড "উপরে" একটি আদর্শ নিম্ন 1U কুলার। এতে GTX 780, GTX 980, GTX 1080 বা বিশেষায়িত GPGPU কার্ড Nvidia Tesla K10-K20-K40 বা "কম্পিউটিং কার্ড" Intel Xeon Phi 5110p এবং এর মতো বড় ভিডিও কার্ড অন্তর্ভুক্ত থাকতে পারে।

কিন্তু GPGPU রাইজারে, EdgeSlot-এ অন্তর্ভুক্ত কার্ডটি সরাসরি সংযুক্ত করা যেতে পারে, শুধুমাত্র হাই কর্নার রাইজারের মতো একই সংযোগকারীর সাথে অতিরিক্ত পাওয়ার সংযোগ করে। যারা আগ্রহী তাদের জন্য, ইবেতে এই নমনীয় রাইসারটিকে "ডেল পাওয়ারএজ C8220X PCI-E GPGPU DJC89" বলা হয় এবং এর দাম প্রায় 2.5-3 হাজার রুবেল। অতিরিক্ত পাওয়ার সাপ্লাই সহ কর্নার রাইজার অনেক বিরল এবং আমাকে হুইস্পারের মাধ্যমে একটি বিশেষ সার্ভারের যন্ত্রাংশের দোকান থেকে সেগুলি পেতে আলোচনা করতে হয়েছিল। এগুলোর প্রতি সাত হাজার টাকা খরচ হয়।

আমি এখনই বলব, "ঝুঁকিপূর্ণ ছেলেরা (tm)" এমনকি এক জোড়া GTX 980 কে চাইনিজ নমনীয় রাইজার 16x দিয়ে বোর্ডের সাথে সংযুক্ত করতে পারে, যেমনটি একজন ব্যক্তি "The Same Forum" এ করেছিলেন; যাইহোক, চাইনিজরা বেশ কিছু করে ভাল কারুশিল্প যা PCI-E 16x 2.0-এ থার্মালটেক নমনীয় রাইজারের স্টাইলে কাজ করে, কিন্তু যদি এটি একদিন আপনাকে সার্ভার বোর্ডে পাওয়ার সার্কিটগুলিকে পুড়িয়ে দেয়, তাহলে আপনি কেবল নিজেকেই দায়ী করবেন। আমি ব্যয়বহুল সরঞ্জাম ঝুঁকি নিইনি এবং অতিরিক্ত শক্তি এবং একটি চাইনিজ নমনীয় একটি মূল রাইজার ব্যবহার করেছি, একটি কার্ড "সরাসরি" সংযুক্ত করলে বোর্ডটি জ্বলবে না।

তারপরে অতিরিক্ত পাওয়ার সংযোগের জন্য দীর্ঘ-প্রতীক্ষিত সংযোগকারীগুলি এসে পৌঁছেছে এবং আমি এজস্লটে আমার রাইজারের জন্য একটি লেজ তৈরি করেছি। এবং একই সংযোগকারী, কিন্তু একটি ভিন্ন পিনআউট সহ, মাদারবোর্ডে অতিরিক্ত শক্তি সরবরাহ করতে ব্যবহৃত হয়। এই সংযোগকারীটি একই এজস্লট সংযোগকারীর ঠিক পাশেই রয়েছে, সেখানে একটি আকর্ষণীয় পিনআউট রয়েছে। যদি রাইজারে 2টি তার +12 এবং 2টি কমন থাকে, তাহলে বোর্ডে 3টি তার +12 এবং 1টি কমন থাকে।

এটি আসলে একই GTS 250 GPGPU রাইজারে অন্তর্ভুক্ত। যাইহোক, রাইজার এবং মাদারবোর্ডে অতিরিক্ত শক্তি সরবরাহ করা হয় - আমার পাওয়ার সাপ্লাইয়ের CPU এর দ্বিতীয় +12V পাওয়ার সংযোগকারী থেকে। আমি সিদ্ধান্ত নিয়েছি যে এটি করা আরও সঠিক হবে।

রূপকথা দ্রুত বলে, কিন্তু ধীরে ধীরে পার্সেলগুলি চীন এবং বিশ্বের অন্যান্য জায়গা থেকে রাশিয়ায় আসে। অতএব, "সুপার কম্পিউটার" এর সমাবেশে বড় ফাঁক ছিল। কিন্তু অবশেষে একটি প্যাসিভ রেডিয়েটার সহ Nvidia Tesla K20M সার্ভার আমার কাছে এসেছে। তাছাড়া, এটা একেবারে শূন্য, স্টোরেজ থেকে, এর আসল বাক্সে, তার আসল প্যাকেজে, ওয়ারেন্টি কাগজপত্র সহ। এবং দুর্ভোগ শুরু হয়েছিল: কীভাবে এটি ঠান্ডা করা যায়?

প্রথমে, দুটি ছোট "টারবাইন" সহ একটি কাস্টম কুলার ইংল্যান্ড থেকে কেনা হয়েছিল, এখানে এটি একটি বাড়িতে তৈরি কার্ডবোর্ড ডিফিউজার সহ ফটোতে রয়েছে।

এবং তারা সম্পূর্ণ ফালতু হতে পরিণত. তারা প্রচুর শব্দ করেছিল, মাউন্টটি একেবারেই ফিট হয়নি, তারা দুর্বলভাবে ফুঁ দিয়েছিল এবং এমন কম্পন দিয়েছিল যে আমি ভয় পেয়েছিলাম যে উপাদানগুলি টেসলা বোর্ড থেকে পড়ে যাবে! কেন তারা প্রায় সঙ্গে সঙ্গে আবর্জনা নিক্ষেপ করা হয়েছিল?

যাইহোক, টেসলার অধীনে ফটোতে আপনি দেখতে পাচ্ছেন এলজিএ 2011 1ইউ সার্ভার কপার রেডিয়েটারগুলি প্রসেসরগুলিতে ইনস্টল করা কুলসারভার থেকে একটি শামুক সহ অ্যালিএক্সপ্রেস থেকে কেনা। খুব শালীন কুলার, যদিও একটু গোলমাল। তারা পুরোপুরি ফিট.

কিন্তু আসলে, যখন আমি টেসলার জন্য একটি নতুন কুলারের জন্য অপেক্ষা করছিলাম, এইবার অস্ট্রেলিয়া থেকে একটি 1012D প্রিন্টেড মাউন্ট সহ একটি বড় BFB3EN শামুক অর্ডার করার পরে, এটি সার্ভার স্টোরেজ সিস্টেমে এসেছিল। সার্ভার বোর্ডে একটি মিনি-এসএএস সংযোগকারী রয়েছে যার মাধ্যমে 4টি SATA এবং আরও 2টি SATA সংযোগকারী আউটপুট হয়। সমস্ত SATA মান 2.0 কিন্তু এটি আমার জন্য উপযুক্ত।

চিপসেটে ইন্টেল C602 RAID সংহত করা খারাপ নয় এবং মূল বিষয় হল এটি SSD-এর জন্য TRIM কমান্ড এড়িয়ে যায়, যা অনেক সস্তা বহিরাগত RAID কন্ট্রোলার করে না।

ইবেতে আমি একটি মিটার-লম্বা মিনি-এসএএস থেকে 4 SATA ক্যাবল কিনেছি, এবং অ্যাভিটোতে আমি 5,25 x 4″ SAS-SATA এর জন্য একটি 2,5″ বে সহ একটি হট-সোয়াপ কার্ট কিনেছি। সুতরাং যখন কেবল এবং ঝুড়িটি এসে পৌঁছল, এতে 4 টেরাবাইট সিগেট ইনস্টল করা হয়েছিল, BIOS-এ 5টি ডিভাইসের জন্য RAID4 তৈরি করা হয়েছিল, আমি সার্ভার উবুন্টু ইনস্টল করা শুরু করেছি... এবং ডিস্ক পার্টিশনিং প্রোগ্রামটি আমাকে অনুমতি দেয়নি অভিযানে একটি অদলবদল পার্টিশন তৈরি করতে।

আমি সমস্যার সমাধান করেছি - আমি DNS থেকে একটি ASUS HYPER M.2 x 2 MINI এবং M.4 SSD Samsung 2 EVO 960 Gb অ্যাডাপ্টার কিনেছি এবং সিদ্ধান্ত নিয়েছি যে সর্বোচ্চ গতির ডিভাইসটি অদলবদলের জন্য বরাদ্দ করা উচিত, যেহেতু সিস্টেমটি কাজ করবে উচ্চ কম্পিউটেশনাল লোড সহ, এবং মেমরি এখনও ডেটা আকারের চেয়ে স্পষ্টতই কম। এবং 250 জিবি মেমরি এই এসএসডি থেকে বেশি ব্যয়বহুল ছিল।

একটি নিম্ন কোণার রাইজারে ইনস্টল করা একটি SSD সহ এই একই অ্যাডাপ্টার।

প্রশ্নগুলির পূর্বাভাস - "কেন M.2-এ সমগ্র সিস্টেম তৈরি করবেন না এবং SATA-তে একটি অভিযানের চেয়ে সর্বাধিক অ্যাক্সেসের গতি বেশি থাকবে?" - আমি উত্তর দেব। প্রথমত, 1 টিবি বা তার বেশি M2 SSD আমার জন্য খুবই ব্যয়বহুল। দ্বিতীয়ত, সর্বশেষ সংস্করণ 2.8.1-এ BIOS আপডেট করার পরেও, সার্ভার এখনও M.2 NVE ডিভাইস লোড করা সমর্থন করে না। আমি একটি পরীক্ষা করেছি যেখানে সিস্টেমটি USB FLASH 64 Gb-এ সেট/বুট করেছে এবং অন্য সব কিছু M.2 SSD-তে সেট করেছে, কিন্তু আমি এটি পছন্দ করিনি। যদিও, নীতিগতভাবে, এই জাতীয় সংমিশ্রণটি বেশ কার্যকর। যদি উচ্চ-ক্ষমতাসম্পন্ন M.2 NVE গুলি সস্তা হয়ে যায়, আমি এই বিকল্পে ফিরে আসতে পারি, কিন্তু আপাতত SATA RAID একটি স্টোরেজ সিস্টেম হিসাবে আমার জন্য বেশ উপযুক্ত।
যখন আমি ডিস্ক সাবসিস্টেমের সিদ্ধান্ত নিয়েছিলাম এবং 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” এর সংমিশ্রণ নিয়ে এসেছি GPU নিয়ে আমার পরীক্ষা চালিয়ে যাওয়ার সময় আমার কাছে ইতিমধ্যেই একটি টেসলা ছিল এবং একটি অস্ট্রেলিয়ান কুলার এইমাত্র একটি "দুষ্ট" শামুক নিয়ে এসেছিল যা 2.94V এ 12A যতটা খায়, দ্বিতীয় স্লটটি M.2 দ্বারা দখল করা হয়েছিল এবং তৃতীয়টির জন্য আমি একটি GT 610 ধার নিয়েছিলাম "পরীক্ষার জন্য।"

এখানে ফটোতে সমস্ত 3টি ডিভাইস সংযুক্ত রয়েছে এবং M.2 SSD ভিডিও কার্ডগুলির জন্য একটি নমনীয় থার্মালটেক রাইজারের মাধ্যমে যা 3.0 বাসে ত্রুটি ছাড়াই কাজ করে৷ এটি এরকম, অনেকগুলি পৃথক "ফিতা" থেকে তৈরি যা থেকে SATA তারগুলি তৈরি করা হয়। PCI-E 16x রাইজারগুলি একটি মনোলিথিক ফ্ল্যাট কেবল থেকে তৈরি, পুরানো IDE-SCSI এর মতো, একটি বিপর্যয়, পারস্পরিক হস্তক্ষেপের কারণে তারা ত্রুটির শিকার হবে। এবং আমি আগেই বলেছি, চাইনিজরাও এখন থার্মালটেকের মতোই রাইজার তৈরি করে, কিন্তু খাটো।

টেসলা কে 20 + জিটি 610 এর সংমিশ্রণে, আমি অনেক কিছু চেষ্টা করেছি, একই সাথে আমি খুঁজে পেয়েছি যে একটি বাহ্যিক ভিডিও কার্ড সংযোগ করার সময় এবং BIOS-এ এটিতে আউটপুট স্যুইচ করার সময়, vKVM কাজ করে না, যা সত্যিই হয়নি আমার মন খারাপ. যাইহোক, আমি এই সিস্টেমে বাহ্যিক ভিডিও ব্যবহার করার পরিকল্পনা করিনি, টেসলাসে কোন ভিডিও আউটপুট নেই, এবং SSH এর মাধ্যমে এবং X-owls ছাড়া রিমোট অ্যাডমিন প্যানেল দুর্দান্ত কাজ করে একবার আপনি একটু মনে রাখবেন যে GUI ছাড়া কমান্ড লাইন কী . কিন্তু IPMI + vKVM একটি দূরবর্তী সার্ভারের সাথে ব্যবস্থাপনা, পুনঃস্থাপন এবং অন্যান্য সমস্যাগুলিকে ব্যাপকভাবে সহজ করে।

সাধারণভাবে, এই বোর্ডের আইপিএমআই দুর্দান্ত। একটি পৃথক 100 Mbit পোর্ট, 10 Gbit পোর্টগুলির মধ্যে একটিতে প্যাকেট ইনজেকশন পুনরায় কনফিগার করার ক্ষমতা, পাওয়ার ম্যানেজমেন্ট এবং সার্ভার নিয়ন্ত্রণের জন্য একটি অন্তর্নির্মিত ওয়েব সার্ভার, এটি থেকে সরাসরি vKVM জাভা ক্লায়েন্ট ডাউনলোড করা এবং ডিস্কগুলির দূরবর্তী মাউন্টিংয়ের জন্য ক্লায়েন্ট। অথবা পুনরায় ইনস্টলেশনের জন্য ছবি... একমাত্র জিনিস হল ক্লায়েন্টগুলি পুরানো জাভা ওরাকলের মতোই, যেটি আর লিনাক্সে সমর্থিত নয় এবং রিমোট অ্যাডমিন প্যানেলের জন্য আমাকে উইন এক্সপি SP3 সহ একটি ল্যাপটপ পেতে হয়েছিল। প্রাচীন টোড। ঠিক আছে, ক্লায়েন্ট ধীর, অ্যাডমিন প্যানেল এবং এই সমস্ত কিছুর জন্য যথেষ্ট, কিন্তু আপনি দূর থেকে গেম খেলতে পারবেন না, FPS ছোট। এবং আইপিএমআই-এর সাথে একত্রিত ASPEED ভিডিও দুর্বল, শুধুমাত্র VGA।

সার্ভারের সাথে কাজ করার প্রক্রিয়াতে, আমি ডেল থেকে পেশাদার সার্ভার হার্ডওয়্যারের ক্ষেত্রে অনেক কিছু শিখেছি এবং অনেক কিছু শিখেছি। যা আমি মোটেও অনুশোচনা করি না, সেইসাথে সময় এবং অর্থ ভালভাবে ব্যয় করেছি। প্রকৃতপক্ষে সমস্ত সার্ভার উপাদানগুলির সাথে ফ্রেম একত্রিত করার বিষয়ে শিক্ষামূলক গল্পটি পরে অব্যাহত থাকবে।

অংশ 3 লিঙ্ক: habr.com/en/post/454480

উত্স: www.habr.com