2 জিবি র‍্যামের সাথে মিনি আইটিএক্স ক্লাস্টার টুরিং পাই 32

হাবর সম্প্রদায়কে শুভেচ্ছা! আমি সম্প্রতি আমাদের প্রথম সংস্করণ ক্লাস্টার বোর্ড সম্পর্কে লিখেছি [V1]. এবং আজ আমি আপনাকে বলতে চাই কিভাবে আমরা সংস্করণে কাজ করেছি 2 জিবি সহ টিউরিং V32 এলোমেলো অ্যাক্সেস মেমরি।

আমরা মিনি সার্ভার পছন্দ করি যা স্থানীয় উন্নয়ন এবং স্থানীয় হোস্টিং উভয়ের জন্য ব্যবহার করা যেতে পারে। ডেস্কটপ কম্পিউটার বা ল্যাপটপের বিপরীতে, আমাদের সার্ভারগুলি 24/7 কাজ করার জন্য ডিজাইন করা হয়েছে, সেগুলি দ্রুত ফেডারেট করা যেতে পারে, উদাহরণস্বরূপ, একটি ক্লাস্টারে 4 টি প্রসেসর ছিল এবং 5 মিনিটের পরে 16 টি প্রসেসর ছিল (কোন অতিরিক্ত নেটওয়ার্ক সরঞ্জাম নেই) এবং এই সমস্ত একটি কম্প্যাক্ট ফর্ম ফ্যাক্টর নীরব এবং শক্তি দক্ষ.

আমাদের সার্ভারের আর্কিটেকচার নির্মাণের ক্লাস্টার নীতির উপর ভিত্তি করে, যেমন আমরা ক্লাস্টার বোর্ড তৈরি করি যা, বোর্ডে ইথারনেট নেটওয়ার্ক ব্যবহার করে, বেশ কয়েকটি কম্পিউটিং মডিউল (প্রসেসর) সংযুক্ত করে। সহজ করার জন্য, আমরা এখনও আমাদের নিজস্ব কম্পিউটিং মডিউল তৈরি করি না, তবে রাস্পবেরি পাই কম্পিউট মডিউল ব্যবহার করি এবং আমরা সত্যিই নতুন CM4 মডিউলের জন্য আশা করেছিলাম। কিন্তু, সবকিছু তাদের নতুন ফর্ম ফ্যাক্টরের সাথে পরিকল্পনার বিরুদ্ধে গেছে এবং আমি মনে করি অনেকেই হতাশ।

আমরা কীভাবে V1 থেকে V2 তে গিয়েছিলাম এবং কীভাবে আমাদের নতুন রাস্পবেরি পাই CM4 ফর্ম ফ্যাক্টর দিয়ে বের হতে হয়েছিল সেই কাটার নীচে।

সুতরাং, 7 নোডের জন্য একটি ক্লাস্টার তৈরি করার পরে, প্রশ্নগুলি হল - পরবর্তী কী? কিভাবে একটি পণ্যের মান বাড়ানো যায়? 8, 10 বা 16 নোড? কোন মডিউল নির্মাতারা? সামগ্রিকভাবে পণ্য সম্পর্কে চিন্তা করে, আমরা বুঝতে পেরেছি যে এখানে মূল জিনিসটি নোডের সংখ্যা বা প্রস্তুতকারক কে নয়, তবে একটি বিল্ডিং ব্লক হিসাবে ক্লাস্টারগুলির সারাংশ। আমাদের ন্যূনতম বিল্ডিং ব্লকটি সন্ধান করতে হবে

প্রথম, একটি ক্লাস্টার হবে এবং একই সময়ে ডিস্ক এবং সম্প্রসারণ বোর্ড সংযোগ করতে সক্ষম হবে। ক্লাস্টার ব্লক একটি স্বয়ংসম্পূর্ণ বেস নোড এবং বিস্তৃত প্রসারণ বিকল্পগুলির সাথে হওয়া উচিত।

দ্বিতীয়, যাতে ন্যূনতম ক্লাস্টার ব্লকগুলি একটি বড় আকারের ক্লাস্টার তৈরি করে একে অপরের সাথে সংযুক্ত হতে পারে এবং যাতে এটি বাজেট এবং স্কেলিং গতির ক্ষেত্রে দক্ষ হয়। স্কেলিং গতি অবশ্যই একটি নেটওয়ার্কের সাথে সাধারণ কম্পিউটারগুলিকে সংযুক্ত করার চেয়ে দ্রুত এবং সার্ভার হার্ডওয়্যারের তুলনায় অনেক সস্তা হতে হবে৷

তৃতীয়, ন্যূনতম ক্লাস্টার ইউনিটগুলি পর্যাপ্ত পরিমাণে কমপ্যাক্ট, মোবাইল, শক্তি সাশ্রয়ী, সাশ্রয়ী এবং অপারেটিং অবস্থার জন্য দাবি করা উচিত নয়। এটি সার্ভার র্যাক এবং তাদের সাথে সংযুক্ত সবকিছু থেকে মূল পার্থক্যগুলির মধ্যে একটি।

আমরা নোড সংখ্যা নির্ধারণ করে শুরু.

নোডের সংখ্যা

সহজ লজিক্যাল বিচারের মাধ্যমে, আমরা বুঝতে পেরেছি যে ন্যূনতম ক্লাস্টার ব্লকের জন্য 4টি নোড হল সেরা বিকল্প। 1 নোড একটি ক্লাস্টার নয়, 2টি নোড যথেষ্ট নয় (1 মাস্টার 1 কর্মী, একটি ব্লকের মধ্যে স্কেলিং করার কোন সম্ভাবনা নেই, বিশেষ করে ভিন্ন ভিন্ন বিকল্পগুলির জন্য), 3টি নোড ঠিক আছে, কিন্তু 2 এর ক্ষমতার একাধিক নয় এবং এর মধ্যে স্কেলিং একটি ব্লক সীমিত, 6টি নোড প্রায় 7টি নোডের মতো দামে আসে (আমাদের অভিজ্ঞতা থেকে এটি ইতিমধ্যেই একটি বড় খরচের দাম), 8টি অনেক, মিনি ITX ফর্ম ফ্যাক্টরের সাথে খাপ খায় না এবং আরও ব্যয়বহুল PoC সমাধান।

প্রতি ব্লকে চারটি নোডকে সোনালী গড় হিসাবে বিবেচনা করা হয়:

• ক্লাস্টার বোর্ড প্রতি কম উপকরণ, তাই উত্পাদন সস্তা
• 4টির একাধিক, মোট 4টি ব্লক 16টি শারীরিক প্রসেসর দেয়
• স্থিতিশীল সার্কিট 1 মাস্টার এবং 3 জন কর্মী
• আরও ভিন্ন ভিন্নতা, সাধারণ-গণনা + ত্বরিত-গণনা মডিউল
• SSD ড্রাইভ এবং এক্সপেনশন কার্ড সহ মিনি ITX ফর্ম ফ্যাক্টর

গণনা মডিউল

দ্বিতীয় সংস্করণটি CM4 এর উপর ভিত্তি করে, আমরা ভেবেছিলাম যে এটি SODIMM ফর্ম ফ্যাক্টরে প্রকাশ করা হবে। কিন্তু…
আমরা একটি SODIMM কন্যাবোর্ড তৈরি করার এবং সরাসরি মডিউলগুলিতে CM4 একত্রিত করার সিদ্ধান্ত নিয়েছি যাতে ব্যবহারকারীদের CM4 নিয়ে চিন্তা করতে না হয়।

টুরিং পাই কম্পিউট মডিউল রাস্পবেরি পাই CM4 সমর্থন করে

সাধারণভাবে, মডিউলগুলির সন্ধানে, 128 এমবি র‌্যাম থেকে 8 জিবি র‌্যাম সহ ছোট মডিউল থেকে কম্পিউটিং মডিউলগুলির একটি সম্পূর্ণ বাজার খোলা হয়েছিল। 16 GB RAM সহ মডিউলগুলি এগিয়ে আছে৷ ক্লাউড নেটিভ প্রযুক্তির উপর ভিত্তি করে এজ অ্যাপ্লিকেশন হোস্টিংয়ের জন্য, 1 গিগাবাইট RAM ইতিমধ্যেই যথেষ্ট নয়, এবং 2, 4 এবং এমনকি 8 GB RAM-এর জন্য মডিউলগুলির সাম্প্রতিক উপস্থিতি বৃদ্ধির জন্য ভাল জায়গা প্রদান করে। এমনকি তারা মেশিন লার্নিং অ্যাপ্লিকেশনগুলির জন্য FPGA মডিউলগুলির বিকল্পগুলি বিবেচনা করেছিল, কিন্তু সফ্টওয়্যার ইকোসিস্টেম তৈরি না হওয়ার কারণে তাদের সমর্থন বিলম্বিত হয়েছে। মডিউল বাজার অধ্যয়ন করার সময়, আমরা মডিউলগুলির জন্য একটি সর্বজনীন ইন্টারফেস তৈরির ধারণা নিয়ে এসেছি এবং V2 এ আমরা কম্পিউটিং মডিউলগুলির ইন্টারফেসকে একীভূত করতে শুরু করি। এটি V2 সংস্করণের মালিকদের অন্যান্য নির্মাতাদের থেকে মডিউলগুলিকে সংযুক্ত করতে এবং নির্দিষ্ট কাজের জন্য তাদের মিশ্রিত করার অনুমতি দেবে।

V2 সম্পূর্ণ রাস্পবেরি পাই 4 কম্পিউট মডিউল (CM4) লাইন সমর্থন করে, যার মধ্যে লাইট সংস্করণ এবং 8 GB RAM মডিউল রয়েছে

পরিধি

মডিউলগুলির বিক্রেতা এবং নোডের সংখ্যা নির্ধারণ করার পরে, আমরা PCI বাসের কাছে গিয়েছিলাম যেখানে পেরিফেরালগুলি অবস্থিত। PCI বাস হল পেরিফেরালগুলির জন্য আদর্শ এবং প্রায় সমস্ত কম্পিউটিং মডিউলে পাওয়া যায়। আমাদের বেশ কয়েকটি নোড রয়েছে, এবং আদর্শভাবে, প্রতিটি নোড সমকালীন অনুরোধ মোডে PCI ডিভাইসগুলি ভাগ করতে সক্ষম হওয়া উচিত। উদাহরণস্বরূপ, যদি এটি বাসের সাথে সংযুক্ত একটি ডিস্ক হয়, তবে এটি সমস্ত নোডে উপলব্ধ। আমরা মাল্টি-হোস্ট সমর্থন সহ PCI সুইচগুলি সন্ধান করতে শুরু করেছি এবং দেখতে পেয়েছি যে সেগুলির কোনওটিই আমাদের প্রয়োজনীয়তার সাথে খাপ খায় না। এই সমস্ত সমাধানগুলি বেশিরভাগই 1 হোস্ট বা মাল্টি হোস্টের মধ্যে সীমাবদ্ধ ছিল, তবে শেষপয়েন্টগুলিতে সমকালীন অনুরোধের মোড ছাড়াই। দ্বিতীয় সমস্যা হল প্রতি চিপের উচ্চ মূল্য $50 বা তার বেশি। V2-তে, আমরা PCI সুইচগুলির সাথে পরীক্ষাগুলি স্থগিত করার সিদ্ধান্ত নিয়েছি (আমরা বিকাশের সাথে সাথে তাদের কাছে ফিরে আসব) এবং প্রতিটি নোডের জন্য একটি ভূমিকা নির্ধারণের পথ ধরে চলেছি: প্রথম দুটি নোড প্রতি নোডে মিনি পিসিআই এক্সপ্রেস পোর্ট উন্মুক্ত করে, তৃতীয় নোড উন্মুক্ত 2-পোর্ট 6 Gbps SATA কন্ট্রোলার। অন্যান্য নোড থেকে ডিস্ক অ্যাক্সেস করতে, আপনি ক্লাস্টারের মধ্যে নেটওয়ার্ক ফাইল সিস্টেম ব্যবহার করতে পারেন। কেন না?

উঁকিঝুঁকি

আমরা আলোচনা এবং প্রতিফলনের মাধ্যমে সময়ের সাথে সাথে ন্যূনতম ক্লাস্টার ব্লক কীভাবে বিবর্তিত হয়েছে তার কিছু স্কেচ শেয়ার করার সিদ্ধান্ত নিয়েছি।

ফলস্বরূপ, আমরা 4 260-পিন নোড, 2টি মিনি PCIe (Gen 2) পোর্ট, 2 SATA (Gen 3) পোর্ট সহ একটি ক্লাস্টার ইউনিটে এসেছি। বোর্ডে VLAN সমর্থন সহ একটি লেয়ার-2 পরিচালিত সুইচ রয়েছে। প্রথম নোড থেকে একটি মিনি PCIe পোর্ট সরানো হয়েছে, যেখানে আপনি একটি নেটওয়ার্ক কার্ড ইনস্টল করতে পারেন এবং অন্য একটি ইথারনেট পোর্ট বা 5G মডেম পেতে পারেন এবং প্রথম নোড থেকে ক্লাস্টার এবং ইথারনেট পোর্টে নেটওয়ার্কের জন্য একটি রাউটার তৈরি করতে পারেন৷

ক্লাস্টার বাসের আরও বৈশিষ্ট্য রয়েছে, যার মধ্যে রয়েছে মডিউলগুলিকে সরাসরি সমস্ত স্লটের মাধ্যমে ফ্ল্যাশ করার ক্ষমতা এবং অবশ্যই গতি নিয়ন্ত্রণ সহ প্রতিটি নোডে ফ্যান সংযোগকারী।

আবেদন

স্ব-হোস্ট করা অ্যাপ্লিকেশন এবং পরিষেবাগুলির জন্য প্রান্ত পরিকাঠামো

আমরা V2 কে একটি ভোক্তা/বাণিজ্যিক-গ্রেড প্রান্ত পরিকাঠামোর জন্য সর্বনিম্ন বিল্ডিং ব্লক হিসাবে ডিজাইন করেছি। V2 এর সাথে, আপনার বৃদ্ধির সাথে সাথে প্রুফ-অফ-কনসেপ্ট এবং স্কেল শুরু করা সস্তা, ধীরে ধীরে এমন অ্যাপ্লিকেশনগুলিকে পোর্ট করা হয় যা প্রান্তে হোস্ট করার জন্য আরও ব্যয়-কার্যকর এবং ব্যবহারিক। বৃহত্তর ক্লাস্টার তৈরি করতে ক্লাস্টার ব্লকগুলি একসাথে সংযুক্ত করা যেতে পারে। এটি প্রতিষ্ঠিত হওয়ার অনেক ঝুঁকি ছাড়াই ধীরে ধীরে করা যেতে পারে
প্রসেস ইতিমধ্যে আজ ব্যবসার জন্য বিপুল সংখ্যক আবেদন রয়েছে, যা স্থানীয়ভাবে হোস্ট করা যেতে পারে.

এআরএম ওয়ার্কস্টেশন

প্রতি ক্লাস্টারে 32 গিগাবাইট RAM পর্যন্ত, প্রথম নোডটি OS এর ডেস্কটপ সংস্করণের জন্য ব্যবহার করা যেতে পারে (উদাহরণস্বরূপ, উবুন্টু ডেস্কটপ 20.04 LTS) এবং অবশিষ্ট 3টি নোড সংকলন, পরীক্ষা এবং ডিবাগিং কাজ, ARM-এর জন্য ক্লাউড নেটিভ সলিউশন তৈরির জন্য। ক্লাস্টার প্রোড এ এআরএম এজ ইনফ্রাস্ট্রাকচারে সিআই/সিডির নোড হিসেবে।

CM2 মডিউল সহ টিউরিং V4 ক্লাস্টার স্থাপত্যগতভাবে প্রায় অভিন্ন (ARMv8-এর ছোট সংস্করণে পার্থক্য) AWS Graviton দৃষ্টান্তের উপর ভিত্তি করে ক্লাস্টারে। CM4 মডিউল প্রসেসরটি ARMv8 আর্কিটেকচার ব্যবহার করে যাতে আপনি AWS Graviton 1 এবং 2 দৃষ্টান্তগুলির জন্য ছবি এবং অ্যাপ্লিকেশন তৈরি করতে পারেন, যা x86 দৃষ্টান্তের তুলনায় অনেক সস্তা বলে পরিচিত।

উত্স: www.habr.com