🥇 MIT থেকে নতুন CPU লোড ব্যালেন্সার

Shenango সিস্টেম ডেটা সেন্টারে ব্যবহার করার পরিকল্পনা করা হয়েছে।

প্রদানকারী এক অনুযায়ী, তথ্য কেন্দ্র ব্যবহার উপলব্ধ কম্পিউটিং শক্তির মাত্র 20-40%। উচ্চ লোড এ এই সূচক 60% পৌঁছতে পারে. সম্পদের এই বন্টন তথাকথিত "জম্বি সার্ভার" এর উত্থানের দিকে পরিচালিত করে। এগুলি এমন মেশিন যা বেশিরভাগ সময় অলস বসে থাকে, শক্তি নষ্ট করে। আজ বিশ্বের 30% সার্ভার কাজ ছাড়া আছে, প্রতি বছর $30 বিলিয়ন মূল্যের বিদ্যুৎ খরচ করে।

এমআইটি কম্পিউটিং সংস্থানগুলির অদক্ষ ব্যবহারের বিরুদ্ধে লড়াই করার সিদ্ধান্ত নিয়েছে।

প্রকৌশল দল উন্নত হয়েছে Shenango নামক প্রসেসর লোড ব্যালেন্সিং সিস্টেম। এর উদ্দেশ্য হল টাস্ক বাফারের অবস্থা নিরীক্ষণ করা এবং আটকে থাকা প্রসেসগুলিকে (যা CPU সময় গ্রহণ করতে পারে না) বিনামূল্যে মেশিনে পুনরায় বিতরণ করা।

Shenango কিভাবে কাজ করে

শেনাঙ্গো হল Linux- রাস্ট এবং সি++ বাইন্ডিং সহ একটি সি লাইব্রেরি। প্রকল্পের কোড এবং পরীক্ষামূলক অ্যাপ্লিকেশনগুলি প্রকাশিত হয়েছে সংগ্রহস্থল গিটহাবে।

সমাধানটি IOKernel অ্যালগরিদমের উপর ভিত্তি করে, যা একটি মাল্টিপ্রসেসর সিস্টেমের একটি ডেডিকেটেড কোরে চলে। এটি একটি ফ্রেমওয়ার্ক ব্যবহার করে CPU অনুরোধগুলি পরিচালনা করে ডিপিডিকে, যা অ্যাপ্লিকেশনগুলিকে নেটওয়ার্ক ডিভাইসগুলির সাথে সরাসরি যোগাযোগ করতে দেয়৷

IOKernel সিদ্ধান্ত নেয় কোন কার্নেলকে একটি নির্দিষ্ট কাজ অর্পণ করা হবে। অ্যালগরিদমও ঠিক করে যে কতগুলি কোরের প্রয়োজন হবে। প্রতিটি প্রক্রিয়ার জন্য, প্রধান কোরগুলি (গ্যারান্টিযুক্ত) এবং অতিরিক্তগুলি (বিস্ফোরণযোগ্য) নির্ধারণ করা হয় - সিপিইউতে অনুরোধের সংখ্যা তীব্র বৃদ্ধির ক্ষেত্রে পরবর্তীগুলি চালু করা হয়।

IOKernel অনুরোধ সারি হিসাবে সংগঠিত হয় রিং বাফার. প্রতি পাঁচ মাইক্রোসেকেন্ডে, অ্যালগরিদম চেক করে যে কোরে নির্ধারিত সমস্ত কাজ শেষ হয়েছে কিনা। এটি করার জন্য, এটি বাফারের মাথার বর্তমান অবস্থানটিকে তার লেজের পূর্ববর্তী অবস্থানের সাথে তুলনা করে। যদি দেখা যায় যে পূর্ববর্তী চেকের সময় লেজটি ইতিমধ্যেই সারিতে ছিল, সিস্টেমটি বাফার ওভারলোড নোট করে এবং প্রক্রিয়াটির জন্য একটি অতিরিক্ত কোর বরাদ্দ করে।

লোড বিতরণ করার সময়, সেই কোরগুলিতে অগ্রাধিকার দেওয়া হয় যেগুলির উপর একই প্রক্রিয়া আগে সম্পাদিত হয়েছিল এবং আংশিকভাবে ক্যাশে বা যে কোনও নিষ্ক্রিয় কোরে ছিল।

Shenango অতিরিক্ত পদ্ধতি গ্রহণ করে কাজ চুরি. একটি অ্যাপ্লিকেশন চালানোর জন্য বরাদ্দ করা কোর একে অপরের কাজের সংখ্যা নিরীক্ষণ করে। যদি একটি কোর অন্যদের আগে তার কাজের তালিকা শেষ করে, তবে এটি তার প্রতিবেশীদের কাছ থেকে বোঝার কিছু অংশ "মুক্ত" করে।

উপকারিতা এবং অসুবিধা

উপর অনুসারে MIT-এর ইঞ্জিনিয়াররা, Shenango প্রতি সেকেন্ডে পাঁচ মিলিয়ন অনুরোধ প্রক্রিয়া করতে এবং 37 মাইক্রোসেকেন্ডের গড় প্রতিক্রিয়া সময় বজায় রাখতে সক্ষম। বিশেষজ্ঞরা বলছেন যে কিছু ক্ষেত্রে প্রযুক্তি ডেটা সেন্টারে প্রসেসরের ব্যবহারের হার 100% বাড়িয়ে দিতে পারে। এর ফলে, ডেটা সেন্টার অপারেটররা সার্ভারের ক্রয় এবং রক্ষণাবেক্ষণের খরচ বাঁচাতে পারবে।

সমাধান সম্ভাব্য ছাপ এবং অন্যান্য বিশ্ববিদ্যালয়ের বিশেষজ্ঞরা। একটি কোরিয়ান ইনস্টিটিউটের একজন অধ্যাপকের মতে, এমআইটি সিস্টেম ওয়েব পরিষেবাগুলিতে বিলম্ব কমাতে সাহায্য করবে। উদাহরণস্বরূপ, এটি অনলাইন স্টোরগুলিতে কার্যকর হবে। বিক্রয়ের দিনে পৃষ্ঠা লোড হতে এমনকি দ্বিতীয় বিলম্ব হয় приводит 11% দ্বারা সাইট ভিউ সংখ্যা হ্রাস. দ্রুত লোড বিতরণ আরও ক্লায়েন্টদের পরিবেশন করতে সহায়তা করবে।

প্রযুক্তির এখনও ত্রুটি রয়েছে - এটি মাল্টিপ্রসেসর সমর্থন করে না NUMA-সিস্টেম যেখানে চিপগুলি বিভিন্ন মেমরি মডিউলের সাথে সংযুক্ত থাকে এবং একে অপরের সাথে "যোগাযোগ" করে না। এই ক্ষেত্রে, IOKernel প্রসেসরের একটি পৃথক গ্রুপের ক্রিয়াকলাপ নিয়ন্ত্রণ করতে পারে, তবে সমস্ত সার্ভার চিপ নয়।

/ ছবি টিম রেকম্যান সিসি বাই

অনুরূপ প্রযুক্তি

অন্যান্য প্রসেসর লোড ব্যালেন্সিং সিস্টেমের মধ্যে রয়েছে Arachne। এটি একটি অ্যাপ্লিকেশন শুরু হওয়ার সময় কতগুলি কোরের প্রয়োজন হবে তা গণনা করে এবং এই নির্দেশক অনুসারে প্রক্রিয়াগুলি বিতরণ করে। লেখকদের মতে, আরাকনে একটি অ্যাপ্লিকেশনের সর্বাধিক বিলম্বিতা প্রায় 10 হাজার মাইক্রোসেকেন্ড।

প্রযুক্তিটি একটি C++ লাইব্রেরি হিসেবে বাস্তবায়িত করা হয়েছে Linuxএবং এর সোর্স কোড এখানে পাওয়া যাবে GitHub.

আরেকটি ব্যালেন্সিং টুল হল ZygOS। শেনাঙ্গোর মতো, প্রযুক্তিটি প্রক্রিয়াগুলি পুনরায় বিতরণ করতে কাজের চুরি পদ্ধতি ব্যবহার করে। ZygOS এর লেখকদের মতে, টুলটি ব্যবহার করার সময় গড় অ্যাপ্লিকেশন লেটেন্সি প্রায় 150 মাইক্রোসেকেন্ড এবং সর্বোচ্চ প্রায় 450 মাইক্রোসেকেন্ড। প্রজেক্ট কোডও আছে পাবলিক ডোমেইনে আছে.

তথ্যও

আধুনিক ডেটা সেন্টারগুলি প্রসারিত হতে চলেছে৷ হাইপারস্কেল ডেটা সেন্টারগুলির বাজারে ক্রমবর্ধমান প্রবণতা বিশেষভাবে লক্ষণীয়: এখন বিশ্বে সেখানে আছে 430 হাইপারস্কেল ডেটা সেন্টার, কিন্তু আগামী বছরগুলিতে তাদের সংখ্যা 30% বৃদ্ধি পেতে পারে। এই কারণে, প্রসেসর লোড ব্যালেন্সিং প্রযুক্তির প্রচুর চাহিদা থাকবে। Shenango এর মতো সিস্টেম ইতিমধ্যেই উপলব্ধ বাস্তবায়ন বড় কর্পোরেশন, এবং এই ধরনের সরঞ্জাম সংখ্যা শুধুমাত্র ভবিষ্যতে বৃদ্ধি হবে.

কর্পোরেট IaaS সম্পর্কে প্রথম ব্লগ থেকে পোস্টগুলি:

উত্স: www.habr.com