হ্যালো হাবর! বিগ ডেটা এবং মেশিন লার্নিংয়ের জন্য ডেটা সেটগুলি দ্রুতগতিতে বাড়ছে এবং আমাদের তাদের সাথে তাল মিলিয়ে চলতে হবে। হাই পারফরম্যান্স কম্পিউটিং (এইচপিসি, হাই পারফরম্যান্স কম্পিউটিং) এর ক্ষেত্রে আরেকটি উদ্ভাবনী প্রযুক্তি সম্পর্কে আমাদের পোস্ট, যা কিংস্টন বুথে দেখানো হয়েছে . এটি গ্রাফিক প্রসেসিং ইউনিট (GPU) এবং GPUDirect স্টোরেজ বাস প্রযুক্তি সহ সার্ভারগুলিতে হাই-এন্ড ডেটা স্টোরেজ সিস্টেম (SDS) এর ব্যবহার। স্টোরেজ সিস্টেম এবং জিপিইউ-এর মধ্যে সরাসরি ডেটা আদান-প্রদানের জন্য ধন্যবাদ, সিপিইউকে বাইপাস করে, জিপিইউ এক্সিলারেটরে ডেটা লোড করা একটি মাত্রার ক্রম দ্বারা ত্বরান্বিত হয়, তাই বিগ ডেটা অ্যাপ্লিকেশনগুলি জিপিইউগুলি সরবরাহ করে এমন সর্বাধিক কার্যক্ষমতাতে চলে। পরিবর্তে, HPC সিস্টেম বিকাশকারীরা সর্বোচ্চ I/O গতি সহ স্টোরেজ সিস্টেমে অগ্রগতিতে আগ্রহী, যেমন কিংস্টন দ্বারা উত্পাদিত।
GPU কর্মক্ষমতা ডেটা লোডিং ছাড়িয়ে যায়
যেহেতু CUDA, একটি GPU-ভিত্তিক হার্ডওয়্যার এবং সফ্টওয়্যার সমান্তরাল কম্পিউটিং আর্কিটেকচার সাধারণ-উদ্দেশ্যের অ্যাপ্লিকেশনগুলি বিকাশের জন্য, 2007 সালে তৈরি হয়েছিল, তাই GPU-গুলির হার্ডওয়্যার ক্ষমতাগুলি অবিশ্বাস্যভাবে বৃদ্ধি পেয়েছে৷ বর্তমানে, বিগ ডেটা, মেশিন লার্নিং (এমএল) এবং ডিপ লার্নিং (ডিএল) এর মতো এইচপিসি অ্যাপ্লিকেশনগুলিতে জিপিইউ ক্রমবর্ধমানভাবে ব্যবহৃত হচ্ছে।
উল্লেখ্য যে পদের মিল থাকা সত্ত্বেও, শেষ দুটি অ্যালগরিদমিকভাবে ভিন্ন কাজ। এমএল স্ট্রাকচার্ড ডেটার উপর ভিত্তি করে কম্পিউটারকে প্রশিক্ষণ দেয়, যখন ডিএল একটি নিউরাল নেটওয়ার্ক থেকে প্রতিক্রিয়ার ভিত্তিতে কম্পিউটারকে প্রশিক্ষণ দেয়। পার্থক্য বুঝতে সাহায্য করার জন্য একটি উদাহরণ বেশ সহজ। আসুন ধরে নিই যে কম্পিউটারকে অবশ্যই বিড়াল এবং কুকুরের ফটোগুলির মধ্যে পার্থক্য করতে হবে যা স্টোরেজ সিস্টেম থেকে লোড করা হয়। ML-এর জন্য, আপনাকে অনেক ট্যাগ সহ চিত্রগুলির একটি সেট জমা দিতে হবে, যার প্রতিটি প্রাণীর একটি নির্দিষ্ট বৈশিষ্ট্যকে সংজ্ঞায়িত করে। DL-এর জন্য, অনেক বড় সংখ্যক ছবি আপলোড করাই যথেষ্ট, কিন্তু শুধুমাত্র একটি ট্যাগ দিয়ে "এটি একটি বিড়াল" বা "এটি একটি কুকুর"। ছোট বাচ্চাদের কীভাবে শেখানো হয় তার সাথে ডিএল খুব মিল - তাদের কেবল বই এবং জীবনে কুকুর এবং বিড়ালের ছবি দেখানো হয় (বেশিরভাগ ক্ষেত্রে, এমনকি বিশদ পার্থক্য ব্যাখ্যা না করেই), এবং শিশুর মস্তিষ্ক নিজেই প্রাণীর ধরণ নির্ধারণ করতে শুরু করে। তুলনা করার জন্য একটি নির্দিষ্ট সমালোচনামূলক সংখ্যক ছবি ( অনুমান অনুসারে, আমরা শৈশবকাল জুড়ে মাত্র একশ বা দুটি শো সম্পর্কে কথা বলছি)। DL অ্যালগরিদমগুলি এখনও এতটা নিখুঁত নয়: একটি নিউরাল নেটওয়ার্কের জন্য সফলভাবে ছবি সনাক্তকরণে কাজ করার জন্য, লক্ষ লক্ষ ছবি GPU-তে ফিড করা এবং প্রক্রিয়া করা প্রয়োজন।
ভূমিকার সারাংশ: GPU-এর উপর ভিত্তি করে, আপনি বিগ ডেটা, ML এবং DL ক্ষেত্রে HPC অ্যাপ্লিকেশনগুলি তৈরি করতে পারেন, তবে একটি সমস্যা রয়েছে - ডেটা সেটগুলি এত বড় যে স্টোরেজ সিস্টেম থেকে GPU-তে ডেটা লোড করতে সময় ব্যয় করে অ্যাপ্লিকেশনের সামগ্রিক কর্মক্ষমতা কমাতে শুরু করে। অন্য কথায়, অন্যান্য সাবসিস্টেমের থেকে আসা ধীর গতির I/O ডেটার কারণে দ্রুত GPUs কম ব্যবহার করা হয়। GPU-এর I/O গতির পার্থক্য এবং CPU/স্টোরেজ সিস্টেমে বাসের মাত্রা একটি ক্রম হতে পারে।
কিভাবে GPUDirect স্টোরেজ প্রযুক্তি কাজ করে?
I/O প্রক্রিয়াটি CPU দ্বারা নিয়ন্ত্রিত হয়, যেমনটি আরও প্রক্রিয়াকরণের জন্য স্টোরেজ থেকে GPU-তে ডেটা লোড করার প্রক্রিয়া। এটি প্রযুক্তির জন্য একটি অনুরোধের দিকে পরিচালিত করে যা একে অপরের সাথে দ্রুত যোগাযোগ করার জন্য GPU এবং NVMe ড্রাইভগুলির মধ্যে সরাসরি অ্যাক্সেস প্রদান করবে। NVIDIA প্রথম এই ধরনের প্রযুক্তি অফার করে এবং এটিকে GPUDirect Storage বলে। প্রকৃতপক্ষে, এটি GPUDirect RDMA (রিমোট ডাইরেক্ট মেমরি অ্যাড্রেস) প্রযুক্তির একটি পরিবর্তন যা তারা পূর্বে তৈরি করেছিল।
জেনসেন হুয়াং, NVIDIA-এর সিইও, SC-19-এ GPUDirect RDMA-এর একটি রূপ হিসাবে GPUDirect স্টোরেজ উপস্থাপন করবেন। সূত্র: NVIDIA
GPUDirect RDMA এবং GPUDirect স্টোরেজের মধ্যে পার্থক্য হল যে ডিভাইসগুলির মধ্যে অ্যাড্রেসিং করা হয়। GPUDirect RDMA প্রযুক্তি ফ্রন্ট-এন্ড নেটওয়ার্ক ইন্টারফেস কার্ড (NIC) এবং GPU মেমরির মধ্যে সরাসরি ডেটা স্থানান্তর করার জন্য পুনরায় ব্যবহার করা হয় এবং GPUDirect স্টোরেজ স্থানীয় বা দূরবর্তী স্টোরেজ যেমন NVMe বা NVMe ওভার ফ্যাব্রিক (NVMe-oF) এবং এর মধ্যে সরাসরি ডেটা পাথ প্রদান করে। GPU মেমরি।
GPUDirect RDMA এবং GPUDirect স্টোরেজ উভয়ই CPU মেমরিতে একটি বাফারের মাধ্যমে অপ্রয়োজনীয় ডেটা মুভমেন্ট এড়ায় এবং সরাসরি মেমরি অ্যাক্সেস (DMA) মেকানিজমকে নেটওয়ার্ক কার্ড বা স্টোরেজ থেকে সরাসরি GPU মেমরিতে বা থেকে ডেটা সরানোর অনুমতি দেয় - সবই কেন্দ্রীয় CPU-তে লোড ছাড়াই। GPUDirect স্টোরেজের জন্য, স্টোরেজের অবস্থান কোন ব্যাপার নয়: এটি একটি GPU ইউনিটের ভিতরে একটি NVME ডিস্ক হতে পারে, একটি র্যাকের ভিতরে, বা NVMe-oF হিসাবে নেটওয়ার্কে সংযুক্ত হতে পারে।
জিপিইউডাইরেক্ট স্টোরেজ পরিচালনার স্কিম। সূত্র: NVIDIA
এইচপিসি অ্যাপ্লিকেশন বাজারে এনভিএমে হাই-এন্ড স্টোরেজ সিস্টেমের চাহিদা রয়েছে
GPUDirect Storage-এর আবির্ভাবের সাথে সাথে GPU-এর থ্রুপুটের সাথে সামঞ্জস্যপূর্ণ I/O গতির সাথে স্টোরেজ সিস্টেমের অফার করার জন্য বৃহৎ গ্রাহকদের আগ্রহ আকৃষ্ট হবে, SC-19 প্রদর্শনীতে কিংস্টন একটি সিস্টেমের ডেমো দেখিয়েছিল NVMe ডিস্কের উপর ভিত্তি করে স্টোরেজ সিস্টেম এবং একটি GPU সহ একটি ইউনিট, যা প্রতি সেকেন্ডে হাজার হাজার স্যাটেলাইট চিত্র বিশ্লেষণ করে। আমরা ইতিমধ্যে 10 DC1000M U.2 NVMe ড্রাইভের উপর ভিত্তি করে এই ধরনের স্টোরেজ সিস্টেম সম্পর্কে লিখেছি .
10 DC1000M U.2 NVMe ড্রাইভের উপর ভিত্তি করে একটি স্টোরেজ সিস্টেম গ্রাফিক্স এক্সিলারেটর সহ একটি সার্ভারকে পর্যাপ্ত পরিপূরক করে। সূত্র: কিংস্টন
এই স্টোরেজ সিস্টেমটি একটি 1U বা বড় র্যাক ইউনিট হিসাবে ডিজাইন করা হয়েছে এবং DC1000M U.2 NVMe ড্রাইভের সংখ্যার উপর নির্ভর করে স্কেল করা যেতে পারে, যার প্রতিটির ক্ষমতা 3.84-7.68 TB। DC1000M হল U.2 ফর্ম ফ্যাক্টরের প্রথম NVMe SSD মডেল যা কিংস্টনের ডেটা সেন্টার ড্রাইভের লাইনে। এটির একটি সহনশীলতা রেটিং রয়েছে (DWPD, ড্রাইভ প্রতিদিন লিখছে), এটি ড্রাইভের গ্যারান্টিযুক্ত জীবনের জন্য দিনে একবার তার পূর্ণ ক্ষমতায় ডেটা পুনরায় লেখার অনুমতি দেয়।
উবুন্টু 3.13 এলটিএস অপারেটিং সিস্টেম, লিনাক্স কার্নেল 18.04.3-5.0.0-জেনেরিকের fio v31 পরীক্ষায়, প্রদর্শনী স্টোরেজ নমুনা একটি টেকসই থ্রুপুট (টেকসই ব্যান্ডউইথ) সহ 5.8 মিলিয়ন IOPS এর রিড স্পিড (টেকসই রিড) দেখিয়েছে। ) 23.8 Gbit/s।
কিংস্টনের SSD বিজনেস ম্যানেজার এরিয়েল পেরেজ, নতুন স্টোরেজ সিস্টেম সম্পর্কে বলেছেন: “আমরা পরবর্তী প্রজন্মের সার্ভারকে U.2 NVMe SSD সমাধান দিয়ে সজ্জিত করতে প্রস্তুত অনেক ডেটা স্থানান্তর বাধা দূর করার জন্য যা ঐতিহ্যগতভাবে স্টোরেজের সাথে যুক্ত। NVMe SSD ড্রাইভ এবং আমাদের প্রিমিয়াম সার্ভার প্রিমিয়ার DRAM এর সংমিশ্রণ কিংস্টনকে শিল্পের সবচেয়ে ব্যাপক এন্ড-টু-এন্ড ডেটা সলিউশন প্রদানকারীদের মধ্যে একটি করে তুলেছে।"
gfio v3.13 পরীক্ষায় DC23.8M U.1000 NVMe ড্রাইভে ডেমো স্টোরেজ সিস্টেমের জন্য 2 Gbps থ্রুপুট দেখানো হয়েছে। সূত্র: কিংস্টন
GPUDirect স্টোরেজ বা অনুরূপ প্রযুক্তি ব্যবহার করে HPC অ্যাপ্লিকেশনগুলির জন্য একটি সাধারণ সিস্টেম কেমন হবে? এটি একটি স্থাপত্য যেখানে একটি র্যাকের মধ্যে কার্যকরী ইউনিটগুলির একটি শারীরিক বিভাজন রয়েছে: RAM এর জন্য এক বা দুটি ইউনিট, GPU এবং CPU কম্পিউটিং নোডের জন্য আরও বেশ কয়েকটি এবং স্টোরেজ সিস্টেমের জন্য এক বা একাধিক ইউনিট।
GPUDirect স্টোরেজ ঘোষণা এবং অন্যান্য GPU বিক্রেতাদের থেকে অনুরূপ প্রযুক্তির সম্ভাব্য উত্থানের সাথে, উচ্চ-পারফরম্যান্স কম্পিউটিং-এ ব্যবহারের জন্য ডিজাইন করা স্টোরেজ সিস্টেমের জন্য কিংস্টনের চাহিদা প্রসারিত হচ্ছে। মার্কারটি হবে স্টোরেজ সিস্টেম থেকে ডেটা পড়ার গতি, একটি GPU সহ একটি কম্পিউটিং ইউনিটের প্রবেশপথে 40- বা 100-Gbit নেটওয়ার্ক কার্ডের থ্রুপুটের সাথে তুলনীয়। এইভাবে, ফ্যাব্রিকের মাধ্যমে বাহ্যিক NVMe সহ আল্ট্রা-হাই-স্পিড স্টোরেজ সিস্টেমগুলি HPC অ্যাপ্লিকেশনগুলির জন্য বহিরাগত থেকে মূলধারায় চলে যাবে। বিজ্ঞান এবং আর্থিক গণনা ছাড়াও, তারা অন্যান্য অনেক ব্যবহারিক ক্ষেত্রে প্রয়োগ খুঁজে পাবে, যেমন সেফ সিটি মেট্রোপলিটন স্তরে নিরাপত্তা ব্যবস্থা বা পরিবহন নজরদারি কেন্দ্র, যেখানে প্রতি সেকেন্ডে লক্ষ লক্ষ এইচডি চিত্রের স্বীকৃতি এবং সনাক্তকরণের গতি প্রয়োজন,” রূপরেখা দেওয়া হয়েছে। শীর্ষ স্টোরেজ সিস্টেমের বাজার কুলুঙ্গি
কিংস্টন পণ্য সম্পর্কে আরো তথ্য পাওয়া যাবে কোম্পানী।
উত্স: www.habr.com