[সুপারকম্পিউটিং 2019]। নতুন কিংস্টন DC1000M ড্রাইভের জন্য আবেদনের ক্ষেত্র হিসাবে মাল্টি-ক্লাউড স্টোরেজ

কল্পনা করুন যে আপনি একটি উদ্ভাবনী চিকিৎসা ব্যবসা চালু করছেন - মানব জিনোমের বিশ্লেষণের ভিত্তিতে ওষুধের স্বতন্ত্র নির্বাচন। প্রতিটি রোগীর 3 বিলিয়ন জিন জোড়া থাকে এবং x86 প্রসেসরের একটি নিয়মিত সার্ভার গণনা করতে বেশ কয়েক দিন সময় নেয়। আপনি জানেন যে আপনি একটি FPGA প্রসেসরের সাহায্যে একটি সার্ভারে প্রক্রিয়াটিকে দ্রুত করতে পারেন যা হাজার হাজার থ্রেড জুড়ে গণনাকে সমান্তরাল করে। এটি প্রায় এক ঘন্টার মধ্যে জিনোম গণনা সম্পূর্ণ করবে। এই ধরনের সার্ভারগুলি Amazon Web Services (AWS) থেকে ভাড়া নেওয়া যেতে পারে। কিন্তু এখানে জিনিসটি হল: গ্রাহক, হাসপাতাল, প্রদানকারীর ক্লাউডে জেনেটিক ডেটা রাখার বিরুদ্ধে স্পষ্টতই। আমার কি করা উচিৎ? কিংস্টন এবং ক্লাউড স্টার্টআপ সুপারকম্পিউটিং-2019 প্রদর্শনীতে স্থাপত্য দেখিয়েছে প্রাইভেট মাল্টিক্লাউড স্টোরেজ (PMCS), যা এই সমস্যার সমাধান করে।

উচ্চ কর্মক্ষমতা কম্পিউটিং জন্য তিনটি শর্ত

হাই-পারফরম্যান্স কম্পিউটিং (এইচপিসি, হাই পারফরম্যান্স কম্পিউটিং) ক্ষেত্রে মানব জিনোম গণনা করা একমাত্র কাজ নয়। বিজ্ঞানীরা ভৌত ক্ষেত্র গণনা করেন, প্রকৌশলীরা বিমানের যন্ত্রাংশ গণনা করেন, অর্থদাতারা অর্থনৈতিক মডেল গণনা করেন এবং একসাথে তারা বড় ডেটা বিশ্লেষণ করেন, নিউরাল নেটওয়ার্ক তৈরি করেন এবং অন্যান্য অনেক জটিল গণনা করেন।

এইচপিসির তিনটি শর্ত হল প্রচুর কম্পিউটিং শক্তি, খুব বড় এবং দ্রুত স্টোরেজ এবং উচ্চ নেটওয়ার্ক থ্রুপুট। অতএব, এলপিসি গণনা পরিচালনার জন্য আদর্শ অনুশীলন হল কোম্পানির নিজস্ব ডেটা সেন্টারে (অন-প্রিমিসেস) বা ক্লাউডের কোনো প্রদানকারীর কাছে।

কিন্তু সব কোম্পানির নিজস্ব ডেটা সেন্টার নেই, এবং যেগুলি প্রায়শই করে সেগুলি সংস্থান দক্ষতার দিক থেকে বাণিজ্যিক ডেটা কেন্দ্রগুলির থেকে নিকৃষ্ট হয় (হার্ডওয়্যার এবং সফ্টওয়্যার ক্রয় এবং আপডেট করতে, উচ্চ যোগ্য কর্মীদের জন্য অর্থ প্রদান ইত্যাদির জন্য মূলধন ব্যয় প্রয়োজন)। ক্লাউড প্রদানকারীরা, বিপরীতে, "পে-অ্যাজ-ইউ-গো" অপারেটিং খরচ মডেল অনুযায়ী আইটি সংস্থানগুলি অফার করে, যেমন ভাড়া শুধুমাত্র ব্যবহারের সময়ের জন্য চার্জ করা হয়. গণনা সম্পন্ন হলে, সার্ভারগুলি অ্যাকাউন্ট থেকে সরানো যেতে পারে, যার ফলে আইটি বাজেট সাশ্রয় হয়। কিন্তু যদি প্রদানকারীর কাছে ডেটা স্থানান্তরের উপর একটি আইনী বা কর্পোরেট নিষেধাজ্ঞা থাকে, তাহলে ক্লাউডে HPC কম্পিউটিং পাওয়া যায় না।

ব্যক্তিগত মাল্টিক্লাউড স্টোরেজ

প্রাইভেট মাল্টিক্লাউড স্টোরেজ আর্কিটেকচারটি ক্লাউড পরিষেবাগুলিতে অ্যাক্সেস প্রদান করার জন্য ডিজাইন করা হয়েছে যখন এন্টারপ্রাইজ সাইটে বা একটি কোলোকেশন পরিষেবা ব্যবহার করে ডেটা সেন্টারের একটি পৃথক সুরক্ষিত বগিতে শারীরিকভাবে ডেটা রেখে যায়। মূলত, এটি একটি ডেটা-কেন্দ্রিক বিতরণকৃত কম্পিউটিং মডেল যেখানে ক্লাউড সার্ভারগুলি একটি ব্যক্তিগত ক্লাউড থেকে রিমোট স্টোরেজ সিস্টেমের সাথে কাজ করে। তদনুসারে, একই স্থানীয় ডেটা স্টোরেজ ব্যবহার করে, আপনি বৃহত্তম প্রদানকারীদের থেকে ক্লাউড পরিষেবাগুলির সাথে কাজ করতে পারেন: AWS, MS Azure, Google Cloud Platform‎, ইত্যাদি৷

সুপারকম্পিউটিং-2019 প্রদর্শনীতে PMCS-এর বাস্তবায়নের উদাহরণ দেখিয়ে, কিংস্টন DC1000M SSD ড্রাইভের উপর ভিত্তি করে একটি উচ্চ-পারফরম্যান্স ডেটা স্টোরেজ সিস্টেম (SSD) এর একটি নমুনা উপস্থাপন করেছে এবং ক্লাউড স্টার্টআপগুলির মধ্যে একটি StorOne S1 ম্যানেজমেন্ট সফ্টওয়্যার উপস্থাপন করেছে- সংজ্ঞায়িত সঞ্চয়স্থান এবং প্রধান ক্লাউড প্রদানকারীদের সাথে ডেডিকেটেড যোগাযোগ চ্যানেল।

এটি উল্লেখ করা উচিত যে PMCS, ব্যক্তিগত স্টোরেজ সহ ক্লাউড কম্পিউটিংয়ের একটি কার্যকরী মডেল হিসাবে, উত্তর আমেরিকার বাজারের জন্য AT&T এবং Equinix অবকাঠামোতে সমর্থিত ডেটা সেন্টারগুলির মধ্যে উন্নত নেটওয়ার্ক সংযোগ সহ ডিজাইন করা হয়েছে। এইভাবে, যেকোন ইকুইনিক্স ক্লাউড এক্সচেঞ্জ নোড এবং AWS ক্লাউডের মধ্যে একটি কোলোকেশন স্টোরেজ সিস্টেমের মধ্যে পিং 1 মিলিসেকেন্ডের কম (সূত্র: ITProToday).

প্রদর্শনীতে দেখানো PMCS আর্কিটেকচারের প্রদর্শনীতে, DC1000M NVMe ডিস্কের স্টোরেজ সিস্টেমটি কোলোকেশনে অবস্থিত ছিল এবং ভার্চুয়াল মেশিনগুলি AWS, MS Azure এবং Google ক্লাউড প্ল্যাটফর্ম ক্লাউডে ইনস্টল করা হয়েছিল, যা একে অপরকে পিং করে। ক্লায়েন্ট-সার্ভার অ্যাপ্লিকেশনটি দূরবর্তীভাবে কিংস্টন স্টোরেজ সিস্টেম এবং HP DL380 সার্ভারের সাথে ডেটা সেন্টারে কাজ করেছে এবং Equinix যোগাযোগ চ্যানেল অবকাঠামোর মাধ্যমে, উপরে উল্লিখিত প্রধান সরবরাহকারীদের ক্লাউড প্ল্যাটফর্মগুলিতে অ্যাক্সেস করেছে।

সুপারকম্পিউটিং-2019 প্রদর্শনীতে প্রাইভেট মাল্টিক্লাউড স্টোরেজের উপস্থাপনা থেকে স্লাইড করুন। সূত্র: কিংস্টন

ব্যক্তিগত মাল্টিক্লাউড স্টোরেজের আর্কিটেকচার পরিচালনার জন্য অনুরূপ কার্যকারিতার সফ্টওয়্যার বিভিন্ন কোম্পানি দ্বারা অফার করা হয়। এই আর্কিটেকচারের শর্তগুলিও আলাদাভাবে শোনাতে পারে - প্রাইভেট মাল্টিক্লাউড স্টোরেজ বা ক্লাউডের জন্য ব্যক্তিগত স্টোরেজ।

"আজকের সুপারকম্পিউটারগুলি বিভিন্ন ধরণের HPC অ্যাপ্লিকেশন চালায় যেগুলি তেল ও গ্যাস অনুসন্ধান থেকে শুরু করে আবহাওয়ার পূর্বাভাস, আর্থিক বাজার এবং নতুন প্রযুক্তির উন্নয়ন পর্যন্ত অগ্রগতির শীর্ষে রয়েছে," কিথ শিমমেন্টি বলেছেন, কিংস্টনের এন্টারপ্রাইজ এসএসডি ব্যবস্থাপনার ব্যবস্থাপক৷ “এই HPC অ্যাপ্লিকেশনগুলির জন্য প্রসেসরের কর্মক্ষমতা এবং I/O গতির মধ্যে অনেক বেশি মিল প্রয়োজন। আমরা শেয়ার করতে পেরে গর্বিত যে কীভাবে কিংস্টন সলিউশনগুলি কম্পিউটিংয়ে অগ্রগতি অর্জনে সাহায্য করছে, বিশ্বের সবচেয়ে চরম কম্পিউটিং পরিবেশ এবং অ্যাপ্লিকেশনগুলিতে প্রয়োজনীয় কর্মক্ষমতা প্রদান করছে।"

DC1000M ড্রাইভ এবং এটির উপর ভিত্তি করে স্টোরেজ সিস্টেমের একটি উদাহরণ

DC1000M U.2 NVMe SSD ডেটা সেন্টারের জন্য Kingston দ্বারা ডিজাইন করা হয়েছে এবং বিশেষভাবে ডেটা-ইনটেনসিভ এবং HPC অ্যাপ্লিকেশন যেমন কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) অ্যাপ্লিকেশনের জন্য ডিজাইন করা হয়েছে।

DC1000M U.2 NVMe 3.84TB ড্রাইভ। সূত্র: কিংস্টন

DC1000M U.2 ড্রাইভগুলি 96-স্তরের Intel 3D NAND মেমরির উপর ভিত্তি করে তৈরি, যা একটি সিলিকন মোশন SM2270 কন্ট্রোলার (PCIe 3.0 এবং NVMe 3.0) দ্বারা নিয়ন্ত্রিত। সিলিকন মোশন SM2270 হল PCIe 16 x3.0 ইন্টারফেস, ডুয়াল 8-বিট DRAM ডেটা বাস এবং তিনটি ARM Cortex R32 ডুয়াল প্রসেসর সহ একটি 5-লেনের এন্টারপ্রাইজ NVMe কন্ট্রোলার।

DC1000M বিভিন্ন ক্ষমতা মুক্তির জন্য দেওয়া হয়: 0.96 থেকে 7.68 TB পর্যন্ত (সবচেয়ে জনপ্রিয় ক্ষমতা 3.84 এবং 7.68 TB বলে মনে করা হয়)। ড্রাইভের কর্মক্ষমতা 800 হাজার IOPS অনুমান করা হয়।

10x DC1000M U.2 NVMe 7.68 TB সহ স্টোরেজ সিস্টেম। সূত্র: কিংস্টন

HPC অ্যাপ্লিকেশনগুলির জন্য একটি স্টোরেজ সিস্টেমের উদাহরণ হিসাবে, কিংস্টন সুপারকম্পিউটিং 2019-এ 10 DC1000M U.2 NVMe ড্রাইভ সহ একটি র্যাক সমাধান উপস্থাপন করেছে, প্রতিটির ক্ষমতা 7.68 TB। স্টোরেজ সিস্টেমটি SB122A-PH-এর উপর ভিত্তি করে, AIC-এর একটি 1U ফর্ম ফ্যাক্টর প্ল্যাটফর্ম। প্রসেসর: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (পার্ট নম্বর: KSM24RS4/16HAI)। ইনস্টল করা ওএস হল উবুন্টু 18.04.3 এলটিএস, লিনাক্স কার্নেল 5.0.0-31 সংস্করণ। gfio v3.13 পরীক্ষা (ফ্লেক্সিবল I/O পরীক্ষক) 5.8 Gbps এর থ্রুপুট সহ 23.8 মিলিয়ন IOPS-এর রিড পারফরম্যান্স দেখিয়েছে।

উপস্থাপিত স্টোরেজ সিস্টেমটি 5,8 মিলিয়ন IOPS (প্রতি সেকেন্ডে ইনপুট-আউটপুট অপারেশন) এর স্থিতিশীল পড়ার ক্ষেত্রে চিত্তাকর্ষক বৈশিষ্ট্যগুলি দেখিয়েছে। এটি ভর বাজার ব্যবস্থার জন্য SSD-এর চেয়ে দ্রুত মাত্রার দুটি অর্ডার। বিশেষায়িত প্রসেসরে চলমান HPC অ্যাপ্লিকেশনগুলির জন্য এই পড়ার গতি প্রয়োজন।

রাশিয়ায় ব্যক্তিগত স্টোরেজ সহ ক্লাউড কম্পিউটিং HPC

প্রদানকারীর উচ্চ-পারফরম্যান্স কম্পিউটিং করার কাজ, কিন্তু শারীরিকভাবে অন-প্রিমিসেস ডেটা সঞ্চয় করার কাজটি রাশিয়ান কোম্পানিগুলির জন্যও প্রাসঙ্গিক। গার্হস্থ্য ব্যবসায়ের আরেকটি সাধারণ ঘটনা হল যখন, বিদেশী ক্লাউড পরিষেবাগুলি ব্যবহার করার সময়, ডেটা অবশ্যই রাশিয়ান ফেডারেশনের অঞ্চলে অবস্থিত হতে হবে। আমরা কিংস্টনের দীর্ঘদিনের অংশীদার হিসাবে ক্লাউড প্রদানকারী সিলেক্টেলের পক্ষে এই পরিস্থিতিতে মন্তব্য চেয়েছি।

"রাশিয়াতে, রাশিয়ান ভাষায় পরিষেবা এবং ক্লায়েন্টের অ্যাকাউন্টিং বিভাগের জন্য সমস্ত রিপোর্টিং নথি সহ একটি অনুরূপ আর্কিটেকচার তৈরি করা সম্ভব। যদি কোনো কোম্পানির অন-প্রিমিসেস স্টোরেজ সিস্টেম ব্যবহার করে উচ্চ-পারফরম্যান্স কম্পিউটিং করতে হয়, আমরা সিলেক্টেল ভাড়া সার্ভারে বিভিন্ন ধরনের প্রসেসর সহ FPGA, জিপিইউ বা মাল্টি-কোর সিপিইউ। উপরন্তু, অংশীদারদের মাধ্যমে, আমরা ক্লায়েন্টের অফিস এবং আমাদের ডেটা সেন্টারের মধ্যে একটি ডেডিকেটেড অপটিক্যাল চ্যানেল স্থাপনের ব্যবস্থা করি,” মন্তব্য করেছেন আলেকজান্ডার তুগভ, সিলেক্টেলের পরিষেবা উন্নয়নের পরিচালক৷ — ক্লায়েন্ট একটি বিশেষ অ্যাক্সেস মোড সহ একটি কম্পিউটার রুমে কোলোকেশনে তার স্টোরেজ সিস্টেম স্থাপন করতে পারে এবং আমাদের সার্ভারে এবং গ্লোবাল প্রোভাইডার AWS, MS Azure, Google ক্লাউডের ক্লাউডে অ্যাপ্লিকেশন চালাতে পারে। অবশ্যই, ক্লায়েন্টের স্টোরেজ সিস্টেমটি মার্কিন যুক্তরাষ্ট্রে অবস্থিত হলে পরবর্তী ক্ষেত্রে সংকেত বিলম্ব বেশি হবে, তবে একটি ব্রডব্যান্ড মাল্টি-ক্লাউড সংযোগ সরবরাহ করা হবে।"

পরবর্তী নিবন্ধে আমরা আরেকটি কিংস্টন সমাধান সম্পর্কে কথা বলব, যা সুপারকম্পিউটিং 2019 প্রদর্শনীতে (ডেনভার, কলোরাডো, মার্কিন যুক্তরাষ্ট্র) উপস্থাপিত হয়েছিল এবং এটি GPU ব্যবহার করে মেশিন লার্নিং অ্যাপ্লিকেশন এবং বড় ডেটা বিশ্লেষণের উদ্দেশ্যে। এটি হল GPUDirect স্টোরেজ প্রযুক্তি, যা NVMe স্টোরেজ এবং GPU প্রসেসর মেমরির মধ্যে সরাসরি ডেটা স্থানান্তর প্রদান করে। এবং উপরন্তু, আমরা ব্যাখ্যা করব কিভাবে আমরা NVMe ডিস্কে একটি র্যাক স্টোরেজ সিস্টেমে 5.8 মিলিয়ন IOPS এর ডেটা পড়ার গতি অর্জন করতে পেরেছি।

কিংস্টন প্রযুক্তি পণ্য সম্পর্কে আরও তথ্যের জন্য, যোগাযোগ করুন: কোম্পানির সাইট.

উত্স: www.habr.com