রাশিয়ান স্টোরেজ সিস্টেম AERODISK: লোড টেস্টিং। IOPS চেপে ধরা হচ্ছে

হাই সব! প্রতিশ্রুতি অনুযায়ী, আমরা একটি রাশিয়ান-নির্মিত ডেটা স্টোরেজ সিস্টেম - AERODISK ENGINE N2-এর লোড পরীক্ষার ফলাফল প্রকাশ করছি।

পূর্ববর্তী নিবন্ধে, আমরা স্টোরেজ সিস্টেমটি ভেঙেছি (অর্থাৎ, আমরা ক্র্যাশ পরীক্ষা করেছি) এবং ক্র্যাশ পরীক্ষার ফলাফল ইতিবাচক ছিল (অর্থাৎ, আমরা স্টোরেজ সিস্টেমটি ভাঙিনি)। আপনি ক্র্যাশ পরীক্ষার ফলাফল দেখতে পারেন এখানে.

পূর্ববর্তী নিবন্ধের মন্তব্যে, অতিরিক্ত, আরও পরিশীলিত ক্র্যাশ পরীক্ষার জন্য অনুরোধ করা হয়েছিল। আমরা সেগুলি সমস্ত রেকর্ড করেছি এবং অবশ্যই নিম্নলিখিত নিবন্ধগুলির মধ্যে একটিতে সেগুলি প্রয়োগ করব৷ একই সময়ে, আপনি যে কোনও সময় মস্কোতে আমাদের পরীক্ষাগারে যেতে পারেন (পায়ে এসে বা ইন্টারনেটের মাধ্যমে দূরবর্তীভাবে এটি করতে পারেন) এবং এই পরীক্ষাগুলি নিজে সম্পাদন করতে পারেন (আপনি একটি নির্দিষ্ট প্রকল্পের জন্য পরীক্ষাও করতে পারেন :-))। আমাদের লিখুন, আমরা সব পরিস্থিতিতে বিবেচনা করা হবে!

এছাড়াও, আপনি যদি মস্কোতে না থাকেন, তাহলেও আপনার নিকটতম শহরের একটি যোগ্যতা কেন্দ্রে একটি বিনামূল্যে প্রশিক্ষণ ইভেন্টে যোগ দিয়ে আপনি আমাদের স্টোরেজ সিস্টেমের সাথে আরও পরিচিত হতে পারেন।

নীচে আসন্ন ইভেন্টগুলির একটি তালিকা এবং সক্ষমতা কেন্দ্রগুলির অপারেটিং তারিখগুলি রয়েছে৷

• একাটেরিনবার্গ। 16 মে, 2019। প্রশিক্ষণ সেমিনার. আপনি লিঙ্কটি ব্যবহার করে নিবন্ধন করতে পারেন: https://aerodisk.promo/ekb/
• একাটেরিনবার্গ। 20 মে - 21 জুন, 2019। সক্ষমতা কেন্দ্র। যেকোনো কাজের সময়ে AERODISK ENGINE N2 স্টোরেজ সিস্টেমের একটি লাইভ প্রদর্শনীতে আসুন। সঠিক ঠিকানা এবং নিবন্ধন লিঙ্ক পরে প্রদান করা হবে. তথ্য অনুসরণ করুন.
• নভোসিবিরস্ক আমাদের সাইট বা HUBRA এ তথ্য অনুসরণ করুন।
  অক্টোবর 2019
• কাজান। আমাদের সাইট বা HUBRA এ তথ্য অনুসরণ করুন।
  অক্টোবর 2019
• ক্রাসনোয়ারস্ক আমাদের সাইট বা HUBRA এ তথ্য অনুসরণ করুন।
  নভেম্বর 2019

আমরা আরও একটি ভাল খবর শেয়ার করতে চাই: আমরা অবশেষে আমাদের পেয়েছি ইউটিউব একটি চ্যানেল যেখানে আপনি অতীতের ঘটনা থেকে ভিডিও দেখতে পারেন। আমরা নিয়মিত আমাদের প্রশিক্ষণ ভিডিও সেখানে পোস্ট করি।

পরীক্ষা স্ট্যান্ড

তাই, পরীক্ষায় ফিরে আসি। আমরা অতিরিক্ত SAS SSD ড্রাইভ, সেইসাথে ফ্রন্ট-এন্ড ফাইবার চ্যানেল 2G অ্যাডাপ্টার ইনস্টল করে আমাদের ইঞ্জিন N16 ল্যাবরেটরি স্টোরেজ সিস্টেমকে আপগ্রেড করেছি। একটি প্রতিসম পদ্ধতিতে, আমরা সার্ভারটি আপগ্রেড করেছি যেখান থেকে আমরা FC 16G অ্যাডাপ্টার যোগ করে লোড চালাব।

ফলস্বরূপ, আমাদের ল্যাবে আমাদের 2 SAS SSD 24 TB, 1,6 DWPD ডিস্ক সহ একটি 3-কন্ট্রোলার স্টোরেজ সিস্টেম রয়েছে, যা FC 16G এর মাধ্যমে একটি ফিজিক্যাল লিনাক্স সার্ভারে SAN সুইচের মাধ্যমে সংযুক্ত।
পরীক্ষার বেঞ্চ ডায়াগ্রামটি নীচের চিত্রে দেখানো হয়েছে।

পরীক্ষা পদ্ধতি

ব্লক অ্যাক্সেসের সেরা পারফরম্যান্সের জন্য, আমরা DDP (ডাইনামিক ডিস্ক পুল) পুল ব্যবহার করব, যা আমরা একবার বিশেষভাবে সমস্ত-ফ্ল্যাশ সিস্টেমের জন্য তৈরি করেছিলাম।
পরীক্ষার জন্য, আমরা RAID-1 সুরক্ষা স্তর সহ প্রতিটি 10 TB ক্ষমতা সহ দুটি LUN তৈরি করেছি৷ স্টোরেজ সিস্টেমে ইনস্টল করা প্রতিটি ডিস্কের সম্ভাব্যতা সম্পূর্ণরূপে ব্যবহার করার জন্য আমরা 12টি ডিস্ক (মোট 24টি) জুড়ে প্রতিটি LUN "প্রসারিত" করব।

আমরা যতটা সম্ভব স্টোরেজ রিসোর্স ব্যবহার করার জন্য বিভিন্ন কন্ট্রোলারের মাধ্যমে সার্ভারে LUN উপস্থাপন করি।

প্রতিটি পরীক্ষা এক ঘন্টা স্থায়ী হবে, এবং পরীক্ষাগুলি নমনীয় IO (FIO) প্রোগ্রাম দ্বারা সঞ্চালিত হবে; FIO ডেটা স্বয়ংক্রিয়ভাবে Excel এ আপলোড করা হবে, যেখানে গ্রাফ ইতিমধ্যেই স্পষ্টতার জন্য তৈরি করা হয়েছে।

প্রোফাইল লোড করুন

মোট, আমরা তিনটি পরীক্ষা করব, প্রতিটি এক ঘণ্টা, ওয়ার্ম-আপের সময় বাদ দিয়ে, যার জন্য আমরা 15 মিনিট বরাদ্দ করব (24টি SSD ড্রাইভের অ্যারেকে গরম করার জন্য এটি ঠিক কতটা প্রয়োজন)। এই পরীক্ষাগুলি প্রায়শই সম্মুখীন হওয়া লোড প্রোফাইলগুলিকে অনুকরণ করে, বিশেষ করে এগুলি হল নির্দিষ্ট ডিবিএমএস, ভিডিও নজরদারি সিস্টেম, মিডিয়া সামগ্রী সম্প্রচার এবং ব্যাকআপ৷

এছাড়াও, সমস্ত পরীক্ষায়, আমরা ইচ্ছাকৃতভাবে স্টোরেজ সিস্টেমে এবং হোস্টে RAM এ ক্যাশে করার ক্ষমতা অক্ষম করেছি। অবশ্যই, এটি ফলাফলকে আরও খারাপ করবে, তবে, আমাদের মতে, এই জাতীয় পরিস্থিতিতে পরীক্ষাটি আরও ন্যায্য হবে।

পরীক্ষার ফলাফল

টেস্ট নং 1। ছোট ব্লকে র্যান্ডম লোড। একটি উচ্চ-লোড লেনদেনমূলক DBMS এর অনুকরণ।

• ব্লক সাইজ = 4k
• পড়ুন/লিখুন = 70%/30%
• কাজের সংখ্যা = 16টি
• সারির গভীরতা = 32
• লোড অক্ষর = সম্পূর্ণ র্যান্ডম

পরীক্ষার ফলাফল:

মোট, জুনিয়র মিড-রেঞ্জ ইঞ্জিন N2 সিস্টেমের সাথে আমরা 438 মিলিসেকেন্ডের লেটেন্সি সহ 2,6k IOPS পেয়েছি। সিস্টেমের শ্রেণী বিবেচনা করে, আমাদের মতে, ফলাফলটি বেশ শালীন। এটি সিস্টেমের জন্য সীমা কিনা তা বোঝার জন্য, আমরা স্টোরেজ কন্ট্রোলারের রিসোর্স ব্যবহার দেখব।

আমরা প্রাথমিকভাবে CPU-তে আগ্রহী, যেহেতু উপরে বলা হয়েছে, আমরা ইচ্ছাকৃতভাবে RAM ক্যাশে নিষ্ক্রিয় করেছি যাতে পরীক্ষার ফলাফল বিকৃত না হয়।

উভয় স্টোরেজ কন্ট্রোলারে আমরা প্রায় একই ছবি দেখতে পাই।

অর্থাৎ, CPU লোড 50%। এটি পরামর্শ দেয় যে এটি এই স্টোরেজ সিস্টেমের সীমা থেকে অনেক দূরে এবং এটি এখনও সহজেই স্কেল করা যেতে পারে। আসুন একটু এগিয়ে যাই: নিম্নলিখিত সমস্ত পরীক্ষায় নিয়ামক প্রসেসরের লোড প্রায় 50% দেখানো হয়েছে, তাই আমরা তাদের আবার তালিকাভুক্ত করব না।

আমাদের পরীক্ষাগার পরীক্ষার উপর ভিত্তি করে, AERODISK ইঞ্জিন N2 সিস্টেমের আরামদায়ক সীমা, যদি আমরা 4k ব্লকে এলোমেলো IOPS গণনা করি, তা হল ~700 IOPS। যদি এটি যথেষ্ট না হয় এবং আপনাকে এক মিলিয়নের জন্য চেষ্টা করতে হবে, তাহলে আমাদের কাছে পুরানো মডেল ইঞ্জিন N000 আছে।

অর্থাৎ, লক্ষ লক্ষ IOPS এর গল্পটি হল ENGINE N4, এবং যদি এক মিলিয়ন আপনার জন্য খুব বেশি হয়, তাহলে শান্তভাবে N2 ব্যবহার করুন।

পরীক্ষায় ফিরে আসা যাক।

টেস্ট নং 2। বড় ব্লকে অনুক্রমিক রেকর্ডিং। ভিডিও নজরদারি সিস্টেমের অনুকরণ, বিশ্লেষণাত্মক ডিবিএমএসে ডেটা লোড করা বা ব্যাকআপ কপি রেকর্ড করা।

এই পরীক্ষায় আমরা আর IOPS-এ আগ্রহী নই, যেহেতু ক্রমানুসারে বড় ব্লকে লোড করা হলে সেগুলোর কোনো মানে হয় না। আমরা প্রাথমিকভাবে আগ্রহী: লেখার প্রবাহ (প্রতি সেকেন্ডে মেগাবাইট) এবং বিলম্ব, যা অবশ্যই ছোট ব্লকের চেয়ে বড় ব্লকের সাথে বেশি হবে।

• ব্লক সাইজ = 128k
• পড়ুন/লিখুন = 0%/100%
• কাজের সংখ্যা = 16টি
• সারির গভীরতা = 32
• লোড অক্ষর - অনুক্রমিক

মোট: আমাদের কাছে এগারো মিলিসেকেন্ড বিলম্বের সাথে প্রতি সেকেন্ডে সাড়ে পাঁচ গিগাবাইট রেকর্ডিং আছে। এর নিকটতম বিদেশী প্রতিযোগীদের সাথে তুলনা করলে, ফলাফল, আমাদের মতে, চমৎকার, এবং এটি ইঞ্জিন N2 সিস্টেমের সীমাও নয়।

টেস্ট নং 3। বড় ব্লকে ক্রমিক পঠন। সম্প্রচার মিডিয়া বিষয়বস্তুর অনুকরণ, একটি বিশ্লেষণাত্মক DBMS থেকে প্রতিবেদন তৈরি করা বা ব্যাকআপ থেকে ডেটা পুনরুদ্ধার করা।

আগের পরীক্ষার মতো, আমরা প্রবাহ এবং বিলম্বে আগ্রহী।

• ব্লক সাইজ = 128k
• পড়ুন/লিখুন = 100%/0%
• কাজের সংখ্যা = 16টি
• সারির গভীরতা = 32
• লোড অক্ষর - অনুক্রমিক

স্ট্রিমিং রিডিং পারফরম্যান্স স্ট্রিমিং লেখার পারফরম্যান্সের চেয়ে কিছুটা ভাল।

মজার বিষয় হল, ল্যাটেন্সি সূচকটি পরীক্ষা জুড়ে অভিন্ন (সরল রেখা)। এটি একটি ত্রুটি নয়; বড় ব্লকগুলিতে ক্রমানুসারে পড়ার সময়, আমাদের ক্ষেত্রে এটি একটি সাধারণ পরিস্থিতি।

অবশ্যই, যদি আমরা এই ফর্মটিকে কয়েক সপ্তাহের জন্য ছেড়ে দেই, আমরা অবশেষে গ্রাফগুলিতে পর্যায়ক্রমিক লাফ দেখতে পাব, যা বাহ্যিক কারণগুলির সাথে যুক্ত হবে। তবে, সাধারণভাবে, তারা ছবিটিকে প্রভাবিত করবে না।

তথ্যও

দ্বৈত-নিয়ন্ত্রক AERODISK ইঞ্জিন N2 সিস্টেম থেকে, আমরা বেশ গুরুতর ফলাফল অর্জন করতে সক্ষম হয়েছি (~438 IOPS এবং ~000-5 গিগাবাইট প্রতি সেকেন্ডে)। লোড পরীক্ষায় দেখা গেছে যে আমরা আমাদের স্টোরেজ সিস্টেমের জন্য অবশ্যই লজ্জিত নই। বিপরীতে, সূচকগুলি খুব শালীন এবং একটি ভাল স্টোরেজ সিস্টেমের সাথে মিলে যায়।

যদিও, আমরা উপরে লিখেছি, ইঞ্জিন N2 একটি জুনিয়র মডেল, এবং তদ্ব্যতীত, এই নিবন্ধে দেখানো ফলাফলগুলি এর সীমা নয়। পরে আমরা আমাদের পুরানো ইঞ্জিন N4 সিস্টেম থেকে অনুরূপ পরীক্ষা প্রকাশ করব।

স্বাভাবিকভাবেই, আমরা একটি নিবন্ধের কাঠামোর মধ্যে সমস্ত সম্ভাব্য পরীক্ষাগুলি কভার করতে পারি না, তাই আমরা আবার পাঠকদের ভবিষ্যতের পরীক্ষার জন্য তাদের ইচ্ছাগুলি মন্তব্যে ভাগ করার জন্য অনুরোধ করছি; আমরা অবশ্যই ভবিষ্যতের প্রকাশনাগুলিতে সেগুলি বিবেচনা করব।

উপরন্তু, আমরা আপনাকে স্মরণ করিয়ে দিচ্ছি যে এই বছর আমরা সক্রিয়ভাবে প্রশিক্ষণে নিযুক্ত আছি, তাই আমরা আপনাকে আমাদের সক্ষমতা কেন্দ্রগুলিতে আমন্ত্রণ জানাচ্ছি, যেখানে আপনি AERODISK স্টোরেজ সিস্টেমের প্রশিক্ষণ নিতে পারেন এবং একই সাথে একটি আকর্ষণীয় এবং মজার সময় কাটাতে পারেন।

আমি আসন্ন প্রশিক্ষণ ইভেন্ট সম্পর্কে তথ্য নকল.

• একাটেরিনবার্গ। 16 মে, 2019। প্রশিক্ষণ সেমিনার. আপনি লিঙ্কটি ব্যবহার করে নিবন্ধন করতে পারেন: https://aerodisk.promo/ekb/
• একাটেরিনবার্গ। 20 মে - 21 জুন, 2019। সক্ষমতা কেন্দ্র। যেকোনো কাজের সময়ে AERODISK ENGINE N2 স্টোরেজ সিস্টেমের একটি লাইভ প্রদর্শনীতে আসুন। সঠিক ঠিকানা এবং নিবন্ধন লিঙ্ক পরে প্রদান করা হবে. তথ্য অনুসরণ করুন.
• নভোসিবিরস্ক আমাদের সাইট বা HUBRA এ তথ্য অনুসরণ করুন।
  অক্টোবর 2019
• কাজান। আমাদের সাইট বা HUBRA এ তথ্য অনুসরণ করুন।
  অক্টোবর 2019
• ক্রাসনোয়ারস্ক আমাদের সাইট বা HUBRA এ তথ্য অনুসরণ করুন।
  নভেম্বর 2019

উত্স: www.habr.com