سلام و ټولو ته! د دې مقالې سره، AERODISK په Habré کې یو بلاګ پرانیزي. یارانو!
د هابری په اړه پخوانیو مقالو د ذخیره کولو سیسټمونو د جوړښت او بنسټیز ترتیب په اړه پوښتنې مطرح کړې. په دې مقاله کې به موږ یوه پوښتنه په پام کې ونیسو چې مخکې نه پوښل شوي، مګر ډیری وختونه پوښتل کیږي - د AERODISK ENGINE ذخیره کولو سیسټمونو د غلطۍ زغم په اړه. زموږ ټیم به هرڅه وکړي ترڅو ډاډ ترلاسه کړي چې د AERODISK ذخیره کولو سیسټم کار کوي، د بیلګې په توګه. مات یې کړه
دا داسې پیښ شوي چې زموږ د شرکت تاریخ په اړه مقالې، زموږ د محصولاتو په اړه، او همدارنګه د بریالي تطبیق یوه بیلګه لا دمخه په هابر کې ځړول شوي، د کوم لپاره چې زموږ د شریکانو څخه ډیره مننه - د TS حل او سافټ لاین شرکتونو.
له همدې امله، زه به دلته د کاپي پیسټ مدیریت مهارتونه ونه روزم، مګر په ساده ډول به د دې مقالو اصلي ته لینکونه چمتو کړم:
زه هم غواړم ښه خبر شریک کړم. مګر زه به پیل وکړم، البته، د ستونزې سره. موږ، د یو ځوان پلورونکي په توګه، د نورو لګښتونو په منځ کې، په دوامداره توګه د دې حقیقت سره مخ یو چې ډیری انجنیران او مدیران په ساده ډول نه پوهیږي چې څنګه زموږ د ذخیره کولو سیسټم په سمه توګه پرمخ بوځي.
دا روښانه ده چې د ډیری ذخیره کولو سیسټمونو اداره کول د مدیر له نظره نږدې ورته ښکاري ، مګر هر تولید کونکی خپل ځانګړتیاوې لري. او موږ دلته استثنا نه یو.
له همدې امله، د معلوماتي ټکنالوجۍ متخصصینو د روزنې د کار د ساده کولو لپاره، موږ پریکړه وکړه چې سږکال وړیا زده کړې ته وقف کړو. د دې کولو لپاره، د روسیې په ډیری لویو ښارونو کې موږ د AERODISK وړتیا مرکزونو شبکه پرانیزو، په کوم کې چې هر لیواله تخنیکي متخصص کولی شي په بشپړ ډول وړیا کورس وکړي او د AERODISK انجن ذخیره کولو سیسټمونو اداره کولو کې سند ترلاسه کړي.
د وړتیا په هر مرکز کې به موږ د AERODISK ذخیره کولو سیسټم څخه یو بشپړ ډیمو سټینډ او یو فزیکي سرور نصب کړو، چې زموږ ښوونکي به مخامخ روزنه ترسره کړي. موږ به د وړتیا مرکزونو کاري مهالویش د دوی په څرګندیدو سره خپور کړو ، مګر موږ دمخه په نزني نوګورډ کې یو مرکز خلاص کړی او د کراسنودار ښار راتلونکی دی. تاسو کولی شئ د لاندې لینکونو په کارولو سره د روزنې لپاره لاسلیک وکړئ. دلته د ښارونو او نیټو په اړه اوس مهال پیژندل شوي معلومات دي:
- نېزی ناګورجود (مخکې پرانستی - تاسو کولی شئ دلته لاسلیک کړئ );
تر 16 اپریل 2019 پورې، تاسو کولی شئ په هر کاري وخت کې مرکز ته لاړ شئ، او د اپریل په 16، 2019 کې به یو لوی روزنیز کورس جوړ شي. - کریسارډر (ډیر ژر پرانیستل - تاسو کولی شئ دلته لاسلیک کړئ );
د اپریل له 9 څخه تر 25 اپریل 2019 پورې، تاسو کولی شئ په هر کاري وخت کې مرکز ته لاړ شئ، او د اپریل په 25، 2019 کې به یو لوی روزنیز کورس جوړ شي. - Екатеринбург (ډیر ژر پرانیستل کیږي، زموږ په ویب پاڼه یا Habré کې معلومات تعقیب کړئ)
می – جون ۲۰۱۹. - Новосибирск (زموږ په ویب پاڼه یا Habré کې معلومات تعقیب کړئ)
اکتوبر ۲۰۱۹. - Krasnoyarsk (زموږ په ویب پاڼه یا Habré کې معلومات تعقیب کړئ)
نومبر ۲۰۱۹.
او البته، که مسکو ستاسو څخه لرې نه وي، نو تاسو کولی شئ په هر وخت کې په مسکو کې زموږ دفتر ته لاړ شئ او ورته روزنه ترلاسه کړئ.
ټول. موږ د بازار موندنې سره بشپړ شوي، راځئ چې ټیکنالوژۍ ته لاړ شو!
په هابري کې به موږ په منظم ډول زموږ د محصولاتو ، بار ازموینې ، پرتله کولو ، د کارولو ځانګړتیاو او په زړه پوري پلي کولو په اړه تخنیکي مقالې خپروو.
د AERODISK ENGINE N2 ذخیره کولو سیسټم حادثې ازموینې، د ځواک ازموینه
خبرتیا! د مقالې لوستلو وروسته، تاسو کولی شئ ووایاست: ښه، البته، پلورونکی به خپل ځان وګوري ترڅو هرڅه د "بنګ سره" کار وکړي، د شنو خونو شرایط، او نور. زه به ځواب ورکړم: داسې نه! زموږ د بهرنیو سیالانو برعکس، موږ دلته موقعیت لرو، تاسو ته نږدې، او تاسو کولی شئ تل موږ ته راشئ (په مسکو یا کوم مرکزي کمیټه کې) او زموږ د ذخیره کولو سیسټم په هر ډول ازموینه وکړئ. پدې توګه ، دا زموږ لپاره ډیر معنی نلري چې پایلې د نړۍ مثالي عکس ته تنظیم کړو ، ځکه چې موږ چک کول خورا اسانه یو. د هغو کسانو لپاره چې د تګ لپاره ډیر سست دي او وخت نلري، موږ کولی شو لیرې ازموینې تنظیم کړو. موږ د دې لپاره یو ځانګړی لابراتوار لرو. موږ سره اړیکه ونیسئ.
ACHTUNG-2! دا ازموینه د بار ازموینه نه ده، ځکه دلته موږ یوازې د ګناه زغم ته پاملرنه کوو. په څو اونیو کې، موږ به یو ډیر پیاوړی موقف چمتو کړو او د ذخیره کولو سیسټم بار ازموینه ترسره کړو، پایلې به یې دلته خپروو (په هرصورت، د ازموینو غوښتنې منل کیږي).
نو، راځئ چې دا مات کړو.
د ازموینې موقف
زموږ موقف د لاندې هارډویر څخه جوړ دی:
- د 1 x ایروډیسک انجن N2 ذخیره کولو سیسټم (2 کنټرولرونه، 64GB کیچ، 8xFC بندرونه 8Gb/s، 4xEthernet بندرونه 10Gb/s SFP+، 4xEthernet بندرونه 1Gb/s)؛ لاندې ډیسکونه د ذخیره کولو سیسټم کې نصب شوي:
- 4 x SAS SSD ډیسک 900 GB؛
- 12 x SAS 10k ډیسک 1,2 TB؛
- د وینډوز سرور 1 سره 2016 x فزیکي سرور (2xXeon E5 2667 v3، 96GB RAM، 2xFC بندرونه 8Gb/s، 2xEthernet بندرونه 10Gb/s SFP+)؛
- 2 x SAN 8G سویچ؛
- 2 x LAN 10G سویچ؛
موږ سرور د FC او 10G ایترنیټ دواړو له لارې د سویچونو له لارې د ذخیره کولو سیسټم سره وصل کړ. د سټینډ ډیاګرام لاندې دی.
هغه برخې چې موږ ورته اړتیا لرو، لکه MPIO او iSCSI نوښتګر، په وینډوز سرور کې نصب شوي.
زونونه په FC سویچونو کې تنظیم شوي ، اړونده VLANs په LAN سویچونو کې تنظیم شوي ، او MTU 9000 د ذخیره کولو بندرونو ، سویچونو او کوربه کې نصب شوی (دا ټول څنګه ترسره کول زموږ په اسنادو کې تشریح شوي ، نو موږ به یې تشریح نه کړو. دا پروسه دلته ده).
د ازموینې میتودولوژي
د حادثې ازموینې پلان په لاندې ډول دی:
- د FC او ایترنیټ بندرونو ناکامي چک کول.
- د بریښنا ناکامۍ چک کول.
- د کنټرولر ناکامۍ چک.
- په ګروپ / حوض کې د ډیسک ناکامۍ لپاره چک کول.
ټولې ازموینې به د مصنوعي بار شرایطو لاندې ترسره شي، کوم چې موږ به د IOMETER پروګرام لخوا تولید کړو. په موازي ډول ، موږ به ورته ازموینې ترسره کړو ، مګر د ذخیره کولو سیسټم ته د لوی فایلونو کاپي کولو شرایطو لاندې.
د IOmeter ترتیب په لاندې ډول دی:
- لوستل / لیکل - 70/30
- بلاک - 128k (موږ پریکړه وکړه چې په لوی بلاکونو کې د ذخیره کولو سیسټمونه ومینځو)
- د تارونو شمیر - 128 (کوم چې د تولیدي بار سره ورته دی)
- بشپړ تصادفي
- د کارګرانو شمیر – 4 (2 د FC لپاره، 2 د iSCSI لپاره)
ازموینه لاندې موخې لري:
- ډاډ ترلاسه کړئ چې د مصنوعي بار او کاپي پروسه به د ناکامۍ مختلف سناریو ګانو کې مداخله ونه کړي یا د غلطیو لامل شي.
- ډاډ ترلاسه کړئ چې د بندرونو ، کنټرولرونو او نورو بدلولو پروسه په کافي اندازه اتومات ده او د ناکامۍ په صورت کې د مدیر عملونو ته اړتیا نلري (دا د ناکامیو په جریان کې ، البته موږ د ناکامۍ په اړه خبرې نه کوو).
- ډاډ ترلاسه کړئ چې په لاګونو کې معلومات په سمه توګه ښودل شوي.
د کوربه او ذخیره کولو سیسټم چمتو کول
موږ په ترتیب سره د FC او ایترنیټ بندرونو (FC او iSCSI) په کارولو سره د ذخیره کولو سیسټم کې د بلاک لاسرسی تنظیم کړ. د TS حل څخه هلکان په تیرو مقاله کې د دې کولو څرنګوالي په تفصیل سره تشریح کړل (). او البته، هیڅوک لارښودونه او کورسونه فسخ نه کړل.
موږ د ټولو هغه ډرایو په کارولو سره یو هایبرډ ډله جوړه کړه چې موږ یې درلودل. 2 SSD ډیسکونه په کیچ کې اضافه شوي ، 2 SSD ډیسکونه د اضافي ذخیره کولو درجې (آنلاین ټایر) په توګه اضافه شوي. موږ 12 SAS10k ډیسکونه په RAID-60P (ټرپل برابري) کې ګروپ کړل ترڅو په یوه ګروپ کې د دریو ډیسکونو ناکامي چیک کړو. یو ډیسک د اتوماتیک ځای په ځای کولو لپاره پاتې شو.
موږ دوه LUNs سره وصل کړل (یو د FC له لارې، یو د iSCSI له لارې).
د دواړو LUNs مالک د انجن -0 کنټرولر دی
راځئ چې ازموینه پیل کړو
موږ د پورته ترتیب سره IOMETER فعال کړو.
موږ د 1.8 GB/s یو ټرپټ او د 3 ملی ثانیو ځنډ ثبت کوو. هیڅ غلطی شتون نلري (د ټول غلطی شمیره).
په ورته وخت کې ، زموږ د کوربه ځایی ډرایو "C" څخه ، موږ په موازي ډول د نورو انٹرفیسونو په کارولو سره د دوه لوی 100GB فایلونو FC او iSCSI ذخیره LUNs (په وینډوز کې E او G ډرایو) ته کاپي کول پیل کوو.
پورته LUN FC ته د کاپي کولو پروسه ده ، لاندې iSCSI ته.
ازموینه #1: د I/O بندرونو غیر فعال کول
موږ د شا څخه د ذخیره کولو سیسټم ته نږدې کیږو))) او د لاس د لږ حرکت سره موږ د انجن -10 کنټرولر څخه ټول FC او ایترنیټ 0G کیبلونه وباسو. دا داسې ده لکه څنګه چې یوه پاکونکې میرمن د موپ سره روانه وه او پریکړه یې وکړه چې فرش په سمه توګه ومینځي چیرې چې سوری پروت و او کیبلونه پراته وو (د بیلګې په توګه کنټرولر لاهم کار کوي ، مګر د I/O بندرونه مړه دي).
راځئ چې وګورو IOMETER او د فایلونو کاپي کول. له لارې 0,5 GB/s ته راښکته شو، مګر په چټکۍ سره خپل پخوانۍ کچې ته راستون شو (په 4-5 ثانیو کې). هیڅ غلطی نشته.
د فایلونو کاپي کول ندي بند شوي ، په سرعت کې کمښت شتون لري ، مګر دا خورا مهم ندي (له 840 MB/s څخه دا 720 MB/s ته راټیټ شوی). کاپي کول نه دي بند شوي.
موږ د ذخیره کولو سیسټم لاګونو ته ګورو او د بندرونو نه شتون او د ګروپ اتوماتیک ځای په ځای کولو په اړه پیغام ګورو.
د معلوماتو پینل موږ ته دا هم وايي چې د FC بندرونو سره هرڅه سم ندي.
د ذخیره کولو سیسټم د I/O بندرونو له ناکامۍ څخه ژغورل شوی په بریالیتوب سره
ازموینه نمبر 2. د ذخیره کولو کنټرولر غیر فعال کول
نږدې سمدلاسه (د کیبلونو بیرته د ذخیره کولو سیسټم ته د پلګ کولو وروسته) موږ پریکړه وکړه چې د کنټرولر له چیسس څخه په ایستلو سره د ذخیره کولو سیسټم پای ته ورسوو.
یوځل بیا موږ د شا څخه د ذخیره کولو سیسټم ته ورسیږو (موږ دا خوښ کړ))) او دا ځل موږ د انجن -1 کنټرولر وباسو ، کوم چې پدې وخت کې د RDG مالک دی (کوم چې ګروپ حرکت کړی).
په IOmeter کې وضعیت په لاندې ډول دی. I/O د شاوخوا 5 ثانیو لپاره ودرول شو. تېروتنې نه راټولېږي.
د 5 ثانیو وروسته، I/O د ورته ټرپوټ سره بیا پیل شو، مګر د 35 ملی ثانیو ځنډ سره (د یو څو دقیقو وروسته ځنډ سم شوی). لکه څنګه چې د سکرین شاټونو څخه لیدل کیدی شي، د ټول غلطی شمیره ارزښت 0 دی، دا دی، د لیکلو یا لوستلو تېروتنې شتون نلري.
راځئ چې زموږ د فایلونو کاپي کولو ته وګورو. لکه څنګه چې تاسو لیدلی شئ، دا مداخله نه وه شوې، په فعالیت کې یو څه کمښت راغلی، مګر په ټولیز ډول هر څه ورته ~ 800 MB/s ته راستانه شوي.
موږ د ذخیره کولو سیسټم ته ځو او د معلوماتو پینل کې لعنت ګورو چې د انجن -1 کنټرولر شتون نلري (البته، موږ یې وژلی دی).
موږ په لاګونو کې ورته ننوتل هم ګورو.
د ذخیره کولو کنټرولر هم د ناکامۍ څخه بچ شو په بریالیتوب سره
ازموینه نمبر 3: د بریښنا رسولو قطع کول.
یوازې په دې حالت کې، موږ بیا د فایلونو کاپي کول پیل کړل، مګر IOMETER یې ودراوه.
موږ د بریښنا رسولو واحد راوباسئ.
بل خبرتیا د معلوماتو پینل کې د ذخیره کولو سیسټم کې اضافه شوې.
همدارنګه د سینسر مینو کې موږ ګورو چې د ایستل شوي بریښنا رسولو پورې اړوند سینسر سور شوي.
د ذخیره کولو سیسټم کار ته دوام ورکوي. د بریښنا رسولو واحد ناکامي په هیڅ ډول د ذخیره کولو سیسټم عملیات اغیزه نه کوي؛ د کوربه له نظره، د کاپي سرعت او د IOMETER شاخصونه بدل شوي ندي.
د بریښنا ناکامۍ ازموینه تیره شوه په بریالیتوب سره
د وروستي ازموینې دمخه ، موږ پریکړه وکړه چې د ذخیره کولو سیسټم یو څه ژوند ته راوړو ، د کنټرولر او بریښنا رسولو واحد بیرته وسپارو ، او کیبلونه هم په ترتیب کې واچوو ، کوم چې د ذخیره کولو سیسټم په خوښۍ سره موږ ته په خپل روغتیا پینل کې د شنه شبیانو سره خبر راکړ. .
ټیسټ نمبر 4. په یوه ګروپ کې د دریو ډیسکونو ناکامي
د دې ازموینې دمخه ، موږ د چمتووالي اضافي مرحله ترسره کړه. حقیقت دا دی چې د انجن ذخیره کولو سیسټم خورا ګټور شی چمتو کوي - د بیا رغونې مختلف پالیسۍ. د TS حل دمخه د دې خصوصیت په اړه لیکلي ، مګر راځئ چې د هغې جوهر په یاد کړو. د ذخیره کولو مدیر کولی شي د بیارغونې پرمهال د سرچینو تخصیص لپاره لومړیتوب مشخص کړي. یا هم د I/O فعالیت په لور، دا دی، بیا رغونه ډیر وخت نیسي، مګر د فعالیت کمښت شتون نلري. یا د بیا رغونې سرعت په لور، مګر تولید به کم شي. یا یو متوازن انتخاب. څرنګه چې د ډیسک ګروپ بیارغونې په جریان کې د ذخیره کولو فعالیت تل د مدیر سر درد وي، موږ به د I/O فعالیت او د بیا رغونې سرعت په لګښت کې د تعصب سره پالیسي ازموینه وکړو.
اوس راځئ چې د ډیسک ناکامۍ لپاره وګورو. موږ LUNs (فایلونه او IOMETER) ته ثبت کول هم فعالوو. څرنګه چې موږ یو ګروپ لرو چې درې اړخیزه (RAID-60P) لري، دا پدې مانا ده چې سیسټم باید د دریو ډیسکونو ناکامۍ سره مقاومت وکړي، او د ناکامۍ وروسته، د اتوماتیک ځای پرځای کول باید کار وکړي، یو ډیسک باید د ناکام شوي یو ځای ونیسي. په RDG کې، او بیا رغونه باید په دې پیل شي.
پيل كيدل؛ شروع كيدل: او چنېدل، راوتل. لومړی ، د ذخیره کولو انٹرفیس له لارې ، راځئ چې هغه ډیسکونه روښانه کړو چې موږ یې غواړو راوباسئ (د دې لپاره چې د آټو چینج ډیسک له لاسه ورنکړو او وباسو).
موږ په هارډویر کې نښې ګورو. هرڅه سم دي، موږ درې روښانه شوي ډیسکونه ګورو.
او موږ دا درې ډیسکونه وباسو.
راځئ وګورو چې په کوربه کې څه دي. او هلته ... کوم ځانګړی ندی.
د کاپي کولو شاخصونه (دوی د پیل په پرتله لوړ دي ، ځکه چې کیچ ګرم شوی دی) او IOMETER د ډیسکونو لرې کولو او بیا رغولو پیل کولو کې ډیر بدلون نه کوي (د 5-10٪ دننه).
راځئ وګورو چې د ذخیره کولو سیسټم کې څه دي.
د ډلې په وضعیت کې، موږ ګورو چې د بیارغونې بهیر پیل شوی او بشپړیدو ته نږدې دی.
د RDG کنکال کې تاسو لیدلی شئ چې 2 ډیسکونه په سور حالت کې دي، او یو یې دمخه بدل شوی. د اتوماتیک ځای پرځای کولو ډیسک نور شتون نلري؛ دا د دریم ناکام ډیسک ځای په ځای کړی. بیا جوړونه څو دقیقې وخت نیسي، د فایلونو لیکلو کله چې 3 ډیسکونه ناکام شول، مداخله نه وه شوې، او د I/O فعالیت ډیر بدلون نه و.
د ډیسک ناکامي ازموینه یقینا تیره شوه په بریالیتوب سره
پایلې
په دې وخت کې، موږ پریکړه وکړه چې د ذخیره کولو سیسټمونو په وړاندې تاوتریخوالی ودروو. راځئ چې لنډیز وکړو:
- د FC بندر ناکامي چیک - بریالی
- د ایترنیټ بندر ناکامي چیک - بریالی
- د کنټرولر ناکامۍ چک - بریالی
- د بریښنا ناکامي ازموینه - بریالۍ
- په ګروپ پول کې د ډیسک ناکامي چک کول - بریالي
هیڅ یوې ناکامۍ د ثبت کولو مخه نه ده نیولې یا په مصنوعي بار کې د غلطیو لامل شوی؛ البته ، د فعالیت نښه وه (او موږ پوهیږو چې څنګه یې له مینځه یوسو ، کوم چې موږ به یې ژر ترسره کړو) ، مګر دا چې دا ثانیې دي ، دا د منلو وړ ده. پایله: د AERODISK ذخیره کولو سیسټم د ټولو برخو غلطی زغم په کچه کار کاوه، د ناکامۍ هیڅ ټکي شتون نلري.
په ښکاره ډول، په یوه مقاله کې موږ نشو کولی د ناکامۍ ټولې سناریوګانې و ازمویو، مګر موږ هڅه وکړه چې خورا مشهور پوښښ وکړو. له همدې امله، مهرباني وکړئ د راتلونکو خپرونو لپاره خپل نظرونه، وړاندیزونه او البته، کافي نیوکه واستوئ. موږ به خوشحاله یو چې بحث وکړو (یا لا تر اوسه ښه، روزنې ته راشئ، زه یوازې په قضیه کې مهال ویش نقل کوم)! تر نویو ازموینو پورې!
- نېزی ناګورجود (مخکې پرانستی - تاسو کولی شئ دلته لاسلیک کړئ );
تر 16 اپریل 2019 پورې، تاسو کولی شئ په هر کاري وخت کې مرکز ته لاړ شئ، او د اپریل په 16، 2019 کې به یو لوی روزنیز کورس جوړ شي. - کریسارډر (ډیر ژر پرانیستل - تاسو کولی شئ دلته لاسلیک کړئ );
د اپریل له 9 څخه تر 25 اپریل 2019 پورې، تاسو کولی شئ په هر کاري وخت کې مرکز ته لاړ شئ، او د اپریل په 25، 2019 کې به یو لوی روزنیز کورس جوړ شي. - Екатеринбург (ډیر ژر پرانیستل کیږي، زموږ په ویب پاڼه یا Habré کې معلومات تعقیب کړئ)
می – جون ۲۰۱۹. - Новосибирск (زموږ په ویب پاڼه یا Habré کې معلومات تعقیب کړئ)
اکتوبر ۲۰۱۹. - Krasnoyarsk (زموږ په ویب پاڼه یا Habré کې معلومات تعقیب کړئ)
نومبر ۲۰۱۹.
سرچینه: www.habr.com