بادونه د جادو بکس په څیر دي - تاسو پوښتنه کوئ چې څه ته اړتیا لرئ، او سرچینې یوازې د ځای څخه ښکاري. مجازی ماشینونه، ډیټابیسونه، شبکه - دا ټول یوازې تاسو پورې اړه لري. نور بادل کرایه کونکي شتون لري ، مګر ستاسو په کائنات کې تاسو یوازینی واکمن یاست. تاسو ډاډه یاست چې تاسو به تل اړین سرچینې ترلاسه کوئ، تاسو هیڅوک په حساب کې نه اخلئ او تاسو په خپلواکه توګه وټاکئ چې شبکه به څه ډول وي. دا جادو څنګه کار کوي چې بادل په پراخه کچه سرچینې تخصیص کوي او کرایه کونکي په بشپړ ډول له یو بل څخه جلا کوي؟
AWS کلاوډ یو میګا - سوپر پیچلي سیسټم دی چې له 2006 راهیسې په تکامل ډول وده کوي. د دې پرمختګ یوه برخه ترسره شوه واسیلي پینتیوخین - د ایمیزون ویب خدماتو معمار. د یو معمار په توګه، هغه نه یوازې د پای پایلې کې، بلکې په ننګونو کې چې AWS بریالي کیږي داخلي لید ترلاسه کوي. هرڅومره چې د سیسټم کار کولو په اړه پوهه زیاته وي ، هومره باور ډیر وي. له همدې امله، واسیلي به د AWS کلاوډ خدماتو رازونه شریک کړي. لاندې د فزیکي AWS سرورونو ډیزاین دی ، د لچک وړ ډیټابیس اندازه کولو وړتیا ، د ایمیزون دودیز ډیټابیس او د مجازی ماشینونو فعالیت زیاتولو میتودونه پداسې حال کې چې په ورته وخت کې د دوی نرخ کموي. د ایمیزون د معمارۍ طریقې پوهه به تاسو سره د AWS خدماتو په مؤثره توګه کارولو کې مرسته وکړي او ممکن تاسو ته ستاسو د حلونو رامینځته کولو لپاره نوي نظرونه درکړي.
د وینا کونکي په اړه: واسیلي پینټیوخین () په .ru شرکتونو کې د یونیکس مدیر په توګه پیل شو، د 6 کلونو لپاره یې په لوی سن مایکرو سیسټم هارډویر کې کار وکړ، او د 11 کلونو لپاره یې په EMC کې د ډیټا متمرکز نړۍ تبلیغ وکړ. دا په طبیعي ډول په شخصي بادونو کې رامینځته شوی، او په 2017 کې عامه خلکو ته لیږدول شوی. اوس هغه د AWS بادل کې د ژوند کولو او پراختیا لپاره تخنیکي مشورې وړاندې کوي.
اعلامیه: لاندې هرڅه د واسیلي شخصي نظر دی او ممکن د ایمیزون ویب خدماتو موقعیت سره سمون ونلري. هغه راپور چې پر دې مقاله ولاړ دی زموږ د یوټیوب چینل کې شتون لري.
ولې زه د ایمیزون آلې په اړه خبرې کوم؟
زما لومړی موټر یو لاسي لیږد درلود. دا د دې احساس له امله خورا ښه و چې زه کولی شم موټر چلوم او بشپړ کنټرول لرم. ما دا هم خوښ کړه چې زه لږترلږه د دې عملیاتو په اصولو پوهیدم. په طبیعي توګه، ما د بکس جوړښت خورا ابتدايي تصور وکړ - یو څه لکه په بایسکل کې د ګیربکس په څیر.
هرڅه عالي وو ، پرته له یو شی څخه - په ترافیک جام کې پاتې. داسې ښکاري چې تاسو ناست یاست او هیڅ نه کوئ، مګر تاسو په دوامداره توګه ګیرونه بدلوئ، کلچ، ګاز، بریک فشار کړئ - دا واقعیا تاسو ستړي کوي. د ټرافیکي جام ستونزه تر یوې اندازې حل شوه کله چې کورنۍ یو اتومات موټر ترلاسه کړ. د موټر چلولو پرمهال، ما د یو څه په اړه فکر کولو او د آډیو کتاب اوریدلو وخت درلود.
زما په ژوند کې یو بل راز راڅرګند شو، ځکه چې ما په بشپړه توګه پوهیدل بند کړل چې زما موټر څنګه کار کوي. عصري موټر یو پیچلي وسیله ده. موټر په ورته وخت کې د لسګونو مختلف پیرامیټونو سره تطبیق کوي: د ګاز فشار، بریک، د موټر چلولو سټایل، د سړک کیفیت. زه نه پوهیږم چې دا نور څنګه کار کوي.
کله چې ما په ایمیزون بادل کې کار پیل کړ، دا هم زما لپاره یو راز و. یوازې دا اسرار د لوی مقدار ترتیب دی ، ځکه چې په موټر کې یو ډرایور شتون لري ، او په AWS کې ملیونونه شتون لري. ټول کاروونکي په ورته وخت کې حرکت کوي، ګاز او بریک فشاروي. دا حیرانتیا ده چې دوی چیرته چې دوی غواړي ځي - دا زما لپاره یوه معجزه ده! سیسټم په اوتومات ډول د هر کارونکي سره موافقت کوي ، پیمانه کوي او په لچک ډول تنظیموي ترڅو هغه ته داسې بریښي چې هغه پدې کائنات کې یوازې دی.
جادو یو څه ختم شو کله چې زه وروسته په ایمیزون کې د معمار په توګه کار کولو ته راغلم. ما ولیدل چې موږ له کومو ستونزو سره مخ یو، موږ یې څنګه حل کوو، او موږ څنګه خدماتو ته وده ورکوو. د سیسټم د کار کولو څرنګوالي په اړه د زیاتیدونکي پوهې سره، په خدمت کې ډیر باور څرګندیږي. نو زه غواړم د هغه څه عکس شریک کړم چې د AWS بادل لاندې دی.
د څه په اړه خبرې وکړو
ما یو متنوع چلند غوره کړ - ما 4 په زړه پوري خدمتونه غوره کړل چې د خبرو کولو ارزښت لري.
د سرور اصلاح کول. لنډمهاله ورېځونه د فزیکي مجسمې سره: د فزیکي معلوماتو مرکزونه چیرې چې فزیکي سرورونه شتون لري چې ګرموي، تودوخه کوي او د څراغونو سره روښانه کوي.
بې سروره دندې (لامبا) شاید په بادل کې ترټولو د توزیع وړ خدمت دی.
د ډیټابیس اندازه کول. زه به تاسو ته ووایم چې څنګه موږ خپل د توزیع وړ ډیټابیسونه جوړوو.
د شبکې اندازه کول. وروستۍ برخه چې زه به یې زموږ د شبکې وسیله خلاص کړم. دا یو په زړه پوری شی دی - هر بادل کارونکي باور لري چې هغه په بادل کې یوازې دی او نور کرایه کونکي په هیڅ ډول نه ګوري.
نوټ. دا مقاله به د سرور اصلاح او ډیټابیس اندازه کولو په اړه بحث وکړي. موږ به په راتلونکې مقاله کې د شبکې اندازه کول په پام کې ونیسو. د سرور پرته دندې چیرته دي؟ د دوی په اړه یو جلا نقل خپور شو "" دا د ډیری مختلف پیمانه کولو میتودونو په اړه خبرې کوي، او د فایرکریکر حل په اړه په تفصیل سره بحث کوي - د مجازی ماشین او کانټینرونو غوره ځانګړتیاوو یو سمبیوسس.
سرورونه
ورېځ لنډمهاله ده. مګر دا لنډمهاله اوس هم فزیکي بڼه لري - سرورونه. په پیل کې، د دوی جوړښت کلاسیک و. معیاري x86 چپسیټ، د شبکې کارتونه، لینکس، Xen هایپروایسر په کوم کې چې مجازی ماشینونه چلول شوي.
په 2012 کې، دې معمارۍ د خپلو دندو سره په ښه توګه مقابله وکړه. Xen یو لوی هایپروایزر دی، مګر دا یو لوی نیمګړتیا لري. هغه کافي ده د وسیلې ایمولیشن لپاره لوړ سر. لکه څنګه چې نوي، ګړندي شبکې کارتونه یا SSD ډرایو شتون لري ، دا سر ډیر لوړ کیږي. د دې ستونزې سره څنګه معامله وکړو؟ موږ پریکړه وکړه چې په یو وخت کې په دوو محاذونو کار وکړو - دواړه هارډویر او هایپروایزر غوره کړئ. دنده خورا جدي ده.
د هارډویر او هایپروایزر اصلاح کول
په یو وخت کې هرڅه کول او ښه کول به کار ونکړي. څه "ښه" وه په پیل کې هم روښانه نه وه.
موږ پریکړه وکړه چې یو تکامل چلند وکړو - موږ د معمارۍ یو مهم عنصر بدلوو او تولید ته یې غورځوو.
موږ په هر ریک کې ګام پورته کوو، شکایتونه او وړاندیزونه اورو. بیا موږ بله برخه بدلوو. نو، په کوچنیو زیاتوالی کې، موږ د کاروونکو او ملاتړ څخه د فیډبیک پراساس ټول جوړښت په بنسټیز ډول بدلوو.
بدلون په 2013 کې د خورا پیچلي شیانو سره پیل شو - شبکه. IN ساینکسکس په مثالونو کې، د شبکې یو ځانګړي سرعت کارت د معیاري شبکې کارت ته اضافه شوی. دا په لفظي ډول په مخکینۍ پینل کې د لنډ لوپ بیک کیبل سره وصل شوی و. دا ښکلی ندی، مګر دا په بادل کې نه لیدل کیږي. مګر د هارډویر سره مستقیم تعامل په بنسټیز ډول ښه شوی جټټر او د شبکې له لارې.
بیا موږ پریکړه وکړه چې د بلاک ډیټا ذخیره کولو ته لاسرسی ښه کړو EBS - لچک لرونکي بلاک ذخیره. دا د شبکې او ذخیره کولو ترکیب دی. ستونزه دا ده چې پداسې حال کې چې د شبکې سرعت کارتونه په بازار کې شتون درلود، په ساده ډول د ذخیره کولو سرعت هارډویر اخیستلو لپاره هیڅ اختیار شتون نه درلود. نو موږ د پیل پیل ته مخه کړه اناپورنا لابراتوارونه، چا چې زموږ لپاره ځانګړي ASIC چپس جوړ کړل. دوی د ریموټ EBS حجمونو ته اجازه ورکړه چې د NVMe وسیلو په توګه نصب شي.
په مثالونو کې C4 موږ دوه ستونزې حل کړې. لومړی دا چې موږ د ژمنې راتلونکي لپاره بنسټ پلي کړ ، مګر پدې وخت کې نوی ، NVMe ټیکنالوژي. دوهم، موږ د پام وړ مرکزي پروسیسر EBS ته نوي کارت ته د غوښتنو پروسس کولو لیږدولو سره پورته کړ. دا ښه شو، نو اوس د اناپورنا لیبز د ایمیزون برخه ده.
د نومبر 2017 پورې، موږ پوهیږو چې دا د هایپروایزر بدلولو وخت دی.
نوی هایپروایسر د بدل شوي KVM کرنل ماډلونو پراساس رامینځته شوی.
دې دا ممکنه کړه چې په بنسټیز ډول د وسیلې ایمولیشن سر ټیټ کړئ او د نوي ASICs سره مستقیم کار وکړئ. مثالونه ساینکسکس لومړی مجازی ماشینونه وو چې د نوي هایپروایزر سره د هود لاندې روان وو. موږ ورته نوم ورکړ نايترو.
په مهال ویش کې د مثالونو ارتقا.
د مجازی ماشینونو ټول نوي ډولونه چې د نومبر 2017 راهیسې څرګند شوي پدې هایپروایسر کې چلیږي. بېر فلزي مثالونه هایپروایسر نلري، مګر دوی ته د نایترو په نوم هم ویل کیږي ، ځکه چې دوی ځانګړي نایټرو کارتونه کاروي.
په راتلونکو دوو کلونو کې، د نايټرو د ډولونو شمېر له څو درجن څخه زيات شو: A1، C5، M5، T3 او نور.
د بېلګې ډولونه.
د نایټرو عصري ماشینونه څنګه کار کوي
دوی درې اصلي برخې لري: د نایټرو هایپروایسر (پورته بحث شوی)، امنیتي چپ او د نایټرو کارتونه.
امنیتي چپ مستقیم په مور بورډ کې مدغم شوی. دا ډیری مهمې دندې کنټرولوي، لکه د کوربه OS د بارولو کنټرول.
د نايټرو کارتونه - څلور ډوله دي. دا ټول د اناپورنا لابراتوار لخوا رامینځته شوي او د عام ASICs پراساس دي. د دوی ځینې فرم ویئر هم عام دي.
د نايټرو کارتونو څلور ډوله.
یو له کارتونو سره د کار کولو لپاره ډیزاین شوی جالVPC. دا هغه څه دي چې په مجازی ماشینونو کې د شبکې کارت په توګه لیدل کیږي ENA - د لچک وړ شبکې اډاپټر. دا د فزیکي شبکې له لارې د لیږد پرمهال ترافیک هم پوښي (موږ به پدې اړه د مقالې په دویمه برخه کې وغږیږو) ، د امنیت ګروپ فایر وال کنټرولوي ، او د روټینګ او نورو شبکو شیانو مسؤل دی.
کارتونه غوره کړئ د بلاک ذخیره کولو سره کار کوي EBS او ډیسکونه چې په سرور کې جوړ شوي دي. دوی د میلمنو مجازی ماشین ته داسې ښکاري د NVMe اډاپټرونه. دوی د ډیټا کوډ کولو او ډیسک نظارت لپاره هم مسؤل دي.
د نایټرو کارتونو سیسټم ، هایپروایزر او امنیت چپ په SDN شبکه کې مدغم شوی یا د سافټویر تعریف شوی شبکه. د دې شبکې اداره کولو مسؤلیت (کنټرول الوتکه) کنټرولر کارت.
البته، موږ د نوي ASICs پراختیا ته دوام ورکوو. د مثال په توګه، د 2018 په پای کې دوی د Inferentia چپ خپور کړ، کوم چې تاسو ته اجازه درکوي د ماشین زده کړې دندو سره ډیر اغیزمن کار وکړي.
د Inferentia ماشین زده کړې پروسیسر چپ.
د توزیع وړ ډیټابیس
دودیز ډیټابیس یو پرت لرونکی جوړښت لري. د خورا ساده کولو لپاره، لاندې درجې توپیر لري.
- د ايس کيو ايل - پیرودونکي او د غوښتنې لیږدونکي پدې باندې کار کوي.
- احکام معاملې - دلته هرڅه روښانه دي، ACID او دا ټول.
- کیشینګ، کوم چې د بفر حوضونو لخوا چمتو کیږي.
- ننوتل - د ریډو لاګونو سره کار چمتو کوي. په MySQL کې دوی Bin Logs په نوم یادیږي، په PosgreSQL کې - مخکې لوګ ولیکئ (WAL).
- زیرمه - ډیسک ته مستقیم ثبت کول.
پرت لرونکي ډیټابیس جوړښت.
د ډیټابیسونو اندازه کولو لپاره مختلفې لارې شتون لري: شارډینګ، شریک شوی هیڅ شی جوړښت، شریک ډیسک.
په هرصورت، دا ټول میتودونه د ورته واحد ډیټابیس جوړښت ساتي. دا د پام وړ اندازه کول محدودوي. د دې ستونزې د حل لپاره، موږ خپل ډیټابیس جوړ کړ - ایمیزون اورورا. دا د MySQL او PostgreSQL سره مطابقت لري.
ایمیزون اورورا
اصلي معماري نظر د اصلي ډیټابیس څخه د ذخیره کولو او ننوتلو کچه جلا کول دي.
مخ ته په کتلو سره، زه به ووایم چې موږ د کیشینګ کچه هم خپلواکه کړې. معمارۍ د واحد په توګه پاتې کیږي، او موږ د انفرادي بلاکونو په اندازه کولو کې د آزادۍ اضافي درجې ترلاسه کوو.
د ننوتلو او ذخیره کولو کچه د ډیټابیس څخه جلا ده.
دودیز DBMS د بلاکونو په بڼه د ذخیره کولو سیسټم ته ډاټا لیکي. په ایمیزون اورورا کې، موږ سمارټ ذخیره جوړه کړه چې ژبه خبرې کولی شي redo-logs. دننه ، ذخیره د ډیټا بلاکونو ته لاګونه بدلوي ، د دوی بشپړتیا څارنه کوي او په اتوماتيک ډول بیک اپ کوي.
دا طریقه تاسو ته اجازه درکوي په زړه پورې شیان پلي کړئ لکه څنګه چې کلونینګ. دا په بنسټیز ډول ګړندی او ډیر اقتصادي کار کوي د دې حقیقت له امله چې دا د ټولو معلوماتو بشپړ کاپي رامینځته کولو ته اړتیا نلري.
د ذخیره کولو پرت د توزیع شوي سیسټم په توګه پلي کیږي. دا د فزیکي سرورونو خورا لوی شمیر څخه جوړ دی. هر ریډو لاګ پروسس کیږي او په ورته وخت کې خوندي کیږي شپږ غوټۍ. دا د معلوماتو محافظت او د بار توازن تضمینوي.
د لوستلو اندازه کول د مناسبو نقلونو په کارولو سره ترلاسه کیدی شي. توزیع شوی ذخیره د اصلي ډیټابیس مثالونو ترمینځ همغږي کولو اړتیا له مینځه وړي ، د کوم له لارې چې موږ ډاټا لیکو ، او پاتې عکسونه. تازه معلومات تضمین شوي چې ټولو عکسونو ته شتون ولري.
یوازینۍ ستونزه د لوستلو نقلونو کې د زړو معلوماتو زیرمه کول دي. مګر دا ستونزه حل کیږي د ټولو ریډو لاګونو لیږد په داخلي شبکه کې د نقل کولو لپاره. که چیرې لاګ په زیرمه کې وي، دا د غلط او بیا لیکل شوي په توګه نښه شوی. که دا په زیرمه کې نه وي، دا په ساده ډول له مینځه وړل کیږي.
موږ ذخیره ترتیب کړه.
د DBMS درجې اندازه کولو څرنګوالی
دلته، افقی اندازه کول خورا ستونزمن دي. نو راځئ چې وهل شوي لارې ته لاړ شو کلاسیک عمودی اندازه کول.
راځئ چې فرض کړو چې موږ یو غوښتنلیک لرو چې د DBMS سره د ماسټر نوډ له لارې اړیکه نیسي.
کله چې عمودی اندازه کول، موږ یو نوی نوډ تخصیص کوو چې ډیر پروسیسرونه او حافظه به ولري.
بیا، موږ غوښتنلیک د زاړه ماسټر نوډ څخه نوي ته واړوو. ستونزې رامنځته کیږي.
- دا به د پام وړ غوښتنلیک کم وخت ته اړتیا ولري.
- نوی ماسټر نوډ به سړه کیچ ولري. د ډیټابیس فعالیت به یوازې وروسته له دې چې کیچ ګرم شي اعظمي وي.
وضعیت څنګه ښه کول؟ د غوښتنلیک او ماسټر نوډ ترمنځ پراکسي تنظیم کړئ.
دا به موږ ته څه راکوي؟ اوس ټول غوښتنلیکونه اړتیا نلري په لاسي ډول نوي نوډ ته واستول شي. سویچ د پراکسي لاندې ترسره کیدی شي او په بنسټیز ډول ګړندی دی.
داسې ښکاري چې ستونزه حل شوې ده. مګر نه، موږ لاهم د کیچ ګرمولو اړتیا سره مخ یو. سربیره پردې، یوه نوې ستونزه راڅرګنده شوه - اوس پراکسي د ناکامۍ احتمالي نقطه ده.
د ایمیزون اورورا سرور بې سره وروستی حل
دا ستونزې مو څنګه حل کړې؟
یو پراکسي پریښود. دا یوه جلا بیلګه نه ده، مګر د پراکسي ټوله ویشل شوې بیړۍ چې له لارې غوښتنلیکونه ډیټابیس سره نښلوي. د ناکامۍ په صورت کې، هر نوډونه نږدې سمدستي بدل کیدی شي.
د مختلف اندازو ګرمو نوډونو حوض اضافه شو. له همدې امله، که اړتیا وي چې د لوی یا کوچنۍ اندازې نوی نوډ تخصیص کړئ، دا سمدستي شتون لري. د بارولو لپاره انتظار ته اړتیا نشته.
د اندازه کولو ټوله پروسه د ځانګړي څارنې سیسټم لخوا کنټرول کیږي. څارنه په دوامداره توګه د اوسني ماسټر نوډ حالت څارنه کوي. که دا معلومه کړي، د بیلګې په توګه، د پروسیسر بار یو مهم ارزښت ته رسیدلی، دا د نوي نوډ تخصیص کولو اړتیا په اړه د ګرمو مثالونو حوض ته خبر ورکوي.
ویشل شوي پراکسي، ګرم مثالونه او څارنه.
د اړتیا وړ بریښنا سره یو نوډ شتون لري. د بفر حوضونه دې ته کاپي شوي، او سیسټم د بدلولو لپاره د خوندي شیبې انتظار پیل کوي.
معمولا د بدلولو شیبه په چټکۍ سره راځي. بیا د پراکسي او زاړه ماسټر نوډ ترمینځ اړیکه وځنډول شوه ، ټولې ناستې نوي نوډ ته واړول شوې.
د ډیټابیس بیا پیل سره کار وکړئ.
ګراف ښیې چې تعلیق واقعیا خورا لنډ دی. نیلي ګراف بار ښیي، او سور مرحلې د اندازه کولو شیبې ښیې. په نیلي ګراف کې لنډمهاله ډوبونه دقیقا هغه لنډ ځنډ دی.
په هرصورت، ایمیزون اورورا تاسو ته اجازه درکوي په بشپړه توګه پیسې خوندي کړئ او ډیټابیس بند کړئ کله چې دا کار نه وي، د بیلګې په توګه، د اونۍ په پای کې. د بار ودرولو وروسته، DB په تدریجي ډول خپل ځواک کموي او د یو څه وخت لپاره بندوي. کله چې بار بیرته راستانه شي، نو بیا به په اسانۍ سره لوړ شي.
د ایمیزون آلې په اړه د کیسې په راتلونکې برخه کې، موږ به د شبکې اندازه کولو په اړه وغږیږو. ګډون وکړئ او سره پاتې شئ نو تاسو مقاله له لاسه ورنکړئ.
په واسیلي پینتیوخین به یو راپور وړاندې کړي "" د توزیع شوي سیسټمونو لپاره کوم ډیزاین نمونې د ایمیزون پراختیا کونکو لخوا کارول کیږي ، د خدماتو ناکامیو لاملونه څه دي ، د سیل پراساس جوړښت څه شی دی ، دوامداره کار ، شفل شارډینګ - دا به په زړه پوري وي. کنفرانس ته له یوې میاشتې څخه کم وخت پاتې دی - . د اکتوبر 24 وروستنۍ بیه زیاتوالی.
سرچینه: www.habr.com