19 هیدرا سرونه. د برنامه خورا ښه کتنه

د جولای په 11-12 به په سینټ پیټرزبورګ کې یو کنفرانس جوړ شي هیدرراد موازي او توزیع شوي سیسټمونو پراختیا ته وقف شوی. د هایډرا په اړه خبره دا ده چې دا لوړ ساینس پوهان (کوم چې معمولا یوازې په بهرني ساینسي کنفرانسونو کې موندل کیږي) او پیژندل شوي تمرین کونکي انجینران د ساینس او ​​​​عمل په تقاطع کې په یوه لوی برنامه کې ترکیب کوي.

Hydra په وروستیو کلونو کې زموږ یو له مهمو کنفرانسونو څخه دی. دا دمخه د خورا جدي چمتووالي ، د وینا کونکو انتخاب او راپورونو سره و. تیره اونۍ د هغې په اړه د هابرو مرکه خپره شوه د JUG.ru ګروپ رییس الیکسي فیدوروف سره (23 derevo).

موږ یو مخکې وویل د دریو مهمو ګډون کونکو په اړه، د ویشل شوي سیسټمونو د تیورۍ بنسټ ایښودونکي - لیسلي لامپورټ، موریس هیرلي او مایکل سکاټ. دا د ټول پروګرام په اړه د نورو خبرو کولو وخت دی!

19 هیدرا سرونه. د برنامه خورا ښه کتنه

انګیزه

که تاسو برنامه کوئ ، نو بیا یوه لاره یا بل تاسو د ملټي ریډینګ او توزیع شوي کمپیوټر سره معامله کوئ. په اړونده برخو کې متخصصین له دوی سره مستقیم کار کوي، مګر په ښکاره توګه، ویش موږ ته له هر ځای څخه ګوري: په هر څو کور کمپیوټر یا ویشل شوي خدمت کې، یو څه شتون لري چې په موازي توګه محاسبه ترسره کوي.

ډیری کنفرانسونه شتون لري چې د غوښتنلیک برنامې ځانګړي اړخونه پوښي. د سپیکٹرم په بل اړخ کې، موږ ځانګړي ساینسي ښوونځي لرو، د لیکچرونو په بڼه، د ډیرو پیچلو تیوریو څرګندونه کوي. د مثال په توګه، په سینټ پیټرزبورګ کې د هایدرا سره موازي، د SPTDC ښوونځی. د هایدرا په کنفرانس کې، موږ هڅه وکړه چې سخت عمل، ساینس، او هر هغه څه چې د دوی په تقاطع کې دي سره یوځای کړو.

د دې په اړه فکر وکړئ: موږ په حیرانونکي وخت کې ژوند کوو چیرې چې تاسو کولی شئ د ساینس او ​​انجینرۍ ساحې بنسټ ایښودونکو سره ووینئ چې موږ په ژوند کې بوخت یو. فزیک پوهان به له نیوټن یا انشټاین سره ونه ګوري - اورګاډی روان دی. مګر هغه څوک چې د توزیع شوي سیسټمونو تیوري بنسټونه رامینځته کړي، د مشهور پروګرامینګ ژبې اختراع کړي، او د لومړي ځل لپاره یې دا ټول په کاري پروټوټایپونو کې ځای پرځای کړل چې لاهم زموږ تر څنګ ژوند کوي. دا خلک په نیمه لار کې خپلې دندې نه دي پریښي، اوس مهال د نړۍ په مشهورو پوهنتونونو او شرکتونو کې ریښتینې دندې ترسره کوي، او د نن ورځې د پوهې او تجربې خورا لوی سرچینې دي.

له بلې خوا، د دوی سره د لیدلو فرصت معمولا خالص نظري پاتې کیږي: زموږ څخه یو څو کولی شي په دوامداره توګه د روچیسټر پوهنتون کې عامه پیښې وڅاري ترڅو بیا متحده ایالاتو ته لاړ شي او بیرته د مایکل سکاټ لخوا لیکچر ته لاړ شي. په عموم کې د هایډرا د ټولو غړو لیدنه به یو کوچنی بخت وي ، د مصرف شوي وخت څخه پرته (که څه هم دا د زړه پورې لټون په څیر ښکاري).

له بلې خوا ، موږ ډیری لوړ انجینران لرو چې همدا اوس د توزیع شوي سیسټمونو اصلي ستونزو باندې کار کوي ، او دوی حتما د ویلو لپاره یو څه لري. مګر دلته ستونزه ده - دوی کاراو د دوی وخت قیمتي دی. هو، که تاسو د مایکروسافټ، ګوګل یا JetBrains کارمند یاست، په داخلي پیښه کې د یو پیژندل شوي ویناوالو سره د لیدلو احتمال په ډراماتیک ډول زیاتیږي، مګر په عموم کې - نه، دا هره ورځ نه کیږي.

په دې توګه، د هایډرا کنفرانس یو مهم کار سرته رسوي چې زموږ څخه ډیری یې نشي کولی په خپل ځان ترسره کړي - په یو ځای او یو وخت کې، هغه خلک سره یوځای کوي چې نظرونه یا اړیکه ورسره کولی شي ستاسو ژوند بدل کړي. زه دا منم چې هرڅوک ویشل شوي سیسټمونو ته اړتیا نلري، ځینې پیچلي بنسټیز شیان. تاسو کولی شئ د خپل پاتې ژوند لپاره په PHP کې CRUDs برنامه کړئ او په بشپړ ډول خوشحاله اوسئ. مګر څوک ورته اړتیا لري - دا ستاسو چانس دی.

د هابري په اړه د هایډرا کنفرانس د لومړي اعلان څخه ډیر وخت تیر شوی. د دې وخت په جریان کې، ډیر کار ترسره شوی - او اوس، موږ د نږدې ټولو راپورونو لیست لرو. هیڅ سست واحد تاریډ الګوریتمونه ، یوازې خالص توزیع شوي هارډکور! راځئ چې د عمومي کلمو سره پای ته ورسوو، او وګورو چې موږ اوس په لاس کې لرو.

کلیدي ټکي

کلیدي ویناوې د کنفرانس ورځې پیل او پای ته رسیږي. معمولا د پرانیستې کلیدي وینا موخه د کنفرانس عمومي روح او سمت ټاکل وي. د پای ټکی یو کرښه راښکته کوي او تشریح کوي چې موږ څنګه کولی شو د کنفرانس په ورځو کې ترلاسه شوي پوهې او مهارتونو سره ژوند وکړو. پیل او پای: هغه څه چې په ښه توګه یاد شوي، او په عمومي توګه، ډیر ارزښت لري.

کلف کلیک- H2O د K/V الګوریتم توزیع کړ

19 هیدرا سرونه. د برنامه خورا ښه کتنه کلف د جاوا په نړۍ کې یوه افسانه ده. د 90 لسیزې په وروستیو کې، د پی ایچ ډی مقالې لپاره، هغه یوه مقاله ولیکه چې نوم یې واخیست "د تحلیلونو ترکیب، د اصلاح کولو ترکیب"، کوم چې یو څه وروسته د HotSpot JVM سرور کمپیلر اساس شو. دوه کاله وروسته، هغه لا دمخه په JVM کې په سن مایکروسیسټم کې کار کاوه او ټولې نړۍ ته یې وښودله چې JIT د شتون حق لري. دا ټوله کیسه چې جاوا د خورا ګړندۍ او ګړندۍ اصلاحونو سره یو له خورا ګړندۍ عصري منډو څخه دی د کلف کلیک څخه راغلی. په پیل کې، داسې انګیرل کیده چې که یو څه جامد کمپیلر ته شتون ولري، تاسو حتی د جیټ کولو هڅه نشئ کولی. د کلف او ټیم د کار څخه مننه، ټولې نوې ژبې د ډیفالټ لخوا د JIT تالیف په نظر کې رامینځته شوې. البته، دا د یو کس کار نه و، مګر کلف په دې کې خورا مهم رول لوبولی دی.

په پرانیستونکې کلیدي وینا کې، کلف به د هغه د نورو ژمنو په اړه خبرې وکړي - H20، د صنعتي غوښتنلیکونو لپاره د توزیع شوي او توزیع وړ ماشین زده کړې لپاره د حافظې دننه پلیټ فارم. په ډیر دقیق ډول ، د دې دننه د کلیدي ارزښت جوړو توزیع شوي ذخیره کولو په اړه. دا د ډیری په زړه پوري ملکیتونو سره خورا ګړندی ذخیره ده (دقیق لیست په کې دی توضیحات) چې د لوی ډیټا سټرینګ ریاضیاتو کې ورته حلونو کارولو ته اجازه ورکوي.

بله خبرې چې کلف به ورکوي د Azul هارډویر لیږد یادداشت تجربه. د هغه د ژوندلیک بله برخه - لس کاله په Azul کې کار کوي، چیرې چې هغه د Azul هارډویر او ټیکنالوژۍ سټیک کې ډیری شیان تازه او ښه کړي: د JIT تالیف کونکي ، د چلولو وخت ، د تار ماډل ، د خطا اداره کول ، د سټیک مینیپولیشن ، د هارډویر مداخلې ، د ټولګي بار کول ، او داسې نور او داسې نور - ښه ، تاسو ترلاسه کوئ. خیال

ترټولو زړه پورې برخه پیل شوه کله چې دوی د لوی سوداګرۍ لپاره هارډویر جوړ کړ - د جاوا چلولو لپاره یو سوپر کمپیوټر. دا خورا نوښتګر شی و ، په ځانګړي توګه د جاوا لپاره جوړ شوی ، کوم چې ځانګړي اړتیاوې لري - د ټیټ وقفې کثافاتو راټولولو لپاره لوستلو لپاره د حافظې خنډونه ، د حدود چیک کولو سره صفونه ، مجازی تلیفونونه ... یو له غوره ټیکنالوژیو څخه د هارډویر لیږد حافظه ده. د 1 کورونو څخه ټول L864 کولی شي په لیږد لیک کې برخه واخلي ، کوم چې په ځانګړي توګه په جاوا کې د لاکونو سره کار کولو لپاره مهم دی (همغږي شوي بلاکونه په موازي توګه کار کولی شي ، تر هغه چې د حافظې اصلي شخړه شتون ونلري). مګر ښکلی نظر د سخت واقعیت سره ټکر شوی - او پدې راپور کې کلف به تاسو ته ووایي چې ولې HTM او STM د څو اړخیزو کمپیوټرونو عملي اړتیاو لپاره مناسب ندي.

مایکل سکاټ- دوه ګونی ډیټا جوړښتونه

19 هیدرا سرونه. د برنامه خورا ښه کتنه مایکل سکاټ - د روچیسټر په پوهنتون کې د کمپیوټر ساینس پروفیسور، چې برخلیک یې ورسره تړلی و د 34 کلونو لپاره لا دمخه، او د ویسکونسن – میډیسن په خپل اصلي پوهنتون کې ، د پنځو کلونو لپاره ډین و. هغه د موازي او توزیع شوي پروګرامونو او ژبې ډیزاین په برخه کې په څیړنه بوخت دی او زده کونکو ته دا درس ورکوي.

ټوله نړۍ مایکل پیژني د درسي کتاب څخه مننه "د پروګرام کولو ژبه پراګماتیک"، چې وروستۍ نسخه یې په نسبي ډول په 2015 کې خپره شوې. د هغه دنده "د شریک شوي حافظې ملټي پروسیسرونو کې د توزیع وړ ترکیب لپاره الګوریتمونه" ترلاسه شوی Dijkstra جایزه د توزیع شوي کمپیوټري په برخه کې یو له خورا مشهور په توګه او په ښکاره درواغ وايي د روچیسټر پوهنتون آنلاین کتابتون کې. تاسو ممکن هغه د ورته مایکل - سکاټ الګوریتم لیکوال په توګه هم پیژنئ "ساده، ګړندی او عملي غیر بلاکینګ او بلاک کول د ورته قطار الګوریتمونه".

لکه څنګه چې د جاوا نړۍ لپاره ، دا یوه ځانګړې قضیه ده: د ډګ لی سره یوځای ، هغه هغه غیر بلاکیدونکي الګوریتمونه او همغږي قطارونه رامینځته کړل چې د جاوا کتابتونونه پرمخ وړي. دا هغه څه دي چې د "ډبل ډیټا جوړښتونو" کلیدي نوټ به یې په اړه وي - په جاوا SE 6 کې د دې جوړښتونو معرفي موږ ته اجازه راکړه چې فعالیت 10 ځله ښه کړو. java.util.concurrent.ThreadPoolExecutor. که تاسو دمخه لیوالتیا لرئ چې دا "دوه ګونی ډیټا جوړښتونه" څه دي ، نو شتون لري اړوند کار.

موریس هیرلي- بلاکچینز او د توزیع شوي کمپیوټر راتلونکي

19 هیدرا سرونه. د برنامه خورا ښه کتنه موریس هیرلي - د دوه ډیکسټرا جایزې ګټونکی. لومړی د کار لپاره دی "د انتظار څخه پاک همغږي کول" (د براون پوهنتون)، او دوهم، ډیر وروستي - "د لیږد یادښت: د بند څخه پاک ډیټا جوړښتونو لپاره معماري ملاتړ" (ورجینیا ټیک پوهنتون). دجکسټرا جایزه د هغو کارونو لپاره ورکول کیږي چې ارزښت او نفوذ یې لږترلږه د لسو کلونو لپاره د پام وړ دی، او دا روښانه ده چې موریس په ساحه کې یو له خورا مشهور متخصصینو څخه دی. هغه اوس مهال په براون پوهنتون کې پروفیسور دی او د لاسته راوړنو د پاراګراف اوږد ریکارډ لري.

پدې پای کې کلیدي نوټ کې ، موریس به د بلاکچین توزیع شوي سیسټمونو تیوري او عمل په اړه وغږیږي د توزیع شوي کمپیوټري کلاسیک له نظره او دا چې دا څنګه ډیری اړوند ستونزې ساده کوي. دا راپور په ځانګړې توګه د کنفرانس په موضوع کې دی - د کان کیندنې د هایپ په اړه نه، بلکه د دې په اړه چې څنګه زموږ پوهه په حیرانتیا سره په اغیزمنه توګه او مناسبه توګه د مختلفو دندو په اړه کارول کیدی شي.

د جولای په 2017 کې، موریس لا دمخه روسیې ته د SPTDC ښوونځي ته راغلی، د JUG.ru په ناسته کې یې برخه اخیستې، او ریکارډ په یوټیوب کې لیدل کیدی شي:

اصلي پروګرام

بیا به په پروګرام کې شامل شوي راپورونو ته لنډه کتنه وي. دلته ځینې راپورونه په تفصیل سره بیان شوي، ځینې نور په لنډ ډول. اوږده توضیحات په عمده توګه د انګلیسي ژبې راپورونو ته ځي چې د ساینسي کاغذونو لینکونو ته اړتیا لري، په ویکیپیډیا کې شرایط، او داسې نور. یو بشپړ لیست کیدی شي د کنفرانس په ویب پاڼه کې وګورئ. په سایټ کې لیست به تازه او ضمیمه شي.

لیسلي لامپورټ- پوښتنه او ځواب

19 هیدرا سرونه. د برنامه خورا ښه کتنه لیسلي لامپورټ د توزیع شوي کمپیوټري مخکښ لیکوال دی. LaTeX د "Lamport TeX" لپاره ولاړ دی. دا هغه و چې د لومړي ځل لپاره، په 1979 کې، مفهوم معرفي کړ دوامداره ثبات، او د هغه مقاله "څنګه یو ملټي پروسیسر کمپیوټر جوړ کړئ چې په سمه توګه ملټي پروسس برنامې اجرا کوي" د Dijkstra جایزه ترلاسه کړه.

دا د فارمیټ له پلوه د برنامې خورا غیر معمولي برخه ده ، ځکه چې دا حتی راپور نه دی ، مګر د پوښتنې او ځواب ناسته ده. کله چې د لیدونکو یوه مهمه برخه لا دمخه د لامپورټ تیوري، د هغه د خپلو مقالو او راپورونو پراساس د هر ډول کارونو سره آشنا وي (یا پیژندل کیدی شي)، نو دا خورا مهمه ده چې ټول شته وخت په مستقیم ارتباط مصرف کړي.

نظر ساده دی - تاسو په یوټیوب کې دوه راپورونه وګورئ: "پروګرام کول باید د کوډ کولو څخه ډیر وي" и "که تاسو پروګرام نه لیکئ، د پروګرام کولو ژبه مه کاروئ" او لږترلږه یوه پوښتنه چمتو کړئ، او لیسلي ځوابونه.

د دې دوه ویډیوګانو لومړۍ موږ لا دمخه لرو په ټوکو بدل شو. که تاسو د ویډیو لیدو لپاره یو ساعت وخت نلرئ، تاسو کولی شئ دا ټول د متن په بڼه ولولئ.

یادونه: په یوټیوب کې د لیسلي لیمپورټ سره ډیری نورې ویډیوګانې شتون لري. د مثال په توګه، یو غوره دی د TLA+ کورس. د دې ټول کورس یوه آفلاین نسخه دلته شتون لري د لیکوال کور پاڼه، او په یوټیوب کې هغه دا په ګرځنده وسیلو کې د لا اسانه لید لپاره واچوله.

مارتین کلیپمن - د توزیع شوي همکارۍ لپاره د کاروونکو وسیلو په اوږدو کې د معلوماتو همغږي کول

19 هیدرا سرونه. د برنامه خورا ښه کتنه مارټین کلیپمن د کیمبرج پوهنتون څیړونکی دی چې د CRDT او رسمي الګوریتم تصدیق باندې کار کوي. د مارتین کتاب "ډیزاین کول د ډیټا ژور غوښتنلیکونه"په 2017 کې خپور شوی، خورا بریالی ثابت شو او د معلوماتو ذخیره کولو او پروسس کولو په برخه کې د غوره پلورونکو لیستونو ته ورسید. کیون سکاټ، په مایکروسافټ کې CTO یو ځل وویل: "دا کتاب باید د ډیزاین انجنیرانو لپاره اړین وي. دا یوه نادره سرچینه ده چې تیوري او عمل پلې کوي ترڅو پراختیا کونکو سره مرسته وکړي چې د ډیټا زیربنا او سیسټمونه ځیرک ډیزاین او پلي کړي. ورته یو څه د کافکا او د CTO د جوړونکي جې کریپس لخوا ویل شوي.

مخکې له دې چې اکادمیک څیړنې ته لاړ شي، مارټین په صنعت کې کار کاوه او دوه بریالي پیلونه یې شریک کړل:

  • راپور ورکوونکی، ستاسو د بریښنالیک اړیکو ټولنیز پروفایل ښودلو لپاره وقف شوی، کوم چې لینکډین په 2012 کې اخیستی؛
  • Go Test It، د څو براوزر اتوماتیک ویب پاڼه چیکر چې ریډ ګیټ په 2009 کې اخیستی.

په عموم کې، که څه هم مارټین زموږ د کلیدي ویناوالو په پرتله لږ پیژندل شوی، هغه لا دمخه توانیدلی چې د توزیع شوي کمپیوټري پراختیا او صنعت کې یو څه مرسته وکړي.

په دې خبرو کې مارتین به د یوې موضوع په اړه چې د هغه علمي څیړنو ته نږدې وي خبرې وکړي. په ګوګل ډاکس کې او د شریک لیکلو سندونو لپاره ورته صوفه کې ، "همغږي لیک" د نقل کولو دنده معنی لري: هر کارن د خپل شریک شوي سند عکس لري چې بیا یې ترمیموي ، او ټول بدلونونه د شبکې له لارې پاتې نورو ته لیږل کیږي. د ګډونوالو څخه. په اسنادو کې آفلاین بدلونونه د نورو ګډون کوونکو په اړه د لنډمهاله اسنادو د ګډوډۍ پایله ده، او بیا همغږي کول د شخړو سمبالولو ته اړتیا لري. یوازې د دې لپاره شتون لري د شخړو څخه پاک نقل شوي ډیټا ډولونه (CRDT)، په حقیقت کې، یو خورا نوی شی دی، د هغې جوهر یوازې په 2011 کې جوړ شوی و. دا خبرې اترې د CRDT نړۍ کې له هغه وخت راهیسې څه پیښ شوي، وروستي پرمختګونه څه دي، په عمومي توګه د محلي-لومړي غوښتنلیکونو جوړولو لپاره د تګلارې په اړه بحث کوي، او د خلاصې سرچینې کتابتون کارول. اتوماتیک په تېره بیا.

راتلونکې اونۍ به موږ په هابري کې د مارټین سره لویه مرکه خپره کړو ، دا به په زړه پوري وي.

پیډرو رامالیټ - د انتظار څخه پاک ډیټا جوړښتونه او د انتظار وړیا لیږدونه

19 هیدرا سرونه. د برنامه خورا ښه کتنه پیډرو په سیسکو کې کار کوي او له تیرو لسو کلونو راهیسې موازي الګوریتمونه رامینځته کوي ، پشمول د همغږي کولو میکانیزمونه ، له بند څخه پاک او د انتظار څخه پاک ډیټا جوړښتونه ، او هرڅه چې تاسو پدې موضوع فکر کولی شئ. د هغه اوسنۍ څیړنې او انجینري ګټې په یونیورسل ساختمانونو ، د سافټویر لیږد حافظه ، دوامداره حافظه ، او ورته ټیکنالوژیو باندې تمرکز کوي ترڅو سم ، توزیع وړ ، او د غلطۍ زغمونکي غوښتنلیکونه وړ کړي. او هغه د یو بلاګ لیکوال هم دی چې په پراخه کچه په تنګ حلقو کې پیژندل شوی همغږي فریکونه.

ډیری ملټي تریډ شوي غوښتنلیکونه اوس د موازي ډیټا جوړښتونو باندې چلیږي ، د لوبغاړو ترمینځ د پیغام کتارونو کارولو څخه د کلیدي ارزښت پلورنځیو کې د شاخص شوي ډیټا جوړښتونو پورې. دوی د ډیرو کلونو لپاره په جاوا JDK کې په بریالیتوب سره کار کوي، او دوی ورو ورو په C ++ کې اضافه کیږي.

د موازي ډیټا جوړښت پلي کولو لپاره ترټولو اسانه لار د سیریل (واحد تار شوي) پلي کول دي په کوم کې چې میتودونه د میټیکس لخوا خوندي کیږي. دا په هر جون کې شتون لري، مګر ښکاره اندازه کولو او فعالیت مسلې لري. په ورته وخت کې، د بند څخه پاک او د انتظار څخه پاک ډیټا جوړښتونه نه یوازې غلطۍ په ښه توګه اداره کوي، بلکې د غوره فعالیت پروفایل هم لري - په هرصورت، د دوی پراختیا د یوې ځانګړې کارونې قضیې سره ژورې تجربې او موافقت ته اړتیا لري. د کوډ یوه غلطه کرښه د هرڅه ماتولو لپاره کافي ده.

څنګه ډاډ ترلاسه کړئ چې حتی یو غیر متخصص کولی شي دا ډول ډیټا جوړښتونه ډیزاین او پلي کړي؟ دا معلومه ده چې هر ډول ترتیب الګوریتم د هر یو لخوا د موضوع خوندي کیدی شي نړیوال ډیزاین، یا د لیږد یادښت. د یو لپاره، دوی کولی شي د دې ستونزې د حل لپاره د ننوتلو حد کم کړي. په هرصورت، دواړه حلونه د ناکافي پلي کولو المل ګرځي. پیډرو به په دې اړه وغږیږي چې څنګه دوی اداره کړي چې دا ساختمانونه ډیر اغیزمن کړي او څنګه د دوی د الګوریتمونو لپاره کارول کیدی شي.

هیدي هاوارډ- د ویشل شوي اجماع آزادول

19 هیدرا سرونه. د برنامه خورا ښه کتنه هیډي هاوارډ د مارټین په څیر دی، د کیمبرج په پوهنتون کې د ویشل شوي سیسټم څیړونکی. د هغې تخصص ثبات، د خطا زغم، فعالیت او توزیع شوي توافق دی. هغه د هغې په نوم د Paxos الګوریتم عمومي کولو لپاره غوره پیژندل کیږي انعطاف وړ پاکسوس.

ياد چې پایکوس - د غیر معتبر کمپیوټرونو په شبکه کې د توافق د ستونزې د حل لپاره د پروتوکولونو کورنۍ، چې د لیسلي لیمپورټ کار پر بنسټ والړ و. په دې توګه، زموږ ځینې ویناوال په هغو کارونو کار کوي چې په اصل کې زموږ د نورو ویناوالو لخوا وړاندیز شوي وو - او دا خورا ښه دی.

د ډیری کوربه توبونو تر مینځ د توافق موندلو وړتیا - د مخاطب کولو، مشر انتخاب، بندولو، یا همغږي کولو لپاره - د نن ورځې توزیع شوي سیسټمونو کې یوه اساسي مسله ده. Paxos اوس د توافق ستونزې حل کولو اصلي لاره ده، او د دې په شاوخوا کې ډیرې څیړنې شتون لري ترڅو د مختلفو عملي اړتیاو لپاره د الګوریتم پراخولو او اصلاح کولو لپاره.

په دې راپور کې، موږ به د Paxos نظري اساس بیاکتنه وکړو، ابتدايي اړتیاوې آرام او د الګوریتم عمومي کول. موږ به وګورو چې Paxos، په حقیقت کې، د توافق لپاره د لویو لارو چارو څخه یوازې یو انتخاب دی، او دا چې په سپیکٹرم کې نور ټکي هم د ښه ویشل شوي سیسټمونو جوړولو لپاره خورا ګټور دي.

الیکس پیټروف - د انتقالي نقل او ارزانه کورمونو سره ستاسو د ذخیره کولو لګښتونه کم کړئ

19 هیدرا سرونه. د برنامه خورا ښه کتنه الیکس د ډیټابیس او ذخیره کولو متخصص دی او خورا مهم ، په کې ژمن دی Cassandra. هغه اوس مهال د ډیټابیس داخلي کتاب کې د O'Reilly سره کار کوي.

د سیسټمونو لپاره حتمي ثبات (په روسي اصطلاحاتو کې - "په نهایت کې ثابت")، د نوډ حادثې یا شبکې ویشلو وروسته، لاندې کړکیچ باید حل شي: یا د غوښتنو پوره کولو ته دوام ورکړئ، د دوام قرباني کول، یا د دوی له اجرا کولو څخه ډډه وکړئ او شتون قرباني کړئ. په داسې یو سیسټم کې، کورمونه، د نوډونو ټولیز ټولیزونه او د دې ډاډ ترلاسه کول چې لږترلږه یو نوډ خورا وروستي ارزښت لري، یو ښه حل حل کیدی شي. دا ممکنه ده چې د ځینو نوډونو سره د ناکامۍ او د ارتباط له لاسه ورکولو څخه ژوندي پاتې شئ پداسې حال کې چې د وروستي ارزښتونو سره ځواب ویلو ته دوام ورکړئ.

په هرصورت، هرڅه خپل قیمت لري. د کورم نقل کولو سکیم د ذخیره کولو ډیر لګښت معنی لري: تاسو باید په یوځل کې په ډیری نوډونو کې بې ځایه ډیټا ذخیره کړئ ترڅو ډاډ ترلاسه کړئ چې کافي کاپي شتون لري کله چې ستونزه پیښیږي. دا معلومه شوه چې تاسو نشئ کولی ټول معلومات په ټولو نقلونو کې ذخیره کړئ. تاسو کولی شئ د ذخیره کولو بار کم کړئ که تاسو یوازې د نوډونو په یوه برخه کې ډاټا وساتئ، او د ناکامۍ سناریوګانو سمبالولو لپاره ځانګړي نوډونه (Transient Replica) وکاروئ.

د راپور په جریان کې، موږ به په پام کې ونیسو د شاهد نقلونهد نقل کولو سکیم په کې کارول کیږي سپنر и میګاسټور، او د دې مفکورې پلي کول په اپاچي کاسیندرا کې د نومونو لاندې لنډمهاله نقل او ارزانه نصاب.

دمیتري ویوکوف - ګوروټینونه افشا شوي

19 هیدرا سرونه. د برنامه خورا ښه کتنه ډیمیتري په ګوګل کې یو پرمخ وړونکی دی چې په C/C++ او Go متحرک ازموینې کار کوي - پته/میموري/Thread Sanitizer او د لینکس کرنل لپاره ورته وسیلې. هغه Go ته د توزیع وړ ګوروټین شیډولر، د شبکې رای ورکونکی، او د موازي کثافاتو راټولونکی مرسته کړې ده. هغه په ​​ملټي ریډینګ کې ماهر دی، د لسګونو نویو غیر بلاکینګ الګوریتمونو لیکوال او مالک دی تور کمربند Intel.

اوس د راپور په اړه لږ څه. د Go ژبه د ګوروټینونو (لږ وزن لرونکي تارونو) او چینلونو (FIFO کتارونو) په شکل کې د ملټي ریډینګ لپاره اصلي ملاتړ لري. د دې میکانیزمونو څخه مننه ، دا د کاروونکو لپاره خورا اسانه او خوندور دی چې عصري ملټي ټریډ شوي غوښتنلیکونه ولیکئ ، او دا د جادو په څیر ښکاري. لکه څنګه چې موږ پوهیږو، دلته هیڅ جادو شتون نلري. په دې راپور کې، دیمتري به د ګو شیډولر پیچلتیاوې وڅیړي او د دې "جادو" پلي کولو رازونه وښيي. لومړی، هغه به د مهالویش اصلي برخو ته یوه عمومي کتنه ورکړي، دا څنګه کار کوي. بیا، موږ به ځینې اړخونو ته نږدې کتنه وکړو، لکه د پارکینګ / د پارکینګ ستراتیژي او د بلاک کولو سیسټم تلیفونونو اداره کول. په پای کې، دیمتري به په مهالویش کې د ممکنه پرمختګونو په اړه لږ څه خبرې وکړي.

دمیتري بوګیچینکو - د احتمالي سکیچونو او نورو سره د توزیع شوي ګراف تحلیل ګړندی کول

19 هیدرا سرونه. د برنامه خورا ښه کتنه دیمیتري د پوهنتون او ساینسي ټولنې سره د تماس له لاسه ورکولو پرته د نږدې 9 کلونو لپاره په بهر کې کار کړی. په Odnoklassniki کې د معلوماتو لوی تحلیل د هغه لپاره یو ځانګړی چانس و چې نظري روزنې او ساینسي بنسټ د حقیقي، په تقاضا محصولاتو پراختیا سره یوځای کړي.

د توزیع شوي ګراف تحلیل یو ستونزمن کار و او پاتې دی: کله چې د ګاونډیو عمودی اړیکو په اړه معلومات ترلاسه کول اړین وي، ډاټا ډیری وختونه د ماشینونو ترمنځ لیږدول کیږي، کوم چې د اجرا کولو وخت زیاتوالي او په شبکه کې د بار زیاتوالی المل کیږي. زیربنا پدې خبرو کې، موږ به وګورو چې تاسو څنګه کولی شئ د احتمالي ډیټا جوړښتونو یا حقایقو لکه په ټولنیز شبکه کې د ملګرتیا ګراف سمیټري په کارولو سره د پروسس کولو مهم سرعت ترلاسه کړئ. دا ټول د اپاچي سپارک کوډ مثالونو سره ښودل شوي.

ډینس ریستسوف - د انتقالي نقل او ارزانه کورمونو سره ستاسو د ذخیره کولو لګښتونه کم کړئ

19 هیدرا سرونه. د برنامه خورا ښه کتنه ډینس - پرمخ وړونکی Cosmos DB، د تسلسل ماډل اعتبار ، توافق الګوریتم ، او توزیع شوي معاملو کې ماهر. اوس هغه په ​​مایکروسافټ کې کار کوي، او مخکې له دې چې هغه په ​​​​ایمیزون او یاندیکس کې ویشل شوي سیسټمونو کې بوخت و.

پدې راپور کې ، موږ به د توزیع شوي لیږد پروتوکولونو سره آشنا شو چې په تیرو څو کلونو کې اختراع شوي ، کوم چې د پیرودونکي اړخ کې د هر ډیټا پلورنځي په سر کې پلي کیدی شي چې د مشروط تازه کولو ملاتړ کوي (پرتله او تنظیم). لاندینۍ کرښه دا ده چې ژوند د دوه مرحلې ژمنې سره پای ته نه رسیږي، لیږدونه د هر ډیټابیس په سر کې اضافه کیدی شي - د غوښتنلیک په کچه، مګر مختلف پروتوکولونه (2PC، Percolator، RAMP) مختلف تجارتونه لري او موږ ته نه ورکول کیږي. وړیا.

الیکسي زینوویف - ټول ML الګوریتمونه په ویشل شوي جنت کې نه پای ته رسیږي

19 هیدرا سرونه. د برنامه خورا ښه کتنه الکسي (zaleslaw) زموږ د اوږدې مودې سپیکر او په نورو کنفرانسونو کې د برنامو کمیټو غړی دی. په EPAM سیسټمونو کې د تمرین روزونکی، او د 2012 راهیسې د هډوپ / سپارک او نورو لوی معلوماتو سره ملګري دي.

په دې خبرو کې، الیکسي به د اپاچي سپارک ML، اپاچي ماهوت، اپاچي فلینک ML او د اپاچي Ignite ML رامینځته کولو تجربې پراساس د توزیع شوي اجرا کولو لپاره د کلاسیک ماشین زده کړې الګوریتمونو تطبیق کولو ستونزو په اړه وغږیږي. الیکسي به پدې چوکاټونو کې د توزیع شوي ML الګوریتمونو پلي کولو په اړه هم خبرې وکړي.

او په پایله کې، د Yandex ډیټابیس په اړه د Yandex څخه دوه راپورونه.

ولادیسلاو کوزنیتسوف – د Yandex ډیټابیس - څنګه موږ د غلطۍ زغم چمتو کوو

19 هیدرا سرونه. د برنامه خورا ښه کتنه ولادیسلاو په توزیع شوي پلیټ فارم ګروپ کې په Yandex کې پراختیا کونکی دی. د یاندیکس ډیټابیس په افقی ډول توزیع کیدونکی ، جیو توزیع شوی ، د خطا زغمونکی DBMS دی چې کولی شي د ډیسکونو ، سرورونو ، ریکونو او ډیټا مرکزونو ناکامۍ سره د دوام سره موافقت پرته مقاومت وکړي. د غلطۍ زغم یقیني کولو لپاره، د ملکیت توزیع شوي توافق الګوریتم کارول کیږي، او همدارنګه یو شمیر تخنیکي حلونه، چې په راپور کې په تفصیل سره بحث شوي. راپور ممکن د DBMS پراختیا کونکو او د DBMS پراساس د پلي شوي حلونو پراختیا کونکو لپاره د علاقې وړ وي.

سیمیون چیچریندا - په YDB کې توزیع شوي لیږدونه

19 هیدرا سرونه. د برنامه خورا ښه کتنه سیمیون په Yandex کې د توزیع شوي پلیټ فارم ګروپ کې پراختیا کونکی دی ، د YDB نصب کولو څو کرایه کونکي کارولو امکان باندې کار کوي.

د Yandex ډیټابیس د OLTP پوښتنو لپاره ډیزاین شوی او د لیږد سیسټم لپاره د ACID اړتیاوې پوره کوي. په راپور کې، موږ به د لیږد مهال ویش الګوریتم په پام کې ونیسو چې د YDB لیږد سیسټم الندې دي. راځئ چې تحلیل وکړو چې کومې ادارې په معاملو کې برخه اخلي، څوک د معاملو لپاره نړیوال نظم ګماري، د راکړې ورکړې اټومي، اعتبار او سخت انزوا کچه څنګه ترلاسه کیږي. د یو عام کار مثال په کارولو سره، راځئ چې د دوه مرحلې ژمنې او ټاکل شوي لیږد په کارولو سره د معاملو پلي کولو ته پام وکړو. راځئ چې د دوی د توپیرونو په اړه بحث وکړو.

څه راتلونکو؟

د کنفرانس برنامه له نویو راپورونو ډکولو ته دوام ورکوي. په ځانګړې توګه، موږ د راپور تمه لرو نیکیتا کووال (ndkoval) له JetBrains او اولیګ اناستاسیوف (m0nstermind) له Odnoklassniki څخه. نیکیتا د کوټلین ټیم کې د کورټینونو لپاره په الګوریتمونو کار کوي، او اولیګ د اوډنوکلاسنیکي پلیټ فارم کې د لوړ بار سیسټمونو لپاره جوړښت او حلونه رامینځته کوي. برسېره پردې، دلته 1 نور په مشروط ډول خالي ځای شتون لري، د کاندیدانو سره چې د پروګرام کمیټه همدا اوس کار کوي.

د Hydra کنفرانس به د جولای په 11-12 په سینټ پیټرزبورګ کې ترسره شي. ټکټونه کیدی شي په رسمي ویب پاڼه کې واخلئ. د آنلاین ټکټونو شتون ته پام وکړئ - که د کوم دلیل لپاره تاسو نشئ کولی په دې ورځو کې سینټ پیټرزبورګ ته لاړ شئ.

په هایډرا کې به ګورو!

سرچینه: www.habr.com

Add a comment