د جولای په 11-12 به په سینټ پیټرزبورګ کې یو کنفرانس جوړ شي
Hydra په وروستیو کلونو کې زموږ یو له مهمو کنفرانسونو څخه دی. دا دمخه د خورا جدي چمتووالي ، د وینا کونکو انتخاب او راپورونو سره و. تیره اونۍ د هغې په اړه
موږ یو
انګیزه
که تاسو برنامه کوئ ، نو بیا یوه لاره یا بل تاسو د ملټي ریډینګ او توزیع شوي کمپیوټر سره معامله کوئ. په اړونده برخو کې متخصصین له دوی سره مستقیم کار کوي، مګر په ښکاره توګه، ویش موږ ته له هر ځای څخه ګوري: په هر څو کور کمپیوټر یا ویشل شوي خدمت کې، یو څه شتون لري چې په موازي توګه محاسبه ترسره کوي.
ډیری کنفرانسونه شتون لري چې د غوښتنلیک برنامې ځانګړي اړخونه پوښي. د سپیکٹرم په بل اړخ کې، موږ ځانګړي ساینسي ښوونځي لرو، د لیکچرونو په بڼه، د ډیرو پیچلو تیوریو څرګندونه کوي. د مثال په توګه، په سینټ پیټرزبورګ کې د هایدرا سره موازي،
د دې په اړه فکر وکړئ: موږ په حیرانونکي وخت کې ژوند کوو چیرې چې تاسو کولی شئ د ساینس او انجینرۍ ساحې بنسټ ایښودونکو سره ووینئ چې موږ په ژوند کې بوخت یو. فزیک پوهان به له نیوټن یا انشټاین سره ونه ګوري - اورګاډی روان دی. مګر هغه څوک چې د توزیع شوي سیسټمونو تیوري بنسټونه رامینځته کړي، د مشهور پروګرامینګ ژبې اختراع کړي، او د لومړي ځل لپاره یې دا ټول په کاري پروټوټایپونو کې ځای پرځای کړل چې لاهم زموږ تر څنګ ژوند کوي. دا خلک په نیمه لار کې خپلې دندې نه دي پریښي، اوس مهال د نړۍ په مشهورو پوهنتونونو او شرکتونو کې ریښتینې دندې ترسره کوي، او د نن ورځې د پوهې او تجربې خورا لوی سرچینې دي.
له بلې خوا، د دوی سره د لیدلو فرصت معمولا خالص نظري پاتې کیږي: زموږ څخه یو څو کولی شي په دوامداره توګه د روچیسټر پوهنتون کې عامه پیښې وڅاري ترڅو بیا متحده ایالاتو ته لاړ شي او بیرته د مایکل سکاټ لخوا لیکچر ته لاړ شي. په عموم کې د هایډرا د ټولو غړو لیدنه به یو کوچنی بخت وي ، د مصرف شوي وخت څخه پرته (که څه هم دا د زړه پورې لټون په څیر ښکاري).
له بلې خوا ، موږ ډیری لوړ انجینران لرو چې همدا اوس د توزیع شوي سیسټمونو اصلي ستونزو باندې کار کوي ، او دوی حتما د ویلو لپاره یو څه لري. مګر دلته ستونزه ده - دوی کاراو د دوی وخت قیمتي دی. هو، که تاسو د مایکروسافټ، ګوګل یا JetBrains کارمند یاست، په داخلي پیښه کې د یو پیژندل شوي ویناوالو سره د لیدلو احتمال په ډراماتیک ډول زیاتیږي، مګر په عموم کې - نه، دا هره ورځ نه کیږي.
په دې توګه، د هایډرا کنفرانس یو مهم کار سرته رسوي چې زموږ څخه ډیری یې نشي کولی په خپل ځان ترسره کړي - په یو ځای او یو وخت کې، هغه خلک سره یوځای کوي چې نظرونه یا اړیکه ورسره کولی شي ستاسو ژوند بدل کړي. زه دا منم چې هرڅوک ویشل شوي سیسټمونو ته اړتیا نلري، ځینې پیچلي بنسټیز شیان. تاسو کولی شئ د خپل پاتې ژوند لپاره په PHP کې CRUDs برنامه کړئ او په بشپړ ډول خوشحاله اوسئ. مګر څوک ورته اړتیا لري - دا ستاسو چانس دی.
د هابري په اړه د هایډرا کنفرانس د لومړي اعلان څخه ډیر وخت تیر شوی. د دې وخت په جریان کې، ډیر کار ترسره شوی - او اوس، موږ د نږدې ټولو راپورونو لیست لرو. هیڅ سست واحد تاریډ الګوریتمونه ، یوازې خالص توزیع شوي هارډکور! راځئ چې د عمومي کلمو سره پای ته ورسوو، او وګورو چې موږ اوس په لاس کې لرو.
کلیدي ټکي
کلیدي ویناوې د کنفرانس ورځې پیل او پای ته رسیږي. معمولا د پرانیستې کلیدي وینا موخه د کنفرانس عمومي روح او سمت ټاکل وي. د پای ټکی یو کرښه راښکته کوي او تشریح کوي چې موږ څنګه کولی شو د کنفرانس په ورځو کې ترلاسه شوي پوهې او مهارتونو سره ژوند وکړو. پیل او پای: هغه څه چې په ښه توګه یاد شوي، او په عمومي توګه، ډیر ارزښت لري.
کلف کلیک- H2O د K/V الګوریتم توزیع کړ
کلف د جاوا په نړۍ کې یوه افسانه ده. د 90 لسیزې په وروستیو کې، د پی ایچ ډی مقالې لپاره، هغه یوه مقاله ولیکه چې نوم یې واخیست
په پرانیستونکې کلیدي وینا کې، کلف به د هغه د نورو ژمنو په اړه خبرې وکړي -
بله خبرې چې کلف به ورکوي
ترټولو زړه پورې برخه پیل شوه کله چې دوی د لوی سوداګرۍ لپاره هارډویر جوړ کړ - د جاوا چلولو لپاره یو سوپر کمپیوټر. دا خورا نوښتګر شی و ، په ځانګړي توګه د جاوا لپاره جوړ شوی ، کوم چې ځانګړي اړتیاوې لري - د ټیټ وقفې کثافاتو راټولولو لپاره لوستلو لپاره د حافظې خنډونه ، د حدود چیک کولو سره صفونه ، مجازی تلیفونونه ... یو له غوره ټیکنالوژیو څخه د هارډویر لیږد حافظه ده. د 1 کورونو څخه ټول L864 کولی شي په لیږد لیک کې برخه واخلي ، کوم چې په ځانګړي توګه په جاوا کې د لاکونو سره کار کولو لپاره مهم دی (همغږي شوي بلاکونه په موازي توګه کار کولی شي ، تر هغه چې د حافظې اصلي شخړه شتون ونلري). مګر ښکلی نظر د سخت واقعیت سره ټکر شوی - او پدې راپور کې کلف به تاسو ته ووایي چې ولې HTM او STM د څو اړخیزو کمپیوټرونو عملي اړتیاو لپاره مناسب ندي.
مایکل سکاټ- دوه ګونی ډیټا جوړښتونه
ټوله نړۍ مایکل پیژني د درسي کتاب څخه مننه
لکه څنګه چې د جاوا نړۍ لپاره ، دا یوه ځانګړې قضیه ده: د ډګ لی سره یوځای ، هغه هغه غیر بلاکیدونکي الګوریتمونه او همغږي قطارونه رامینځته کړل چې د جاوا کتابتونونه پرمخ وړي. دا هغه څه دي چې د "ډبل ډیټا جوړښتونو" کلیدي نوټ به یې په اړه وي - په جاوا SE 6 کې د دې جوړښتونو معرفي موږ ته اجازه راکړه چې فعالیت 10 ځله ښه کړو. java.util.concurrent.ThreadPoolExecutor
. که تاسو دمخه لیوالتیا لرئ چې دا "دوه ګونی ډیټا جوړښتونه" څه دي ، نو شتون لري
موریس هیرلي- بلاکچینز او د توزیع شوي کمپیوټر راتلونکي
پدې پای کې کلیدي نوټ کې ، موریس به د بلاکچین توزیع شوي سیسټمونو تیوري او عمل په اړه وغږیږي د توزیع شوي کمپیوټري کلاسیک له نظره او دا چې دا څنګه ډیری اړوند ستونزې ساده کوي. دا راپور په ځانګړې توګه د کنفرانس په موضوع کې دی - د کان کیندنې د هایپ په اړه نه، بلکه د دې په اړه چې څنګه زموږ پوهه په حیرانتیا سره په اغیزمنه توګه او مناسبه توګه د مختلفو دندو په اړه کارول کیدی شي.
د جولای په 2017 کې، موریس لا دمخه روسیې ته د SPTDC ښوونځي ته راغلی، د JUG.ru په ناسته کې یې برخه اخیستې، او ریکارډ په یوټیوب کې لیدل کیدی شي:
اصلي پروګرام
بیا به په پروګرام کې شامل شوي راپورونو ته لنډه کتنه وي. دلته ځینې راپورونه په تفصیل سره بیان شوي، ځینې نور په لنډ ډول. اوږده توضیحات په عمده توګه د انګلیسي ژبې راپورونو ته ځي چې د ساینسي کاغذونو لینکونو ته اړتیا لري، په ویکیپیډیا کې شرایط، او داسې نور. یو بشپړ لیست کیدی شي
لیسلي لامپورټ- پوښتنه او ځواب
لیسلي لامپورټ د توزیع شوي کمپیوټري مخکښ لیکوال دی.
دا د فارمیټ له پلوه د برنامې خورا غیر معمولي برخه ده ، ځکه چې دا حتی راپور نه دی ، مګر د پوښتنې او ځواب ناسته ده. کله چې د لیدونکو یوه مهمه برخه لا دمخه د لامپورټ تیوري، د هغه د خپلو مقالو او راپورونو پراساس د هر ډول کارونو سره آشنا وي (یا پیژندل کیدی شي)، نو دا خورا مهمه ده چې ټول شته وخت په مستقیم ارتباط مصرف کړي.
نظر ساده دی - تاسو په یوټیوب کې دوه راپورونه وګورئ:
د دې دوه ویډیوګانو لومړۍ موږ لا دمخه لرو
یادونه: په یوټیوب کې د لیسلي لیمپورټ سره ډیری نورې ویډیوګانې شتون لري. د مثال په توګه، یو غوره دی
مارتین کلیپمن - د توزیع شوي همکارۍ لپاره د کاروونکو وسیلو په اوږدو کې د معلوماتو همغږي کول
مارټین کلیپمن د کیمبرج پوهنتون څیړونکی دی چې د CRDT او رسمي الګوریتم تصدیق باندې کار کوي. د مارتین کتاب
مخکې له دې چې اکادمیک څیړنې ته لاړ شي، مارټین په صنعت کې کار کاوه او دوه بریالي پیلونه یې شریک کړل:
- راپور ورکوونکی، ستاسو د بریښنالیک اړیکو ټولنیز پروفایل ښودلو لپاره وقف شوی، کوم چې لینکډین په 2012 کې اخیستی؛
- Go Test It، د څو براوزر اتوماتیک ویب پاڼه چیکر چې ریډ ګیټ په 2009 کې اخیستی.
په عموم کې، که څه هم مارټین زموږ د کلیدي ویناوالو په پرتله لږ پیژندل شوی، هغه لا دمخه توانیدلی چې د توزیع شوي کمپیوټري پراختیا او صنعت کې یو څه مرسته وکړي.
په دې خبرو کې مارتین به د یوې موضوع په اړه چې د هغه علمي څیړنو ته نږدې وي خبرې وکړي. په ګوګل ډاکس کې او د شریک لیکلو سندونو لپاره ورته صوفه کې ، "همغږي لیک" د نقل کولو دنده معنی لري: هر کارن د خپل شریک شوي سند عکس لري چې بیا یې ترمیموي ، او ټول بدلونونه د شبکې له لارې پاتې نورو ته لیږل کیږي. د ګډونوالو څخه. په اسنادو کې آفلاین بدلونونه د نورو ګډون کوونکو په اړه د لنډمهاله اسنادو د ګډوډۍ پایله ده، او بیا همغږي کول د شخړو سمبالولو ته اړتیا لري. یوازې د دې لپاره شتون لري
راتلونکې اونۍ به موږ په هابري کې د مارټین سره لویه مرکه خپره کړو ، دا به په زړه پوري وي.
پیډرو رامالیټ - د انتظار څخه پاک ډیټا جوړښتونه او د انتظار وړیا لیږدونه
پیډرو په سیسکو کې کار کوي او له تیرو لسو کلونو راهیسې موازي الګوریتمونه رامینځته کوي ، پشمول د همغږي کولو میکانیزمونه ، له بند څخه پاک او د انتظار څخه پاک ډیټا جوړښتونه ، او هرڅه چې تاسو پدې موضوع فکر کولی شئ. د هغه اوسنۍ څیړنې او انجینري ګټې په یونیورسل ساختمانونو ، د سافټویر لیږد حافظه ، دوامداره حافظه ، او ورته ټیکنالوژیو باندې تمرکز کوي ترڅو سم ، توزیع وړ ، او د غلطۍ زغمونکي غوښتنلیکونه وړ کړي. او هغه د یو بلاګ لیکوال هم دی چې په پراخه کچه په تنګ حلقو کې پیژندل شوی
ډیری ملټي تریډ شوي غوښتنلیکونه اوس د موازي ډیټا جوړښتونو باندې چلیږي ، د لوبغاړو ترمینځ د پیغام کتارونو کارولو څخه د کلیدي ارزښت پلورنځیو کې د شاخص شوي ډیټا جوړښتونو پورې. دوی د ډیرو کلونو لپاره په جاوا JDK کې په بریالیتوب سره کار کوي، او دوی ورو ورو په C ++ کې اضافه کیږي.
د موازي ډیټا جوړښت پلي کولو لپاره ترټولو اسانه لار د سیریل (واحد تار شوي) پلي کول دي په کوم کې چې میتودونه د میټیکس لخوا خوندي کیږي. دا په هر جون کې شتون لري، مګر ښکاره اندازه کولو او فعالیت مسلې لري. په ورته وخت کې، د بند څخه پاک او د انتظار څخه پاک ډیټا جوړښتونه نه یوازې غلطۍ په ښه توګه اداره کوي، بلکې د غوره فعالیت پروفایل هم لري - په هرصورت، د دوی پراختیا د یوې ځانګړې کارونې قضیې سره ژورې تجربې او موافقت ته اړتیا لري. د کوډ یوه غلطه کرښه د هرڅه ماتولو لپاره کافي ده.
څنګه ډاډ ترلاسه کړئ چې حتی یو غیر متخصص کولی شي دا ډول ډیټا جوړښتونه ډیزاین او پلي کړي؟ دا معلومه ده چې هر ډول ترتیب الګوریتم د هر یو لخوا د موضوع خوندي کیدی شي
هیدي هاوارډ- د ویشل شوي اجماع آزادول
هیډي هاوارډ د مارټین په څیر دی، د کیمبرج په پوهنتون کې د ویشل شوي سیسټم څیړونکی. د هغې تخصص ثبات، د خطا زغم، فعالیت او توزیع شوي توافق دی. هغه د هغې په نوم د Paxos الګوریتم عمومي کولو لپاره غوره پیژندل کیږي
ياد چې
د ډیری کوربه توبونو تر مینځ د توافق موندلو وړتیا - د مخاطب کولو، مشر انتخاب، بندولو، یا همغږي کولو لپاره - د نن ورځې توزیع شوي سیسټمونو کې یوه اساسي مسله ده. Paxos اوس د توافق ستونزې حل کولو اصلي لاره ده، او د دې په شاوخوا کې ډیرې څیړنې شتون لري ترڅو د مختلفو عملي اړتیاو لپاره د الګوریتم پراخولو او اصلاح کولو لپاره.
په دې راپور کې، موږ به د Paxos نظري اساس بیاکتنه وکړو، ابتدايي اړتیاوې آرام او د الګوریتم عمومي کول. موږ به وګورو چې Paxos، په حقیقت کې، د توافق لپاره د لویو لارو چارو څخه یوازې یو انتخاب دی، او دا چې په سپیکٹرم کې نور ټکي هم د ښه ویشل شوي سیسټمونو جوړولو لپاره خورا ګټور دي.
الیکس پیټروف - د انتقالي نقل او ارزانه کورمونو سره ستاسو د ذخیره کولو لګښتونه کم کړئ
الیکس د ډیټابیس او ذخیره کولو متخصص دی او خورا مهم ، په کې ژمن دی
د سیسټمونو لپاره
په هرصورت، هرڅه خپل قیمت لري. د کورم نقل کولو سکیم د ذخیره کولو ډیر لګښت معنی لري: تاسو باید په یوځل کې په ډیری نوډونو کې بې ځایه ډیټا ذخیره کړئ ترڅو ډاډ ترلاسه کړئ چې کافي کاپي شتون لري کله چې ستونزه پیښیږي. دا معلومه شوه چې تاسو نشئ کولی ټول معلومات په ټولو نقلونو کې ذخیره کړئ. تاسو کولی شئ د ذخیره کولو بار کم کړئ که تاسو یوازې د نوډونو په یوه برخه کې ډاټا وساتئ، او د ناکامۍ سناریوګانو سمبالولو لپاره ځانګړي نوډونه (Transient Replica) وکاروئ.
د راپور په جریان کې، موږ به په پام کې ونیسو
دمیتري ویوکوف - ګوروټینونه افشا شوي
ډیمیتري په ګوګل کې یو پرمخ وړونکی دی چې په C/C++ او Go متحرک ازموینې کار کوي - پته/میموري/Thread Sanitizer او د لینکس کرنل لپاره ورته وسیلې. هغه Go ته د توزیع وړ ګوروټین شیډولر، د شبکې رای ورکونکی، او د موازي کثافاتو راټولونکی مرسته کړې ده. هغه په ملټي ریډینګ کې ماهر دی، د لسګونو نویو غیر بلاکینګ الګوریتمونو لیکوال او مالک دی
اوس د راپور په اړه لږ څه. د Go ژبه د ګوروټینونو (لږ وزن لرونکي تارونو) او چینلونو (FIFO کتارونو) په شکل کې د ملټي ریډینګ لپاره اصلي ملاتړ لري. د دې میکانیزمونو څخه مننه ، دا د کاروونکو لپاره خورا اسانه او خوندور دی چې عصري ملټي ټریډ شوي غوښتنلیکونه ولیکئ ، او دا د جادو په څیر ښکاري. لکه څنګه چې موږ پوهیږو، دلته هیڅ جادو شتون نلري. په دې راپور کې، دیمتري به د ګو شیډولر پیچلتیاوې وڅیړي او د دې "جادو" پلي کولو رازونه وښيي. لومړی، هغه به د مهالویش اصلي برخو ته یوه عمومي کتنه ورکړي، دا څنګه کار کوي. بیا، موږ به ځینې اړخونو ته نږدې کتنه وکړو، لکه د پارکینګ / د پارکینګ ستراتیژي او د بلاک کولو سیسټم تلیفونونو اداره کول. په پای کې، دیمتري به په مهالویش کې د ممکنه پرمختګونو په اړه لږ څه خبرې وکړي.
دمیتري بوګیچینکو - د احتمالي سکیچونو او نورو سره د توزیع شوي ګراف تحلیل ګړندی کول
دیمیتري د پوهنتون او ساینسي ټولنې سره د تماس له لاسه ورکولو پرته د نږدې 9 کلونو لپاره په بهر کې کار کړی. په Odnoklassniki کې د معلوماتو لوی تحلیل د هغه لپاره یو ځانګړی چانس و چې نظري روزنې او ساینسي بنسټ د حقیقي، په تقاضا محصولاتو پراختیا سره یوځای کړي.
د توزیع شوي ګراف تحلیل یو ستونزمن کار و او پاتې دی: کله چې د ګاونډیو عمودی اړیکو په اړه معلومات ترلاسه کول اړین وي، ډاټا ډیری وختونه د ماشینونو ترمنځ لیږدول کیږي، کوم چې د اجرا کولو وخت زیاتوالي او په شبکه کې د بار زیاتوالی المل کیږي. زیربنا پدې خبرو کې، موږ به وګورو چې تاسو څنګه کولی شئ د احتمالي ډیټا جوړښتونو یا حقایقو لکه په ټولنیز شبکه کې د ملګرتیا ګراف سمیټري په کارولو سره د پروسس کولو مهم سرعت ترلاسه کړئ. دا ټول د اپاچي سپارک کوډ مثالونو سره ښودل شوي.
ډینس ریستسوف - د انتقالي نقل او ارزانه کورمونو سره ستاسو د ذخیره کولو لګښتونه کم کړئ
ډینس - پرمخ وړونکی
پدې راپور کې ، موږ به د توزیع شوي لیږد پروتوکولونو سره آشنا شو چې په تیرو څو کلونو کې اختراع شوي ، کوم چې د پیرودونکي اړخ کې د هر ډیټا پلورنځي په سر کې پلي کیدی شي چې د مشروط تازه کولو ملاتړ کوي (پرتله او تنظیم). لاندینۍ کرښه دا ده چې ژوند د دوه مرحلې ژمنې سره پای ته نه رسیږي، لیږدونه د هر ډیټابیس په سر کې اضافه کیدی شي - د غوښتنلیک په کچه، مګر مختلف پروتوکولونه (2PC، Percolator، RAMP) مختلف تجارتونه لري او موږ ته نه ورکول کیږي. وړیا.
الیکسي زینوویف - ټول ML الګوریتمونه په ویشل شوي جنت کې نه پای ته رسیږي
الکسي (
په دې خبرو کې، الیکسي به د اپاچي سپارک ML، اپاچي ماهوت، اپاچي فلینک ML او د اپاچي Ignite ML رامینځته کولو تجربې پراساس د توزیع شوي اجرا کولو لپاره د کلاسیک ماشین زده کړې الګوریتمونو تطبیق کولو ستونزو په اړه وغږیږي. الیکسي به پدې چوکاټونو کې د توزیع شوي ML الګوریتمونو پلي کولو په اړه هم خبرې وکړي.
او په پایله کې، د Yandex ډیټابیس په اړه د Yandex څخه دوه راپورونه.
ولادیسلاو کوزنیتسوف – د Yandex ډیټابیس - څنګه موږ د غلطۍ زغم چمتو کوو
ولادیسلاو په توزیع شوي پلیټ فارم ګروپ کې په Yandex کې پراختیا کونکی دی. د یاندیکس ډیټابیس په افقی ډول توزیع کیدونکی ، جیو توزیع شوی ، د خطا زغمونکی DBMS دی چې کولی شي د ډیسکونو ، سرورونو ، ریکونو او ډیټا مرکزونو ناکامۍ سره د دوام سره موافقت پرته مقاومت وکړي. د غلطۍ زغم یقیني کولو لپاره، د ملکیت توزیع شوي توافق الګوریتم کارول کیږي، او همدارنګه یو شمیر تخنیکي حلونه، چې په راپور کې په تفصیل سره بحث شوي. راپور ممکن د DBMS پراختیا کونکو او د DBMS پراساس د پلي شوي حلونو پراختیا کونکو لپاره د علاقې وړ وي.
سیمیون چیچریندا - په YDB کې توزیع شوي لیږدونه
سیمیون په Yandex کې د توزیع شوي پلیټ فارم ګروپ کې پراختیا کونکی دی ، د YDB نصب کولو څو کرایه کونکي کارولو امکان باندې کار کوي.
د Yandex ډیټابیس د OLTP پوښتنو لپاره ډیزاین شوی او د لیږد سیسټم لپاره د ACID اړتیاوې پوره کوي. په راپور کې، موږ به د لیږد مهال ویش الګوریتم په پام کې ونیسو چې د YDB لیږد سیسټم الندې دي. راځئ چې تحلیل وکړو چې کومې ادارې په معاملو کې برخه اخلي، څوک د معاملو لپاره نړیوال نظم ګماري، د راکړې ورکړې اټومي، اعتبار او سخت انزوا کچه څنګه ترلاسه کیږي. د یو عام کار مثال په کارولو سره، راځئ چې د دوه مرحلې ژمنې او ټاکل شوي لیږد په کارولو سره د معاملو پلي کولو ته پام وکړو. راځئ چې د دوی د توپیرونو په اړه بحث وکړو.
څه راتلونکو؟
د کنفرانس برنامه له نویو راپورونو ډکولو ته دوام ورکوي. په ځانګړې توګه، موږ د راپور تمه لرو نیکیتا کووال (
د Hydra کنفرانس به د جولای په 11-12 په سینټ پیټرزبورګ کې ترسره شي. ټکټونه کیدی شي
په هایډرا کې به ګورو!
سرچینه: www.habr.com