وسيعقد المؤتمر يومي 11 و 12 يوليو في سان بطرسبرغ ، مكرسة لتطوير الأنظمة المتوازية والموزعة. تكمن حيلة هيدرا في أنها تجمع بين العلماء الرائعين (الذين لا يمكن العثور عليهم عادةً إلا في المؤتمرات العلمية الأجنبية) والمهندسين الممارسين المشهورين في برنامج واحد كبير يجمع بين العلم والممارسة.
يعد مؤتمر هيدرا أحد أهم مؤتمراتنا في السنوات القليلة الماضية. وقد سبقه إعداد جاد للغاية واختيار المتحدثين والتقارير. الاسبوع الماضي حول هذا الموضوع مع مدير مجموعة JUG.ru أليكسي فيدوروف ().
نحن حول ثلاثة مشاركين مهمين، مؤسسي نظرية الأنظمة الموزعة - ليزلي لامبورت، موريس هيرليهي، ومايكل سكوت. حان الوقت للحديث بمزيد من التفاصيل حول البرنامج بأكمله!
حافز
إذا كنت منخرطًا في البرمجة، فأنت تتعامل بطريقة أو بأخرى مع تعدد مؤشرات الترابط والحوسبة الموزعة. يعمل الخبراء في المجالات ذات الصلة معهم بشكل مباشر، ولكن ضمنيًا، ينظر إلينا التوزيع من كل مكان: في أي كمبيوتر متعدد النواة أو خدمة موزعة، يوجد شيء يقوم بإجراء العمليات الحسابية بالتوازي.
هناك العديد من المؤتمرات التي تغطي جوانب مختلفة من برمجة التطبيقات. وعلى الجانب الآخر من الطيف، لدينا مدارس علمية متخصصة تكشف عن كميات هائلة من النظريات المعقدة في شكل محاضرات. على سبيل المثال، بالتوازي مع هيدرا في سانت بطرسبرغ هناك . في مؤتمر هيدرا، حاولنا الجمع بين الممارسات القاسية والعلم وكل شيء عند تقاطعهما.
فكر في هذا: نحن نعيش في وقت رائع حيث يمكنك أن تقابل شخصيًا مؤسسي مجال العلوم والهندسة الذي ندرسه. لن يقابل الفيزيائيون نيوتن ولا آينشتاين - لقد غادر القطار. ولكن بجانبنا لا يزال هناك أولئك الذين أنشأوا أسس نظرية الأنظمة الموزعة، واخترعوا لغات البرمجة الشعبية ولأول مرة جسدوا كل هذا في نماذج أولية عاملة. هؤلاء الأشخاص لم يتركوا وظائفهم في منتصف الطريق، بل يعملون الآن على قضايا ملحة في جامعات وشركات ذات شهرة عالمية، وهم أعظم مصادر المعرفة والخبرة اليوم.
من ناحية أخرى، فإن فرصة مقابلتهم عادة ما تظل نظرية بحتة: قليل منا يستطيع مراقبة الأحداث العامة باستمرار في بعض جامعات روتشستر، ثم الاندفاع إلى الولايات المتحدة والعودة لإلقاء محاضرة مع مايكل سكوت. إن زيارة جميع أعضاء Hydra ستكلف ثروة صغيرة، دون احتساب هاوية الوقت الضائع (على الرغم من أنها تبدو مهمة مثيرة للاهتمام).
من ناحية أخرى، لدينا العديد من كبار المهندسين الذين يعملون على حل المشكلات الملحة في الأنظمة الموزعة في الوقت الحالي، ومن المؤكد أن لديهم الكثير ليقولوه. ولكن هنا تكمن المشكلة - هم عمل، ووقتهم ثمين. نعم، إذا كنت موظفًا في Microsoft أو Google أو JetBrains، فإن احتمالية مقابلة أحد المتحدثين المشهورين في حدث داخلي تزداد بشكل حاد، ولكن بشكل عام، لا، هذا لا يحدث كل يوم.
وبهذه الطريقة، ينجز مؤتمر هيدرا مهمة مهمة لا يستطيع معظمنا القيام بها بمفرده - في مكان واحد وفي وقت واحد، فهو يجمع الأشخاص الذين يمكن لأفكارهم أو تفاعلاتهم معهم أن تغير حياتك. أعترف أنه ليس كل شخص يحتاج إلى أنظمة موزعة أو بعض الأشياء الأساسية المعقدة. يمكنك برمجة CRUDs بلغة PHP لبقية حياتك وستظل سعيدًا تمامًا. لكن من يحتاجها فهذه فرصتك.
لقد مر وقت طويل منذ الإعلان الأول عن مؤتمر هيدرا حول حبري. خلال هذا الوقت، تم إنجاز الكثير من العمل - والآن لدينا قائمة بجميع التقارير تقريبًا. لا توجد خوارزميات بطيئة أحادية الخيوط، فقط متشددين موزعين بشكل خالص! دعونا ننتهي بالكلمات العامة ونرى ما بين أيدينا الآن.
الكلمات الأساسية
تبدأ الكلمات الأساسية وتنتهي أيام المؤتمر. عادةً ما يكون الهدف من الكلمة الافتتاحية هو تحديد الروح العامة للمؤتمر واتجاهه. ترسم الكلمة الختامية خطًا وتشرح كيف يمكننا التعايش مع المعرفة والمهارات المكتسبة خلال المؤتمر. البداية والنهاية: ما يتم تذكره بشكل أفضل، وبشكل عام، له أهمية متزايدة.
انقر فوق الهاوية
كليف أسطورة في عالم جافا. في أواخر التسعينيات، كتب بحثًا لأطروحته للدكتوراه بعنوان ، والذي أصبح فيما بعد أساسًا لمترجم خادم HotSpot JVM. بعد ذلك بعامين، كان يعمل بالفعل في شركة Sun Microsystems على JVM وأظهر للعالم أجمع أن JIT لها الحق في الوجود. هذه القصة الكاملة حول كيف أن Java هي واحدة من أسرع أوقات التشغيل الحديثة مع أذكى وأسرع التحسينات جاءت من Cliff Click. في البداية، كان يُعتقد أنه إذا كان هناك شيء يمكن الوصول إليه بواسطة مترجم ثابت، فلن تضطر حتى إلى محاولة تحريره. بفضل عمل Cliff وفريقه، بدأ إنشاء جميع اللغات الجديدة بفكرة تجميع JIT افتراضيًا. بالطبع، لم تكن هذه مهمة رجل واحد، لكن كليف لعب دورًا مهمًا للغاية فيها.
في الكلمة الافتتاحية، سيتحدث كليف عن مساعيه الأخرى: ، منصة في الذاكرة للتعلم الآلي الموزع والقابل للتطوير للتطبيقات الصناعية. أو بتعبير أدق، حول التخزين الموزع لأزواج القيمة الرئيسية بداخله. يعد هذا مخزنًا سريعًا للغاية ويحتوي على الكثير من الخصائص المثيرة للاهتمام (القائمة الدقيقة موجودة هنا )، والتي تسمح باستخدام حلول مماثلة في رياضيات تدفق البيانات الضخمة.
تقرير آخر سيقدمه كليف هو - . جزء آخر من سيرته الذاتية - عشر سنوات ، حيث قام بتحديث وتحسين الكثير من الأشياء في مجموعة الأجهزة والتكنولوجيا الخاصة بـ Azul: مجمعات JIT، ووقت التشغيل، ونموذج الخيط، ومعالجة الأخطاء، ومعالجة المكدس، ومقاطعات الأجهزة، وتحميل الفئة، وما إلى ذلك - حسنًا، لقد حصلت على فكرة.
بدأ الجزء الأكثر إثارة للاهتمام عندما صنعوا أجهزة لشركة كبيرة - كمبيوتر فائق السرعة لتشغيل Java. لقد كان شيئًا مبتكرًا إلى حد ما، مصممًا خصيصًا لـ Java، والتي لها متطلبات خاصة - قراءة حواجز الذاكرة لجمع القمامة ذات الإيقاف المؤقت المنخفض، والمصفوفات مع فحص الحدود، والمكالمات الافتراضية... واحدة من أروع التقنيات هي ذاكرة معاملات الأجهزة. يمكن أن يشارك L1 بأكمله لأي من النوى البالغ عددها 864 في كتابة المعاملات، وهو أمر مهم بشكل خاص للعمل مع الأقفال في Java (يمكن للكتل المتزامنة أن تعمل بالتوازي طالما لا يوجد تعارض حقيقي في الذاكرة). لكن الفكرة الجميلة سحقها الواقع القاسي - وفي هذا الحديث سيخبرك كليف لماذا لا يناسب كل من HTM وSTM الاحتياجات العملية للحوسبة متعددة الخيوط.
مايكل سكوت -
- أستاذ علوم الحاسب بجامعة روتشستر والذي ربطه به القدر وفي موطنه جامعة ويسكونسن ماديسون، كان عميدًا لمدة خمس سنوات. يقوم بالبحث وتعليم الطلاب حول البرمجة المتوازية والموزعة وتصميم اللغة.
العالم كله يعرف مايكل بفضل الكتاب المدرسي ، تم نشر الطبعة الأخيرة منها مؤخرًا نسبيًا - في عام 2015. عمله وصلتني باعتبارها واحدة من الأكثر شهرة في مجال الحوسبة الموزعة و في مكتبة جامعة روتشستر على الإنترنت. قد تعرفه أيضًا باعتباره مؤلف خوارزمية مايكل سكوت ذاتها .
أما بالنسبة لعالم Java، فهذه حالة خاصة: فقد قام مع Doug Lea بتطوير الخوارزميات غير المحظورة وقوائم الانتظار المتزامنة التي تعمل عليها مكتبات Java. هذا هو بالضبط ما ستدور حوله الكلمة الرئيسية "هياكل البيانات المزدوجة" - أدى إدخال هذه الهياكل في Java SE 6 إلى تحسين الأداء بمقدار 10 مرات java.util.concurrent.ThreadPoolExecutor. إذا كنت تتساءل مقدمًا عن ماهية "هياكل البيانات المزدوجة" هذه، فهناك معلومات عنها .
موريس هيرليهي -
- حائز على جائزتين ديكسترا. الأول مخصص للعمل (جامعة براون)، والثانية، الأحدث - (جامعة فرجينيا للتكنولوجيا). تُكرّم جائزة ديكسترا العمل الذي ظهرت أهميته وتأثيره لمدة عشر سنوات على الأقل، ومن الواضح أن موريس هو أحد أشهر الخبراء في هذا المجال. يعمل حاليًا كأستاذ في جامعة براون ولديه قائمة طويلة من الإنجازات.
في هذه الكلمة الختامية، سيتحدث موريس عن نظرية وممارسة أنظمة blockchain الموزعة من وجهة نظر كلاسيكيات الحوسبة الموزعة وكيف تبسط العديد من المشكلات ذات الصلة. هذا تقرير حصريًا عن موضوع المؤتمر - ليس على الإطلاق حول الضجيج المتعلق بالتعدين، بل حول كيفية استخدام معرفتنا بشكل فعال ومناسب بشكل مذهل فيما يتعلق بمجموعة متنوعة من المهام.
في يوليو 2017، جاء موريس بالفعل إلى روسيا لحضور مدرسة SPTDC، وشارك في لقاء JUG.ru، ويمكن مشاهدة التسجيل على موقع يوتيوب:
البرنامج الرئيسي
بعد ذلك، ستكون هناك نظرة عامة قصيرة على التقارير المضمنة في البرنامج. يتم وصف بعض التقارير هنا بالتفصيل، والبعض الآخر بشكل أكثر إيجازًا. ذهبت الأوصاف الطويلة بشكل أساسي إلى التقارير باللغة الإنجليزية التي تتطلب روابط إلى أوراق علمية، ومصطلحات على ويكيبيديا، وما إلى ذلك. القائمة الكاملة متاحة . سيتم تحديث القائمة الموجودة على الموقع واستكمالها.
ليزلي لامبورت -
ليزلي لامبورت هي مؤلفة الأعمال الأساسية في مجال الحوسبة الموزعة. يرمز إلى "Lamport TeX". كان هو أول من قدم هذا المفهوم في عام 1979 ومقاله حصل على جائزة ديكسترا.
هذا هو الجزء الأكثر غرابة في البرنامج من حيث الشكل، لأنه ليس حتى تقريرًا، بل جلسة أسئلة وأجوبة. عندما يكون جزء كبير من الجمهور على دراية بالفعل (أو يمكن أن يصبح على دراية) بجميع أنواع الأعمال المستندة إلى "نظرية لامبورت"، ومقالاته وتقاريره، فمن الأهم قضاء كل الوقت المتاح في التواصل المباشر.
الفكرة بسيطة – يمكنك مشاهدة تقريرين على اليوتيوب: и وإعداد سؤال واحد على الأقل، وإجابات ليزلي.
أول هذين الفيديوين لدينا بالفعل . إذا لم يكن لديك ساعة من الوقت لمشاهدة الفيديو، فيمكنك قراءته بسرعة في شكل نص.
ملحوظة: هناك العديد من مقاطع فيديو Leslie Lamport على YouTube. على سبيل المثال، هناك عظيم . تتوفر نسخة غير متصلة بالإنترنت من هذه الدورة التدريبية بأكملها على وقام بتحميله على موقع يوتيوب لتسهيل مشاهدته على الأجهزة المحمولة.
مارتن كليبمان -
مارتن كليبمان هو باحث في جامعة كامبريدج يعمل على CRDT والتحقق الرسمي من الخوارزميات. كتاب مارتن الذي صدر عام 2017، حقق نجاحاً كبيراً ودخل إلى قوائم الكتب الأكثر مبيعاً في مجال تخزين البيانات ومعالجتها. كيفن سكوت، المدير التنفيذي للتكنولوجيا في Microsoft، : "يجب أن يكون هذا الكتاب ضروريًا لمهندسي البرمجيات. وهذا مورد نادر يجمع بين النظرية والتطبيق لمساعدة المطورين بشكل أكثر ذكاءً في تصميم وتنفيذ البنية التحتية وأنظمة البيانات. قال جاي كريبس، منشئ كافكا ومدير التكنولوجيا في شركة Confluent، شيئًا مشابهًا.
قبل الانتقال إلى البحث الأكاديمي، عمل مارتن في الصناعة وشارك في تأسيس شركتين ناشئتين ناجحتين:
- Rapportive، مخصص لعرض الملف الشخصي الاجتماعي لجهات الاتصال من بريدك الإلكتروني، والذي اشترته LinkedIn في عام 2012؛
- Go Test It، وهي خدمة لاختبار مواقع الويب تلقائيًا في متصفحات مختلفة، والتي اشترتها RedGate في عام 2009.
بشكل عام، مارتن، على الرغم من أنه أقل شهرة من خطاباتنا الأساسية، فقد تمكن بالفعل من تقديم بعض المساهمة في تطوير الحوسبة الموزعة والصناعة.
في هذه المحادثة، سيتحدث مارتن عن موضوع أقرب إلى بحثه الأكاديمي. في محرر مستندات Google وأرائك التحرير المشترك للمستندات المماثلة، يشير "التحرير التعاوني" إلى مهمة النسخ المتماثل: كل مستخدم لديه نسخة طبق الأصل خاصة به من المستند المشترك، والذي يقوم بعد ذلك بتعديله، ويتم إرسال جميع التغييرات عبر الشبكة إلى بقية مشاركون. تؤدي التغييرات التي يتم إجراؤها على المستندات في وضع عدم الاتصال إلى عدم اتساق المستند مؤقتًا فيما يتعلق بالمشاركين الآخرين، وتتطلب إعادة المزامنة معالجة التعارض. هذا هو بالضبط ما هم موجودون من أجله (CRDT) هو في الواقع شيء جديد إلى حد ما، ولم تتم صياغة جوهره إلا في عام 2011. يناقش هذا الحديث ما حدث منذ ذلك الحين في عالم CRDT، وما هي أحدث التطورات، ومنهج إنشاء التطبيقات المحلية أولاً بشكل عام واستخدام مكتبة مفتوحة المصدر خاصه.
سننشر الأسبوع القادم مقابلة طويلة مع مارتن عن حبري، ستكون مثيرة للاهتمام.
بيدرو رامالهيتي -
يعمل بيدرو في شركة Cisco وقد عمل على تطوير خوارزميات متوازية على مدار السنوات العشر الماضية أو نحو ذلك، بما في ذلك آليات المزامنة وهياكل البيانات الخالية من القفل والانتظار وكل ما يمكنك تخيله حول هذا الموضوع. تركز اهتماماته البحثية والهندسية الحالية على الإنشاءات العالمية وذاكرة المعاملات البرمجية والذاكرة الدائمة والتقنيات المماثلة التي تتيح تطبيقات صحيحة وقابلة للتطوير ومتسامحة مع الأخطاء. وهو أيضًا مؤلف مدونة معروفة على نطاق واسع في الدوائر الضيقة .
تعمل معظم التطبيقات متعددة الخيوط الآن على هياكل بيانات متوازية، بدءًا من استخدام قوائم انتظار الرسائل بين الجهات الفاعلة وحتى هياكل البيانات المفهرسة في مخازن القيمة الرئيسية. لقد كانوا يعملون بنجاح في Java JDK لسنوات عديدة، ويتم إضافتهم ببطء إلى C++.
إن أبسط طريقة لتنفيذ بنية بيانات متوازية هي التنفيذ المتسلسل (أحادي الترابط) حيث تكون الأساليب محمية بواسطة كائنات المزامنة. يمكن الوصول إلى هذا في أي شهر يونيو، ولكن به مشكلات واضحة فيما يتعلق بالقياس والأداء. وفي الوقت نفسه، لا تتعامل هياكل البيانات الخالية من القفل والانتظار بشكل أفضل مع الأخطاء فحسب، بل تتمتع أيضًا بملف أداء أفضل - ومع ذلك، فإن تطويرها يتطلب خبرة عميقة وتكيفًا مع تطبيق معين. سطر واحد خاطئ من التعليمات البرمجية يكفي لكسر كل شيء.
كيف يمكننا أن نجعل حتى غير الخبراء قادرين على تصميم وتنفيذ هياكل البيانات هذه؟ من المعروف أنه يمكن جعل أي خوارزمية تسلسلية آمنة باستخدام أي منهما أو ذاكرة المعاملات. لسبب واحد، يمكنهم خفض الحاجز أمام الدخول في حل هذه المشكلة. ومع ذلك، يؤدي كلا الحلين عادة إلى التنفيذ غير الفعال. سيتحدث بيدرو عن كيفية تمكنهم من جعل هذه التصميمات أكثر كفاءة وكيف يمكنك استخدامها في خوارزمياتك.
هايدي هوارد -
هايدي هوارد، مثل مارتن، باحثة في الأنظمة الموزعة في جامعة كامبريدج. تخصصاتها هي الاتساق والتسامح مع الخطأ والأداء والإجماع الموزع. اشتهرت بتعميمها لخوارزمية باكسوس التي تسمى .
يذكر أن هي عائلة من البروتوكولات لحل مشكلة الإجماع في شبكة من أجهزة الكمبيوتر غير الموثوقة، بناءً على عمل ليزلي لامبورت. ومن ثم، فإن بعض المتحدثين لدينا يعملون على حل المشكلات التي تم اقتراحها في الأصل من قبل المتحدثين الآخرين - وهذا أمر رائع.
تعد القدرة على إيجاد توافق في الآراء بين العديد من المضيفين - من أجل المعالجة، أو انتخاب القائد، أو الحظر، أو التنسيق - قضية أساسية في الأنظمة الموزعة الحديثة. تعد Paxos الآن الطريقة الرئيسية لحل مشكلات الإجماع، وهناك الكثير من الأبحاث الجارية حولها لتوسيع الخوارزمية وتحسينها لتلبية الاحتياجات العملية المختلفة.
في هذه المحادثة، سنعيد النظر في الأساس النظري لباكسوس، ونخفف المتطلبات الأصلية ونعمم الخوارزمية. سنرى أن باكسوس هو في الأساس مجرد خيار واحد من بين مجموعة كبيرة من الأساليب المتفق عليها، وأن النقاط الأخرى في الطيف مفيدة جدًا أيضًا لبناء أنظمة موزعة جيدة.
أليكس بيتروف —
Alex هو متخصص في قواعد البيانات وأنظمة التخزين، والأهم من ذلك بالنسبة لنا، أنه ملتزم . وهو يعمل حاليًا على كتاب بعنوان Database Internals مع أورايلي.
للأنظمة ذات (في المصطلحات الروسية - "الاتساق النهائي")، بعد تعطل العقدة أو انقسام الشبكة، تحتاج إلى حل المعضلة التالية: إما الاستمرار في تنفيذ الطلبات، أو التضحية بالاتساق، أو رفض تنفيذها والتضحية بالتوافر. في مثل هذا النظام، يمكن أن تكون النصاب القانوني والمجموعات الفرعية المتداخلة من العقد والتأكد من أن عقدة واحدة على الأقل تحتوي على أحدث قيمة، حلاً جيدًا. يمكنك النجاة من حالات الفشل وفقدان الاتصال ببعض العقد مع الاستمرار في الاستجابة بأحدث القيم.
ومع ذلك، كل شيء له ثمنه. يعني نظام النسخ المتماثل للنصاب القانوني زيادة تكاليف التخزين: يجب تخزين البيانات الزائدة على عقد متعددة في وقت واحد لضمان توفر نسخ كافية عند حدوث مشكلة. اتضح أنه ليس عليك تخزين كافة البيانات الموجودة على جميع النسخ المتماثلة. يمكنك تقليل الحمل على وحدة التخزين إذا قمت بتخزين البيانات فقط على جزء من العقد، واستخدمت العقد الخاصة (نسخة متماثلة عابرة) لسيناريوهات معالجة الفشل.
خلال التقرير سوف ننظر ، نظام النسخ المتماثل المستخدم في и ، وتنفيذ هذا المفهوم في أباتشي كاساندرا يسمى .
ديمتري فيوكوف -
ديمتري هو مطور في Google يعمل على الاختبار الديناميكي لـ C/C++ وGo - Address/Memory/ThreadSanitizer، وأدوات مماثلة لنواة Linux. ساهم في إنشاء برنامج جدولة goroutine قابل للتطوير، ومستقصي الشبكة، وجامع البيانات المهملة الموازي. وهو خبير في تعدد العمليات، ومؤلف عشرات الخوارزميات الجديدة غير المحظورة وهو مالك شركة انتل.
الآن قليلا عن التقرير نفسه. تتمتع لغة Go بدعم أصلي لتعدد العمليات في شكل goroutines (خيوط خفيفة) وقنوات (قوائم انتظار FIFO). هذه الآليات تجعل من السهل والممتع للغاية للمستخدمين كتابة تطبيقات حديثة متعددة الخيوط، ويبدو الأمر كالسحر. كما نفهم، لا يوجد سحر هنا. في هذه المحادثة، سوف يتعمق ديمتري في تعقيدات برنامج جدولة Go ويعرض أسرار تنفيذ هذا "السحر". أولاً، سيقدم نظرة عامة على المكونات الرئيسية للمجدول ويخبرك بكيفية عمله. بعد ذلك، سنلقي نظرة فاحصة على الجوانب الفردية مثل إستراتيجية ركن السيارة/إلغاء ركن السيارة والتعامل مع مكالمات نظام الحظر. أخيرا، سيتحدث ديمتري قليلا عن التحسينات المحتملة على المجدول.
دميتري بوجايتشينكو -
عمل ديمتري في مجال الاستعانة بمصادر خارجية لمدة 9 سنوات تقريبًا دون أن يفقد الاتصال بالجامعة والمجتمع العلمي. أصبح تحليل البيانات الضخمة في Odnoklassniki بالنسبة له فرصة فريدة للجمع بين التدريب النظري والأساس العلمي مع تطوير منتجات حقيقية حسب الطلب.
كان تحليل الرسم البياني الموزع ولا يزال مهمة صعبة: عندما يصبح من الضروري الحصول على معلومات حول اتصالات قمة مجاورة، غالبًا ما يتعين نقل البيانات بين الأجهزة، مما يؤدي إلى زيادة وقت التنفيذ والتحميل على البنية التحتية للشبكة. في هذه المحادثة، سنرى كيف يمكنك الحصول على سرعات معالجة كبيرة باستخدام هياكل البيانات الاحتمالية أو الحقائق مثل تماثل الرسم البياني للصداقة في شبكة التواصل الاجتماعي. تم توضيح كل هذا من خلال أمثلة التعليمات البرمجية في Apache Spark.
دينيس ريستسوف -
دينيس - مطور ، خبير في التحقق من نماذج الاتساق وخوارزميات الإجماع والمعاملات الموزعة. يعمل حاليًا في شركة Microsoft، وقبل ذلك كان يعمل على الأنظمة الموزعة في Amazon وYandex.
في هذه المحادثة، سنلقي نظرة على بروتوكولات المعاملات الموزعة التي تم اختراعها خلال السنوات القليلة الماضية، والتي يمكن تنفيذها على جانب العميل أعلى أي مخزن بيانات يدعم التحديث الشرطي (المقارنة والتعيين). خلاصة القول هي أن الحياة لا تنتهي بالتزام على مرحلتين، ويمكن إضافة المعاملات فوق أي قواعد بيانات - على مستوى التطبيق، ولكن البروتوكولات المختلفة (2PC، Percolator، RAMP) لها مقايضات مختلفة ولا يتم منحها لنا مجانا.
أليكسي زينوفييف -
اليكسي () هو متحدث منذ فترة طويلة وعضو في لجان البرامج في مؤتمرات أخرى. مدرب ممارس في EPAM Systems، وهو صديق لشركة Hadoop/Spark وغيرها من البيانات الضخمة منذ عام 2012.
في هذه المحادثة، سيتحدث Alexey عن مشاكل تكييف خوارزميات التعلم الآلي الكلاسيكية للتنفيذ في الوضع الموزع بناءً على خبرته في العمل مع Apache Spark ML وApache Mahout وApache Flink ML وتجربة إنشاء Apache Ignite ML. سيتحدث Alexey أيضًا عن تنفيذ خوارزميات ML الموزعة في هذه الأطر.
وأخيرًا، تقريران من Yandex حول قاعدة بيانات Yandex.
فلاديسلاف كوزنتسوف -
فلاديسلاف هو مطور في Yandex في مجموعة المنصات الموزعة. قاعدة بيانات Yandex عبارة عن نظام إدارة قواعد بيانات (DBMS) قابل للتطوير أفقيًا وموزع جغرافيًا ومتسامح مع الأخطاء ويمكنه تحمل فشل الأقراص والخوادم والرفوف ومراكز البيانات دون فقدان الاتساق. ولضمان التسامح مع الأخطاء، يتم استخدام خوارزمية خاصة لتحقيق الإجماع الموزع، بالإضافة إلى عدد من الحلول التقنية، والتي تمت مناقشتها بالتفصيل في التقرير. قد يكون التقرير محل اهتمام كل من مطوري نظم إدارة قواعد البيانات (DBMS) ومطوري حلول التطبيقات المستندة إلى نظام إدارة قواعد البيانات (DBMS).
سيميون تشيشيريندا -
Semyon هو مطور في مجموعة الأنظمة الأساسية الموزعة في Yandex، ويعمل على إمكانية الاستخدام متعدد المستأجرين لتثبيت YDB.
تم تصميم قاعدة بيانات Yandex لاستعلامات OLTP وتتوافق مع متطلبات ACID لنظام المعاملات. في هذا التقرير، سننظر في خوارزمية جدولة المعاملات التي يقوم عليها نظام المعاملات YDB. دعونا نلقي نظرة على الكيانات التي تشارك في المعاملات، ومن يعين النظام العالمي للمعاملات، وكيف يتم تحقيق ذرية المعاملة، والموثوقية، ومستوى صارم من العزلة. باستخدام مشكلة شائعة كمثال، دعونا نلقي نظرة على تنفيذ المعاملات باستخدام الالتزامات على مرحلتين والمعاملات الحتمية. دعونا نناقش خلافاتهم.
ما هي الخطوة التالية؟
ولا يزال برنامج المؤتمر مليئًا بالتقارير الجديدة. وعلى وجه الخصوص، نتوقع تقريرا من نيكيتا كوفال () من JetBrains و أوليغ أناستاسييف () من شركة Odnoklassniki. يعمل نيكيتا على خوارزميات الكوروتينات في فريق Kotlin، ويقوم أوليغ بتطوير الهندسة المعمارية والحلول للأنظمة عالية التحميل في منصة Odnoklassniki. بالإضافة إلى ذلك، هناك مكان واحد فارغ مشروط آخر، وتعمل لجنة البرنامج مع المرشحين لذلك في الوقت الحالي.
سيعقد مؤتمر هيدرا في الفترة من 11 إلى 12 يوليو في سان بطرسبرج. التذاكر متوفرة . يرجى الانتباه إلى توفر التذاكر عبر الإنترنت - إذا لم تتمكن لسبب ما من الوصول إلى سانت بطرسبرغ هذه الأيام.
نراكم في Hydra!
المصدر: www.habr.com