في السنوات الأخيرة، امتلأت قنوات الأخبار بالرسائل حول نوع جديد من شبكات الحوسبة الموزعة التي تظهر حرفيًا من العدم، وتحل (أو بالأحرى تحاول حل) مجموعة واسعة من المشكلات - مما يجعل المدينة ذكية، وينقذ العالم من حقوق الطبع والنشر. المخالفين أو العكس، أو نقل المعلومات أو الموارد سرًا، أو الهروب من سيطرة الدولة في منطقة أو أخرى. بغض النظر عن المجال، لديهم جميعًا عدد من السمات المشتركة نظرًا لحقيقة أن الوقود لنموهم كان الخوارزميات والتقنيات التي ظهرت للجمهور خلال الطفرة الأخيرة في العملات المشفرة والتقنيات ذات الصلة. ربما كانت كل مقالة ثالثة عن الموارد المتخصصة في ذلك الوقت تحتوي على كلمة "blockchain" في العنوان - أصبحت مناقشة الحلول البرمجية الجديدة والنماذج الاقتصادية هي الاتجاه السائد لبعض الوقت، وعلى خلفية ذلك تم تحديد مجالات أخرى لتطبيق أنظمة الحوسبة الموزعة. هبط إلى الخلفية.
في الوقت نفسه، رأى الحالمون والمهنيون الجوهر الرئيسي لهذه الظاهرة: الحوسبة الموزعة الضخمة المرتبطة ببناء الشبكات من عدد كبير من المشاركين المتباينين وغير المتجانسين، وصلت إلى مستوى جديد من التطور. يكفي التخلص من موضوعات الضجيج من رأسك وإلقاء نظرة على الموضوع من الجانب الآخر: كل هذه الشبكات، التي تم تجميعها من مجموعات ضخمة، والتي تتكون من آلاف المشاركين غير المتجانسين المعزولين، لم تظهر من تلقاء نفسها. تمكن المتحمسون لحركة التشفير من حل المشاكل المعقدة لمزامنة البيانات وتوزيع الموارد والمهام بطريقة جديدة، مما جعل من الممكن تجميع كتلة مماثلة من المعدات وإنشاء نظام بيئي جديد مصمم لحل مشكلة واحدة ضيقة التركيز.
بالطبع، لم يمر هذا من قبل الفرق والمجتمعات المشاركة في تطوير الحوسبة الموزعة المجانية، والمشاريع الجديدة لم تجعل نفسها تنتظر طويلا.
ومع ذلك، على الرغم من الزيادة الكبيرة في حجم المعلومات المتاحة حول التطورات في مجال بناء الشبكات والعمل مع المعدات، سيتعين على منشئي الأنظمة الواعدة حل المشاكل الخطيرة.
أولها، بغض النظر عن مدى غرابة الأمر، هو مشكلة اختيار الاتجاه.
قد يكون الاتجاه صحيحا، وربما يؤدي إلى طريق مسدود - لا يوجد مفر من هذا؛ لا تزال الإمدادات المركزية من العرافين إلى مجتمع تكنولوجيا المعلومات متأخرة. ولكن يجب أن يتم الاختيار حتى لا يقع في الفخ التقليدي المتمثل في قيام الفريق بأخذ مساحة واسعة جدًا ومحاولة إنشاء مشروع حوسبة عام موزع غير متخصص منذ البداية. يبدو أن نطاق العمل ليس مخيفًا جدًا، ففي الغالب نحتاج فقط إلى تطبيق التطورات الحالية: دمج العقد في شبكة، وتكييف الخوارزميات لتحديد الطبولوجيا، وتبادل البيانات ومراقبة اتساقها، وإدخال طرق لترتيب العقد وإيجادها الإجماع، وبالطبع، ما عليك سوى إنشاء لغة الاستعلام الخاصة بك واللغة وبيئة الحوسبة بأكملها. إن فكرة الآلية العالمية مغرية للغاية وتظهر باستمرار في منطقة أو أخرى، لكن النتيجة النهائية لا تزال واحدة من ثلاثة أشياء: الحل الذي تم إنشاؤه إما أن يتبين أنه نموذج أولي محدود مع مجموعة من "المهام" المعلقة " في الأعمال المتراكمة ، أو يصبح وحشًا غير قابل للاستخدام جاهزًا لسحب أي شخص يلمس "مستنقع تورينج" النتن ، أو يموت ببساطة بأمان من حقيقة أن البجعة وجراد البحر والبايك ، الذين كانوا يسحبون المشروع في اتجاه غير مفهوم ، ببساطة أرهقوا أنفسهم.
دعونا لا نكرر الأخطاء الغبية ونختار اتجاهًا يحتوي على نطاق واضح من المهام ومناسب تمامًا لنموذج الحوسبة الموزعة. يمكنك أن تفهم الأشخاص الذين يحاولون القيام بكل شيء دفعة واحدة - بالطبع، هناك الكثير للاختيار من بينها. والكثير من الأشياء تبدو مثيرة للاهتمام للغاية سواء من وجهة نظر البحث والتطوير أو من وجهة نظر الاقتصاد. باستخدام شبكة موزعة، يمكنك:
- تدريب الشبكات العصبية
- تيارات إشارة العملية
- حساب بنية البروتين
- تقديم مشاهد ثلاثية الأبعاد
- محاكاة الهيدروديناميكية
- اختبار استراتيجيات التداول في البورصات
من أجل عدم الانجراف في تجميع قائمة بالأشياء المثيرة للاهتمام والمتوازية بشكل جيد، سنختار العرض الموزع كموضوعنا الإضافي.
العرض الموزع في حد ذاته، بالطبع، ليس شيئًا جديدًا. لقد دعمت مجموعات أدوات العرض الحالية منذ فترة طويلة توزيع الأحمال عبر أجهزة مختلفة؛ وبدون ذلك، سيكون العيش في القرن الحادي والعشرين أمرًا محزنًا للغاية. ومع ذلك، لا ينبغي للمرء أن يعتقد أن الموضوع قد تم تغطيته على نطاق واسع، ولا يوجد شيء يمكن القيام به هناك - سننظر في مشكلة ملحة منفصلة: إنشاء أداة لإنشاء شبكة عرض.
شبكة العرض الخاصة بنا عبارة عن مجموعة من العقد التي تحتاج إلى تنفيذ مهام العرض مع العقد التي تحتوي على موارد حوسبة مجانية لمعالجة العرض. سيقوم مالكو الموارد بتوصيل محطاتهم بشبكة العرض لتلقي مهام العرض وتنفيذها باستخدام أحد محركات العرض المدعومة بالشبكة. في هذه الحالة، سيعمل موفرو المهام مع الشبكة كما لو كانت سحابة، حيث يقومون بتوزيع الموارد بشكل مستقل ومراقبة صحة التنفيذ وإدارة المخاطر والمشكلات الأخرى.
وبالتالي، سننظر في إنشاء إطار عمل من شأنه أن يدعم التكامل مع مجموعة من محركات العرض الشائعة ويحتوي على مكونات توفر أدوات لتنظيم شبكة من العقد غير المتجانسة وإدارة تدفق المهام.
النموذج الاقتصادي لوجود مثل هذه الشبكة ليس له أهمية أساسية، لذلك سنأخذ كمخطط أولي مخططًا مشابهًا لذلك المستخدم في الحسابات في شبكات العملات المشفرة - سيرسل مستهلكو المورد الرموز المميزة إلى الموردين الذين يقومون بأعمال العرض. من المثير للاهتمام أكثر أن نفهم الخصائص التي يجب أن يتمتع بها إطار العمل، والتي سننظر من أجلها إلى السيناريو الرئيسي للتفاعل بين المشاركين في الشبكة.
هناك ثلاثة جوانب للتفاعل في الشبكة: مزود الموارد، وموفر المهام، ومشغل الشبكة (المعروف أيضًا باسم مركز التحكم، والشبكة، وما إلى ذلك في النص).
يزود مشغل الشبكة مزود الموارد بتطبيق العميل أو صورة نظام التشغيل مع مجموعة منتشرة من البرامج، والتي سيقوم بتثبيتها على الجهاز الذي يريد توفير موارده، وحساب شخصي يمكن الوصول إليه من خلال واجهة الويب، مما يسمح له قم بتعيين معلمات الوصول إلى المورد وإدارة مشهد الخادم الخاص به عن بُعد: التحكم في معلمات الأجهزة وإجراء التكوين عن بُعد وإعادة التشغيل.
عندما يتم توصيل عقدة جديدة، يقوم نظام إدارة الشبكة بتحليل المعدات ومعلمات الوصول المحددة، وتصنيفها، وتعيين تصنيف معين، ووضعها في سجل الموارد. في المستقبل، من أجل إدارة المخاطر، سيتم تحليل معلمات نشاط العقدة، وسيتم تعديل تصنيف العقدة لضمان استقرار الشبكة. لن يكون أحد سعيدًا إذا تم إرسال مشهده للعرض على بطاقات قوية غالبًا ما تتجمد بسبب ارتفاع درجة الحرارة؟
يمكن للمستخدم الذي يحتاج إلى عرض مشهد أن يتبع طريقتين: تحميل المشهد إلى مستودع الشبكة عبر واجهة الويب، أو استخدام مكون إضافي لتوصيل حزمة النمذجة الخاصة به أو العارض المثبت بالشبكة. في هذه الحالة، يتم بدء عقد ذكي بين المستخدم والشبكة، والشرط القياسي لإتمامه هو إنشاء نتيجة حساب المشهد بواسطة الشبكة. يمكن للمستخدم مراقبة عملية إكمال المهمة وإدارة معلماتها من خلال واجهة الويب الخاصة بحسابه الشخصي.
يتم إرسال المهمة إلى الخادم، حيث يتم تحليل حجم المشهد وعدد الموارد التي طلبها بادئ المهمة، وبعد ذلك يتم تقسيم الحجم الإجمالي إلى أجزاء مهيأة للحساب على عدد ونوع الموارد المخصصة من قبل الشبكة . الفكرة العامة هي أن التصور يمكن تقسيمه إلى العديد من المهام الصغيرة. تستفيد المحركات من ذلك من خلال توزيع هذه المهام بين موفري الموارد المتعددين. إن أبسط طريقة هي تقديم أجزاء صغيرة من المشهد تسمى شرائح. عندما يصبح كل مقطع جاهزًا، تعتبر المهمة المحلية مكتملة، وينتقل المورد إلى المهمة المعلقة التالية.
وبالتالي، لا يوجد فرق بالنسبة للعارض سواء تم إجراء الحسابات على جهاز واحد أو على شبكة مكونة من العديد من محطات الحوسبة الفردية. يضيف العرض الموزع ببساطة المزيد من النوى إلى مجموعة الموارد المستخدمة لمهمة ما. من خلال الشبكة، يتلقى جميع البيانات اللازمة لعرض مقطع ما، ويحسبه، ويرسل هذا المقطع مرة أخرى، وينتقل إلى المهمة التالية. قبل الدخول إلى تجمع الشبكة العام، يتلقى كل مقطع مجموعة من المعلومات التعريفية التي تسمح للعقد المنفذة باختيار مهام الحوسبة الأكثر ملاءمة لها.
يجب حل مشاكل تجزئة وتوزيع الحسابات ليس فقط من وجهة نظر تحسين وقت التنفيذ، ولكن أيضًا من وجهة نظر الاستخدام الأمثل للموارد وتوفير الطاقة، لأن الكفاءة الاقتصادية للشبكة تعتمد على ذلك . إذا لم ينجح الحل، فمن الأفضل تركيب جهاز تعدين على العقدة أو إيقاف تشغيله حتى لا يصدر ضوضاء ولا يهدر الكهرباء.
ومع ذلك، دعونا نعود إلى هذه العملية. عند تلقي مهمة، يتم أيضًا تشكيل عقد ذكي بين المجمع والعقدة، والذي يتم تنفيذه عندما يتم حساب نتيجة المهمة بشكل صحيح. بناءً على نتائج تنفيذ العقد، يمكن للعقدة الحصول على مكافأة بشكل أو بآخر.
يتحكم مركز التحكم في عملية تنفيذ المهمة، وجمع نتائج الحساب، وإرسال نتائج غير صحيحة لإعادة المعالجة وترتيب قائمة الانتظار، ومراقبة الموعد النهائي القياسي لإكمال المهمة (حتى لا يحدث عدم شغل الجزء الأخير من قبل أي عقدة).
تمر نتائج الحسابات بمرحلة التركيب، وبعد ذلك يتلقى المستخدم نتائج العرض، ويمكن للشبكة الحصول على مكافأة.
وهكذا، يظهر التكوين الوظيفي لإطار المناظر الطبيعية المصمم لبناء أنظمة العرض الموزعة:
- حسابات المستخدمين الشخصية مع الوصول إلى شبكة الإنترنت
- مجموعة برامج للتثبيت على العقد
- بواسطة نظام التحكم:
- النظام الفرعي للتحكم في الوصول
- تقديم النظام الفرعي لتحليل المهام
- النظام الفرعي لتوزيع المهام
- تركيب النظام الفرعي
- النظام الفرعي لإدارة المناظر الطبيعية للخادم وطوبولوجيا الشبكة
- النظام الفرعي للتسجيل والتدقيق
- تعلم النظام الفرعي للخبراء
- Rest API أو واجهة أخرى للمطورين الخارجيين
ماذا تعتقد؟ ما هي الأسئلة التي يثيرها الموضوع وما هي الإجابات التي تهمك؟
المصدر: www.habr.com