هذا هو الجزء الأول من النص النصي للمقابلة الثانية لبرنامجنا (, ). ضيف العدد - ()، دكتوراه، باحث أول بالمركز القومي للبحوث المعرفية، أستاذ مشارك بكلية التحولات الرقمية.
منذ عام 2012، يعمل أندريه في مجموعة أبحاث التصور ورسومات الكمبيوتر. شاركت في مشاريع تطبيقية كبيرة على مستوى الدولة وعلى المستوى الدولي. في هذا الجزء من المحادثة، نتحدث عن تجربته في دعم الواقع المعزز للمناسبات العامة.
صور (Unsplash.com)
سياق المشروع وأهدافه
الرمز الزمني (بواسطة ) — 00:41
: أود أن أبدأ بمشروع الألعاب الأوروبية. إنه متعدد المكونات، وقد شاركت عدة فرق في الإعداد له، كما أن توفير الواقع المعزز لجمهور من الآلاف أثناء حدث ما في الملعب يعد مهمة خطيرة للغاية. فيما يتعلق بمشاركتك، هل كانت البرمجيات أولاً؟
: نعم، قمنا بالجزء البرمجي وقدمنا الدعم أثناء العرض. كان من الضروري تتبع كل شيء ومراقبته وتشغيله في الوقت الفعلي، وكذلك العمل مع مجموعة التلفزيون. إذا نظرنا إلى هذا المشروع ككل، فيمكننا الحديث عن مراسم الافتتاح والختام في مينسك وكذلك عن حفل افتتاح البطولة في قازان. لقد كان نفس مخطط العمل، لكن الأحداث مختلفة. وكان بينهما فارق شهرين. قمنا بإعداد المشروع مع شباب الشركة .
التقينا بهم بالصدفة ، والذي حدث في خريف عام 2018. عرض طلاب الماجستير مشروع الدورة التدريبية الخاصة بهم حول موضوع الواقع الافتراضي. جاء الرجال إلينا وسألونا عما نفعله في مختبرنا. بدا الأمر مثل هذا:
- أنت تعمل مع الواقع الافتراضي، ولكن هل يمكنك العمل مع الواقع المعزز؟
- حسنًا، نوعًا ما، نعم.
- هناك مثل هذه المهمة، مع هذه الملاحظات التمهيدية. هل يمكنك فعل ذلك؟
لقد خدشوا اللفت قليلاً، ولا يبدو أن هناك أي شيء غير واقعي:
- دعونا نحاول دراسة كل شيء أولاً، ثم نجد الحل.
ديمتري: هل يقدمون الدعم الإعلامي فقط؟
أندرو: إنهم يصنعون كومة كاملة. من وجهة نظر الإدارة والتنظيم، فهم يشاركون بشكل كامل في الإخراج والمسرح واختيار المشاهد والخدمات اللوجستية وغيرها من الدعم الفني. لكنهم أرادوا القيام بشيء خاص للألعاب الأوروبية. تم صنع هذه المؤثرات الخاصة، مثل الواقع المختلط، للتلفزيون لفترة طويلة، لكنها ليست الأكثر ملائمة للميزانية من حيث التنفيذ الفني. لذلك، بحث الرجال عن خيارات بديلة.
ديمتري: دعونا نناقش المشكلة بمزيد من التفصيل. ماذا تتكون من؟
أندرو: هناك حدث. يستمر لمدة ساعة ونصف. نحن بحاجة للتأكد من أن الجمهور الذي يشاهده على الهواء مباشرة والذين يجلسون في الملعب يمكنهم رؤية تأثيرات الواقع المعزز بالتزامن الكامل مع العرض المباشر من حيث الوقت والمكان على الموقع.
كان هناك عدد من القيود الفنية. كان من المستحيل إجراء مزامنة الوقت عبر الإنترنت، بسبب المخاوف من الحمل الزائد على الشبكة ذات المدرجات الكاملة واحتمال حضور رؤساء الدول لهذا الحدث، مما قد يؤدي إلى تشويش شبكات الهاتف المحمول.
أندريه كارساكوف، الصورة من
كان لدينا مكونان رئيسيان لهذا المشروع - التجربة الشخصية التي يمكن للناس الحصول عليها من خلال الأجهزة المحمولة، وما يدور في البث التلفزيوني وشاشات المعلومات في الملعب نفسه.
إذا كان الشخص فجأة يشاهد حلقات الواقع المعزز من خلال جهاز محمول وفي نفس الوقت يظهر على الشاشة، فيجب أن يرى نفس الصورة.
كنا بحاجة إلى نظامين مختلفين تقريبًا ليكونا متزامنين تمامًا في الوقت المناسب. لكن خصوصية مثل هذه العروض هي أنها أحداث معقدة يشارك فيها عدد كبير من الخدمات الفنية ويتم تنفيذ جميع العمليات وفقًا للرموز الزمنية. رمز الوقت هو لحظة زمنية محددة يبدأ فيها شيء ما: الضوء، الصوت، مغادرة الأشخاص، فتح بتلات المسرح، وما إلى ذلك. كان علينا التكيف مع هذا النظام حتى يبدأ كل شيء في الوقت المناسب. ميزة أخرى هي أن المشاهد والحلقات ذات الواقع المعزز كانت مرتبطة بالنص.
ديمتري: لكن هل قررت التخلي عن استخدام رموز الوقت بسبب المخاطر العالية للقوة القاهرة، أم أنك قمت في البداية بحساب بعض خصائص الطاقة وأدركت أن الحمل على النظام بأكمله سيكون مرتفعًا جدًا؟
أندرو: إذا قمت بإجراء خدمة مزامنة لمثل هذا الجمهور، فهذا ليس صعبا للغاية. وعلى أية حال، فإن الطلبات لن تفشل بين عشية وضحاها. نعم، الحمل مرتفع، لكنه ليس حالة طارئة. والسؤال هو ما إذا كان الأمر يستحق إنفاق الموارد والوقت على هذا إذا انقطعت الشبكة فجأة. لم نكن متأكدين من أن هذا لن يحدث. في النهاية، كل شيء يعمل، مع انقطاعات بسبب الحمل، لكنه يعمل، وقمنا بالمزامنة وفقًا لرمز الوقت وفقًا لمخطط مختلف. وكان هذا أحد التحديات العالمية.
صعوبات التنفيذ من وجهة نظر تجربة المستخدم
الرمز الزمني (بواسطة ) — 10:42
أندرو: كان علينا أيضًا أن نأخذ في الاعتبار أن الاستاد ليس مكانًا كلاسيكيًا للحفلات الموسيقية، ونعمل على مزامنة الأنظمة عبر المساحة مع الأجهزة المحمولة. لذلك، منذ بعض الوقت انتشرت بسرعة في حفلات إيمينيم، كانت هناك حالة مع لوبودا.
صور (Unsplash.com)
ولكن هذه دائمًا تجربة أمامك - فالحشد بأكمله يقف أمام المسرح، والمزامنة بسيطة للغاية. في حالة الملعب، عليك أن تفهم أي جانب من الدائرة أنت فيه، والموقع النسبي، بحيث يتناسب الملعب مع المساحة الموجودة في البيئة الافتراضية. لقد كان تحديًا سيئًا. وحاولوا حلها بشتى الطرق، وكانت النتيجة حالة قريبة مما نفذه لوبودا، ولكن ليس من جميع النواحي.
نترك للمستخدم أن يقرر مكان وجوده. لقد وضعنا علامات على الملعب، حيث اختار الناس قطاعًا أو صفًا أو مكانًا. كل هذا في أربع "نقرات". بعد ذلك كان علينا تحديد الاتجاه إلى المسرح. للقيام بذلك، أظهرنا صورة ظلية لما يجب أن يبدو عليه المشهد تقريبًا من منظور مخصص. لقد جمعها، واستغلها وكل شيء - جلس المسرح. لقد حاولنا تبسيط هذه العملية قدر الإمكان. ومع ذلك، فإن 90% من المشاهدين الذين أرادوا مشاهدة العرض ليسوا من الأشخاص الذين لديهم خبرة في التواصل مع الواقع المعزز.
ديمتري: هل كان هناك تطبيق منفصل لهذا المشروع؟
أندرو: نعم، تطبيق لنظامي التشغيل iOS وAndroid، قمنا بدفعه إلى المتجر. كانت هناك حملة ترويجية منفصلة لها. لقد سبق أن تم وصف كيفية التنزيل بالتفصيل وما إلى ذلك.
ديمتري: عليك أن تفهم أنه لا يوجد مكان يمكن لأي شخص أن يختبر فيه جسديًا ويتعلم كيفية استخدام مثل هذا التطبيق. لذلك، أصبحت مهمة "تثقيف" الجمهور أكثر تعقيدًا.
أندرو: نعم نعم. مع تجربة المستخدم، واجهنا الكثير من المطبات، لأن المستخدم يريد الحصول على التجربة بثلاث نقرات: التنزيل والتثبيت والتشغيل - لقد نجح الأمر. كثير من الناس كسالى جدًا بحيث لا يمكنهم متابعة البرامج التعليمية المعقدة وقراءة البرامج التعليمية وما إلى ذلك. ولم نحاول شرح كل شيء للمستخدم قدر الإمكان في البرنامج التعليمي: سيتم فتح نافذة هنا، والوصول إلى الكاميرا هنا، وإلا فلن يعمل، وما إلى ذلك. بغض النظر عن عدد الشروحات التي تكتبها، بغض النظر عن مدى تفصيلها، بغض النظر عن الصور المتحركة التي تدرجها، فإن الناس لا يقرؤونها.
في مينسك، جمعنا مجموعة كبيرة من التعليقات حول هذا الجزء، وقمنا بالفعل بتغيير الكثير بالنسبة للتطبيق في قازان. لم نضع هناك فقط تلك التسجيلات الصوتية ورموز الوقت التي تتوافق مع حلقة معينة من الواقع المعزز، ولكننا أخذنا جميع التسجيلات الصوتية ورموز الوقت بأكملها. لذلك سمع التطبيق ما كان يحدث وقت الإطلاق، وإذا قام شخص ما بتسجيل الدخول في اللحظة الخطأ - فإنه يقدم المعلومات: "أيها الرفيق، أنا آسف، ستكون حلقة الواقع المعزز الخاصة بك خلال 15 دقيقة".
قليلا عن الهندسة المعمارية ونهج المزامنة
الرمز الزمني (بواسطة ) — 16:37
ديمتري: هل قررت المزامنة عن طريق الصوت؟
أندرو: نعم حدث ذلك بالصدفة. كنا نبحث في الخيارات وعثرنا على شركة من إيجيفسك. إنهم يصنعون SDK غير معقد بشكل خاص، ولكنه يعمل بالحديد، والذي يسمح لك بمزامنة الصوت مع التوقيت. تم وضع النظام للعمل مع التلفزيون، حيث يمكنك عرض شيء ما في تطبيق بناءً على صوت إعلان مشروط أو تقديم تجربة تفاعلية بناءً على مسار الفيلم.
ديمتري: ولكن هناك شيء واحد - أن تجلس في غرفة المعيشة الخاصة بك، وشيء آخر - ملعب يضم الآلاف من الأشخاص. كيف سارت الأمور بالنسبة لك فيما يتعلق بجودة التسجيل الصوتي والتعرف عليه لاحقًا؟
أندرو: كان هناك الكثير من المخاوف والشكوك، ولكن في معظم الحالات تم التعرف على كل شيء بشكل جيد. إنهم ينشئون التوقيعات على المسار الصوتي باستخدام خوارزمياتهم الماكرة - وتكون النتيجة أقل وزنًا من الملف الصوتي الأصلي. عندما يستمع الميكروفون إلى الصوت المحيط، فإنه يحاول العثور على هذه الميزات والتعرف على المسار بناءً عليها. في الظروف الجيدة، تكون دقة المزامنة 0,1-0,2 ثانية. وكان هذا أكثر من كاف. في الظروف السيئة كان التناقض يصل إلى 0,5 ثانية.
يعتمد الكثير على الجهاز. لقد عملنا مع أسطول كبير من الأجهزة. بالنسبة لأجهزة iPhone، هناك 10 نماذج فقط. لقد عملوا بشكل جيد من حيث الجودة والميزات الأخرى. ولكن مع androids، حديقة الحيوان مثل والدتي. لم يتبين في كل مكان أن مزامنة الصوت تعمل. كانت هناك حالات كان من المستحيل فيها سماع مسارات مختلفة على أجهزة مختلفة بسبب بعض الخصائص. في مكان ما تختفي الترددات المنخفضة، وفي مكان ما تبدأ الترددات العالية في الظهور. ولكن إذا كان الجهاز يحتوي على جهاز تسوية على الميكروفون، فإن المزامنة تعمل دائمًا.
ديمتري: من فضلك أخبرنا عن الهندسة المعمارية - ما الذي تم استخدامه في المشروع؟
أندرو: لقد صنعنا التطبيق في Unity - الخيار الأبسط من حيث المنصات المتعددة والعمل مع الرسومات. مؤسسة AR المستخدمة. قلنا على الفور أننا لا نريد تعقيد النظام، لذلك اقتصرنا على مجموعة من الأجهزة التي تدعم ARKit وARCore حتى يكون لدينا الوقت لاختبار كل شيء. لقد صنعنا مكونًا إضافيًا لـ DigitalSoft SDK . لقد أنشأنا نظامًا لإدارة المحتوى بحيث يتم تشغيل البرامج النصية وفقًا للجدول الزمني.
لقد تلاعبنا قليلاً بنظام الجسيمات، لأنه يمكن للمستخدم الدخول في أي وقت في حلقة معينة، ونحتاجه أن يرى كل شيء منذ اللحظة التي تزامن فيها. لقد عدلنا نظامًا يسمح بعرض السيناريوهات بوضوح في الوقت المناسب، بحيث يمكن تمرير التجربة ثلاثية الأبعاد ذهابًا وإيابًا، كما هو الحال في الفيلم. في حين أنه يعمل خارج الصندوق مع الرسوم المتحركة الكلاسيكية، كان علينا التلاعب بأنظمة الجسيمات. في مرحلة ما، يبدأون في التكاثر، وإذا وجدت نفسك في مكان ما قبل نقطة التكاثر، فإنهم لم يولدوا بعد، على الرغم من أنه يبدو أنهم يجب أن يكونوا كذلك. لكن هذه المشكلة في الواقع سهلة الحل.
بالنسبة للجزء المحمول، الهندسة المعمارية بسيطة للغاية. بالنسبة للبث التلفزيوني، كل شيء أكثر تعقيدًا. كانت لدينا قيود على الأجهزة. وضع العميل شرطًا: "هنا لدينا مجموعة أجهزة كذا وكذا، تقريبًا، كل شيء يحتاج إلى العمل عليه." ركزنا على الفور على حقيقة أننا سنعمل باستخدام بطاقات التقاط الفيديو ذات الميزانية المحدودة نسبيًا. لكن الميزانية لا تعني أنها سيئة.
كانت هناك قيود على الأجهزة، وعلى بطاقات التقاط الفيديو وعلى ظروف العمل - كيف ينبغي أن نتلقى الصورة. بطاقات الالتقاط - تصميم Blackmagic، يعمل وفقًا لنظام المفاتيح الداخلية - وذلك عندما يأتي إليك إطار فيديو من الكاميرا. تحتوي البطاقة على شريحة معالجة خاصة بها، حيث يتم أيضًا إدخال إطار يجب تثبيته فوق الإطار الوارد. تخلطهم البطاقة - لا نلمس أي شيء آخر هناك ولا نؤثر على إطار كاميرا الفيديو. تقوم ببصق النتيجة إلى غرفة التحكم عبر إخراج الفيديو. تعد هذه طريقة جيدة لتراكب العناوين والأشياء المشابهة الأخرى، ولكنها ليست مناسبة جدًا لتأثيرات الواقع المختلط نظرًا لوجود العديد من القيود على مسار العرض.
ديمتري: من حيث الحوسبة في الوقت الحقيقي، أو ربط الكائنات، أو أي شيء آخر؟
أندرو: من حيث الجودة وتحقيق التأثيرات المرجوة. لأننا لا نعرف ما الذي نضع الصورة فوقه. نحن ببساطة نرسل معلومات اللون والشفافية أعلى الدفق الأصلي. لا يمكن تحقيق بعض التأثيرات مثل الانكسارات والشفافية الصحيحة والظلال الإضافية باستخدام هذا المخطط. للقيام بذلك، تحتاج إلى تقديم كل شيء معًا. على سبيل المثال، لا توجد طريقة لخلق تأثير تشويه الهواء من النار أو الأسفلت الساخن. وينطبق الشيء نفسه على نقل تأثير الشفافية مع مراعاة معامل الانكسار. لقد أنشأنا محتوى في البداية بناءً على هذه القيود وحاولنا استخدام التأثيرات المناسبة.
ديمتري: هل لديك بالفعل المحتوى الخاص بك في المشروع الأول للألعاب الأوروبية؟
أندرو: لا، المرحلة الرئيسية لتطوير المحتوى تم إجراؤها بواسطة شباب من Sechenov.com. قام فنانو الرسوم البيانية برسم المحتوى الأساسي باستخدام الرسوم المتحركة وأشياء أخرى. وقمنا بدمج كل شيء في المحرك، وأضفنا تأثيرات إضافية، وقمنا بتكييفه بحيث يعمل كل شيء بشكل صحيح.
إذا تحدثنا عن خط الأنابيب، فقد قمنا بتجميع كل شيء للبث التلفزيوني على Unreal Engine 4. وبالصدفة، بدأوا في تلك اللحظة في تعزيز أدواتهم للواقع المختلط. اتضح أن كل شيء ليس بهذه البساطة. وحتى الآن، أصبحت جميع الأدوات خامًا، وكان علينا إنهاء الكثير يدويًا. في مينسك، عملنا على بناء مخصص للمحرك، أي أننا قمنا بإعادة كتابة بعض الأشياء داخل المحرك حتى نتمكن، على سبيل المثال، من رسم الظلال فوق الأشياء الحقيقية. لم يكن إصدار المحرك الحالي في ذلك الوقت يحتوي على ميزات تسمح بذلك باستخدام الأدوات القياسية. لهذا السبب، قام رجالنا بعمل التجميع المخصص الخاص بهم لتوفير كل ما هو ضروري للغاية.
الفروق الدقيقة الأخرى والتكيف مع WorldSkills في قازان
الرمز الزمني (بواسطة ) — 31:37
ديمتري: ولكن كل هذا في فترة زمنية قصيرة إلى حد ما؟
أندرو: وكانت المواعيد النهائية ضيقة بحسب مينسك - طبيعي. حوالي ستة أشهر للتطوير، ولكن مع الأخذ في الاعتبار حقيقة أن ستة أشخاص شاركوا. وفي الوقت نفسه، كنا نصنع الجزء المتنقل ونطور أدوات الإنتاج التلفزيوني. لم يكن هناك فقط إخراج الصورة. على سبيل المثال، نظام تتبع مع البصريات، لذلك كان عليك إنشاء أدواتك الخاصة.
ديمتري: هل كان هناك أي تعديل من مشروع إلى آخر؟ خلال شهر ونصف كان لا بد من الاستفادة من التطورات ونقل المشروع بمحتوى جديد إلى موقع جديد؟
أندرو: نعم كان لمدة شهر ونصف. لقد خططنا لإجازة لمدة أسبوعين للفريق بأكمله بعد مشروع مينسك. ولكن بعد الإغلاق مباشرة، يأتي الرجال من Sechenov.com ويقولون: "حسنا، دعونا نفعل كازان بعد ذلك". ما زلنا قادرين على الراحة قليلا، لكننا تحولنا إلى هذا المشروع بسرعة كبيرة. أكملنا بعض الأعمال الفنية. تم إنفاق معظم الوقت على المحتوى، لأننا قمنا بذلك بالكامل بالنسبة لـ WorldSkills، وقمنا فقط بتنسيقه مع فريق الإنتاج. لم يكن هناك سوى السيناريو من جانبهم. لكن الأمر كان أسهل، ولم تكن هناك حاجة لتكرارات إضافية. عندما تقوم بإنشاء محتوى بنفسك، سترى على الفور كيف يعمل في المحرك، ويمكنك تحريره وتنسيقه بسرعة.
فيما يتعلق بالجزء المتحرك، أخذنا في الاعتبار جميع التفاصيل الدقيقة التي كانت لدينا في مينسك. لقد قمنا بتصميم تطبيق جديد، وأعدنا تصميم البنية قليلاً، وأضفنا دروسًا تعليمية، لكننا حاولنا أن نجعله قصيرًا وواضحًا قدر الإمكان. لقد قمنا بتقليل عدد خطوات المستخدم بدءًا من تشغيل التطبيق وحتى عرض المحتوى. شهر ونصف كان كافياً لإكمال مشروع مناسب. في أسبوع ونصف وصلنا إلى الموقع. كان العمل هناك أسهل لأن السيطرة الكاملة على المشروع كانت في أيدي المنظمين، ولم تكن هناك حاجة للتنسيق مع اللجان الأخرى. كان العمل في قازان أبسط وأسهل، وكان من الطبيعي أن يكون هناك وقت أقل.
ديمتري: لكن هل قررت ترك نهج المزامنة كما هو بناءً على الصوت؟
أندرو: نعم تركناها بالصوت. عملت بشكل جيد. كما يقولون، إذا كان يعمل، لا تلمسه. لقد أخذنا في الاعتبار ببساطة الفروق الدقيقة في جودة المسار الصوتي. عندما قاموا بالمقدمة، كانت هناك حلقة تدريبية ليجربها الأشخاص قبل بدء العرض. كان من المفاجئ أنه عندما يكون هناك تصفيق عاصف "مباشر" في لحظة تشغيل المسار في الملعب، يسمح لك النظام بالمزامنة بشكل جيد مع هذا المسار، ولكن إذا اختلط التصفيق المسجل في هذه اللحظة بالمسار، فإن لم يعد يتم القبض على المسار. تم أخذ هذه الفروق الدقيقة في الاعتبار، وكان كل شيء متزامنًا جيدًا من حيث الصوت.
ملاحظة: في الجزء الثاني من العدد نتحدث عن تصور البيانات العلمية ونمذجة العمليات في المشاريع الأخرى وتطوير الألعاب وبرنامج الماجستير "" سننشر استمرارًا في المقالة التالية. يمكنك الاستماع ودعمنا هنا:
PPS وفي الوقت نفسه، على النسخة الإنجليزية من حبر: .
المصدر: www.habr.com