في عام 2018 ، في الدوائر المهنية وفي المؤتمرات المواضيعية المخصصة للذكاء الاصطناعي ، ظهر مفهوم MLOps ، والذي سرعان ما اكتسب موطئ قدم في الصناعة وهو الآن يتطور كإتجاه مستقل. في المستقبل ، قد تصبح MLOps واحدة من أكثر المجالات المطلوبة في مجال تكنولوجيا المعلومات. ما هو وماذا يؤكل ، نحن نفهم تحت الخفض.
ما هو MLOps
MLOps (دمج تقنيات وعمليات التعلم الآلي ومناهج تنفيذ النماذج المطورة في العمليات التجارية) هي طريقة جديدة للتعاون بين ممثلي الأعمال والعلماء وعلماء الرياضيات ومتخصصي التعلم الآلي ومهندسي تكنولوجيا المعلومات في إنشاء أنظمة الذكاء الاصطناعي.
بمعنى آخر ، إنها طريقة لتحويل أساليب وتقنيات التعلم الآلي إلى أداة مفيدة لحل مشاكل العمل.
يجب أن يكون مفهوما أن سلسلة الإنتاجية تبدأ قبل وقت طويل من تطوير النموذج. خطوتها الأولى هي تحديد هدف العمل ، والفرضية حول القيمة التي يمكن استخراجها من البيانات ، وفكرة العمل لتطبيقها.
نشأ مفهوم MLOps كقياس لمفهوم DevOps فيما يتعلق بالنماذج وتقنيات التعلم الآلي. DevOps هو نهج لتطوير البرامج يسمح لك بزيادة سرعة التغييرات الفردية مع الحفاظ على المرونة والموثوقية باستخدام عدد من الأساليب ، بما في ذلك التطوير المستمر ، وفصل الوظائف إلى عدد من الخدمات الصغيرة المستقلة ، والاختبار الآلي ونشر التغييرات الفردية ، والعالمية المراقبة الصحية ، ونظام الاستجابة السريعة لحالات الفشل التي تم تحديدها ، وما إلى ذلك.
حددت DevOps دورة حياة البرنامج ، وظهرت الفكرة في مجتمع البرمجيات لتطبيق نفس الأسلوب على البيانات الضخمة. DataOps هي محاولة لتكييف المنهجية وتوسيعها ، مع مراعاة خصوصيات تخزين ونقل ومعالجة كميات كبيرة من البيانات في مجموعة متنوعة من المنصات التفاعلية.
مع ظهور كتلة حرجة معينة من نماذج التعلم الآلي المضمنة في العمليات التجارية للمؤسسات ، لوحظ تشابه قوي بين دورة حياة النماذج الرياضية للتعلم الآلي ودورة حياة البرنامج. الاختلاف الوحيد هو أن الخوارزميات النموذجية يتم إنشاؤها باستخدام أدوات وطرق التعلم الآلي. لذلك ، نشأت الفكرة بشكل طبيعي لتطبيق وتكييف الأساليب المعروفة بالفعل لتطوير البرمجيات لنماذج التعلم الآلي. وبالتالي ، يمكن تمييز المراحل الرئيسية التالية في دورة حياة نماذج التعلم الآلي:
- تحديد فكرة العمل ؛
- تدريب نموذجي
- اختبار وتنفيذ النموذج في عملية الأعمال ؛
- عملية النموذج.
عندما يصبح من الضروري أثناء التشغيل تغيير النموذج أو إعادة تدريبه على بيانات جديدة ، تبدأ الدورة من جديد - يتم الانتهاء من النموذج واختباره ونشر إصدار جديد.
تراجع. لماذا إعادة التثقيف وعدم إعادة التثقيف؟ مصطلح "إعادة تدريب النموذج" له تفسير مزدوج: فهو يعني بين المتخصصين وجود خلل في النموذج ، عندما يتنبأ النموذج جيدًا ، يكرر في الواقع المعلمة المتوقعة في مجموعة التدريب ، ولكنه يعمل بشكل أسوأ على مجموعة البيانات الخارجية. بطبيعة الحال ، مثل هذا النموذج هو عيب ، لأن هذا العيب لا يسمح بتطبيقه.
في دورة الحياة هذه ، يبدو من المنطقي استخدام أدوات DevOps: الاختبار الآلي والنشر والمراقبة وتسجيل حساب النموذج كخدمات مصغرة منفصلة. ولكن هناك عددًا من الميزات التي تمنع الاستخدام المباشر لهذه الأدوات دون ربط ML إضافي.
كيف تجعل النماذج تعمل وتحقق الربح
على سبيل المثال ، الذي سنعرض فيه تطبيق نهج MLOps ، سنتخذ المهمة الكلاسيكية الآن المتمثلة في جعل دردشة الدعم الروبوتية لمنتج مصرفي (أو أي منتج آخر). عملية الأعمال النموذجية لدعم الدردشة هي كما يلي: يدخل العميل سؤالاً في محادثة ويتلقى ردًا من أحد المتخصصين داخل شجرة حوار محددة مسبقًا. عادة ما يتم حل مهمة أتمتة مثل هذه الدردشة باستخدام مجموعات محددة بخبرة من القواعد التي يصعب تطويرها وصيانتها. يمكن أن تكون كفاءة هذه الأتمتة ، اعتمادًا على مستوى تعقيد المهمة ، من 20 إلى 30 ٪. بطبيعة الحال ، تبرز فكرة أنه من الأفضل تنفيذ وحدة ذكاء اصطناعي - وهو نموذج تم تطويره باستخدام التعلم الآلي الذي:
- القدرة على معالجة المزيد من الطلبات دون مشاركة عامل التشغيل (اعتمادًا على الموضوع ، في بعض الحالات ، يمكن أن تصل الكفاءة إلى 70-80٪) ؛
- يتكيف بشكل أفضل مع الصياغة غير القياسية في الحوار - قادر على تحديد النية ، والرغبة الحقيقية للمستخدم لطلب غير واضح الصياغة ؛
- قادر على تحديد متى تكون إجابة النموذج مناسبة ، وعندما تكون هناك شكوك حول "وعي" هذه الإجابة ومن الضروري طرح سؤال توضيح إضافي أو التبديل إلى المشغل ؛
- يمكن إعادة تدريبه تلقائيًا (بدلاً من قيام مجموعة من المطورين بتكييف وتصحيح سيناريوهات الاستجابة باستمرار ، يتم إعادة تدريب النموذج بواسطة عالم البيانات باستخدام مكتبات التعلم الآلي المناسبة).
كيف نجعل مثل هذا النموذج المتقدم يعمل؟
كما هو الحال عند حل أي مهمة أخرى ، قبل تطوير مثل هذه الوحدة ، من الضروري تحديد عملية الأعمال ووصف مهمة محددة رسميًا سنحلها باستخدام طريقة التعلم الآلي. في هذه المرحلة ، تبدأ عملية التفعيل ، التي يُشار إليها بالاختصار Ops.
الخطوة التالية هي أن يقوم عالم البيانات ، بالتعاون مع مهندس البيانات ، بالتحقق من توافر وكفاية البيانات وفرضية العمل حول قابلية فكرة العمل للتطبيق ، وتطوير نموذج أولي للنموذج والتحقق من فعاليته الفعلية. فقط بعد التأكيد من قبل الشركة يمكن أن يبدأ الانتقال من تطوير النموذج إلى تضمينه في الأنظمة التي تؤدي عملية تجارية معينة. يعد تخطيط التنفيذ الشامل ، والفهم العميق في كل مرحلة لكيفية استخدام النموذج والتأثير الاقتصادي الذي سيحدثه ، لحظة أساسية في عمليات إدخال مناهج MLOps في المشهد التكنولوجي للشركة.
مع تطور تقنيات الذكاء الاصطناعي ، يتزايد عدد وتنوع المهام التي يمكن حلها بمساعدة التعلم الآلي مثل الانهيار الجليدي. تعمل كل عملية تجارية من هذا القبيل على إنقاذ الشركة من خلال أتمتة عمل الموظفين في المناصب الجماعية (مركز الاتصال ، والتحقق من المستندات وفرزها ، وما إلى ذلك) ، فهي تعمل على توسيع قاعدة العملاء عن طريق إضافة وظائف جديدة جذابة ومريحة ، مما يوفر المال بسبب الأداء الأمثل لهم. استخدام وإعادة توزيع الموارد وأكثر من ذلك بكثير. في نهاية المطاف ، تركز أي عملية على خلق القيمة ، ونتيجة لذلك ، يجب أن تحقق تأثيرًا اقتصاديًا معينًا. من المهم جدًا هنا توضيح فكرة العمل بوضوح وحساب الربح المتوقع من تنفيذ النموذج في الهيكل العام لإنشاء قيمة الشركة. هناك مواقف لا يبرر فيها تنفيذ النموذج نفسه ، ويكون الوقت الذي يقضيه متخصصو التعلم الآلي أكثر تكلفة بكثير من مكان عمل المشغل الذي يؤدي هذه المهمة. لهذا السبب من الضروري محاولة تحديد مثل هذه الحالات في المراحل الأولى من إنشاء أنظمة الذكاء الاصطناعي.
وبالتالي ، تبدأ النماذج في جني الأرباح فقط عندما تتم صياغة مهمة العمل بشكل صحيح في عملية MLOps ، وتحديد الأولويات ، وصياغة عملية إدخال النموذج في النظام في المراحل الأولى من التطوير.
عملية جديدة - تحديات جديدة
إجابة شاملة لسؤال العمل الأساسي حول مدى قابلية نماذج ML لحل المشكلات ، السؤال العام للثقة في الذكاء الاصطناعي هو أحد التحديات الرئيسية في تطوير وتنفيذ مناهج MLOps. في البداية ، كانت الشركات متشككة بشأن إدخال التعلم الآلي في العمليات - من الصعب الاعتماد على النماذج في الأماكن التي كان الناس يعملون فيها عادةً في الماضي. بالنسبة لقطاع الأعمال ، يبدو أن البرامج عبارة عن "صندوق أسود" ، ولا تزال أهمية إجاباته بحاجة إلى إثبات. بالإضافة إلى ذلك ، في الأعمال المصرفية ، في أعمال مشغلي الاتصالات وغيرها ، هناك متطلبات صارمة لمنظمي الدولة. تخضع جميع الأنظمة والخوارزميات المطبقة في العمليات المصرفية للتدقيق. لحل هذه المشكلة ، لإثبات صحة وصحة إجابات الذكاء الاصطناعي للأعمال والمنظمين ، يتم تقديم أدوات المراقبة جنبًا إلى جنب مع النموذج. بالإضافة إلى ذلك ، هناك إجراء تحقق مستقل ، إلزامي للنماذج التنظيمية ، والذي يلبي متطلبات البنك المركزي. يقوم فريق خبراء مستقل بمراجعة النتائج التي حصل عليها النموذج ، مع مراعاة البيانات المدخلة.
التحدي الثاني هو تقييم مخاطر النموذج والنظر فيها عند تنفيذ نموذج التعلم الآلي. حتى لو لم يتمكن الشخص من الإجابة على السؤال بيقين مطلق سواء كان ذلك الفستان أبيض أو أزرق ، فإن للذكاء الاصطناعي أيضًا الحق في ارتكاب خطأ. يجدر أيضًا النظر في أن البيانات يمكن أن تتغير بمرور الوقت ، ويجب إعادة تدريب النماذج من أجل الحصول على نتيجة دقيقة بما فيه الكفاية. لكي لا تتضرر عملية الأعمال ، من الضروري إدارة مخاطر النموذج ومراقبة أداء النموذج ، وإعادة تدريبه بانتظام على البيانات الجديدة.
ولكن بعد المرحلة الأولى من انعدام الثقة ، يبدأ التأثير المعاكس في الظهور. كلما تم إدخال المزيد من النماذج بنجاح في العمليات ، زادت شهية الأعمال التجارية لاستخدام الذكاء الاصطناعي - هناك مهام جديدة وجديدة يمكن حلها باستخدام أساليب التعلم الآلي. تبدأ كل مهمة عملية كاملة تتطلب كفاءات معينة:
- يقوم مهندسو البيانات بإعداد البيانات ومعالجتها ؛
- يطبق علماء البيانات أدوات التعلم الآلي ويطورون نموذجًا ؛
- تقوم تكنولوجيا المعلومات بتنفيذ النموذج في النظام ؛
- يحدد مهندس ML كيفية دمج هذا النموذج بشكل صحيح في العملية ، وأدوات تكنولوجيا المعلومات التي يجب استخدامها اعتمادًا على متطلبات طريقة تطبيق النموذج ، مع مراعاة تدفق الطلبات ، ووقت الاستجابة ، وما إلى ذلك.
- يصمم مهندس ML كيف يمكن تنفيذ منتج برمجي ماديًا في نظام صناعي.
تتطلب الدورة بأكملها عددًا كبيرًا من المتخصصين المؤهلين تأهيلاً عالياً. في نقطة معينة من التطور ودرجة تغلغل نماذج ML في العمليات التجارية ، اتضح أن التوسع الخطي لعدد المتخصصين بما يتناسب مع النمو في عدد المهام يصبح مكلفًا وغير فعال. لذلك ، فإن السؤال الذي يطرح نفسه هو أتمتة عملية MLOps - تحديد عدة فئات قياسية من مشاكل التعلم الآلي ، وتطوير خطوط أنابيب معالجة البيانات النموذجية ونماذج إعادة التدريب. في الصورة المثالية ، لحل مثل هذه المشكلات ، يُطلب من المتخصصين الذين يتمتعون بنفس القدر من الدراية بالكفاءات عند تقاطع BigData و Data Science و DevOps و IT. لذلك ، فإن أكبر مشكلة في صناعة علوم البيانات والتحدي الأكبر في تنظيم عمليات MLOps هو الافتقار إلى هذه الكفاءة في سوق التدريب الحالي. المتخصصون الذين يستوفون هذه المتطلبات نادرون حاليًا في سوق العمل ويستحقون وزنهم ذهباً.
إلى مسألة الكفاءات
من الناحية النظرية ، يمكن حل جميع مهام MLOps باستخدام أدوات DevOps الكلاسيكية ودون اللجوء إلى ملحق نموذج الدور المتخصص. بعد ذلك ، كما أشرنا أعلاه ، يجب ألا يكون عالم البيانات عالم رياضيات ومحلل بيانات فحسب ، بل يجب أن يكون أيضًا معلمًا لخط الأنابيب بأكمله - تطوير الهندسة المعمارية ونماذج البرمجة بعدة لغات اعتمادًا على البنية ، وإعداد سوق البيانات والنشر يقع على كتفيه.التطبيق نفسه. ومع ذلك ، فإن إنشاء ارتباط تقني يتم تنفيذه في عملية MLOps الشاملة يستغرق ما يصل إلى 80 ٪ من تكاليف العمالة ، مما يعني أن عالم الرياضيات المؤهل ، وهو عالم بيانات عالي الجودة ، سيخصص 20 ٪ فقط من حان الوقت لتخصصه. لذلك ، يصبح التفريق بين أدوار المتخصصين الذين ينفذون عملية تنفيذ نماذج التعلم الآلي أمرًا حيويًا.
تعتمد كيفية تحديد الأدوار بالتفصيل على حجم المؤسسة. إنه شيء واحد عندما يكون لدى شركة ناشئة متخصص واحد ، وعامل في احتياطي مهندسي الطاقة ، ومهندس ، ومهندس معماري ، و DevOps في حد ذاته. إنها مسألة مختلفة تمامًا عندما تتركز جميع عمليات تطوير النماذج في مؤسسة كبيرة على عدد قليل من علماء البيانات رفيعي المستوى ، بينما يمكن للمبرمج أو المتخصص في قواعد البيانات - وهو اختصاص أكثر شيوعًا وأقل تكلفة في سوق العمل - توليه معظم المهام الروتينية.
وبالتالي ، حيث تكمن الحدود في اختيار المتخصصين لضمان عملية MLOps وكيف يتم تنظيم عملية تشغيل النماذج المطورة بشكل مباشر على سرعة وجودة النماذج المطورة وإنتاجية الفريق والمناخ المحلي فيها.
ما تم فعله بالفعل من قبل فريقنا
بدأنا مؤخرًا في بناء إطار عمل الكفاءة وعمليات MLOps. ولكن الآن بالفعل ، مشاريعنا المتعلقة بإدارة دورة حياة النماذج واستخدام النماذج كخدمة في مرحلة اختبار MVP.
لقد حددنا أيضًا الهيكل الأمثل للكفاءات لمؤسسة كبيرة والهيكل التنظيمي للتفاعل بين جميع المشاركين في العملية. تم تنظيم فرق Agile لحل المشكلات لمجموعة كاملة من عملاء الأعمال ، وتم إنشاء عملية تفاعل مع فرق المشروع لإنشاء منصات وبنية تحتية ، والتي هي أساس مبنى MLOps قيد الإنشاء.
أسئلة للمستقبل
MLOps هي منطقة متنامية تعاني من نقص في الكفاءات وستكتسب الزخم في المستقبل. في غضون ذلك ، من الأفضل البناء على التطورات والممارسات الخاصة بـ DevOps. الهدف الرئيسي من MLOps هو استخدام نماذج ML بشكل أكثر فعالية لحل مشاكل العمل. لكن هذا يثير العديد من الأسئلة:
- كيف تقلل وقت إطلاق النماذج في الإنتاج؟
- كيف يمكن تقليل الاحتكاك البيروقراطي بين الفرق ذات الكفاءات المختلفة وزيادة التركيز على التعاون؟
- كيف يمكن تتبع النماذج وإدارة الإصدارات وتنظيم المراقبة الفعالة؟
- كيف تصنع دورة حياة دائرية حقيقية لنموذج ML الحديث؟
- كيف يمكن توحيد عملية التعلم الآلي؟
ستحدد الإجابات على هذه الأسئلة إلى حد كبير مدى سرعة كشف MLOps عن إمكاناتها الكاملة.
المصدر: www.habr.com