لماذا تحتاج فرق علوم البيانات إلى أشخاص عموميين، وليس متخصصين؟

لماذا تحتاج فرق علوم البيانات إلى أشخاص عموميين، وليس متخصصين؟
هيروشي واتانابي / غيتي إيماجز

في كتابه ثروة الأمم، يوضح آدم سميث كيف يصبح تقسيم العمل المصدر الرئيسي لزيادة الإنتاجية. ومن الأمثلة على ذلك خط التجميع لمصنع الدبابيس: "يقوم عامل بسحب السلك، وآخر يقوم بتسويته، وثالث يقطعه، ورابع يشحذ النهاية، وخامس يطحن الطرف الآخر ليناسب الرأس". بفضل التخصص الذي يركز على وظائف محددة، يصبح كل موظف متخصصًا مؤهلاً تأهيلاً عاليًا في مهمته الضيقة، مما يؤدي إلى زيادة كفاءة العملية. يزداد الإنتاج لكل عامل عدة مرات، ويصبح المصنع أكثر كفاءة في إنتاج الدبابيس.

إن تقسيم العمل حسب الوظيفة متأصل في أذهاننا حتى اليوم لدرجة أننا قمنا بتنظيم فرقنا بسرعة وفقًا لذلك. علوم البيانات ليست استثناء. تتطلب قدرات الأعمال الخوارزمية المعقدة وظائف عمل متعددة، لذلك تقوم الشركات عادة بإنشاء فرق من المتخصصين: الباحثين، ومهندسي البيانات، ومهندسي التعلم الآلي، وعلماء السبب والنتيجة، وما إلى ذلك. يتم تنسيق عمل المتخصصين من قبل مدير المنتج مع نقل الوظائف بطريقة تشبه مصنع الدبوس: "يتلقى شخص البيانات، وآخر يصممها، وثالث ينفذها، ورابع يقيسها" وهكذا،

للأسف، لا ينبغي لنا تحسين فرق علوم البيانات لدينا لتحسين الإنتاجية. ومع ذلك، فإنك تفعل ذلك عندما تفهم ما تنتجه: دبابيس أو أي شيء آخر، وتسعى ببساطة إلى زيادة الكفاءة. الغرض من خطوط التجميع هو إكمال المهمة. نحن نعرف بالضبط ما نريده - الدبابيس (كما في مثال سميث)، ولكن يمكن ذكر أي منتج أو خدمة تصف فيها المتطلبات بشكل كامل جميع جوانب المنتج وسلوكه. ويتمثل دور الموظفين في تلبية هذه المتطلبات بأكبر قدر ممكن من الكفاءة.

لكن الهدف من علم البيانات ليس إكمال المهام. بل الهدف هو استكشاف وتطوير فرص عمل جديدة قوية. لا يمكن تطوير المنتجات والخدمات الخوارزمية مثل أنظمة التوصية، وتفاعلات العملاء، وتصنيف تفضيلات الأسلوب، والتحجيم، وتصميم الملابس، وتحسين الخدمات اللوجستية، واكتشاف الاتجاه الموسمي، وغير ذلك الكثير مسبقًا. يجب دراستها. لا توجد مخططات لتكرارها، فهذه احتمالات جديدة مع عدم اليقين المتأصل. المعاملات والنماذج وأنواع النماذج والمعلمات الفائقة وجميع العناصر الضرورية يجب تعلمها من خلال التجربة والتجربة والخطأ والتكرار. باستخدام الدبابيس، يتم التدريب والتصميم مسبقًا قبل الإنتاج. مع علم البيانات، ستتعلم كما تفعل، وليس قبل ذلك.

في مصنع الدبابيس، عندما يأتي التدريب أولاً، لا نتوقع ولا نريد من العمال أن يرتجلوا أي ميزة للمنتج بخلاف تحسين كفاءة الإنتاج. إن تخصيص المهام أمر منطقي لأنه يؤدي إلى كفاءة العملية واتساق الإنتاج (دون إجراء تغييرات على المنتج النهائي).

لكن عندما يكون المنتج في طور التطوير والهدف هو التدريب فإن التخصص يتعارض مع أهدافنا في الحالات التالية:

1. يزيد من تكاليف التنسيق.

أي تلك التكاليف التي تتراكم خلال الوقت الذي يقضيه في التواصل والمناقشة والتبرير وتحديد أولويات العمل الذي يجب القيام به. وتتدرج هذه التكاليف بشكل خطي للغاية مع عدد الأشخاص المعنيين. (كما علمنا ج. ريتشارد هاكمان، فإن عدد العلاقات r ينمو بشكل مشابه لدالة عدد الحدود n وفقًا لهذه المعادلة: r = (n^2-n)/2. وتكشف كل علاقة عن مقدار معين من علاقة التكلفة.) عندما يتم تنظيم علماء البيانات حسب الوظيفة، في كل مرحلة، مع كل تغيير، كل تسليم، وما إلى ذلك، تكون هناك حاجة إلى العديد من المتخصصين، مما يزيد من تكاليف التنسيق. على سبيل المثال، سيتعين على مصممي النماذج الإحصائية الذين يرغبون في تجربة ميزات جديدة التنسيق مع مهندسي البيانات الذين يضيفون إلى مجموعات البيانات في كل مرة يريدون تجربة شيء جديد. وبالمثل، فإن كل نموذج جديد يتم تدريبه يعني أن مطور النموذج سيحتاج إلى شخص ما للتنسيق معه لوضعه في مرحلة الإنتاج. تعمل تكاليف التنسيق كثمن للتكرار، مما يجعلها أكثر صعوبة وتكلفة وأكثر عرضة للتسبب في التخلي عن الدراسة. وهذا قد يتعارض مع التعلم.

2. يجعل أوقات الانتظار صعبة.

والأكثر صعوبة من تكاليف التنسيق هو الوقت الضائع بين نوبات العمل. في حين يتم قياس تكاليف التنسيق عادةً بالساعات - الوقت الذي يستغرقه إجراء الاجتماعات والمناقشات ومراجعات التصميم - يتم قياس وقت الانتظار عادةً بالأيام أو الأسابيع أو حتى الأشهر! من الصعب تحقيق التوازن بين جداول المتخصصين الوظيفيين لأنه يجب توزيع كل متخصص عبر مشاريع متعددة. يمكن أن يستغرق الاجتماع الذي يستغرق ساعة واحدة لمناقشة التغييرات أسابيع لتسهيل سير العمل. وبعد الاتفاق على التغييرات، لا بد من تخطيط العمل الفعلي نفسه في سياق العديد من المشاريع الأخرى التي تشغل وقت عمل المتخصصين. إن العمل الذي يتضمن إصلاحات التعليمات البرمجية أو البحث الذي يستغرق بضع ساعات أو أيام فقط لإكماله قد يستغرق وقتًا أطول بكثير قبل أن تصبح الموارد متاحة. وحتى ذلك الحين، سيتم تعليق التكرار والتعلم.

3. يضيق السياق.

يمكن لتقسيم العمل أن يحد بشكل مصطنع من التعلم من خلال مكافأة الأشخاص على بقائهم في تخصصهم. على سبيل المثال، عالم الأبحاث الذي يجب أن يظل ضمن نطاق وظيفته سيركز طاقته على تجربة أنواع مختلفة من الخوارزميات: الانحدار، والشبكات العصبية، والغابة العشوائية، وما إلى ذلك. وبطبيعة الحال، يمكن أن تؤدي اختيارات الخوارزمية الجيدة إلى تحسينات تدريجية، ولكن عادة ما يكون هناك الكثير الذي يمكن اكتسابه من الأنشطة الأخرى، مثل دمج مصادر البيانات الجديدة. وبالمثل، سيساعد ذلك في تطوير نموذج يستغل كل جزء من القوة التفسيرية الكامنة في البيانات. ومع ذلك، قد تكمن قوتها في تغيير الوظيفة الموضوعية أو تخفيف بعض القيود. يصعب رؤية ذلك أو القيام به عندما يكون عملها محدودًا. ولأن العالم التقني متخصص في تحسين الخوارزميات، فمن غير المرجح أن يفعل أي شيء آخر، حتى لو كان يجلب فوائد كبيرة.

لتسمية العلامات التي تظهر عندما تعمل فرق علوم البيانات كمصانع دبوس (على سبيل المثال، في تحديثات الحالة البسيطة): يعد "انتظار تغييرات مسار البيانات" و"انتظار موارد ML Eng" من أدوات الحظر الشائعة. ومع ذلك، أعتقد أن التأثير الأكثر خطورة هو ما لا تلاحظه، لأنه لا يمكنك أن تندم على ما لا تعرفه بالفعل. إن التنفيذ الذي لا تشوبه شائبة والرضا عن النفس المكتسب من تحقيق كفاءة العمليات يمكن أن يخفي حقيقة أن المؤسسات لا تدرك فوائد التعلم التي تفتقدها.

الحل لهذه المشكلة بالطبع هو التخلص من طريقة دبوس المصنع. لتشجيع التعلم والتكرار، يجب أن تكون أدوار عالم البيانات عامة ولكن مع مسؤوليات واسعة مستقلة عن الوظيفة الفنية، أي تنظيم علماء البيانات بحيث يتم تحسينهم للتعلم. وهذا يعني توظيف "متخصصين متكاملين" - متخصصون عامون يمكنهم أداء مجموعة متنوعة من الوظائف، بدءًا من المفهوم وحتى النمذجة، ومن التنفيذ إلى القياس. من المهم أن نلاحظ أنني لا أقترح أن توظيف المواهب الكاملة يجب أن يقلل من عدد الموظفين. وبدلاً من ذلك، سأفترض ببساطة أنه عندما يتم تنظيمهم بشكل مختلف، فإن حوافزهم تتوافق بشكل أفضل مع فوائد التعلم والأداء. على سبيل المثال، لنفترض أن لديك فريقًا مكونًا من ثلاثة أشخاص يتمتعون بثلاث مهارات عمل. في مصنع الدبابيس، يخصص كل فني ثلث وقته لكل مهمة وظيفية، حيث لا يمكن لأي شخص آخر القيام بعمله. في المجموعة الكاملة، يكون كل اختصاصي متخصصًا بالكامل في عملية الأعمال بأكملها وتوسيع نطاقها والتدريب.

ومع وجود عدد أقل من الأشخاص الذين يدعمون دورة الإنتاج، يقل التنسيق. يتحرك الاختصاصي بسلاسة بين الميزات، ويوسع خط البيانات لإضافة المزيد من البيانات، ويجرب ميزات جديدة في النماذج، وينشر إصدارات جديدة للإنتاج للقياسات السببية، ويكرر الخطوات بمجرد ظهور أفكار جديدة. وبطبيعة الحال، تؤدي عربة المحطة وظائف مختلفة بالتتابع وليس بالتوازي. بعد كل شيء، إنه مجرد شخص واحد. ومع ذلك، عادةً ما يستغرق إكمال المهمة جزءًا صغيرًا فقط من الوقت المطلوب للوصول إلى مورد متخصص آخر. وبالتالي فإن زمن التكرار يقل.

قد لا يكون الاختصاصي لدينا بنفس مهارة المتخصص في وظيفة معينة، ولكننا لا نسعى جاهدين لتحقيق الكمال الوظيفي أو تحسينات تدريجية صغيرة. بل نسعى جاهدين للتعلم واكتشاف المزيد والمزيد من التحديات المهنية ذات التأثير التدريجي. ومع وجود سياق شامل للحل الكامل، فهو يرى الفرص التي قد يفوتها المتخصص. لديه المزيد من الأفكار والمزيد من الاحتمالات. لقد فشل أيضًا. ومع ذلك، فإن تكلفة الفشل منخفضة وفوائد التعلم مرتفعة. ويعزز عدم التماثل هذا التكرار السريع ويكافئ التعلم.

من المهم أن نلاحظ أن مقدار الاستقلالية وتنوع المهارات الممنوحة للعلماء الكاملين يعتمد إلى حد كبير على قوة منصة البيانات التي سيتم العمل عليها. تعمل منصة البيانات المصممة جيدًا على تجريد علماء البيانات من تعقيدات النقل بالحاويات، والمعالجة الموزعة، وتجاوز الفشل التلقائي، ومفاهيم الحوسبة المتقدمة الأخرى. بالإضافة إلى التجريد، يمكن لمنصة البيانات القوية أن توفر اتصالاً سلسًا بالبنية التحتية التجريبية، وأتمتة المراقبة والتنبيه، وتمكين القياس التلقائي وتصور نتائج الخوارزمية وتصحيح الأخطاء. تم تصميم هذه المكونات وبناؤها بواسطة مهندسي منصة البيانات، مما يعني أنه لا يتم نقلها من عالم البيانات إلى فريق تطوير منصة البيانات. إن متخصص علوم البيانات هو المسؤول عن جميع التعليمات البرمجية المستخدمة لتشغيل النظام الأساسي.

أنا أيضًا كنت ذات يوم مهتمًا بالتقسيم الوظيفي للعمل باستخدام كفاءة العمليات، ولكن من خلال التجربة والخطأ (لا توجد طريقة أفضل للتعلم)، اكتشفت أن الأدوار النموذجية تسهل بشكل أفضل التعلم والابتكار وتوفر المقاييس الصحيحة: الاكتشاف والتغيير. بناء العديد من الفرص التجارية أكثر من النهج المتخصص. (الطريقة الأكثر فعالية للتعرف على هذا النهج في التنظيم من التجربة والخطأ التي مررت بها هي قراءة كتاب إيمي إدموندسون "تعاون الفريق: كيف تتعلم المنظمات وتبتكر وتتنافس في اقتصاد المعرفة").

هناك بعض الافتراضات المهمة التي قد تجعل هذا النهج في التنظيم أكثر أو أقل موثوقية في بعض الشركات. تقلل عملية التكرار من تكلفة التجربة والخطأ. إذا كانت تكلفة الخطأ مرتفعة، فقد ترغب في تقليلها (ولكن لا يوصى بذلك للتطبيقات الطبية أو التصنيع). بالإضافة إلى ذلك، إذا كنت تتعامل مع بيتابايت أو إكسابايت من البيانات، فقد يكون التخصص في هندسة البيانات مطلوبًا. وبالمثل، إذا كان الحفاظ على قدرات الأعمال التجارية عبر الإنترنت وتوافرها أكثر أهمية من تحسينها، فإن التميز الوظيفي قد يتفوق على التعلم. وأخيرًا، يعتمد نموذج المكدس الكامل على آراء الأشخاص الذين يعرفونه. إنهم ليسوا حيدات. يمكنك العثور عليها أو تحضيرها بنفسك. ومع ذلك، فإن الطلب عليها مرتفع، وسيتطلب جذبهم والاحتفاظ بهم تعويضات تنافسية وقيمًا مؤسسية قوية وعملًا صعبًا. تأكد من أن ثقافة شركتك يمكن أن تدعم ذلك.

حتى مع كل ما قيل، أعتقد أن نموذج المكدس الكامل يوفر أفضل ظروف البدء. ابدأ بها، ثم تحرك بوعي نحو التقسيم الوظيفي للعمل فقط عند الضرورة القصوى.

هناك عيوب أخرى للتخصص الوظيفي. وهذا يمكن أن يؤدي إلى فقدان المسؤولية والسلبية من جانب العمال. ينتقد سميث نفسه تقسيم العمل، مشيرًا إلى أنه يؤدي إلى تبلد الموهبة، أي تبلد الموهبة. يصبح العمال جاهلين ومنسحبين لأن أدوارهم تقتصر على عدد قليل من المهام المتكررة. في حين أن التخصص قد يوفر كفاءة العمليات، إلا أنه من غير المرجح أن يلهم العمال.

وفي المقابل، توفر الأدوار المتنوعة كل الأشياء التي تؤدي إلى الرضا الوظيفي: الاستقلالية والإتقان والغرض. الاستقلالية هي أنهم لا يعتمدون على أي شيء لتحقيق النجاح. الإتقان يكمن في المزايا التنافسية القوية. ويكمن الإحساس بالهدف في فرصة التأثير على الأعمال التي ينشئونها. إذا استطعنا أن نجعل الناس متحمسين لعملهم وأن يكون لهم تأثير كبير على الشركة، فإن كل شيء آخر سيكون في مكانه الصحيح.

المصدر: www.habr.com

إضافة تعليق