صدر مؤخرا مما يدل على اتجاه جيد في التعلم الآلي في السنوات الأخيرة. باختصار: انخفض عدد الشركات الناشئة في مجال التعلم الآلي خلال العامين الماضيين.
حسنًا. دعونا نلقي نظرة على "ما إذا كانت الفقاعة قد انفجرت"، و"كيفية الاستمرار في العيش" ونتحدث عن مصدر هذا التمايل في المقام الأول.
أولاً، دعونا نتحدث عن ما كان الداعم لهذا المنحنى. حيث أنها لم تأتي من؟ ربما سيتذكرون كل شيء التعلم الآلي في عام 2012 في مسابقة ImageNet. بعد كل شيء، هذا هو الحدث العالمي الأول! ولكن في الواقع هذا ليس هو الحال. ويبدأ نمو المنحنى قبل ذلك بقليل. وأود أن تقسيمها إلى عدة نقاط.
- شهد عام 2008 ظهور مصطلح "البيانات الضخمة". بدأت المنتجات الحقيقية منذ عام 2010. ترتبط البيانات الضخمة ارتباطًا مباشرًا بالتعلم الآلي. وبدون البيانات الضخمة، فإن التشغيل المستقر للخوارزميات التي كانت موجودة في ذلك الوقت أمر مستحيل. وهذه ليست شبكات عصبية. حتى عام 2012، كانت الشبكات العصبية حكرًا على أقلية هامشية. ولكن بعد ذلك بدأت خوارزميات مختلفة تمامًا في العمل، والتي كانت موجودة منذ سنوات، أو حتى عقود: (1963,1993،XNUMX)، (1995) (2003)،... ترتبط الشركات الناشئة في تلك السنوات بشكل أساسي بالمعالجة التلقائية للبيانات المنظمة: سجلات النقد والمستخدمين والإعلانات وغير ذلك الكثير.
مشتق من هذه الموجة الأولى هو مجموعة من الأطر مثل XGBoost، CatBoost، LightGBM، إلخ.
- في 2011-2012 فاز بعدد من مسابقات التعرف على الصور. وقد تأخر استخدامها الفعلي إلى حد ما. أود أن أقول إن الشركات الناشئة والحلول ذات المغزى على نطاق واسع بدأت في الظهور في عام 2014. استغرق الأمر عامين لاستيعاب حقيقة أن الخلايا العصبية لا تزال تعمل، وإنشاء أطر مناسبة يمكن تثبيتها وإطلاقها في وقت معقول، وتطوير أساليب من شأنها تثبيت وتسريع وقت التقارب.
جعلت الشبكات التلافيفية من الممكن حل مشاكل رؤية الكمبيوتر: تصنيف الصور والأشياء في الصورة، واكتشاف الكائنات، والتعرف على الأشياء والأشخاص، وتحسين الصورة، وما إلى ذلك، وما إلى ذلك.
- 2015-2017. ازدهار الخوارزميات والمشاريع القائمة على الشبكات المتكررة أو نظائرها (LSTM، GRU، TransformerNet، وما إلى ذلك). ظهرت خوارزميات تحويل الكلام إلى نص وأنظمة الترجمة الآلية التي تعمل بشكل جيد. وهي تعتمد جزئيًا على الشبكات التلافيفية لاستخراج الميزات الأساسية. ويرجع ذلك جزئيًا إلى حقيقة أننا تعلمنا جمع مجموعات بيانات كبيرة وجيدة حقًا.
"هل انفجرت الفقاعة؟ هل الضجيج محموم؟ هل ماتوا كسلسلة كتل؟"
خلاف ذلك! غدًا سيتوقف سيري عن العمل على هاتفك، وبعد غد لن تعرف تسلا الفرق بين المنعطف والكنغر.
الشبكات العصبية تعمل بالفعل. هم في العشرات من الأجهزة. إنها تتيح لك حقًا كسب المال وتغيير السوق والعالم من حولك. يبدو الضجيج مختلفًا بعض الشيء:
كل ما في الأمر أن الشبكات العصبية لم تعد شيئًا جديدًا. نعم، كثير من الناس لديهم توقعات عالية. لكن عددًا كبيرًا من الشركات تعلمت كيفية استخدام الخلايا العصبية وصنع منتجات تعتمد عليها. توفر الخلايا العصبية وظائف جديدة، وتسمح لك بتقليص الوظائف وخفض أسعار الخدمات:
- تقوم شركات التصنيع بدمج الخوارزميات لتحليل عيوب خط الإنتاج.
- تشتري مزارع الماشية أنظمة للتحكم في الأبقار.
- يجمع التلقائي.
- مراكز الاتصال الآلية.
- المرشحات في سناب شات. (حسنا، على الأقل شيء مفيد!)
لكن الشيء الرئيسي، وليس الأكثر وضوحا: "لم تعد هناك أفكار جديدة، وإلا فإنها لن تجلب رأس المال الفوري". لقد نجحت الشبكات العصبية في حل العشرات من المشاكل. وسوف يقررون أكثر من ذلك. كل الأفكار الواضحة الموجودة أدت إلى ظهور العديد من الشركات الناشئة. لكن كل ما كان على السطح قد تم جمعه بالفعل. خلال العامين الماضيين، لم أواجه أي فكرة جديدة لاستخدام الشبكات العصبية. لا يوجد نهج جديد واحد (حسنًا، حسنًا، هناك بعض المشكلات في شبكات GAN).
وكل شركة ناشئة لاحقة تصبح أكثر تعقيدًا. لم يعد الأمر يتطلب رجلين يقومان بتدريب خلية عصبية باستخدام البيانات المفتوحة. فهو يتطلب مبرمجين، وخادمًا، وفريقًا من العلامات، ودعمًا معقدًا، وما إلى ذلك.
ونتيجة لذلك، هناك عدد أقل من الشركات الناشئة. ولكن هناك المزيد من الإنتاج. هل تحتاج إلى إضافة ميزة التعرف على لوحة الترخيص؟ هناك المئات من المتخصصين ذوي الخبرة ذات الصلة في السوق. يمكنك تعيين شخص ما وفي غضون شهرين سيقوم موظفك بإنشاء النظام. أو شراء الجاهزة. لكن القيام بشركة ناشئة جديدة؟.. جنون!
أنت بحاجة إلى إنشاء نظام لتتبع الزائرين - لماذا تدفع مقابل مجموعة من التراخيص بينما يمكنك إنشاء تراخيص خاصة بك في غضون 3-4 أشهر، وصقلها لصالح عملك.
الآن تمر الشبكات العصبية بنفس المسار الذي مرت به العشرات من التقنيات الأخرى.
هل تتذكر كيف تغير مفهوم "مطور المواقع" منذ عام 1995؟ السوق لم يشبع بعد بالمتخصصين. هناك عدد قليل جدا من المهنيين. لكن يمكنني أن أراهن أنه خلال 5 إلى 10 سنوات لن يكون هناك فرق كبير بين مبرمج Java ومطور الشبكات العصبية. سيكون هناك ما يكفي من كلا المتخصصين في السوق.
سيكون هناك ببساطة فئة من المشاكل التي يمكن حلها عن طريق الخلايا العصبية. لقد نشأت مهمة - استئجار متخصص.
"ماذا بعد؟ أين الذكاء الاصطناعي الموعود؟”
ولكن هنا يوجد سوء فهم صغير ولكنه مثير للاهتمام :)
من الواضح أن مجموعة التكنولوجيا الموجودة اليوم لن تقودنا إلى الذكاء الاصطناعي. لقد استنفدت الأفكار وحداثتها نفسها إلى حد كبير. دعونا نتحدث عن ما يحمل المستوى الحالي من التطور.
القيود
لنبدأ بالسيارات ذاتية القيادة. يبدو من الواضح أنه من الممكن صنع سيارات ذاتية القيادة بالكامل باستخدام تكنولوجيا اليوم. ولكن في كم سنة سيحدث هذا غير واضح. تعتقد تسلا أن هذا سيحدث في غضون عامين -
هناك العديد من الآخرين ، الذين يقدرونها بـ 5-10 سنوات.
على الأرجح، في رأيي، في غضون 15 عاما، ستتغير البنية التحتية للمدن نفسها بطريقة تجعل ظهور السيارات المستقلة أمرا لا مفر منه وسيصبح استمرارا له. لكن هذا لا يمكن اعتباره ذكاءً. تعد Tesla الحديثة بمثابة خط أنابيب معقد للغاية لتصفية البيانات والبحث وإعادة التدريب. هذه هي القواعد والقواعد وجمع البيانات والمرشحات عليها (هنا لقد كتبت أكثر قليلا عن هذا، أو مشاهدة من علامات).
المشكلة الأولى
وهذا هو المكان الذي نرى فيه المشكلة الأساسية الأولى. البيانات الكبيرة. وهذا هو بالضبط ما أدى إلى ولادة الموجة الحالية من الشبكات العصبية والتعلم الآلي. في الوقت الحاضر، للقيام بشيء معقد وتلقائي، تحتاج إلى الكثير من البيانات. ليس كثيرًا فحسب، بل كثيرًا جدًا. نحن بحاجة إلى خوارزميات آلية لجمعها ووضع علامات عليها واستخدامها. نريد أن نجعل السيارة ترى الشاحنات التي تواجه الشمس - يجب علينا أولاً جمع عدد كافٍ منها. نريد ألا تصاب السيارة بالجنون عندما تكون الدراجة مثبتة بمسامير في صندوق السيارة - المزيد من العينات.
علاوة على ذلك، مثال واحد لا يكفي. المئات؟ الآلاف؟
المشكلة الثانية
المشكلة الثانية - تصور لما فهمته شبكتنا العصبية. هذه مهمة غير تافهة للغاية. حتى الآن، قليل من الناس يفهمون كيفية تصور ذلك. هذه المقالات حديثة جدًا، وهذه مجرد أمثلة قليلة، حتى لو كانت بعيدة:
هاجس القوام. إنه يُظهر جيدًا ما تميل الخلية العصبية إلى التركيز عليه + ما تعتبره معلومات أولية.
الاهتمام عند . في الواقع، غالبًا ما يمكن استخدام الجاذبية على وجه التحديد لإظهار سبب رد الفعل الشبكي هذا. لقد رأيت مثل هذه الأشياء لكل من تصحيح الأخطاء وحلول المنتجات. هناك الكثير من المقالات حول هذا الموضوع. ولكن كلما كانت البيانات أكثر تعقيدا، كلما أصبح من الصعب فهم كيفية تحقيق تصور قوي.
حسنًا، نعم، المجموعة القديمة الجيدة من "انظر إلى ما يوجد داخل الشبكة " كانت هذه الصور رائجة منذ 3-4 سنوات، لكن سرعان ما أدرك الجميع أن الصور كانت جميلة، لكنها لم تكن تحمل الكثير من المعنى.
ولم أذكر العشرات من الأدوات والأساليب والاختراقات والأبحاث الأخرى حول كيفية عرض الأجزاء الداخلية للشبكة. هل تعمل هذه الأدوات؟ هل تساعدك على فهم المشكلة بسرعة وتصحيح أخطاء الشبكة؟.. احصل على النسبة المئوية الأخيرة؟ حسنًا ، إنه نفس الشيء تقريبًا:
يمكنك مشاهدة أي مسابقة على Kaggle. ووصف لكيفية اتخاذ الناس للقرارات النهائية. لقد قمنا بتجميع 100-500-800 وحدة من النماذج وقد نجحت!
أنا أبالغ بالطبع. لكن هذه الأساليب لا تقدم إجابات سريعة ومباشرة.
مع وجود خبرة كافية، بعد أن بحثت في خيارات مختلفة، يمكنك إصدار حكم حول سبب اتخاذ نظامك مثل هذا القرار. ولكن سيكون من الصعب تصحيح سلوك النظام. قم بتركيب عكاز، وتحريك العتبة، وإضافة مجموعة بيانات، واستخدام شبكة خلفية أخرى.
المشكلة الثالثة
المشكلة الأساسية الثالثة - الشبكات تعلم الإحصائيات، وليس المنطق. إحصائيا هذا :
منطقيا، انها ليست مشابهة جدا. لا تتعلم الشبكات العصبية أي شيء معقد إلا إذا أُجبرت على ذلك. إنهم يعلمون دائمًا أبسط العلامات الممكنة. هل لديك عيون، أنف، رأس؟ إذن هذا هو الوجه! أو أعط مثالاً حيث العيون لا تعني الوجه. ومرة أخرى - ملايين الأمثلة.
هناك مساحة كافية في الاسفل
أود أن أقول إن هذه المشاكل العالمية الثلاث هي التي تحد حاليًا من تطوير الشبكات العصبية والتعلم الآلي. وحيثما لم تحده هذه المشاكل، فهو يستخدم بالفعل بنشاط.
هذه هي النهاية؟ هل الشبكات العصبية مرتفعة؟
مجهول. ولكن، بالطبع، لا يأمل الجميع ذلك.
هناك العديد من الأساليب والاتجاهات لحل المشكلات الأساسية التي أبرزتها أعلاه. لكن حتى الآن، لم يسمح أي من هذه الأساليب بالقيام بشيء جديد بشكل أساسي، لحل شيء لم يتم حله بعد. حتى الآن، يتم تنفيذ جميع المشاريع الأساسية على أساس مناهج مستقرة (Tesla)، أو تظل مشاريع اختبارية للمعاهد أو الشركات (Google Brain، OpenAI).
بشكل تقريبي، الاتجاه الرئيسي هو إنشاء تمثيل عالي المستوى لبيانات الإدخال. بمعنى "الذاكرة". أبسط مثال على الذاكرة هو "التضمين" المتنوع - تمثيلات الصور. حسنا، على سبيل المثال، جميع أنظمة التعرف على الوجه. تتعلم الشبكة الحصول من الوجه على بعض التمثيل المستقر الذي لا يعتمد على التدوير أو الإضاءة أو الدقة. بشكل أساسي، تعمل الشبكة على تقليل المقياس "الوجوه المختلفة بعيدة" و"الوجوه المتطابقة قريبة".
لمثل هذا التدريب، هناك حاجة إلى عشرات ومئات الآلاف من الأمثلة. لكن النتيجة تحمل بعض أساسيات "التعلم بلقطة واحدة". الآن لا نحتاج إلى مئات الوجوه لنتذكر شخصًا ما. وجه واحد فقط وهذا كل ما نحن عليه !
هناك مشكلة واحدة فقط... يمكن للشبكة أن تتعلم فقط أشياء بسيطة إلى حد ما. عند محاولة التمييز ليس بين الوجوه، ولكن، على سبيل المثال، "الأشخاص حسب الملابس" (المهمة ) - تنخفض الجودة بعدة مراتب من حيث الحجم. ولم تعد الشبكة قادرة على تعلم التغيرات الواضحة في الزوايا.
والتعلم من ملايين الأمثلة يعد أيضًا نوعًا من المرح.
هناك عمل على تقليص الانتخابات بشكل كبير. على سبيل المثال، يمكنك أن تتذكر على الفور أحد الأعمال الأولى التعلم بون شوت :
هناك العديد من هذه الأعمال، على سبيل المثال أو أو .
هناك عيب واحد فقط - عادةً ما يعمل التدريب بشكل جيد على بعض الأمثلة البسيطة "MNIST". وعند الانتقال إلى المهام المعقدة، فأنت بحاجة إلى قاعدة بيانات كبيرة، أو نموذج للكائنات، أو نوع من السحر.
بشكل عام، يعد العمل على تدريب One-Shot موضوعًا مثيرًا للاهتمام للغاية. تجد الكثير من الأفكار. ولكن بالنسبة للجزء الأكبر، فإن المشكلتين اللتين أدرجتهما (التدريب المسبق على مجموعة بيانات ضخمة / عدم الاستقرار على البيانات المعقدة) تتداخلان بشكل كبير مع التعلم.
من ناحية أخرى، تقترب شبكات GAN – شبكات الخصومة التوليدية – من موضوع التضمين. من المحتمل أنك قرأت مجموعة من المقالات عن حبري حول هذا الموضوع. (, ,)
إحدى ميزات GAN هي تكوين بعض مساحة الحالة الداخلية (نفس التضمين بشكل أساسي)، والذي يسمح لك برسم صورة. يمكن أن يكون ، يمكن ان يكون .
المشكلة في GAN هي أنه كلما كان الكائن الذي تم إنشاؤه أكثر تعقيدًا، كلما كان من الصعب وصفه بمنطق "تمييز المولد". ونتيجة لذلك، فإن التطبيقات الحقيقية الوحيدة لـ GAN التي سمعنا عنها هي DeepFake، والتي، مرة أخرى، تتلاعب بتمثيلات الوجه (التي توجد لها قاعدة ضخمة).
لقد رأيت عددًا قليلاً جدًا من الاستخدامات المفيدة الأخرى. عادة ما يكون هناك نوع من الخداع الذي يتضمن الانتهاء من رسومات الصور.
ومره اخرى. لا أحد لديه أي فكرة كيف سيسمح لنا هذا بالانتقال إلى مستقبل أكثر إشراقًا. يعد تمثيل المنطق/المساحة في الشبكة العصبية أمرًا جيدًا. لكننا نحتاج إلى عدد كبير من الأمثلة، فنحن لا نفهم كيف تمثل الخلية العصبية هذا في حد ذاته، ولا نفهم كيفية جعل الخلية العصبية تتذكر بعض الأفكار المعقدة حقًا.
تعزيز التعلم - هذا نهج من اتجاه مختلف تماما. من المؤكد أنك تتذكر كيف تغلب Google على الجميع في Go. الانتصارات الأخيرة في Starcraft و Dota. ولكن هنا كل شيء أبعد ما يكون عن الوردي والواعد. يتحدث بشكل أفضل عن RL وتعقيداته .
وتلخيص ما كتبه المؤلف بإيجاز:
- النماذج التي تم إخراجها من الصندوق لا تتناسب / تعمل بشكل سيء في معظم الحالات
- من الأسهل حل المشكلات العملية بطرق أخرى. لا تستخدم Boston Dynamics RL نظرًا لتعقيدها/عدم القدرة على التنبؤ/التعقيد الحسابي
- لكي يعمل RL، تحتاج إلى وظيفة معقدة. غالبًا ما يكون من الصعب الإنشاء/الكتابة
- من الصعب تدريب النماذج. عليك أن تقضي الكثير من الوقت في الضخ والخروج من الأمثل المحلي
- نتيجة لذلك، من الصعب تكرار النموذج، النموذج غير مستقر مع أدنى تغييرات
- غالبًا ما يتفوق على نوع ما من الأنماط اليسارية، حتى مولد أرقام عشوائي
النقطة الأساسية هي أن RL لا تعمل بعد في الإنتاج. جوجل لديها بعض التجارب ( , ). لكنني لم أر نظام منتج واحد.
مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء . الجانب السلبي لكل ما هو موضح أعلاه هو الافتقار إلى الهيكل. إحدى الطرق لمحاولة تنظيم كل هذا هي تزويد الشبكة العصبية بإمكانية الوصول إلى ذاكرة منفصلة. حتى تتمكن من تسجيل وإعادة كتابة نتائج خطواتها هناك. ثم يمكن تحديد الشبكة العصبية من خلال حالة الذاكرة الحالية. وهذا مشابه جدًا للمعالجات وأجهزة الكمبيوتر الكلاسيكية.
الأكثر شهرة وشعبية - من ديب مايند:
ويبدو أن هذا هو المفتاح لفهم الذكاء؟ ولكن ربما لا. لا يزال النظام يتطلب كمية هائلة من البيانات للتدريب. ويعمل بشكل أساسي مع البيانات الجدولية المنظمة. وعلاوة على ذلك، عندما الفيسبوك مشكلة مماثلة، ثم اتخذوا المسار "أفسدوا الذاكرة، فقط اجعلوا الخلية العصبية أكثر تعقيدًا، واحصلوا على المزيد من الأمثلة - وسوف تتعلم من تلقاء نفسها".
التفكك. هناك طريقة أخرى لإنشاء ذاكرة ذات معنى وهي أخذ نفس التضمينات، ولكن أثناء التدريب، قم بإدخال معايير إضافية تسمح لك بإبراز "المعاني" فيها. على سبيل المثال، نريد تدريب شبكة عصبية للتمييز بين السلوك البشري في المتجر. إذا اتبعنا المسار القياسي، فسيتعين علينا إنشاء عشرات الشبكات. الأول يبحث عن الإنسان، والثاني تحديد ما يفعله، والثالث عمره، والرابع جنسه. ينظر المنطق المنفصل إلى جزء المتجر حيث يتم/يتم تدريبه للقيام بذلك. والثالث يحدد مساره، الخ.
أو، إذا كان هناك كمية لا حصر لها من البيانات، فسيكون من الممكن تدريب شبكة واحدة على جميع النتائج المحتملة (من الواضح أنه لا يمكن جمع مثل هذه المجموعة من البيانات).
يخبرنا نهج التفكيك - دعونا ندرب الشبكة حتى تتمكن هي نفسها من التمييز بين المفاهيم. بحيث يتم تشكيل تضمين بناءً على الفيديو، حيث تحدد منطقة واحدة الإجراء، وواحدة تحدد الوضع على الأرض في الوقت المناسب، وواحدة تحدد طول الشخص، وواحدة تحدد جنس الشخص. في الوقت نفسه، عند التدريب، لا أرغب تقريبًا في حث الشبكة على مثل هذه المفاهيم الأساسية، بل على العكس من ذلك لتسليط الضوء على المجالات وتجميعها. هناك عدد غير قليل من هذه المقالات (بعضها , , ) وبشكل عام فهي نظرية تماما.
لكن هذا الاتجاه، على الأقل من الناحية النظرية، ينبغي أن يغطي المشاكل المذكورة في البداية.
تحلل الصورة وفقًا للمعايير "لون الجدار/لون الأرضية/شكل الجسم/لون الجسم/إلخ."
تحلل الوجه حسب العوامل “الحجم، الحواجب، الاتجاه، لون البشرة، إلخ”.
آخر
هناك العديد من المجالات الأخرى، غير العالمية، التي تسمح لك بتقليل قاعدة البيانات بطريقة أو بأخرى، والعمل مع المزيد من البيانات غير المتجانسة، وما إلى ذلك.
انتباه. ربما ليس من المنطقي فصل هذا كطريقة منفصلة. مجرد نهج يعزز الآخرين. العديد من المقالات مخصصة له (,,). نقطة الاهتمام هي تعزيز استجابة الشبكة على وجه التحديد للأشياء المهمة أثناء التدريب. في كثير من الأحيان عن طريق نوع ما من تحديد الأهداف الخارجية، أو شبكة خارجية صغيرة.
محاكاة ثلاثية الأبعاد. إذا قمت بإنشاء محرك ثلاثي الأبعاد جيد، فيمكنك غالبًا تغطية 3% من بيانات التدريب به (حتى أنني رأيت مثالاً حيث تمت تغطية 90% تقريبًا من البيانات بواسطة محرك جيد). هناك العديد من الأفكار والاختراقات حول كيفية جعل الشبكة المدربة على محرك ثلاثي الأبعاد تعمل باستخدام بيانات حقيقية (الضبط الدقيق، ونقل الأنماط، وما إلى ذلك). لكن غالبًا ما يكون صنع محرك جيد أصعب بعدة مرات من جمع البيانات. أمثلة على صنع المحركات:
تدريب الروبوت (, )
تدريب البضائع الموجودة في المتجر (ولكن في المشروعين اللذين قمنا بهما، قمنا بالاستغناء عنها بسهولة).
التدريب في تسلا (مرة أخرى، الفيديو أعلاه).
النتائج
المقال كله، بمعنى ما، استنتاجات. ربما كانت الرسالة الرئيسية التي أردت إيصالها هي "لقد انتهت الهدايا المجانية، ولم تعد الخلايا العصبية تقدم حلولاً بسيطة". الآن نحن بحاجة إلى العمل الجاد لاتخاذ قرارات معقدة. أو العمل بجد لإجراء بحث علمي معقد.
على العموم الموضوع قابل للنقاش ربما القراء لديهم أمثلة أكثر إثارة للاهتمام؟
المصدر: www.habr.com