هاتان الكلمتان الطنانتان في علم البيانات تربكان الكثير من الناس. غالبًا ما يُساء فهم استخراج البيانات على أنه استخراج البيانات واسترجاعها، لكن الواقع أكثر تعقيدًا. في هذا المنشور، دعونا نركز على التعدين ونكتشف الفرق بين استخراج البيانات واستخراج البيانات.
ما هو استخراج البيانات؟
استخراج البيانات، ويسمى أيضًا اكتشاف المعرفة في قاعدة البيانات (KDD)هي تقنية تستخدم غالبًا لتحليل مجموعات البيانات الكبيرة باستخدام الأساليب الإحصائية والرياضية للعثور على الأنماط أو الاتجاهات المخفية واستخراج القيمة منها.
ما الذي يمكن عمله بالتنقيب عن البيانات؟
من خلال أتمتة العملية، يمكنه تصفح قواعد البيانات والكشف بشكل فعال عن الأنماط المخفية. بالنسبة للشركات، غالبًا ما يُستخدم التنقيب في البيانات لاكتشاف الأنماط والعلاقات في البيانات للمساعدة في اتخاذ قرارات عمل أفضل.
أمثلة التطبيق
بعد انتشار استخراج البيانات على نطاق واسع في التسعينيات، بدأت الشركات في مجموعة واسعة من الصناعات، بما في ذلك البيع بالتجزئة والتمويل والرعاية الصحية والنقل والاتصالات والتجارة الإلكترونية وما إلى ذلك، في استخدام أساليب استخراج البيانات للحصول على معلومات على أساس البيانات. يمكن أن يساعد استخراج البيانات في تقسيم العملاء وتحديد الاحتيال والتنبؤ بالمبيعات والمزيد.
- فئات الزبائن
ومن خلال تحليل بيانات العملاء وتحديد سمات العملاء المستهدفين، يمكن للشركات تجميعهم في مجموعة منفصلة وتقديم عروض خاصة تلبي احتياجاتهم. - تحليل سلة السوق
تعتمد هذه التقنية على النظرية القائلة بأنه إذا قمت بشراء مجموعة معينة من المنتجات، فمن المرجح أن تشتري مجموعة مختلفة من المنتجات. أحد الأمثلة الشهيرة: عندما يشتري الآباء حفاضات لأطفالهم، فإنهم يميلون إلى شراء البيرة مع الحفاضات. - التنبؤ بالمبيعات
قد يبدو الأمر مشابهًا لتحليل سلة السوق، ولكن يتم استخدام تحليل البيانات هذه المرة للتنبؤ بالوقت الذي سيشتري فيه العميل منتجًا مرة أخرى في المستقبل. على سبيل المثال، يشتري المدرب علبة بروتين تكفي لمدة 9 أشهر. يخطط المتجر الذي يبيع هذا البروتين لإصدار بروتين جديد خلال 9 أشهر حتى يشتريه المدرب مرة أخرى. - الكشف عن الغش
يساعد استخراج البيانات في بناء نماذج للكشف عن الاحتيال. ومن خلال جمع عينات من التقارير الاحتيالية والصادقة، يتم تمكين الشركات من تحديد المعاملات المشبوهة. - الكشف عن الأنماط في الإنتاج
في الصناعة التحويلية، يتم استخدام استخراج البيانات للمساعدة في تصميم الأنظمة من خلال تحديد العلاقة بين بنية المنتج والملف الشخصي واحتياجات العملاء. يمكن أن يتنبأ استخراج البيانات أيضًا بأوقات وتكاليف تطوير المنتج.
وهذه مجرد أمثلة قليلة من حالات الاستخدام لاستخراج البيانات.
مراحل استخراج البيانات
تعد عملية التنقيب عن البيانات عملية شاملة لجمع البيانات واختيارها وتنظيفها وتحويلها واستخراجها من أجل تقييم الأنماط، وفي النهاية استخراج القيمة.
بشكل عام، يمكن تلخيص عملية التنقيب عن البيانات بأكملها في 7 خطوات:
- تنظيف البيانات
في العالم الحقيقي، لا يتم دائمًا تنظيف البيانات وتنظيمها. غالبًا ما تكون صاخبة وغير مكتملة وقد تحتوي على أخطاء. للتأكد من دقة نتيجة استخراج البيانات، تحتاج أولاً إلى تنظيف البيانات. تتضمن بعض طرق التنظيف ملء القيم المفقودة وعناصر التحكم التلقائية واليدوية وما إلى ذلك. - تكامل البيانات
هذه هي المرحلة التي يتم فيها استخراج البيانات من مصادر مختلفة ودمجها وتكاملها. يمكن أن تكون المصادر قواعد بيانات، وملفات نصية، وجداول بيانات، ومستندات، ومجموعات بيانات متعددة الأبعاد، والإنترنت، وما إلى ذلك. - أخذ عينات البيانات
عادة، لا تكون هناك حاجة إلى جميع البيانات المتكاملة في استخراج البيانات. أخذ عينات البيانات هو المرحلة التي يتم فيها اختيار البيانات المفيدة فقط واستخراجها من قاعدة بيانات كبيرة. - تحويل البيانات
وبمجرد اختيار البيانات، يتم تحويلها إلى نماذج مناسبة للتعدين. تتضمن هذه العملية التطبيع والتجميع والتعميم وما إلى ذلك. - بيانات التعدين
هنا يأتي الجزء الأكثر أهمية في التنقيب عن البيانات، وهو استخدام أساليب ذكية للعثور على الأنماط فيها. تتضمن العملية الانحدار والتصنيف والتنبؤ والتجميع والتعلم الارتباطي والمزيد. - تقييم النموذج
تهدف هذه الخطوة إلى تحديد الأنماط التي قد تكون مفيدة وسهلة الفهم، بالإضافة إلى الأنماط التي تدعم الفرضيات. - تمثيل المعرفة
في المرحلة النهائية، يتم تقديم المعلومات التي تم الحصول عليها بطريقة جذابة باستخدام طرق تمثيل المعرفة والتصور.
عيوب التنقيب عن البيانات
- استثمار كبير للوقت والعمل
نظرًا لأن استخراج البيانات عملية طويلة ومعقدة، فإنها تتطلب الكثير من العمل من الأشخاص المنتجين والمهرة. يمكن لعلماء البيانات استخدام أدوات قوية لاستخراج البيانات، لكنهم يحتاجون إلى خبراء لإعداد البيانات وفهم النتائج. ونتيجة لذلك، قد يستغرق الأمر بعض الوقت لمعالجة كافة المعلومات. - خصوصية البيانات وأمنها
نظرًا لأن استخراج البيانات يجمع معلومات العملاء من خلال أساليب السوق، فإنه يمكن أن ينتهك خصوصية المستخدم. بالإضافة إلى ذلك، يمكن للمتسللين الحصول على البيانات المخزنة في أنظمة استخراج البيانات. وهذا يشكل تهديدا لأمن بيانات العملاء. إذا تم إساءة استخدام البيانات المسروقة، فمن الممكن أن تلحق الضرر بالآخرين بسهولة.
ما ورد أعلاه هو مقدمة موجزة لاستخراج البيانات. وكما ذكرت سابقاً فإن التنقيب في البيانات يحتوي على عملية جمع البيانات ودمجها، والتي تشمل عملية استخراج البيانات (استخراج البيانات). في هذه الحالة، من الآمن أن نقول إن استخراج البيانات يمكن أن يكون جزءًا من عملية طويلة لاستخراج البيانات.
ما هو استخراج البيانات؟
تُعرف هذه العملية أيضًا باسم "استخراج بيانات الويب" و"تجريد الويب"، وهي عبارة عن عملية استخراج البيانات من مصادر البيانات (عادةً ما تكون غير منظمة أو سيئة التنظيم) إلى مواقع مركزية ومركزية في مكان واحد للتخزين أو المعالجة الإضافية. على وجه التحديد، تتضمن مصادر البيانات غير المنظمة صفحات الويب والبريد الإلكتروني والمستندات وملفات PDF والنص الممسوح ضوئيًا وتقارير الحاسوب المركزي وملفات البكرات والإعلانات وما إلى ذلك. يمكن أن يكون التخزين المركزي محليًا أو سحابيًا أو مختلطًا. من المهم أن تتذكر أن استخراج البيانات لا يشمل المعالجة أو التحليل الآخر الذي قد يحدث لاحقًا.
ما الذي يمكن عمله باستخراج البيانات؟
في الأساس، تنقسم أغراض استخراج البيانات إلى 3 فئات.
- الأرشفة
يمكن لاستخراج البيانات تحويل البيانات من التنسيقات المادية مثل الكتب والصحف والفواتير إلى تنسيقات رقمية مثل قواعد البيانات للتخزين أو النسخ الاحتياطي. - تغيير تنسيق البيانات
عندما تريد ترحيل البيانات من موقعك الحالي إلى موقع جديد قيد التطوير، يمكنك جمع البيانات من موقعك الخاص عن طريق استخراجها. - تحليل البيانات
ومن الشائع إجراء مزيد من التحليل للبيانات المستخرجة للحصول على نظرة ثاقبة لها. قد يبدو هذا مشابهًا للتنقيب عن البيانات، لكن ضع في اعتبارك أن التنقيب عن البيانات هو هدف التنقيب عن البيانات، وليس جزءًا منه. علاوة على ذلك، يتم تحليل البيانات بشكل مختلف. أحد الأمثلة على ذلك هو أن أصحاب المتاجر عبر الإنترنت يسحبون معلومات المنتج من مواقع التجارة الإلكترونية مثل أمازون لمراقبة استراتيجيات المنافسين في الوقت الفعلي. مثل استخراج البيانات، يعد استخراج البيانات عملية آلية لها فوائد عديدة. في الماضي، كان الأشخاص ينسخون البيانات ويلصقونها يدويًا من مكان إلى آخر، الأمر الذي كان يستغرق وقتًا طويلاً. يؤدي استخراج البيانات إلى تسريع عملية التجميع وتحسين دقة البيانات المستخرجة بشكل كبير.
بعض الأمثلة على استخدام استخراج البيانات
على غرار استخراج البيانات، يستخدم استخراج البيانات على نطاق واسع في مختلف الصناعات. بالإضافة إلى مراقبة أسعار التجارة الإلكترونية، يمكن أن يساعد استخراج البيانات في إجراء الأبحاث الخاصة بك وتجميع الأخبار والتسويق والعقارات والسفر والسياحة والاستشارات والتمويل والمزيد.
- تقود الجيل
يمكن للشركات استخراج البيانات من الدلائل: Yelp وCrunchbase وYellowpages وتوليد عملاء محتملين لتطوير الأعمال. يمكنك مشاهدة الفيديو أدناه للتعرف على كيفية استخراج البيانات من الصفحات الصفراء باستخدام . - تجميع المحتوى والأخبار
يمكن لمواقع تجميع المحتوى تلقي خلاصات بيانات منتظمة من مصادر متعددة والحفاظ على تحديث مواقعها. - تحليل المشاعر
بعد استخلاص المراجعات والتعليقات والشهادات من الشبكات الاجتماعية مثل Instagram وTwitter، يمكن للمحترفين تحليل المواقف الأساسية والحصول على نظرة ثاقبة حول كيفية النظر إلى العلامة التجارية أو المنتج أو الظاهرة.
خطوات استخراج البيانات
استخراج البيانات هو المرحلة الأولى من ETL (استخراج، تحويل، تحميل: استخراج، تحويل، تحميل) وELT (استخراج، تحميل، وتحويل). تعد ETL وELT في حد ذاتها جزءًا من استراتيجية تكامل البيانات الكاملة. بمعنى آخر، يمكن أن يكون استخراج البيانات جزءًا من استخراجها.
استخراج، تحويل، تحميل
في حين أن التنقيب عن البيانات يدور حول استخراج المعلومات من كميات كبيرة من البيانات، فإن استخراج البيانات هو عملية أقصر وأبسط بكثير. ويمكن اختزالها إلى ثلاث مراحل:
- اختيار مصدر البيانات
حدد المصدر الذي تريد استخراج البيانات منه، مثل موقع ويب. - جمع البيانات
أرسل طلب "GET" إلى الموقع وقم بتحليل مستند HTML الناتج باستخدام لغات البرمجة مثل Python وPHP وR وRuby وغيرها. - تخزين البيانات
احفظ البيانات في قاعدة البيانات المحلية أو التخزين السحابي لاستخدامها في المستقبل. إذا كنت مبرمجًا ذا خبرة وترغب في استخراج البيانات، فقد تبدو الخطوات المذكورة أعلاه بسيطة بالنسبة لك. ومع ذلك، إذا لم تكن مبرمجًا، فهناك طريق مختصر - استخدم أدوات استخراج البيانات مثل . تم تصميم أدوات استخراج البيانات، تمامًا مثل أدوات استخراج البيانات، لتوفير الطاقة وجعل معالجة البيانات سهلة للجميع. هذه الأدوات ليست اقتصادية فحسب، ولكنها أيضًا صديقة للمبتدئين. فهي تتيح للمستخدمين جمع البيانات في غضون دقائق، وتخزينها في السحابة، وتصديرها إلى العديد من التنسيقات: Excel، أو CSV، أو HTML، أو JSON، أو إلى قواعد البيانات الموجودة على الموقع عبر واجهة برمجة التطبيقات (API).
عيوب استخراج البيانات
- تعطل الخادم
عند استخراج البيانات على نطاق واسع، قد يتم تحميل خادم الويب الخاص بالموقع المستهدف بشكل زائد، مما قد يؤدي إلى تعطل الخادم. وهذا سوف يضر بمصالح صاحب الموقع. - الحظر عن طريق IP
عندما يقوم شخص ما بجمع البيانات في كثير من الأحيان، يمكن لمواقع الويب حظر عنوان IP الخاص به. يمكن للمورد حظر عنوان IP بالكامل أو تقييد الوصول عن طريق جعل البيانات غير كاملة. لاسترداد البيانات وتجنب الحظر، يتعين عليك القيام بذلك بسرعة معتدلة وتطبيق بعض تقنيات مكافحة الحظر. - مشاكل مع القانون
يقع استخراج البيانات من الويب في منطقة رمادية عندما يتعلق الأمر بالقانونية. تنص المواقع الرئيسية مثل Linkedin وFacebook بوضوح في شروط الاستخدام الخاصة بها على حظر أي استخراج تلقائي للبيانات. كانت هناك العديد من الدعاوى القضائية بين الشركات بسبب أنشطة الروبوت.
الاختلافات الرئيسية بين استخراج البيانات واستخراج البيانات
- يُطلق على استخراج البيانات أيضًا اسم اكتشاف المعرفة في قواعد البيانات، واستخراج المعرفة، وتحليل البيانات/الأنماط، وجمع المعلومات. يتم استخدام استخراج البيانات بالتبادل مع استخراج بيانات الويب، ومسح صفحات الويب، وجمع البيانات، وما إلى ذلك.
- تعتمد أبحاث استخراج البيانات في الغالب على بيانات منظمة، في حين أن استخراج البيانات يعتمد عادةً على مصادر غير منظمة أو سيئة التنظيم.
- الهدف من استخراج البيانات هو جعل البيانات أكثر فائدة للتحليل. استخراج البيانات هو جمع البيانات في مكان واحد حيث يمكن تخزينها أو معالجتها.
- يعتمد التحليل في استخراج البيانات على الأساليب الرياضية لتحديد الأنماط أو الاتجاهات. يعتمد استخراج البيانات على لغات البرمجة أو أدوات استخراج البيانات لتجاوز المصادر.
- الغرض من استخراج البيانات هو العثور على حقائق لم تكن معروفة أو تم تجاهلها من قبل، بينما يتعامل استخراج البيانات مع المعلومات الموجودة.
- يعد استخراج البيانات أكثر تعقيدًا ويتطلب استثمارًا كبيرًا في تدريب الأشخاص. يمكن أن يكون استخراج البيانات باستخدام الأداة المناسبة أمرًا سهلاً للغاية وفعالاً من حيث التكلفة.
نحن نساعد المبتدئين على عدم الخلط في البيانات. خاصة بالنسبة لـ habravchans، قمنا بإعداد رمز ترويجي حبر، مع إعطاء خصم إضافي بنسبة 10٪ على الخصم الموضح على اللافتة.
المزيد من الدورات
مقالات مميزة
المصدر: www.habr.com