Αυτά τα δύο τσιτάτα της επιστήμης δεδομένων μπερδεύουν πολλούς ανθρώπους. Η εξόρυξη δεδομένων συχνά παρεξηγείται ως εξαγωγή και ανάκτηση δεδομένων, αλλά η πραγματικότητα είναι πολύ πιο περίπλοκη. Σε αυτήν την ανάρτηση, ας κάνουμε dot Mining και ας μάθουμε τη διαφορά μεταξύ Data Mining και Data Extraction.
Τι είναι η Εξόρυξη Δεδομένων;
Εξόρυξη δεδομένων, που ονομάζεται επίσης Ανακάλυψη γνώσης βάσης δεδομένων (KDD), είναι μια τεχνική που χρησιμοποιείται συχνά για την ανάλυση μεγάλων συνόλων δεδομένων χρησιμοποιώντας στατιστικές και μαθηματικές μεθόδους για την εύρεση κρυφών μοτίβων ή τάσεων και την εξαγωγή αξίας από αυτά.
Τι μπορεί να γίνει με την Εξόρυξη Δεδομένων;
Με την αυτοματοποίηση της διαδικασίας, μπορεί να περιηγηθεί σε βάσεις δεδομένων και να αποκαλύψει αποτελεσματικά κρυφά μοτίβα. Για τις επιχειρήσεις, η εξόρυξη δεδομένων χρησιμοποιείται συχνά για την ανακάλυψη μοτίβων και σχέσεων στα δεδομένα που βοηθούν στη λήψη καλύτερων επιχειρηματικών αποφάσεων.
Παραδείγματα εφαρμογής
Αφού η εξόρυξη δεδομένων έγινε ευρέως διαδεδομένη τη δεκαετία του 1990, εταιρείες σε ένα ευρύ φάσμα βιομηχανιών, συμπεριλαμβανομένου του λιανικού εμπορίου, των χρηματοοικονομικών, της υγειονομικής περίθαλψης, των μεταφορών, των τηλεπικοινωνιών, του ηλεκτρονικού εμπορίου κ.λπ., άρχισαν να χρησιμοποιούν μεθόδους εξόρυξης δεδομένων για τη λήψη πληροφοριών βάσει δεδομένων. Η εξόρυξη δεδομένων μπορεί να βοηθήσει στην τμηματοποίηση των πελατών, στον εντοπισμό απάτης, στην πρόβλεψη πωλήσεων και πολλά άλλα.
- Τμηματοποίηση πελατών
Αναλύοντας δεδομένα πελατών και προσδιορίζοντας τα χαρακτηριστικά των πελατών-στόχων, οι εταιρείες μπορούν να τους ομαδοποιήσουν σε μια ξεχωριστή ομάδα και να παρέχουν ειδικές προσφορές που ανταποκρίνονται στις ανάγκες τους. - Ανάλυση Καλαθιού Αγοράς
Αυτή η τεχνική βασίζεται στη θεωρία ότι εάν αγοράσετε μια συγκεκριμένη ομάδα προϊόντων, είναι πιο πιθανό να αγοράσετε μια διαφορετική ομάδα προϊόντων. Ένα διάσημο παράδειγμα: όταν οι πατέρες αγοράζουν πάνες για τα μωρά τους, τείνουν να αγοράζουν μπύρα μαζί με τις πάνες. - Πρόβλεψη πωλήσεων
Μπορεί να φαίνεται παρόμοιο με την ανάλυση καλαθιού αγοράς, αλλά αυτή τη φορά η ανάλυση δεδομένων χρησιμοποιείται για να προβλέψει πότε ένας πελάτης θα αγοράσει ξανά ένα προϊόν στο μέλλον. Για παράδειγμα, ένας προπονητής αγοράζει ένα κουτάκι πρωτεΐνης που πρέπει να διαρκέσει 9 μήνες. Το κατάστημα που πουλάει αυτή την πρωτεΐνη σχεδιάζει να κυκλοφορήσει καινούργια σε 9 μήνες για να την αγοράσει ξανά ο προπονητής. - Ανίχνευση απάτης
Η εξόρυξη δεδομένων βοηθά στη δημιουργία μοντέλων για τον εντοπισμό απάτης. Με τη συλλογή δειγμάτων απατηλών και αληθών αναφορών, οι επιχειρήσεις έχουν την εξουσία να προσδιορίζουν ποιες συναλλαγές είναι ύποπτες. - Ανίχνευση προτύπων στην παραγωγή
Στη μεταποιητική βιομηχανία, η εξόρυξη δεδομένων χρησιμοποιείται για να βοηθήσει στο σχεδιασμό συστημάτων εντοπίζοντας τη σχέση μεταξύ της αρχιτεκτονικής του προϊόντος, του προφίλ και των αναγκών των πελατών. Η εξόρυξη δεδομένων μπορεί επίσης να προβλέψει τους χρόνους και το κόστος ανάπτυξης του προϊόντος.
Και αυτές είναι μόνο μερικές περιπτώσεις χρήσης για εξόρυξη δεδομένων.
Στάδια εξόρυξης δεδομένων
Η εξόρυξη δεδομένων είναι μια ολιστική διαδικασία συλλογής, επιλογής, καθαρισμού, μετασχηματισμού και εξαγωγής δεδομένων με σκοπό την αξιολόγηση προτύπων και, τελικά, την εξαγωγή αξίας.
Γενικά, ολόκληρη η διαδικασία εξόρυξης δεδομένων μπορεί να συνοψιστεί σε 7 βήματα:
- Καθαρισμός δεδομένων
Στον πραγματικό κόσμο, τα δεδομένα δεν καθαρίζονται και δομούνται πάντα. Είναι συχνά θορυβώδεις, ημιτελείς και μπορεί να περιέχουν σφάλματα. Για να βεβαιωθείτε ότι το αποτέλεσμα της εξόρυξης δεδομένων είναι ακριβές, πρέπει πρώτα να καθαρίσετε τα δεδομένα. Ορισμένες μέθοδοι καθαρισμού περιλαμβάνουν τη συμπλήρωση των τιμών που λείπουν, τους αυτόματους και χειροκίνητους ελέγχους κ.λπ. - Ενοποίηση δεδομένων
Αυτό είναι το στάδιο όπου τα δεδομένα από διαφορετικές πηγές εξάγονται, συνδυάζονται και ενσωματώνονται. Οι πηγές μπορεί να είναι βάσεις δεδομένων, αρχεία κειμένου, υπολογιστικά φύλλα, έγγραφα, πολυδιάστατα σύνολα δεδομένων, το Διαδίκτυο και ούτω καθεξής. - Δειγματοληψία δεδομένων
Συνήθως, δεν χρειάζονται όλα τα ενσωματωμένα δεδομένα στην εξόρυξη δεδομένων. Η δειγματοληψία δεδομένων είναι το στάδιο στο οποίο επιλέγονται και εξάγονται μόνο χρήσιμα δεδομένα από μια μεγάλη βάση δεδομένων. - Μετατροπή δεδομένων
Αφού επιλεγούν τα δεδομένα, μετατρέπονται σε φόρμες κατάλληλες για εξόρυξη. Αυτή η διαδικασία περιλαμβάνει κανονικοποίηση, συνάθροιση, γενίκευση κ.λπ. - Εξόρυξη δεδομένων
Εδώ έρχεται το πιο σημαντικό μέρος της εξόρυξης δεδομένων - η χρήση έξυπνων μεθόδων για την εύρεση μοτίβων σε αυτά. Η διαδικασία περιλαμβάνει παλινδρόμηση, ταξινόμηση, πρόβλεψη, ομαδοποίηση, μάθηση συσχετισμού και πολλά άλλα. - Αξιολόγηση μοντέλου
Αυτό το βήμα στοχεύει στον εντοπισμό δυνητικά χρήσιμων, εύκολα κατανοητών προτύπων, καθώς και μοτίβων που υποστηρίζουν υποθέσεις. - Αναπαράσταση Γνώσης
Στο τελικό στάδιο, οι πληροφορίες που λαμβάνονται παρουσιάζονται με ελκυστικό τρόπο χρησιμοποιώντας μεθόδους αναπαράστασης γνώσης και οπτικοποίησης.
Μειονεκτήματα της Εξόρυξης Δεδομένων
- Μεγάλη επένδυση χρόνου και εργασίας
Δεδομένου ότι η εξόρυξη δεδομένων είναι μια μακρά και πολύπλοκη διαδικασία, απαιτεί πολλή δουλειά από παραγωγικούς και εξειδικευμένους ανθρώπους. Οι επιστήμονες δεδομένων μπορούν να χρησιμοποιήσουν ισχυρά εργαλεία εξόρυξης δεδομένων, αλλά χρειάζονται ειδικούς για να προετοιμάσουν τα δεδομένα και να κατανοήσουν τα αποτελέσματα. Ως αποτέλεσμα, μπορεί να χρειαστεί λίγος χρόνος για την επεξεργασία όλων των πληροφοριών. - Απόρρητο και ασφάλεια δεδομένων
Επειδή η εξόρυξη δεδομένων συλλέγει πληροφορίες πελατών μέσω μεθόδων αγοράς, μπορεί να παραβιάσει το απόρρητο των χρηστών. Επιπλέον, οι χάκερ μπορούν να αποκτήσουν δεδομένα που είναι αποθηκευμένα σε συστήματα εξόρυξης δεδομένων. Αυτό αποτελεί απειλή για την ασφάλεια των δεδομένων των πελατών. Εάν τα κλεμμένα δεδομένα χρησιμοποιηθούν κατάχρηση, μπορεί εύκολα να βλάψει άλλους.
Τα παραπάνω αποτελούν μια σύντομη εισαγωγή στην εξόρυξη δεδομένων. Όπως ήδη ανέφερα, η εξόρυξη δεδομένων περιλαμβάνει τη διαδικασία συλλογής και ολοκλήρωσης δεδομένων, η οποία περιλαμβάνει τη διαδικασία εξαγωγής δεδομένων (εξαγωγή δεδομένων). Σε αυτήν την περίπτωση, είναι ασφαλές να πούμε ότι η εξαγωγή δεδομένων μπορεί να είναι μέρος μιας μακράς διαδικασίας εξόρυξης δεδομένων.
Τι είναι η εξαγωγή δεδομένων;
Γνωστή και ως "εξόρυξη δεδομένων ιστού" και "απόξεση ιστού", αυτή η διαδικασία είναι η πράξη εξαγωγής δεδομένων από (συνήθως μη δομημένες ή κακώς δομημένες) πηγές δεδομένων σε κεντρικές τοποθεσίες και συγκέντρωση σε μια τοποθεσία για αποθήκευση ή περαιτέρω επεξεργασία. Συγκεκριμένα, οι μη δομημένες πηγές δεδομένων περιλαμβάνουν ιστοσελίδες, email, έγγραφα, αρχεία PDF, σαρωμένο κείμενο, αναφορές mainframe, αρχεία τροχών, ανακοινώσεις και ούτω καθεξής. Η κεντρική αποθήκευση μπορεί να είναι τοπική, cloud ή υβριδική. Είναι σημαντικό να θυμάστε ότι η εξαγωγή δεδομένων δεν περιλαμβάνει επεξεργασία ή άλλη ανάλυση που μπορεί να γίνει αργότερα.
Τι μπορεί να γίνει με την εξαγωγή δεδομένων;
Βασικά, οι σκοποί εξαγωγής δεδομένων εμπίπτουν σε 3 κατηγορίες.
- Αρχειοθέτηση
Η εξαγωγή δεδομένων μπορεί να μετατρέψει δεδομένα από φυσικές μορφές όπως βιβλία, εφημερίδες, τιμολόγια σε ψηφιακές μορφές όπως βάσεις δεδομένων για αποθήκευση ή δημιουργία αντιγράφων ασφαλείας. - Αλλαγή της μορφής δεδομένων
Όταν θέλετε να μετεγκαταστήσετε δεδομένα από τον τρέχοντα ιστότοπό σας σε έναν νέο υπό ανάπτυξη, μπορείτε να συλλέξετε δεδομένα από τον δικό σας ιστότοπο εξάγοντάς τον. - Ανάλυση δεδομένων
Είναι σύνηθες να αναλύονται περαιτέρω τα δεδομένα που εξάγονται για να αποκτήσουν γνώσεις σχετικά με αυτά. Αυτό μπορεί να ακούγεται παρόμοιο με την εξόρυξη δεδομένων, αλλά έχετε κατά νου ότι η εξόρυξη δεδομένων είναι ο στόχος της εξόρυξης δεδομένων και όχι μέρος αυτής. Επιπλέον, τα δεδομένα αναλύονται διαφορετικά. Ένα παράδειγμα είναι ότι οι ιδιοκτήτες ηλεκτρονικών καταστημάτων αντλούν πληροφορίες προϊόντων από ιστότοπους ηλεκτρονικού εμπορίου όπως το Amazon για να παρακολουθούν τις στρατηγικές των ανταγωνιστών σε πραγματικό χρόνο. Όπως η εξόρυξη δεδομένων, η εξαγωγή δεδομένων είναι μια αυτοματοποιημένη διαδικασία με πολλά οφέλη. Στο παρελθόν, οι άνθρωποι αντέγραφαν και επικολλούσαν δεδομένα χειροκίνητα από το ένα μέρος στο άλλο, κάτι που ήταν πολύ χρονοβόρο. Η εξαγωγή δεδομένων επιταχύνει τη συλλογή και βελτιώνει σημαντικά την ακρίβεια των εξαγόμενων δεδομένων.
Μερικά παραδείγματα χρήσης της εξαγωγής δεδομένων
Παρόμοια με την εξόρυξη δεδομένων, η εξόρυξη δεδομένων χρησιμοποιείται ευρέως σε διάφορους κλάδους. Εκτός από την παρακολούθηση των τιμών του ηλεκτρονικού εμπορίου, η εξόρυξη δεδομένων μπορεί να σας βοηθήσει με τη δική σας έρευνα, τη συγκέντρωση ειδήσεων, το μάρκετινγκ, τα ακίνητα, τα ταξίδια και τον τουρισμό, τη συμβουλευτική, τη χρηματοδότηση και πολλά άλλα.
- Lidogeneration
Οι εταιρείες μπορούν να εξάγουν δεδομένα από καταλόγους: Yelp, Crunchbase, Yellowpages και να δημιουργούν δυνητικούς πελάτες για επιχειρηματική ανάπτυξη. Μπορείτε να παρακολουθήσετε το παρακάτω βίντεο για να μάθετε πώς να εξάγετε δεδομένα από το Yellowpages με . - Συνάθροιση περιεχομένου και ειδήσεων
Οι ιστότοποι συγκέντρωσης περιεχομένου μπορούν να λαμβάνουν τακτικές ροές δεδομένων από πολλές πηγές και να διατηρούν τους ιστότοπούς τους ενημερωμένους. - Ανάλυση Συναισθήματος
Αφού εξάγουν κριτικές, σχόλια και μαρτυρίες από κοινωνικά δίκτυα όπως το Instagram και το Twitter, οι επαγγελματίες μπορούν να αναλύσουν τις υποκείμενες στάσεις και να αποκτήσουν πληροφορίες για το πώς γίνεται αντιληπτό μια επωνυμία, ένα προϊόν ή ένα φαινόμενο.
Βήματα εξαγωγής δεδομένων
Η εξαγωγή δεδομένων είναι το πρώτο στάδιο του ETL (Extract, Transform, Load: Extract, Transform, Load) και ELT (Extract, Load, and Transform). Το ETL και το ELT αποτελούν μέρος μιας ολοκληρωμένης στρατηγικής ενοποίησης δεδομένων. Με άλλα λόγια, η εξαγωγή δεδομένων μπορεί να είναι μέρος της εξαγωγής τους.
Εξαγωγή, μετατροπή, φόρτωση
Ενώ η εξόρυξη δεδομένων αφορά την εξαγωγή πληροφοριών από μεγάλες ποσότητες δεδομένων, η εξαγωγή δεδομένων είναι μια πολύ πιο σύντομη και απλούστερη διαδικασία. Μπορεί να μειωθεί σε τρία στάδια:
- Επιλογή πηγής δεδομένων
Επιλέξτε την πηγή από την οποία θέλετε να εξαγάγετε δεδομένα, όπως έναν ιστότοπο. - Συλλογή δεδομένων
Στείλτε ένα αίτημα "GET" στον ιστότοπο και αναλύστε το έγγραφο HTML που προκύπτει χρησιμοποιώντας γλώσσες προγραμματισμού όπως Python, PHP, R, Ruby κ.λπ. - Αποθήκευση δεδομένων
Αποθηκεύστε τα δεδομένα στην τοπική σας βάση δεδομένων ή στην αποθήκευση cloud για μελλοντική χρήση. Εάν είστε έμπειρος προγραμματιστής που θέλει να εξάγει δεδομένα, τα παραπάνω βήματα μπορεί να σας φαίνονται απλά. Ωστόσο, εάν δεν είστε προγραμματιστής, υπάρχει μια συντόμευση - χρησιμοποιήστε εργαλεία εξόρυξης δεδομένων όπως π.χ . Τα εργαλεία εξαγωγής δεδομένων, όπως ακριβώς και τα εργαλεία εξόρυξης δεδομένων, έχουν σχεδιαστεί για να εξοικονομούν ενέργεια και να κάνουν την επεξεργασία δεδομένων εύκολη για όλους. Αυτά τα εργαλεία δεν είναι μόνο οικονομικά, αλλά και φιλικά για αρχάριους. Επιτρέπουν στους χρήστες να συλλέγουν δεδομένα μέσα σε λίγα λεπτά, να τα αποθηκεύουν στο cloud και να τα εξάγουν σε πολλές μορφές: Excel, CSV, HTML, JSON ή σε βάσεις δεδομένων στον ιστότοπο μέσω ενός API.
Μειονεκτήματα της εξαγωγής δεδομένων
- Σφάλμα διακομιστή
Κατά την εξαγωγή δεδομένων σε μεγάλη κλίμακα, ο διακομιστής ιστού της τοποθεσίας-στόχου ενδέχεται να υπερφορτωθεί, γεγονός που μπορεί να οδηγήσει σε σφάλμα διακομιστή. Αυτό θα βλάψει τα συμφέροντα του ιδιοκτήτη του ιστότοπου. - Απαγόρευση μέσω IP
Όταν ένα άτομο συλλέγει δεδομένα πολύ συχνά, οι ιστότοποι μπορούν να αποκλείσουν τη διεύθυνση IP του. Ένας πόρος μπορεί να απαγορεύσει εντελώς μια διεύθυνση IP ή να περιορίσει την πρόσβαση καθιστώντας τα δεδομένα ελλιπή. Για να ανακτήσετε δεδομένα και να αποφύγετε το μπλοκάρισμα, πρέπει να το κάνετε με μέτρια ταχύτητα και να εφαρμόσετε ορισμένες τεχνικές κατά του αποκλεισμού. - Προβλήματα με το νόμο
Η εξαγωγή δεδομένων από τον Ιστό εμπίπτει σε γκρίζα περιοχή όσον αφορά τη νομιμότητα. Μεγάλοι ιστότοποι όπως το Linkedin και το Facebook αναφέρουν ξεκάθαρα στους όρους χρήσης τους ότι απαγορεύεται οποιαδήποτε αυτόματη εξαγωγή δεδομένων. Υπήρξαν πολλές αγωγές μεταξύ εταιρειών λόγω δραστηριοτήτων bot.
Βασικές διαφορές μεταξύ εξόρυξης δεδομένων και εξαγωγής δεδομένων
- Η εξόρυξη δεδομένων ονομάζεται επίσης ανακάλυψη γνώσης σε βάσεις δεδομένων, εξαγωγή γνώσης, ανάλυση δεδομένων/προτύπων, συλλογή πληροφοριών. Η εξαγωγή δεδομένων χρησιμοποιείται εναλλακτικά με την εξαγωγή δεδομένων ιστού, τη σάρωση ιστοσελίδων, τη συλλογή δεδομένων κ.λπ.
- Η έρευνα εξόρυξης δεδομένων βασίζεται κυρίως σε δομημένα δεδομένα, ενώ η εξόρυξη δεδομένων συνήθως προέρχεται από μη δομημένες ή κακώς δομημένες πηγές.
- Ο στόχος της εξόρυξης δεδομένων είναι να κάνει τα δεδομένα πιο χρήσιμα για ανάλυση. Η εξαγωγή δεδομένων είναι η συλλογή δεδομένων σε ένα μέρος όπου μπορούν να αποθηκευτούν ή να υποβληθούν σε επεξεργασία.
- Η ανάλυση στην εξόρυξη δεδομένων βασίζεται σε μαθηματικές μεθόδους για τον εντοπισμό προτύπων ή τάσεων. Η εξαγωγή δεδομένων βασίζεται σε γλώσσες προγραμματισμού ή εργαλεία εξαγωγής δεδομένων για παράκαμψη πηγών.
- Ο σκοπός της εξόρυξης δεδομένων είναι η εύρεση γεγονότων που δεν ήταν προηγουμένως γνωστά ή αγνοημένα, ενώ η εξαγωγή δεδομένων ασχολείται με υπάρχουσες πληροφορίες.
- Η εξόρυξη δεδομένων είναι πιο περίπλοκη και απαιτεί μεγάλη επένδυση στην εκπαίδευση των ανθρώπων. Η εξαγωγή δεδομένων με το κατάλληλο εργαλείο μπορεί να είναι εξαιρετικά εύκολη και οικονομικά αποδοτική.
Βοηθάμε τους αρχάριους να μην μπερδεύονται στα Δεδομένα. Ειδικά για τους habravchans, φτιάξαμε έναν κωδικό προσφοράς HABR, δίνοντας επιπλέον έκπτωση 10% στην έκπτωση που αναγράφεται στο banner.
Περισσότερα μαθήματα
Επιλεγμένα άρθρα
Πηγή: www.habr.com