Te dwa modne słowa związane z Data Science wprowadzają wielu ludzi w błąd. Data Mining często mylone jest z wydobywaniem danych, ale w rzeczywistości jest to znacznie bardziej skomplikowane. W tym poście wyjaśnijmy różnicę między Data Mining a Data Extraction.
Czym jest Data Mining?
Data mining, znane również jako odkrywanie wiedzy w bazie danych (KDD), jest metodą często stosowaną do analizy dużych zbiorów danych za pomocą metod statystycznych i matematycznych w celu odkrywania ukrytych wzorców lub trendów i wyciągania z nich wartości.
Co można zrobić dzięki Data Mining?
Automatyzując proces, mogą przeszukiwać bazy danych i skutecznie wykrywać ukryte wzorce. Dla przedsiębiorstw data mining jest często stosowane do odkrywania wzorców i zależności w danych, co pomaga podejmować optymalne decyzje biznesowe.
Przykłady zastosowania
Po tym, jak w latach 90. data mining zyskał na popularności, firmy z szerokiego zakresu branż, w tym handlu detalicznego, finansów, ochrony zdrowia, transportu, telekomunikacji, e-commerce itd., zaczęły stosować metody data mining do uzyskania informacji na podstawie danych. Data mining może pomóc w segmentacji klientów, wykrywaniu oszustw, prognozowaniu sprzedaży i wielu innych.
- Segmentacja klientów
Dzięki analizie danych o klientach i identyfikacji cech swoich docelowych klientów, firmy mogą grupować ich i oferować specjalne oferty dostosowane do ich potrzeb. - Analiza koszyka rynkowego
Metoda ta opiera się na teorii, że jeśli kupujesz określoną grupę produktów, prawdopodobnie kupisz także inną grupę produktów. Znanym przykładem jest to, że gdy ojcowie kupują pieluchy dla swoich dzieci, zwykle kupują piwo razem z pieluchami. - Prognozowanie sprzedaży
To może przypominać analizę koszyka rynkowego, ale tym razem analiza danych jest wykorzystywana do prognozowania, kiedy klient ponownie kupi produkt w przyszłości. Na przykład trener kupuje puszkę białka, która powinna wystarczyć na 9 miesięcy. Sklep sprzedający to białko planuje wydać nową wersję za 9 miesięcy, aby trener mógł je ponownie kupić. - Wykrywanie oszustw
Data mining pomaga w budowaniu modeli do wykrywania oszustw. Zbierając próbki oszukańczych i prawdziwych raportów, przedsiębiorstwa zyskują możliwość określenia, które transakcje są podejrzane. - Wykrywanie wzorców w produkcji
W przemyśle przetwórczym data mining jest wykorzystywane, aby pomóc w projektowaniu systemów, poprzez ujawnienie powiązań między architekturą produktu, profilem i potrzebami klientów. Data mining może również przewidzieć terminy rozwoju produktów i koszty.
I to tylko kilka scenariuszy zastosowania data mining.
Etapy Data Mining
Data mining to kompleksowy proces zbierania, selekcjonowania, oczyszczania, przekształcania i wydobywania danych w celu oceny wzorców i ostatecznie wydobycia wartości.
Zazwyczaj cały proces data mining można podsumować w 7 etapach:
- Oczyszczanie danych
W rzeczywistym świecie dane nie zawsze są oczyszczone i uporządkowane. Często są szumne, niekompletne i mogą zawierać błędy. Aby upewnić się, że wynik data mining jest dokładny, najpierw należy oczyścić dane. Niektóre metody oczyszczania obejmują wypełnienie brakujących wartości, kontrolę automatyczną i ręczną itp. - Integracja danych
To etap, na którym dane z różnych źródeł są wydobywane, łączone i integrowane. Źródłami mogą być bazy danych, pliki tekstowe, arkusze kalkulacyjne, dokumenty, wielowymiarowe zbiory danych, internet itd. - Wybór danych
Zazwyczaj nie wszystkie zintegrowane dane są potrzebne w data mining. Wybór danych to etap, w którym z dużej bazy danych wybiera się i wydobywa tylko użyteczne dane. - Przekształcenie danych
Po wyborze danych są one przekształcane w formy odpowiednie do wydobycia. Proces ten obejmuje normalizację, agregację, uogólnienie itd. - Inteligentna analiza danych
Tutaj następuje najważniejsza część analizy danych — wykorzystanie inteligentnych metod do wykrywania wzorców w danych. Proces obejmuje regresję, klasyfikację, prognozowanie, klasteryzację, badanie asocjacji i wiele innych. - Ocena modelu
Ten etap ma na celu identyfikację potencjalnie użytecznych, łatwych do zrozumienia wzorców oraz wzorców potwierdzających hipotezy. - Przedstawienie wiedzy
Na końcowym etapie uzyskane informacje są przedstawiane w atrakcyjny sposób przy użyciu metod wizualizacji i reprezentacji wiedzy.
Wady analizy danych
- Duże nakłady czasu i pracy
Ponieważ analiza danych to długi i skomplikowany proces, wymaga ogromnego wysiłku ze strony produktywnych i wykwalifikowanych osób. Specjaliści w dziedzinie analizy danych mogą posługiwać się potężnymi narzędziami do analizy danych, jednak potrzebują wyspecjalizowanych pracowników do przygotowania danych i zrozumienia wyników. W efekcie przetworzenie wszystkich informacji może zająć trochę czasu. - Prywatność i bezpieczeństwo danych
Ponieważ analiza danych zbiera informacje o klientach przy użyciu metod rynkowych, może naruszać prywatność użytkowników. Ponadto hakerzy mogą uzyskać dostęp do danych przechowywanych w systemach analitycznych. Stanowi to zagrożenie dla bezpieczeństwa danych klientów. Jeśli skradzione dane zostaną wykorzystane niewłaściwie, mogą łatwo zaszkodzić innym.
Pow above jest krótkie wprowadzenie do analizy danych. Jak już wspomniałam, analiza danych obejmuje proces zbierania i integracji danych, który zawiera proces wydobywania danych (data extraction). W tym przypadku można z pewnością stwierdzić, że wydobywanie danych może być częścią długotrwałego procesu analizy danych.
Czym jest wydobywanie danych?
Znane również jako „wydobycie danych z internetu” i „web scraping”, ten proces polega na wydobywaniu danych z (zazwyczaj niestrukturalnych lub słabo zorganizowanych) źródeł danych do centralnych miejsc oraz ich centralizacji w jednym miejscu do przechowywania lub dalszego przetwarzania. W szczególności do niestrukturalnych źródeł danych należą strony internetowe, e-maile, dokumenty, pliki PDF, skanowany tekst, raporty z mainframe'ów, pliki taśmowe, ogłoszenia itp. Centralne magazyny mogą być lokalne, chmurowe lub hybrydowe. Ważne jest, aby pamiętać, że wydobycie danych nie obejmuje przetwarzania ani innej analizy, która może nastąpić później.
Co można zrobić z pomocą wydobycia danych?
Główne cele wydobycia danych dzielą się na 3 kategorie.
- Archiwizacja
Wydobycie danych może przekształcać dane z fizycznych formatów: książek, gazet, faktur w cyfrowe formaty, takie jak bazy danych do przechowywania lub archiwizacji. - Zmiana formatu danych
Gdy chcesz przenieść dane z Twojej aktualnej witryny na nową, będącą w fazie rozwoju, możesz zebrać dane z własnej witryny, wydobywając je. - Analiza danych
Powszechnie przeprowadza się dodatkową analizę wydobytych danych, aby uzyskać wgląd w nie. Może to wydawać się podobne do analizy danych w przypadku data mining, ale pamiętaj, że analiza danych jest celem ich wydobycia, a nie jego częścią. Co więcej, dane analizowane są w inny sposób. Przykład: właściciele sklepów internetowych wydobywają informacje o produktach z witryn e-commerce, takich jak Amazon, aby monitorować strategie konkurencji w czasie rzeczywistym. Podobnie jak data mining, wydobycie danych to zautomatyzowany proces, który ma wiele zalet. Wcześniej ludzie ręcznie kopiowali i wklejali dane z jednego miejsca do drugiego, co zajmowało bardzo dużo czasu. Wydobycie danych przyspiesza zbieranie danych i znacząco zwiększa ich dokładność.
Kilka przykładów zastosowania wydobycia danych
Podobnie jak data mining, ekstrakcja danych jest szeroko stosowana w różnych branżach. Poza monitorowaniem cen w e-commerce, ekstrakcja danych może pomóc w badaniach, agregacji wiadomości, marketingu, w pracy z nieruchomościami, turystyce, doradztwie, finansach i wielu innych dziedzinach.
- Generowanie leadów
Firmy mogą wyciągać dane z katalogów: Yelp, Crunchbase, Yellowpages i generować leady do rozwoju biznesu. Możesz obejrzeć film poniżej, aby dowiedzieć się, jak wyciągnąć dane z Yellowpages za pomocą . - Agregacja treści i wiadomości
Agregujące treść strony internetowe mogą regularnie otrzymywać dane z wielu źródeł i utrzymywać swoje strony na bieżąco. - Analiza nastrojów
Po wyciągnięciu recenzji, komentarzy i opinii z mediów społecznościowych, takich jak Instagram i Twitter, specjaliści mogą przeanalizować leżące u podstaw poglądy i uzyskać wgląd w to, jak postrzegana jest marka, produkt lub zjawisko.
Kroki ekstrakcji danych
Ekstrakcja danych to pierwszy etap ETL (Extract, Transform, Load: ekstrakcja, transformacja, ładowanie) oraz ELT (ekstrakcja, ładowanie i transformacja). ETL i ELT są częścią kompleksowej strategii integracji danych. Innymi słowy, ekstrakcja danych może być częścią ich wydobycia.
Ekstrakcja, transformacja, ładowanie
Podczas gdy data mining polega na pozyskiwaniu informacji z dużych zbiorów danych, ekstrakcja danych to znacznie krótszy i prostszy proces. Można go sprowadzić do trzech etapów:
- Wybór źródła danych
Wybierz źródło, z którego chcesz wyciągnąć dane, na przykład stronę internetową. - Zbieranie danych
Wyślij żądanie „GET” do strony i przeanalizuj otrzymany dokument HTML przy użyciu języków programowania, takich jak Python, PHP, R, Ruby itp. - Przechowywanie danych
Zapisz dane w swojej lokalnej bazie danych lub w chmurze na przyszłość. Jeśli jesteś doświadczonym programistą, który chce wyciągnąć dane, powyższe kroki mogą wydawać się proste. Jednak jeśli nie programujesz, istnieje szybka droga — użyj narzędzi do ekstrakcji danych, takich jak . Narzędzia do wyodrębniania danych, podobnie jak narzędzia do wydobywania danych, zostały zaprojektowane w celu zaoszczędzenia energii i uproszczenia przetwarzania danych dla wszystkich. Te narzędzia nie tylko są wydajne, ale także przyjazne dla początkujących. Pozwalają użytkownikom zbierać dane w ciągu kilku minut, przechowywać je w chmurze i eksportować do wielu formatów: Excel, CSV, HTML, JSON lub do baz danych na stronie za pośrednictwem API.
Wady wyodrębniania danych
- Awaria serwera
Podczas masowego wyodrębniania danych, serwer docelowej witryny może być przeciążony, co może prowadzić do awarii serwera. To zaszkodzi interesom właściciela strony. - Blokada IP
Gdy użytkownik zbyt często zbiera dane, witryny mogą zablokować jego adres IP. Zasób może całkowicie zablokować adres IP lub ograniczyć dostęp, co sprawi, że dane będą niepełne. Aby wydobywać dane i uniknąć blokady, należy to robić umiarkowanym tempie i stosować pewne metody unikania blokad. - Problemy prawne
Wyodrębnianie danych z sieci znajduje się w szarej strefie, jeśli chodzi o legalność. Duże witryny, takie jak LinkedIn i Facebook, wyraźnie zaznaczają w swoich warunkach użytkowania, że wszelkie automatyczne wyodrębnianie danych jest zabronione. Pomiędzy firmami było wiele sporów sądowych z powodu aktywności botów.
Kluczowe różnice między wydobywaniem danych a wyodrębnianiem danych
- Wydobywanie danych nazywane jest również odkrywaniem wiedzy w bazach danych, wyodrębniającej wiedzy, analizą danych/wzorców, zbieraniem informacji. Wyodrębnianie danych jest używane zamiennie z wyodrębnianiem danych z sieci, skanowaniem stron internetowych, zbieraniem danych i tak dalej.
- Badania wydobywania danych opierają się głównie na danych ustrukturyzowanych, podczas gdy przy wyodrębnianiu danych są one zazwyczaj wyodrębniane z źródeł nieustrukturyzowanych lub słabo ustrukturyzowanych.
- Celem wydobywania danych jest uczynienie danych bardziej użytecznymi do analizy. Wyodrębnianie danych to zbieranie danych w jedno miejsce, gdzie mogą być przechowywane lub przetwarzane.
- Analiza w wydobywaniu danych opiera się na matematycznych metodach identyfikacji wzorców lub trendów. Wyodrębnianie danych polega na używaniu języków programowania lub narzędzi do wyodrębniania danych do przeszukiwania źródeł.
- Celem wydobywania danych jest znalezienie faktów, które wcześniej były nieznane lub ignorowane, podczas gdy wyodrębnianie danych dotyczy istniejących informacji.
- Eksploracja danych jest bardziej skomplikowana i wymaga większych inwestycji w szkolenie ludzi. Ekstrakcja danych może być niezwykle prosta i ekonomiczna przy użyciu odpowiednich narzędzi.
Pomagamy początkującym nie pogubić się w danych. Specjalnie dla użytkowników Habr przygotowaliśmy kod promocyjny HABR, który daje dodatkowy rabat 10% do rabatu wskazanego na banerze.
Inne kursy
Rekomendowane artykuły
Źródło: habr.com
