Nämä kaksi datatieteen muotisanaa hämmentävät monia ihmisiä. Tiedonlouhinta ymmärretään usein väärin tietojen poimimiseksi ja hakemiseksi, mutta todellisuus on paljon monimutkaisempi. Tässä viestissä pisteytetään kaivostoimintaa ja selvitetään ero tiedon louhinnan ja tiedon louhinnan välillä.
Mitä on tiedonlouhinta?
Tiedon louhinta, jota kutsutaan myös Database Knowledge Discovery (KDD), on tekniikka, jota käytetään usein suurten tietojoukkojen analysointiin käyttämällä tilastollisia ja matemaattisia menetelmiä piilotettujen kuvioiden tai trendien löytämiseksi ja arvon poimimiseksi niistä.
Mitä tiedon louhinnalla voidaan tehdä?
Automatisoimalla prosessin voi selata tietokantoja ja paljastaa tehokkaasti piilotettuja kuvioita. Yritykset käyttävät tiedon louhintaa usein tiedon mallien ja suhteiden löytämiseen, mikä auttaa tekemään parempia liiketoimintapäätöksiä.
Sovellusesimerkkejä
Kun tiedonlouhinta yleistyi 1990-luvulla, useiden eri alojen yritykset, mukaan lukien vähittäiskauppa, rahoitus, terveydenhuolto, kuljetus, televiestintä, sähköinen kaupankäynti jne., alkoivat käyttää tiedonlouhintamenetelmiä tiedon hankkimiseen tietopohjalta. Tiedonlouhinta voi auttaa segmentoimaan asiakkaita, tunnistamaan petokset, ennustamaan myyntiä ja paljon muuta.
- Asiakkaiden segmentointi
Analysoimalla asiakastietoja ja tunnistamalla kohdeasiakkaiden ominaisuuksia, yritykset voivat kohdistaa heidät selkeään ryhmään ja tarjota heidän tarpeisiinsa vastaavia erikoistarjouksia. - Markkinakori-analyysi
Tämä tekniikka perustuu teoriaan, että jos ostat tietyn tuoteryhmän, ostat todennäköisemmin toisen tuoteryhmän. Yksi kuuluisa esimerkki: kun isät ostavat vaippoja vauvoilleen, he ostavat yleensä olutta vaippojen mukana. - Myynnin ennustaminen
Tämä saattaa tuntua samanlaiselta kuin markkinakorianalyysi, mutta tällä kertaa data-analyysiä käytetään ennustamaan, milloin asiakas ostaa tuotteen uudelleen tulevaisuudessa. Esimerkiksi valmentaja ostaa tölkin proteiinia, jonka pitäisi riittää 9 kuukaudeksi. Tätä proteiinia myyvä kauppa suunnittelee julkaisevansa uuden yhdeksän kuukauden sisällä, joten valmentaja ostaa sen uudelleen. - Petosten havaitseminen
Tiedonlouhinta auttaa luomaan malleja petosten havaitsemiseen. Keräämällä näytteitä vilpillisistä ja totuudenmukaisista raporteista yritykset voivat määrittää, mitkä tapahtumat ovat epäilyttäviä. - Kuvion havaitseminen tuotannossa
Teollisuudessa tiedon louhintaa käytetään apuna järjestelmien suunnittelussa tunnistamalla tuotearkkitehtuurin, profiilin ja asiakkaiden tarpeiden välinen suhde. Tiedon louhinta voi myös ennustaa tuotekehitysaikoja ja -kustannuksia.
Ja nämä ovat vain muutamia käyttötapauksia tiedon louhinnassa.
Tiedonlouhintavaiheet
Tiedonlouhinta on kokonaisvaltainen prosessi tietojen keräämiseksi, valitsemiseksi, puhdistamiseksi, muuntamiseksi ja poimimiseksi kuvioiden arvioimiseksi ja lopulta arvon poimimiseksi.
Yleisesti ottaen koko tiedonlouhintaprosessi voidaan tiivistää 7 vaiheeseen:
- Tietojen puhdistus
Reaalimaailmassa dataa ei aina puhdisteta ja jäsennelty. Ne ovat usein meluisia, epätäydellisiä ja voivat sisältää virheitä. Jotta tiedonlouhintatulos olisi oikea, sinun on ensin siivottava tiedot. Joihinkin puhdistusmenetelmiin kuuluu puuttuvien arvojen täyttäminen, automaattiset ja manuaaliset säätimet ja niin edelleen. - Tietojen integrointi
Tämä on vaihe, jossa eri lähteistä peräisin olevat tiedot poimitaan, yhdistetään ja integroidaan. Lähteet voivat olla tietokantoja, tekstitiedostoja, laskentataulukoita, asiakirjoja, moniulotteisia tietojoukkoja, Internet ja niin edelleen. - Datan otanta
Yleensä kaikkea integroitua dataa ei tarvita tiedonlouhinnassa. Datan otanta on vaihe, jossa vain hyödyllinen data valitaan ja poimitaan suuresta tietokannasta. - Tietojen muuntaminen
Kun tiedot on valittu, se muunnetaan louhintaan soveltuviksi lomakkeiksi. Tämä prosessi sisältää normalisoinnin, aggregoinnin, yleistyksen jne. - Tiedon louhinta
Tässä tulee tiedon louhinnan tärkein osa - älykkäiden menetelmien avulla löytää siitä malleja. Prosessi sisältää regression, luokittelun, ennustamisen, klusteroinnin, assosiaatiooppimisen ja paljon muuta. - Mallin arviointi
Tämän vaiheen tavoitteena on tunnistaa mahdollisesti hyödyllisiä, helposti ymmärrettäviä malleja sekä malleja, jotka tukevat hypoteeseja. - Tiedon edustus
Loppuvaiheessa saadut tiedot esitetään houkuttelevalla tavalla tiedon esitys- ja visualisointimenetelmillä.
Tiedonlouhinnan haitat
- Suuri aika- ja työpanos
Koska tiedon louhinta on pitkä ja monimutkainen prosessi, se vaatii paljon työtä tuottavilta ja ammattitaitoisilta ihmisiltä. Datatieteilijät voivat käyttää tehokkaita tiedonlouhintatyökaluja, mutta he tarvitsevat asiantuntijoita tietojen valmisteluun ja tulosten ymmärtämiseen. Tämän seurauksena kaikkien tietojen käsittely voi kestää jonkin aikaa. - Tietosuoja ja tietosuoja
Koska tiedonlouhinta kerää asiakastietoja markkinamenetelmin, se voi loukata käyttäjien yksityisyyttä. Lisäksi hakkerit voivat hankkia tiedon louhintajärjestelmiin tallennettuja tietoja. Tämä on uhka asiakastietojen turvallisuudelle. Jos varastettuja tietoja käytetään väärin, se voi helposti vahingoittaa muita.
Yllä oleva on lyhyt johdatus tiedon louhintaan. Kuten jo mainitsin, tiedon louhinta sisältää tiedon keräämis- ja integrointiprosessin, joka sisältää tiedon poimintaprosessin (datan purku). Tässä tapauksessa on turvallista sanoa, että tietojen poimiminen voi olla osa pitkää tiedon louhintaprosessia.
Mitä on tiedonpoisto?
Tämä prosessi, joka tunnetaan myös nimellä "Web Data Mining" ja "Web scraping", tarkoittaa tietojen poimimista (yleensä jäsentämättömistä tai huonosti jäsennellyistä) tietolähteistä keskitettyihin paikkoihin ja keskittämiseen yhteen paikkaan tallennusta tai jatkokäsittelyä varten. Strukturoimattomia tietolähteitä ovat erityisesti verkkosivut, sähköpostit, asiakirjat, PDF-tiedostot, skannattu teksti, keskustietokoneraportit, kelatiedostot, ilmoitukset ja niin edelleen. Keskitetty tallennustila voi olla paikallinen, pilvi tai hybridi. On tärkeää muistaa, että tietojen poiminta ei sisällä käsittelyä tai muuta myöhemmin mahdollisesti tapahtuvaa analysointia.
Mitä Data Extractionilla voi tehdä?
Pohjimmiltaan tiedonkeruutarkoitukset jaetaan kolmeen luokkaan.
- arkistointi
Tietojen poimiminen voi muuntaa tiedot fyysisistä muodoista, kuten kirjoista, sanomalehdistä, laskuista digitaalisiin muotoihin, kuten tietokantoihin tallennusta tai varmuuskopiointia varten. - Tietomuodon muuttaminen
Kun haluat siirtää tietoja nykyisestä sivustostasi uudelle kehitteillä olevalle sivustolle, voit kerätä tietoja omalta sivustoltasi purkamalla ne. - Tietojen analysointi
On tavallista analysoida poimittuja tietoja edelleen saadakseen käsityksen siitä. Tämä saattaa kuulostaa samalta kuin tiedon louhinta, mutta muista, että tiedon louhinta on tiedon louhinnan tavoite, ei osa sitä. Lisäksi dataa analysoidaan eri tavalla. Yksi esimerkki on, että verkkokauppojen omistajat hakevat tuotetietoja verkkokauppasivustoilta, kuten Amazon, seuratakseen kilpailijoiden strategioita reaaliajassa. Kuten tiedon louhinta, myös tietojen poiminta on automatisoitu prosessi, jolla on monia etuja. Aiemmin ihmiset kopioivat ja liittivät tietoja manuaalisesti paikasta toiseen, mikä oli erittäin aikaa vievää. Tiedon poiminta nopeuttaa keräämistä ja parantaa huomattavasti poimittujen tietojen tarkkuutta.
Joitakin esimerkkejä tietojen purkamisen käytöstä
Tietojen louhinnan tapaan tiedon louhintaa käytetään laajasti useilla toimialoilla. Verkkokaupan hintaseurannan lisäksi tiedon louhinta voi auttaa omassa tutkimuksessasi, uutisten keräämisessä, markkinoinnissa, kiinteistöissä, matkailussa, konsultoinnissa, rahoituksessa ja muissa asioissa.
- johtaa sukupolven
Yritykset voivat poimia tietoja hakemistoista: Yelp, Crunchbase, Yellowpages ja luoda liidejä liiketoiminnan kehittämiseen. Voit katsoa alla olevan videon oppiaksesi poimimaan tietoja Yellowpagesista . - Sisällön ja uutisten yhdistäminen
Sisältöä kokoavat verkkosivustot voivat vastaanottaa säännöllisiä tietosyötteitä useista lähteistä ja pitää sivustonsa ajan tasalla. - Tunneanalyysi
Poimimalla arvosteluja, kommentteja ja palautetta sosiaalisen median sivustoilta, kuten Instagram ja Twitter, asiantuntijat voivat analysoida taustalla olevia tunteita ja saada käsityksen siitä, miten brändi, tuote tai ilmiö nähdään.
Tietojen purkamisen vaiheet
Tietojen purkaminen on ETL:n (lyhenne Extract, Transform, Load) ja ELT:n (extract, load and transform) ensimmäinen vaihe. ETL ja ELT ovat itse osa täydellistä tietojen integrointistrategiaa. Toisin sanoen tietojen purkaminen voi olla osa niiden poimimista.
Pura, muunna, lataa
Vaikka tiedon louhinta on tiedon poiminta suurista tietomääristä, tiedon poiminta on paljon lyhyempi ja yksinkertaisempi prosessi. Se voidaan vähentää kolmeen vaiheeseen:
- Tietolähteen valitseminen
Valitse lähde, josta haluat poimia tietoja, kuten verkkosivusto. - Tiedonkeruu
Lähetä "GET"-pyyntö sivustolle ja jäsennä tuloksena oleva HTML-dokumentti ohjelmointikielillä, kuten Python, PHP, R, Ruby jne. - Tietovarasto
Tallenna tiedot paikalliseen tietokantaan tai pilvitallennustilaan tulevaa käyttöä varten. Jos olet kokenut ohjelmoija, joka haluaa poimia tietoja, yllä olevat vaiheet saattavat tuntua yksinkertaisilta. Jos et kuitenkaan koodaa, pikakuvake on käyttää tiedonpoimintatyökaluja, esim. . Tiedonpoistotyökalut, kuten tiedon louhintatyökalut, on suunniteltu säästämään energiaa ja tekemään tietojenkäsittelystä helppoa kaikille. Nämä työkalut eivät ole vain taloudellisia, vaan myös aloittelijaystävällisiä. Niiden avulla käyttäjät voivat kerätä tietoja muutamassa minuutissa, tallentaa ne pilveen ja viedä ne useisiin muotoihin: Excel, CSV, HTML, JSON tai verkkosivustojen tietokantoihin API:n kautta.
Tietojen purkamisen haitat
- Palvelimen kaatuminen
Kun tietoja poimitaan suuressa mittakaavassa, kohdesivuston verkkopalvelin voi olla ylikuormitettu, mikä voi johtaa palvelimen kaatumiseen. Tämä vahingoittaa sivuston omistajan etuja. - Kielto IP:n perusteella
Kun henkilö kerää tietoja liian usein, verkkosivustot voivat estää hänen IP-osoitteensa. Resurssi voi kokonaan kieltää IP-osoitteen tai rajoittaa pääsyä, mikä tekee tiedoista epätäydellisiä. Tietojen hakemiseksi ja estämisen välttämiseksi sinun on tehtävä se kohtuullisella nopeudella ja käytettävä joitain eston estotekniikoita. - Ongelmia lain kanssa
Tietojen poimiminen verkosta jää harmaalle alueelle laillisuuden kannalta. Suuret sivustot, kuten Linkedin ja Facebook, ilmoittavat selkeästi käyttöehdoissaan, että tietojen automaattinen purkaminen on kiellettyä. Yritysten välillä on ollut useita oikeudenkäyntejä bottitoiminnan vuoksi.
Tärkeimmät erot tiedon louhinnan ja tiedon poimimisen välillä
- Tiedonlouhintaa kutsutaan myös tiedon löytämiseksi tietokannoista, tiedon poimimisesta, datan/mallin analysoinnista, tiedon keräämisestä. Tiedonpoistoa käytetään vaihtokelpoisesti verkkotietojen poiminta, verkkosivujen skannaus, tiedonkeruu ja niin edelleen.
- Tiedonlouhintatutkimus perustuu enimmäkseen strukturoituun dataan, kun taas tiedonlouhinta perustuu yleensä jäsentämättömistä tai huonosti jäsennellyistä lähteistä.
- Tiedonlouhinnan tavoitteena on tehdä tiedosta hyödyllisempää analysointia varten. Tiedonpoiminta on tietojen keräämistä yhteen paikkaan, jossa se voidaan tallentaa tai käsitellä.
- Tiedonlouhinnan analyysi perustuu matemaattisiin menetelmiin kuvioiden tai trendien tunnistamiseksi. Tietojen poiminta perustuu ohjelmointikieliin tai tiedonpoimintatyökaluihin lähteiden ohittamiseksi.
- Tiedonlouhinnan tarkoituksena on löytää faktoja, joita ei aiemmin tiedetty tai jätetty huomiotta, kun taas tiedonpoiminnassa käsitellään olemassa olevaa tietoa.
- Tiedonlouhinta on monimutkaisempaa ja vaatii suuria investointeja ihmisten koulutukseen. Tiedon poiminta oikealla työkalulla voi olla erittäin helppoa ja kustannustehokasta.
Autamme aloittelijoita olemaan hämmentyneet Datassa. Erityisesti habravchaneille teimme tarjouskoodin sarvisäkki, antaa 10 % lisäalennuksen bannerissa mainitusta alennuksesta.
Lisää kursseja
Suositellut artikkelit
Lähde: will.com