Å ie divi datu zinÄtnes modes vÄrdi mulsina daudzus cilvÄkus. Datu ieguve bieži tiek pÄrprasta kÄ datu ieguve un izguve, taÄu realitÄte ir daudz sarežģītÄka. Å ajÄ rakstÄ apskatÄ«sim Mining un noskaidrosim atŔķirÄ«bu starp datu ieguvi un datu ieguvi.
Kas ir datu ieguve?
Datu ieguve, saukta arÄ« Datu bÄzes zinÄÅ”anu atklÄÅ”ana (KDD), ir metode, ko bieži izmanto lielu datu kopu analÄ«zei, izmantojot statistikas un matemÄtiskÄs metodes, lai atrastu slÄptos modeļus vai tendences un iegÅ«tu no tÄm vÄrtÄ«bu.
Ko var darīt ar datu ieguvi?
AutomatizÄjot procesu, var pÄrlÅ«kot datu bÄzes un efektÄ«vi atklÄt slÄptos modeļus. UzÅÄmumiem datu ieguve bieži tiek izmantota, lai atklÄtu modeļus un attiecÄ«bas datos, lai palÄ«dzÄtu pieÅemt labÄkus biznesa lÄmumus.
Lietojumprogrammu piemÄri
PÄc tam, kad 1990. gados kļuva plaÅ”i izplatÄ«ta datu ieguve, uzÅÄmumi dažÄdÄs nozarÄs, tostarp mazumtirdzniecÄ«bÄ, finansÄs, veselÄ«bas aprÅ«pÄ, transportÄ, telekomunikÄcijÄs, e-komercijÄ utt., sÄka izmantot datu ieguves metodes, lai iegÅ«tu informÄciju no datu bÄzes. Datu ieguve var palÄ«dzÄt segmentÄt klientus, identificÄt krÄpÅ”anu, prognozÄt pÄrdoÅ”anas apjomu un daudz ko citu.
- Klientu segmentÄcija
AnalizÄjot klientu datus un identificÄjot mÄrÄ·a klientu iezÄ«mes, uzÅÄmumi var grupÄt tos atseviÅ”Ä·Ä grupÄ un sniegt Ä«paÅ”us piedÄvÄjumus, kas atbilst viÅu vajadzÄ«bÄm. - Tirgus groza analÄ«ze
Å is paÅÄmiens ir balstÄ«ts uz teoriju, ka, pÄrkot noteiktu produktu grupu, jÅ«s, visticamÄk, iegÄdÄsieties citu produktu grupu. Viens slavens piemÄrs: kad tÄvi pÄrk autiÅbiksÄ«tes saviem mazuļiem, viÅi mÄdz iegÄdÄties alu kopÄ ar autiÅbiksÄ«tÄm. - PÄrdoÅ”anas prognozÄÅ”ana
Tas var Ŕķist lÄ«dzÄ«gs tirgus groza analÄ«zei, taÄu Å”oreiz datu analÄ«ze tiek izmantota, lai prognozÄtu, kad klients nÄkotnÄ atkal iegÄdÄsies preci. PiemÄram, treneris nopÄrk proteÄ«na bundžu, kurai vajadzÄtu pietikt 9 mÄneÅ”iem. Veikals, kas pÄrdod Å”o proteÄ«nu, plÄno pÄc 9 mÄneÅ”iem izlaist jaunu, lai treneris to iegÄdÄtos vÄlreiz. - KrÄpÅ”anas atklÄÅ”ana
Datu ieguve palÄ«dz veidot modeļus krÄpÅ”anas atklÄÅ”anai. Apkopojot krÄpniecisku un patiesu ziÅojumu paraugus, uzÅÄmumi var noteikt, kuri darÄ«jumi ir aizdomÄ«gi. - Modeļa noteikÅ”ana ražoÅ”anÄ
RažoÅ”anas nozarÄ datu ieguve tiek izmantota, lai palÄ«dzÄtu izstrÄdÄt sistÄmas, identificÄjot attiecÄ«bas starp produkta arhitektÅ«ru, profilu un klientu vajadzÄ«bÄm. Datu ieguve var arÄ« paredzÄt produktu izstrÄdes laiku un izmaksas.
Un Ŕie ir tikai daži izmantoŔanas gadījumi datu ieguvei.
Datu ieguves posmi
Datu ieguve ir holistisks datu vÄkÅ”anas, atlases, tÄ«rÄ«Å”anas, pÄrveidoÅ”anas un ieguves process, lai novÄrtÄtu modeļus un, visbeidzot, iegÅ«tu vÄrtÄ«bu.
Parasti visu datu ieguves procesu var apkopot 7 soļos:
- Datu tīrīŔana
ReÄlajÄ pasaulÄ dati ne vienmÄr tiek notÄ«rÄ«ti un strukturÄti. Tie bieži ir trokÅ”Åaini, nepilnÄ«gi un var saturÄt kļūdas. Lai pÄrliecinÄtos, ka datu ieguves rezultÄts ir precÄ«zs, vispirms ir jÄnotÄ«ra dati. Dažas tÄ«rÄ«Å”anas metodes ietver trÅ«kstoÅ”o vÄrtÄ«bu aizpildÄ«Å”anu, automÄtiskÄs un manuÄlÄs vadÄ«klas utt. - Datu integrÄcija
Å is ir posms, kurÄ dati no dažÄdiem avotiem tiek iegÅ«ti, apvienoti un integrÄti. Avoti var bÅ«t datu bÄzes, teksta faili, izklÄjlapas, dokumenti, daudzdimensionÄlas datu kopas, internets un tÄ tÄlÄk. - Datu izlase
Parasti datu ieguvei nav nepiecieÅ”ami visi integrÄtie dati. Datu paraugu ÅemÅ”ana ir posms, kurÄ no lielas datu bÄzes tiek atlasÄ«ti un iegÅ«ti tikai noderÄ«gi dati. - Datu konvertÄÅ”ana
Kad dati ir atlasÄ«ti, tie tiek pÄrvÄrsti ieguvei piemÄrotÄs formÄs. Å is process ietver normalizÄciju, apkopoÅ”anu, vispÄrinÄÅ”anu utt. - Datu ieguve
Å eit nÄk vissvarÄ«gÄkÄ datu ieguves daļa - viedo metožu izmantoÅ”ana, lai tajÄs atrastu modeļus. Process ietver regresiju, klasifikÄciju, prognozÄÅ”anu, klasterizÄciju, asociÄciju mÄcÄ«Å”anos un daudz ko citu. - Modeļa novÄrtÄÅ”ana
Å Ä« soļa mÄrÄ·is ir identificÄt potenciÄli noderÄ«gus, viegli saprotamus modeļus, kÄ arÄ« modeļus, kas atbalsta hipotÄzes. - ZinÄÅ”anu reprezentÄcija
NoslÄguma posmÄ iegÅ«tÄ informÄcija tiek pasniegta atraktÄ«vÄ veidÄ, izmantojot zinÄÅ”anu reprezentÄcijas un vizualizÄcijas metodes.
Datu ieguves trūkumi
- Liels laika un darba ieguldījums
TÄ kÄ datu ieguve ir ilgs un sarežģīts process, tas prasa daudz darba no produktÄ«viem un prasmÄ«giem cilvÄkiem. Datu zinÄtnieki var izmantot jaudÄ«gus datu ieguves rÄ«kus, taÄu viÅiem ir nepiecieÅ”ami eksperti, lai sagatavotu datus un izprastu rezultÄtus. TÄ rezultÄtÄ visas informÄcijas apstrÄde var aizÅemt kÄdu laiku. - Datu privÄtums un droŔība
TÄ kÄ datu ieguve apkopo klientu informÄciju, izmantojot tirgus metodes, tÄ var pÄrkÄpt lietotÄju privÄtumu. TurklÄt hakeri var iegÅ«t datus, kas tiek glabÄti datu ieguves sistÄmÄs. Tas apdraud klientu datu droŔību. Ja nozagtie dati tiek ļaunprÄtÄ«gi izmantoti, tie var viegli kaitÄt citiem.
IepriekÅ” minÄtais ir Ä«ss ievads datu ieguvei. KÄ jau minÄju, datu ieguve ietver datu vÄkÅ”anas un integrÄÅ”anas procesu, kas ietver datu ieguves (datu ieguves) procesu. Å ajÄ gadÄ«jumÄ var droÅ”i teikt, ka datu ieguve var bÅ«t daļa no ilgstoÅ”a datu ieguves procesa.
Kas ir datu ieguve?
Å is process, kas pazÄ«stams arÄ« kÄ "tÄ«mekļa datu ieguve" un "tÄ«mekļa skrÄpÄÅ”ana", ir datu iegÅ«Å”ana no (parasti nestrukturÄtiem vai slikti strukturÄtiem) datu avotiem centralizÄtÄs vietÄs un centralizÄcija vienÄ vietÄ glabÄÅ”anai vai turpmÄkai apstrÄdei. KonkrÄti, nestrukturÄti datu avoti ietver tÄ«mekļa lapas, e-pastu, dokumentus, PDF failus, skenÄtu tekstu, lieldatora atskaites, ruļļa failus, paziÅojumus un tÄ tÄlÄk. CentralizÄtÄ krÄtuve var bÅ«t lokÄla, mÄkoÅa vai hibrÄ«da. Ir svarÄ«gi atcerÄties, ka datu ieguve neietver apstrÄdi vai citu analÄ«zi, kas var notikt vÄlÄk.
Ko var izdarīt ar datu ieguvi?
PamatÄ datu ieguves mÄrÄ·i iedalÄs 3 kategorijÄs.
- ArhivÄÅ”ana
Datu ieguve var pÄrvÄrst datus no fiziskiem formÄtiem, piemÄram, grÄmatÄm, avÄ«zÄm, rÄÄ·iniem, digitÄlos formÄtos, piemÄram, datu bÄzÄs uzglabÄÅ”anai vai dublÄÅ”anai. - Datu formÄta maiÅa
Ja vÄlaties migrÄt datus no savas paÅ”reizÄjÄs vietnes uz jaunu, kas tiek izstrÄdÄta, varat apkopot datus no savas vietnes, tos izvelkot. - Datu analÄ«ze
Ierasts tÄlÄk analizÄt iegÅ«tos datus, lai gÅ«tu ieskatu tajos. Tas var izklausÄ«ties lÄ«dzÄ«gi kÄ datu ieguve, taÄu Åemiet vÄrÄ, ka datu ieguve ir datu ieguves mÄrÄ·is, nevis tÄ daļa. TurklÄt dati tiek analizÄti atŔķirÄ«gi. Viens piemÄrs ir tas, ka tieÅ”saistes veikalu Ä«paÅ”nieki iegÅ«st informÄciju par produktu no e-komercijas vietnÄm, piemÄram, Amazon, lai reÄllaikÄ pÄrraudzÄ«tu konkurentu stratÄÄ£ijas. TÄpat kÄ datu ieguve, arÄ« datu ieguve ir automatizÄts process ar daudzÄm priekÅ”rocÄ«bÄm. AgrÄk cilvÄki manuÄli kopÄja un ielÄ«mÄja datus no vienas vietas uz citu, kas bija ļoti laikietilpÄ«gi. Datu ieguve paÄtrina savÄkÅ”anu un ievÄrojami uzlabo iegÅ«to datu precizitÄti.
Daži datu ieguves izmantoÅ”anas piemÄri
LÄ«dzÄ«gi kÄ datu ieguve, arÄ« datu ieguve tiek plaÅ”i izmantota dažÄdÄs nozarÄs. Papildus e-komercijas cenu uzraudzÄ«bai datu ieguve var palÄ«dzÄt veikt pÄtÄ«jumus, ziÅu apkopoÅ”anu, mÄrketingu, nekustamo Ä«paÅ”umu, ceļojumus un tÅ«rismu, konsultÄcijas, finanses un citus.
- Svina paaudze
UzÅÄmumi var iegÅ«t datus no katalogiem: Yelp, Crunchbase, Yellowpages un Ä£enerÄt potenciÄlos pirkumus biznesa attÄ«stÄ«bai. Varat noskatÄ«ties tÄlÄk esoÅ”o videoklipu, lai uzzinÄtu, kÄ iegÅ«t datus no Yellowpages ar . - Satura un ziÅu apkopoÅ”ana
Satura apkopoÅ”anas vietnes var saÅemt regulÄras datu plÅ«smas no vairÄkiem avotiem un uzturÄt savas vietnes atjauninÄtas. - Sentimenta analÄ«ze
PÄc atsauksmju, komentÄru un atsauksmju iegÅ«Å”anas no sociÄlajiem tÄ«kliem, piemÄram, Instagram un Twitter, profesionÄļi var analizÄt pamatÄ esoÅ”o attieksmi un gÅ«t ieskatu par to, kÄ tiek uztverts zÄ«mols, produkts vai parÄdÄ«ba.
Datu ieguves soļi
Datu ieguve ir ETL (Extract, Transform, Load: Extract, Transform, Load) un ELT (Extract, Load un Transform) pirmais posms. ETL un ELT paÅ”i ir daļa no pilnÄ«gas datu integrÄcijas stratÄÄ£ijas. Citiem vÄrdiem sakot, datu iegÅ«Å”ana var bÅ«t daļa no to ieguves.
Izvilkt, pÄrveidot, ielÄdÄt
Lai gan datu ieguve ir saistÄ«ta ar informÄcijas ieguvi no liela datu apjoma, datu ieguve ir daudz Ä«sÄks un vienkÄrÅ”Äks process. To var samazinÄt lÄ«dz trim posmiem:
- Datu avota atlase
Atlasiet avotu, no kura vÄlaties iegÅ«t datus, piemÄram, vietni. - Datu vÄkÅ”ana
NosÅ«tiet vietnei pieprasÄ«jumu "GET" un parsÄjiet iegÅ«to HTML dokumentu, izmantojot programmÄÅ”anas valodas, piemÄram, Python, PHP, R, Ruby utt. - Datu glabÄÅ”ana
SaglabÄjiet datus vietÄjÄ datu bÄzÄ vai mÄkoÅkrÄtuvÄ turpmÄkai lietoÅ”anai. Ja esat pieredzÄjis programmÄtÄjs, kurÅ” vÄlas iegÅ«t datus, iepriekÅ” minÄtÄs darbÄ«bas jums var Ŕķist vienkÄrÅ”as. TomÄr, ja neesat programmÄtÄjs, ir saÄ«sne - izmantojiet datu ieguves rÄ«kus, piemÄram . Datu ieguves rÄ«ki, tÄpat kÄ datu ieguves rÄ«ki, ir paredzÄti, lai taupÄ«tu enerÄ£iju un atvieglotu datu apstrÄdi ikvienam. Å ie rÄ«ki ir ne tikai ekonomiski, bet arÄ« draudzÄ«gi iesÄcÄjiem. Tie ļauj lietotÄjiem dažu minÅ«Å”u laikÄ apkopot datus, saglabÄt tos mÄkonÄ« un eksportÄt tos daudzos formÄtos: Excel, CSV, HTML, JSON vai vietnes datubÄzÄs, izmantojot API.
Datu ieguves trūkumi
- Servera avÄrija
IegÅ«stot datus lielÄ mÄrogÄ, mÄrÄ·a vietnes tÄ«mekļa serveris var tikt pÄrslogots, kas var izraisÄ«t servera avÄriju. Tas kaitÄs vietnes Ä«paÅ”nieka interesÄm. - Aizliegts pÄc IP
Ja persona pÄrÄk bieži vÄc datus, vietnes var bloÄ·Ät viÅu IP adresi. Resurss var pilnÄ«bÄ aizliegt IP adresi vai ierobežot piekļuvi, padarot datus nepilnÄ«gus. Lai izgÅ«tu datus un izvairÄ«tos no bloÄ·ÄÅ”anas, tas jÄdara mÄrenÄ ÄtrumÄ un jÄizmanto daži pretbloÄ·ÄÅ”anas paÅÄmieni. - ProblÄmas ar likumu
Datu iegÅ«Å”ana no tÄ«mekļa ir pelÄkÄ zonÄ, kad runa ir par likumÄ«bu. GalvenÄs vietnes, piemÄram, Linkedin un Facebook, savos lietoÅ”anas noteikumos skaidri norÄda, ka jebkÄda automÄtiska datu iegÅ«Å”ana ir aizliegta. Ir bijuÅ”as daudzas tiesas prÄvas starp uzÅÄmumiem saistÄ«bÄ ar botu darbÄ«bÄm.
GalvenÄs atŔķirÄ«bas starp datu ieguvi un datu ieguvi
- Datu ieguvi sauc arÄ« par zinÄÅ”anu atklÄÅ”anu datu bÄzÄs, zinÄÅ”anu ieguvi, datu / modeļu analÄ«zi, informÄcijas vÄkÅ”anu. Datu ieguve tiek izmantota aizvietojami ar tÄ«mekļa datu ieguvi, tÄ«mekļa lapu skenÄÅ”anu, datu vÄkÅ”anu un tÄ tÄlÄk.
- Datu ieguves pÄtÄ«jumi galvenokÄrt balstÄs uz strukturÄtiem datiem, savukÄrt datu ieguve parasti tiek iegÅ«ta no nestrukturÄtiem vai slikti strukturÄtiem avotiem.
- Datu ieguves mÄrÄ·is ir padarÄ«t datus noderÄ«gÄkus analÄ«zei. Datu ieguve ir datu vÄkÅ”ana vienÄ vietÄ, kur tos var uzglabÄt vai apstrÄdÄt.
- Datu ieguves analÄ«ze balstÄs uz matemÄtiskÄm metodÄm modeļu vai tendenÄu identificÄÅ”anai. Datu ieguve ir balstÄ«ta uz programmÄÅ”anas valodÄm vai datu ieguves rÄ«kiem, lai apietu avotus.
- Datu ieguves mÄrÄ·is ir atrast faktus, kas iepriekÅ” nebija zinÄmi vai ignorÄti, savukÄrt datu ieguve nodarbojas ar esoÅ”o informÄciju.
- Datu ieguve ir sarežģītÄka un prasa lielus ieguldÄ«jumus cilvÄku apmÄcÄ«bÄ. Datu ieguve ar pareizo rÄ«ku var bÅ«t ļoti vienkÄrÅ”a un rentabla.
MÄs palÄ«dzam iesÄcÄjiem neapjukt Datos. ÄŖpaÅ”i habravchaniem mÄs izveidojÄm reklÄmas kodu HABR, dodot papildus 10% atlaidi banerÄ« norÄdÄ«tajai atlaidei.
VairÄk kursu
PiedÄvÄtie raksti
Avots: www.habr.com