Տվյալների գիտության այս երկու բառակապակցությունները շփոթեցնում են շատ մարդկանց: Տվյալների հանքարդյունաբերությունը հաճախ սխալ է ընկալվում որպես տվյալների արդյունահանում և առբերում, բայց իրականությունը շատ ավելի բարդ է: Այս գրառման մեջ եկեք կետային հանքարդյունաբերություն կատարենք և պարզենք տվյալների արդյունահանման և տվյալների արդյունահանման միջև եղած տարբերությունը:
Ի՞նչ է տվյալների արդյունահանումը:
Տվյալների հանքարդյունաբերություն, որը նույնպես կոչվում է Տվյալների բազայի գիտելիքների բացահայտում (KDD), տեխնիկա է, որը հաճախ օգտագործվում է տվյալների մեծ հավաքածուները վերլուծելու համար՝ օգտագործելով վիճակագրական և մաթեմատիկական մեթոդները՝ թաքնված օրինաչափությունները կամ միտումները գտնելու և դրանցից արժեք հանելու համար:
Ի՞նչ կարելի է անել Data Mining-ի հետ:
Գործընթացը ավտոմատացնելով, կարող է թերթել տվյալների բազաները և արդյունավետ կերպով բացահայտել թաքնված նախշերը: Բիզնեսների համար տվյալների արդյունահանումը հաճախ օգտագործվում է տվյալների օրինաչափություններ և հարաբերություններ հայտնաբերելու համար, որոնք կօգնեն ավելի լավ բիզնես որոշումներ կայացնել:
Կիրառման օրինակներ
Այն բանից հետո, երբ 1990-ականներին տվյալների արդյունահանումը լայն տարածում գտավ, արդյունաբերության լայն շրջանակի ընկերությունները, ներառյալ մանրածախ առևտուրը, ֆինանսները, առողջապահությունը, տրանսպորտը, հեռահաղորդակցությունը, էլեկտրոնային առևտուրը և այլն, սկսեցին օգտագործել տվյալների արդյունահանման մեթոդներ՝ տվյալների հիման վրա տեղեկատվություն ստանալու համար: Տվյալների մայնինգը կարող է օգնել բաժանորդներին բաժանել, բացահայտել խարդախությունները, կանխատեսել վաճառքները և այլն:
- Հաճախորդների սեգմենտավորում
Վերլուծելով հաճախորդների տվյալները և բացահայտելով թիրախային հաճախորդների հատկությունները, ընկերությունները կարող են խմբավորել դրանք առանձին խմբի և տրամադրել հատուկ առաջարկներ, որոնք բավարարում են նրանց կարիքները: - Շուկայի զամբյուղի վերլուծություն
Այս տեխնիկան հիմնված է այն տեսության վրա, որ եթե դուք գնում եք ապրանքների որոշակի խումբ, ապա ավելի հավանական է, որ գնեք ապրանքների այլ խումբ: Հայտնի օրինակներից մեկը. երբ հայրերը տակդիրներ են գնում իրենց երեխաների համար, նրանք հակված են գարեջուր գնելու տակդիրների հետ մեկտեղ: - Վաճառքի կանխատեսում
Այն կարող է թվալ, թե նման է շուկայական զամբյուղի վերլուծությանը, բայց այս անգամ տվյալների վերլուծությունն օգտագործվում է կանխատեսելու համար, թե երբ հաճախորդը ապագայում նորից ապրանք կգնի: Օրինակ, մարզիչը գնում է մի տուփ սպիտակուց, որը պետք է պահպանվի 9 ամիս: Այս սպիտակուցը վաճառող խանութը նախատեսում է 9 ամսից նորը թողարկել, որպեսզի մարզիչը նորից գնի այն։ - Խարդախության հայտնաբերում
Տվյալների արդյունահանումն օգնում է մոդելներ ստեղծել խարդախության հայտնաբերման համար: Կեղծ և ճշմարտացի հաշվետվությունների նմուշներ հավաքելով՝ ձեռնարկությունները իրավասու են որոշել, թե որ գործարքներն են կասկածելի: - Նախշերի հայտնաբերում արտադրության մեջ
Արտադրական արդյունաբերությունում տվյալների արդյունահանումն օգտագործվում է համակարգերի նախագծման համար՝ բացահայտելով արտադրանքի ճարտարապետության, պրոֆիլի և հաճախորդի կարիքների միջև կապը: Տվյալների մայնինգը կարող է նաև կանխատեսել արտադրանքի մշակման ժամանակներն ու ծախսերը:
Եվ սրանք ընդամենը մի քանի դեպքեր են տվյալների մայնինգի օգտագործման համար:
Տվյալների մայնինգի փուլերը
Տվյալների արդյունահանումը տվյալների հավաքագրման, ընտրության, մաքրման, վերափոխման և արդյունահանման ամբողջական գործընթաց է՝ օրինաչափությունները գնահատելու և, ի վերջո, արժեքը հանելու համար:
Ընդհանուր առմամբ, տվյալների մշակման ամբողջ գործընթացը կարելի է ամփոփել 7 քայլով.
- Տվյալների մաքրում
Իրական աշխարհում տվյալները միշտ չէ, որ մաքրվում և կառուցված են: Դրանք հաճախ աղմկոտ են, թերի և կարող են պարունակել սխալներ: Համոզվելու համար, որ տվյալների արդյունահանման արդյունքը ճշգրիտ է, նախ պետք է մաքրել տվյալները: Մաքրման որոշ մեթոդներ ներառում են բաց թողնված արժեքների լրացում, ավտոմատ և ձեռքով կառավարում և այլն: - Տվյալների ինտեգրում
Սա այն փուլն է, որտեղ արդյունահանվում, համակցվում և ինտեգրվում են տարբեր աղբյուրների տվյալները: Աղբյուրները կարող են լինել տվյալների բազաները, տեքստային ֆայլերը, աղյուսակները, փաստաթղթերը, բազմաչափ տվյալների հավաքածուները, ինտերնետը և այլն: - Տվյալների նմուշառում
Սովորաբար, ոչ բոլոր ինտեգրված տվյալները անհրաժեշտ են տվյալների մայնինգում: Տվյալների նմուշառումն այն փուլն է, երբ ընտրվում և արդյունահանվում են միայն օգտակար տվյալներ մեծ տվյալների բազայից: - Տվյալների փոխակերպում
Տվյալներն ընտրվելուց հետո դրանք վերածվում են հանքարդյունաբերության համար հարմար ձևերի: Այս գործընթացը ներառում է նորմալացում, ագրեգացում, ընդհանրացում և այլն: - Տվյալների արդյունահանում
Այստեղ գալիս է տվյալների արդյունահանման ամենակարևոր մասը՝ խելացի մեթոդների օգտագործումը դրանցում օրինաչափություններ գտնելու համար: Գործընթացը ներառում է ռեգրեսիա, դասակարգում, կանխատեսում, կլաստերավորում, ասոցիացիայի ուսուցում և այլն: - Մոդելի գնահատում
Այս քայլը նպատակ ունի բացահայտել պոտենցիալ օգտակար, հեշտ հասկանալի օրինաչափությունները, ինչպես նաև հիպոթեզներին աջակցող օրինաչափությունները: - Գիտելիքների ներկայացում
Վերջնական փուլում ստացված տեղեկատվությունը ներկայացվում է գրավիչ ձևով՝ օգտագործելով գիտելիքների ներկայացման և վիզուալիզացիայի մեթոդները:
Տվյալների արդյունահանման թերությունները
- Ժամանակի և աշխատուժի մեծ ներդրում
Քանի որ տվյալների մայնինգը երկար և բարդ գործընթաց է, այն պահանջում է մեծ աշխատանք արդյունավետ և հմուտ մարդկանցից: Տվյալների գիտնականները կարող են օգտագործել տվյալների արդյունահանման հզոր գործիքներ, սակայն նրանց անհրաժեշտ են փորձագետներ՝ տվյալները պատրաստելու և արդյունքները հասկանալու համար: Արդյունքում, կարող է որոշ ժամանակ պահանջվել ամբողջ տեղեկատվության մշակման համար: - Տվյալների գաղտնիություն և անվտանգություն
Քանի որ տվյալների արդյունահանումը հավաքում է հաճախորդների տեղեկատվությունը շուկայական մեթոդների միջոցով, այն կարող է խախտել օգտվողի գաղտնիությունը: Բացի այդ, հաքերները կարող են ձեռք բերել տվյալների մայնինգ համակարգերում պահվող տվյալներ: Սա սպառնում է հաճախորդների տվյալների անվտանգությանը: Եթե գողացված տվյալները չարաշահվեն, դա կարող է հեշտությամբ վնասել ուրիշներին:
Վերոնշյալը տվյալների հանքարդյունաբերության համառոտ ներածություն է: Ինչպես արդեն նշեցի, տվյալների մայնինգը պարունակում է տվյալների հավաքագրման և ինտեգրման գործընթաց, որը ներառում է տվյալների արդյունահանման գործընթացը (տվյալների արդյունահանում): Այս դեպքում կարելի է վստահորեն ասել, որ տվյալների արդյունահանումը կարող է լինել տվյալների արդյունահանման երկար գործընթացի մաս:
Ի՞նչ է տվյալների արդյունահանումը:
Նաև հայտնի է որպես «վեբ տվյալների արդյունահանում» և «վեբ գրություն», այս գործընթացը տվյալների արդյունահանման գործողություն է (սովորաբար չկառուցված կամ վատ կառուցվածքով) տվյալների աղբյուրներից կենտրոնացված վայրերում և կենտրոնացում մեկ վայրում՝ պահպանման կամ հետագա մշակման համար: Մասնավորապես, չկառուցված տվյալների աղբյուրները ներառում են վեբ էջեր, էլ. փոստ, փաստաթղթեր, PDF ֆայլեր, սկանավորված տեքստ, հիմնական հաշվետվություններ, պտտվող ֆայլեր, հայտարարություններ և այլն: Կենտրոնացված պահեստավորումը կարող է լինել տեղական, ամպային կամ հիբրիդային: Կարևոր է հիշել, որ տվյալների արդյունահանումը չի ներառում վերամշակում կամ այլ վերլուծություն, որը կարող է տեղի ունենալ ավելի ուշ:
Ի՞նչ կարելի է անել տվյալների արդյունահանման հետ:
Հիմնականում տվյալների արդյունահանման նպատակները բաժանվում են 3 կատեգորիայի.
- Արխիվացում
Տվյալների արդյունահանումը կարող է փոխակերպել տվյալները ֆիզիկական ձևաչափերից, ինչպիսիք են գրքերը, թերթերը, հաշիվ-ապրանքագրերը թվային ձևաչափերի, ինչպիսիք են տվյալների բազաները պահեստավորման կամ կրկնօրինակման համար: - Տվյալների ձևաչափի փոփոխություն
Երբ ցանկանում եք տվյալներ տեղափոխել ձեր ընթացիկ կայքից նորը, որը մշակվում է, կարող եք տվյալներ հավաքել ձեր սեփական կայքից՝ հանելով այն: - Տվյալների վերլուծություն
Ընդունված է արդյունահանված տվյալների հետագա վերլուծությունը դրանց մասին պատկերացում կազմելու համար: Սա կարող է թվալ տվյալների մայնինգի նման, բայց հիշեք, որ տվյալների մայնինգը տվյալների մայնինգի նպատակն է, այլ ոչ թե դրա մի մասը: Ընդ որում, տվյալները վերլուծվում են այլ կերպ։ Օրինակներից մեկն այն է, որ առցանց խանութների սեփականատերերը ապրանքի մասին տեղեկությունները վերցնում են էլեկտրոնային առևտրի կայքերից, ինչպիսին Amazon-ն է՝ իրական ժամանակում վերահսկելու մրցակիցների ռազմավարությունները: Ինչպես տվյալների արդյունահանումը, տվյալների արդյունահանումը ավտոմատացված գործընթաց է բազմաթիվ առավելություններով: Նախկինում մարդիկ ձեռքով պատճենում և տեղադրում էին տվյալները մի տեղից մյուսը, ինչը շատ ժամանակատար էր: Տվյալների արդյունահանումը արագացնում է հավաքագրումը և մեծապես բարելավում է արդյունահանված տվյալների ճշգրտությունը:
Տվյալների արդյունահանման օգտագործման որոշ օրինակներ
Տվյալների մայնինգի նման, տվյալների մայնինգը լայնորեն կիրառվում է տարբեր ոլորտներում: Էլեկտրոնային առևտրի գների մոնիտորինգից բացի, տվյալների արդյունահանումը կարող է օգնել ձեր սեփական հետազոտությունների, նորությունների համախմբման, շուկայավարման, անշարժ գույքի, ճանապարհորդության և զբոսաշրջության, խորհրդատվության, ֆինանսների և այլնի հետ:
- Առաջատար սերունդ
Ընկերությունները կարող են տվյալներ հանել դիրեկտորիաներից՝ Yelp, Crunchbase, Yellowpages և ստեղծել բիզնեսի զարգացման համար առաջատարներ: Դուք կարող եք դիտել ստորև բերված տեսանյութը՝ իմանալու, թե ինչպես կարելի է Yellowpages-ից տվյալներ հանել . - Բովանդակության և նորությունների համախմբում
Բովանդակության համախմբման կայքերը կարող են կանոնավոր տվյալների հոսքեր ստանալ բազմաթիվ աղբյուրներից և թարմացնել իրենց կայքերը: - Զգացմունքների վերլուծություն
Կարծիքներ, մեկնաբանություններ և վկայություններ ստանալով սոցիալական ցանցերից, ինչպիսիք են Instagram-ը և Twitter-ը, մասնագետները կարող են վերլուծել հիմքում ընկած վերաբերմունքը և պատկերացում կազմել ապրանքանիշի, ապրանքի կամ երևույթի ընկալման վերաբերյալ:
Տվյալների արդյունահանման քայլեր
Տվյալների արդյունահանումը ETL-ի (Extract, Transform, Load: Extract, Transform, Load) և ELT (Extract, Load, and Transform) առաջին փուլն է: ETL-ը և ELT-ն իրենք են տվյալների ամբողջական ինտեգրման ռազմավարության մաս: Այլ կերպ ասած, տվյալների արդյունահանումը կարող է լինել դրանց արդյունահանման մի մասը:
Արդյունահանում, փոխակերպում, բեռնում
Թեև տվյալների արդյունահանումը կապված է մեծ քանակությամբ տվյալներից տեղեկատվության արդյունահանման հետ, տվյալների արդյունահանումը շատ ավելի կարճ և պարզ գործընթաց է: Այն կարող է կրճատվել երեք փուլով.
- Ընտրելով տվյալների աղբյուր
Ընտրեք աղբյուրը, որտեղից ցանկանում եք տվյալներ հանել, օրինակ՝ վեբկայք: - Տվյալների հավաքագրումը
Ուղարկեք «GET» հարցումը կայք և վերլուծեք ստացված HTML փաստաթուղթը՝ օգտագործելով ծրագրավորման լեզուները, ինչպիսիք են Python, PHP, R, Ruby և այլն: - Տվյալների պահպանում
Պահպանեք տվյալները ձեր տեղական տվյալների բազայում կամ ամպային պահեստում՝ հետագա օգտագործման համար: Եթե դուք փորձառու ծրագրավորող եք, ով ցանկանում է տվյալներ հանել, վերը նշված քայլերը կարող են ձեզ պարզ թվալ: Այնուամենայնիվ, եթե դուք ծրագրավորող չեք, կա դյուրանցում. օգտագործեք տվյալների արդյունահանման գործիքներ, ինչպիսիք են . Տվյալների արդյունահանման գործիքները, ինչպես տվյալների արդյունահանման գործիքները, նախատեսված են էներգիա խնայելու և տվյալների մշակումը հեշտացնելու համար բոլորի համար: Այս գործիքները ոչ միայն տնտեսական են, այլև սկսնակների համար: Նրանք թույլ են տալիս օգտվողներին հավաքել տվյալներ րոպեների ընթացքում, պահել դրանք ամպի մեջ և արտահանել դրանք բազմաթիվ ձևաչափերով՝ Excel, CSV, HTML, JSON կամ կայքի տվյալների բազաներ API-ի միջոցով:
Տվյալների արդյունահանման թերությունները
- Սերվերի խափանում
Մեծ մասշտաբով տվյալներ հանելիս թիրախ կայքի վեբ սերվերը կարող է գերբեռնվել, ինչը կարող է հանգեցնել սերվերի խափանման: Սա վնաս կհասցնի կայքի սեփականատիրոջ շահերին: - Արգելք IP-ի կողմից
Երբ անձը շատ հաճախ տվյալներ է հավաքում, կայքերը կարող են արգելափակել նրա IP հասցեն: Ռեսուրսը կարող է ամբողջությամբ արգելել IP հասցեն կամ սահմանափակել մուտքը՝ տվյալները թերի դարձնելով: Տվյալները առբերելու և արգելափակումից խուսափելու համար դուք պետք է դա անեք չափավոր արագությամբ և կիրառեք որոշ հակաբլոկավորման մեթոդներ: - Օրենքի հետ կապված խնդիրներ
Համացանցից տվյալների արդյունահանումը ընկնում է մոխրագույն գոտում, երբ խոսքը վերաբերում է օրինականությանը: Հիմնական կայքերը, ինչպիսիք են Linkedin-ը և Facebook-ը, իրենց օգտագործման պայմաններում հստակ նշում են, որ տվյալների ցանկացած ավտոմատ արդյունահանումն արգելված է: Բոտերի գործունեության պատճառով ընկերությունների միջև բազմաթիվ դատական գործընթացներ են տեղի ունեցել:
Հիմնական տարբերությունները տվյալների արդյունահանման և տվյալների արդյունահանման միջև
- Տվյալների արդյունահանումը կոչվում է նաև գիտելիքների հայտնաբերում տվյալների բազաներում, գիտելիքների արդյունահանում, տվյալների/օրինաչափությունների վերլուծություն, տեղեկատվության հավաքում: Տվյալների արդյունահանումը փոխադարձաբար օգտագործվում է վեբ տվյալների արդյունահանման, վեբ էջերի սկանավորման, տվյալների հավաքագրման և այլնի հետ:
- Տվյալների արդյունահանման հետազոտությունը հիմնականում հիմնված է կառուցվածքային տվյալների վրա, մինչդեռ տվյալների արդյունահանումը սովորաբար բխում է չկառուցված կամ վատ կառուցվածքային աղբյուրներից:
- Տվյալների մայնինգի նպատակն է տվյալներն ավելի օգտակար դարձնել վերլուծության համար: Տվյալների արդյունահանումը տվյալների հավաքումն է մեկ վայրում, որտեղ դրանք կարող են պահվել կամ մշակվել:
- Տվյալների արդյունահանման մեջ վերլուծությունը հիմնված է օրինաչափությունների կամ միտումների բացահայտման մաթեմատիկական մեթոդների վրա: Տվյալների արդյունահանումը հիմնված է ծրագրավորման լեզուների կամ տվյալների արդյունահանման գործիքների վրա՝ աղբյուրները շրջանցելու համար:
- Տվյալների մայնինգի նպատակն է գտնել փաստեր, որոնք նախկինում հայտնի չեն եղել կամ անտեսվել են, մինչդեռ տվյալների արդյունահանումը վերաբերում է առկա տեղեկատվությանը:
- Տվյալների արդյունահանումն ավելի բարդ է և պահանջում է մեծ ներդրում մարդկանց վերապատրաստման համար: Տվյալների արդյունահանումը ճիշտ գործիքով կարող է լինել չափազանց հեշտ և ծախսարդյունավետ:
Մենք օգնում ենք սկսնակներին չշփոթվել Data-ում: Հատկապես հաբրավչանների համար մենք պատրաստեցինք պրոմո կոդ ՀԱԲՐ, բանների վրա նշված զեղչին տալով հավելյալ 10% զեղչ։
Ավելի շատ դասընթացներ
Առաջարկվող հոդվածներ
Source: www.habr.com