שתי מילות הבאזז של מדעי הנתונים הללו מבלבלות אנשים רבים. כריית נתונים לרוב לא מובנת כמיצוי ושליפה של נתונים, אבל במציאות זה הרבה יותר מורכב. בפוסט הזה, בואו נשים את הגימור לכרייה ונגלה את ההבדל בין כריית נתונים לחילוץ נתונים.
מהי כריית נתונים?
כריית נתונים, נקראת גם גילוי ידע במסד נתונים (KDD), היא טכניקה המשמשת לעתים קרובות לניתוח כמויות גדולות של נתונים באמצעות טכניקות סטטיסטיות ומתמטיות כדי למצוא דפוסים או מגמות נסתרות ולהפיק מהם ערך.
מה אתה יכול לעשות עם Data Mining?
על ידי אוטומציה של התהליך, יכול לסרוק מסדי נתונים ולזהות ביעילות דפוסים נסתרים. עבור עסקים, כריית נתונים משמשת לעתים קרובות כדי לזהות דפוסים וקשרים בנתונים כדי לסייע בקבלת החלטות עסקיות טובות יותר.
דוגמאות ליישום
לאחר שכריית נתונים הפכה לנפוצה בשנות ה-1990, חברות במגוון רחב של תעשיות, כולל קמעונאות, פיננסים, שירותי בריאות, תחבורה, טלקומוניקציה, מסחר אלקטרוני וכו', החלו להשתמש בטכניקות כריית נתונים כדי לקבל מידע על בסיס נתונים. כריית נתונים יכולה לעזור לפלח לקוחות, לזהות הונאה, לחזות מכירות ועוד הרבה יותר.
- פילוח לקוחות
על ידי ניתוח נתוני לקוחות וזיהוי מאפיינים של לקוחות יעד, חברות יכולות למקד אותם לקבוצה מובחנת ולספק הצעות מיוחדות העונות על צרכיהן. - ניתוח סל שוק
טכניקה זו מבוססת על התיאוריה שאם אתה קונה קבוצת מוצרים מסוימת, סביר יותר שתקנה קבוצת מוצרים אחרת. דוגמה מפורסמת אחת: כאשר אבות קונים חיתולים לתינוקות שלהם, הם נוטים לקנות בירה יחד עם החיתולים. - חיזוי מכירות
זה אולי נראה דומה לניתוח סל שוק, אבל הפעם משתמשים בניתוח נתונים כדי לחזות מתי לקוח ירכוש מוצר שוב בעתיד. לדוגמה, מאמן קונה פחית חלבון, שאמורה להחזיק מעמד למשך 9 חודשים. החנות המוכרת חלבון זה מתכננת להוציא אחד חדש בעוד 9 חודשים, כך שהמאמן יקנה אותו שוב. - איתור הונאה
כריית נתונים מסייעת בבניית מודלים לאיתור הונאה. על ידי איסוף דוגמאות של דוחות הונאה ולגיטימיים, עסקים מוסמכים לקבוע אילו עסקאות חשודות. - איתור דפוסים בייצור
בתעשיית הייצור, כריית נתונים משמשת לסיוע בתכנון מערכת על ידי זיהוי הקשר בין ארכיטקטורת המוצר, הפרופיל וצרכי הלקוח. כריית נתונים יכולה גם לחזות לוחות זמנים ועלויות לפיתוח מוצרים.
ואלה רק כמה תרחישים לשימוש בכריית נתונים.
שלבי כריית נתונים
כריית נתונים היא התהליך ההוליסטי של איסוף, בחירה, ניקוי, שינוי והפקת נתונים כדי להעריך דפוסים ובסופו של דבר להפיק ערך.
ככלל, ניתן לסכם את כל תהליך כריית הנתונים ל-7 שלבים:
- ניקוי נתונים
בעולם האמיתי, הנתונים לא תמיד מנוקים ומובנים. לעתים קרובות הם רועשים, לא שלמים ועשויים להכיל שגיאות. כדי להבטיח שתוצאת כריית הנתונים מדויקת, תחילה עליך לנקות את הנתונים. חלק משיטות הניקוי כוללות מילוי ערכים חסרים, בדיקה אוטומטית וידנית וכו'. - שילוב נתונים
זה השלב שבו נשלפים, משולבים ומשולבים נתונים ממקורות שונים. מקורות יכולים להיות מסדי נתונים, קבצי טקסט, גיליונות אלקטרוניים, מסמכים, מערכי נתונים רב מימדיים, אינטרנט וכדומה. - דגימת נתונים
בדרך כלל, לא כל הנתונים המשולבים נחוצים בכריית נתונים. דגימת נתונים היא השלב שבו רק נתונים שימושיים נבחרים ונשלפים ממסד נתונים גדול. - נתוני מרה
לאחר בחירת הנתונים, הם מומרים לצורות מתאימות לכרייה. תהליך זה כולל נורמליזציה, צבירה, הכללה וכו'. - כריית מידע
כאן מגיע החלק החשוב ביותר של כריית נתונים - שימוש בשיטות חכמות למציאת דפוסים בו. התהליך כולל רגרסיה, סיווג, חיזוי, אשכולות, למידת אסוציאציות ועוד. - הערכת מודל
שלב זה נועד לזהות דפוסים בעלי פוטנציאל שימושי, קל להבנה ותומכים בהשערות. - הצגת ידע
בשלב הסופי, המידע המתקבל מוצג בצורה אטרקטיבית תוך שימוש בשיטות ייצוג ידע והדמיה.
חסרונות של כריית נתונים
- השקעה גדולה של זמן ועבודה
מכיוון שכריית נתונים היא תהליך ארוך ומורכב, היא דורשת עבודה רבה מאנשים פרודוקטיביים ומיומנים. כורי נתונים יכולים לנצל כלים רבי עוצמה לכריית נתונים, אך הם דורשים מומחים כדי להכין את הנתונים ולהבין את התוצאות. כתוצאה מכך, עיבוד כל המידע עשוי לקחת זמן מה. - פרטיות ואבטחת מידע
מכיוון שכריית נתונים אוספת מידע על לקוחות באמצעות שיטות שוק, היא עלולה להפר את פרטיות המשתמש. בנוסף, האקרים יכולים להשיג נתונים המאוחסנים במערכות כריית נתונים. זה מהווה איום על אבטחת נתוני הלקוחות. אם נעשה שימוש לרעה בנתונים גנובים, זה יכול בקלות לפגוע באחרים.
האמור לעיל הוא מבוא קצר לכריית נתונים. כפי שכבר ציינתי, כריית נתונים כרוכה בתהליך של איסוף ושילוב נתונים, הכולל את תהליך מיצוי הנתונים. במקרה זה, ניתן לומר בבטחה שחילוץ נתונים יכול להיות חלק מתהליך כריית נתונים ארוך טווח.
מהו חילוץ נתונים?
המכונה גם "כריית נתונים באינטרנט" ו"גרידת אינטרנט", תהליך זה הוא פעולת חילוץ נתונים ממקורות נתונים (בדרך כלל לא מובנים או בעלי מבנה גרוע) למיקומים מרכזיים וריכוזם במקום אחד לצורך אחסון או עיבוד נוסף. באופן ספציפי, מקורות נתונים לא מובנים כוללים דפי אינטרנט, דואר אלקטרוני, מסמכים, קבצי PDF, טקסט סרוק, דוחות מיינפריים, קבצי סליל לגלגל, פרסומות וכו'. אחסון מרכזי יכול להיות מקומי, ענן או היברידי. חשוב לזכור שחילוץ הנתונים אינו כולל עיבוד או ניתוח אחר שעלול להתרחש מאוחר יותר.
מה אתה יכול לעשות עם חילוץ נתונים?
בעיקרון, המטרות של חילוץ הנתונים מתחלקות ל-3 קטגוריות.
- בארכיון
חילוץ נתונים יכול להפוך נתונים מפורמטים פיזיים: ספרים, עיתונים, חשבוניות לפורמטים דיגיטליים, כגון מסדי נתונים לאחסון או גיבוי. - שינוי פורמט הנתונים
כאשר אתה רוצה להעביר נתונים מהאתר הנוכחי שלך לאתר חדש בפיתוח, אתה יכול לאסוף נתונים מהאתר שלך על ידי חילוץ אותם. - ניתוח נתונים
ניתוח נוסף של הנתונים שחולצו כדי לקבל תובנה הוא נפוץ. זה אולי נראה דומה לכריית נתונים, אבל זכור שכריית נתונים היא המטרה של כריית נתונים, לא חלק ממנה. יתר על כן, הנתונים מנותחים בצורה שונה. דוגמה אחת: בעלי חנויות מקוונות מחלצים מידע על מוצרים מאתרי מסחר אלקטרוני כמו אמזון כדי לנטר את האסטרטגיות של המתחרים בזמן אמת. כמו כריית נתונים, חילוץ נתונים הוא תהליך אוטומטי שיש לו יתרונות רבים. בעבר, אנשים נהגו להעתיק ולהדביק נתונים באופן ידני ממקום אחד לאחר, דבר שלקח זמן רב. חילוץ הנתונים מזרז את האיסוף ומשפר מאוד את הדיוק של הנתונים שחולצו.
כמה דוגמאות לשימוש בחילוץ נתונים
בדומה לכריית נתונים, כריית נתונים נמצאת בשימוש נרחב בתעשיות שונות. בנוסף לניטור המחירים במסחר אלקטרוני, כריית נתונים יכולה לעזור במחקר שלך, צבירת חדשות, שיווק, נדל"ן, נסיעות ותיירות, ייעוץ, פיננסים ועוד.
- דור מוביל
חברות יכולות לחלץ נתונים מספריות: Yelp, Crunchbase, Yellowpages ולייצר לידים לפיתוח עסקי. אתה יכול לצפות בסרטון למטה כדי ללמוד כיצד לחלץ נתונים מדפי זהב באמצעות . - צבירת תוכן וחדשות
אתרי צבירת תוכן יכולים לקבל זרמים קבועים של נתונים ממקורות מרובים ולשמור את האתרים שלהם מעודכנים. - ניתוח הסנטימנט
על ידי חילוץ ביקורות, הערות ומשוב מאתרי מדיה חברתית כמו אינסטגרם וטוויטר, מומחים יכולים לנתח את הסנטימנטים הבסיסיים ולקבל תובנה לגבי האופן שבו מותג, מוצר או תופעה נתפסים.
שלבי חילוץ נתונים
מיצוי הנתונים הוא השלב הראשון של ETL (ראשי תיבות של Extract, Transform, Load) ו-ELT (חילוץ, טען והמרה). ETL ו-ELT הם בעצמם חלק מאסטרטגיית שילוב נתונים מלאה. במילים אחרות, חילוץ נתונים יכול להיות חלק מכריית נתונים.
לחלץ, להמיר, לטעון
בעוד שכריית נתונים עוסקת בחילוץ מידע מכמויות גדולות של נתונים, חילוץ נתונים הוא תהליך קצר ופשוט בהרבה. ניתן לצמצם אותו לשלושה שלבים:
- בחירת מקור נתונים
בחר את המקור שממנו ברצונך לחלץ נתונים, כגון אתר אינטרנט. - איסוף נתונים
שלח בקשת "GET" לאתר ונתח את מסמך ה-HTML שנוצר באמצעות שפות תכנות כגון Python, PHP, R, Ruby וכו'. - אחסון נתונים
שמור נתונים במסד הנתונים המקומי או באחסון בענן לשימוש עתידי. אם אתה מתכנת מנוסה שרוצה לחלץ נתונים, השלבים לעיל עשויים להיראות פשוטים עבורך. עם זאת, אם אתה לא מקודד, קיצור דרך הוא להשתמש בכלים לחילוץ נתונים, למשל. . כלים לחילוץ נתונים, כמו כלי כריית נתונים, נועדו לחסוך באנרגיה ולהפוך את עיבוד הנתונים לקל לכולם. כלים אלה הם לא רק חסכוניים אלא גם ידידותיים למתחילים. הם מאפשרים למשתמשים לאסוף נתונים תוך דקות, לאחסן אותם בענן ולייצא אותם לפורמטים רבים: Excel, CSV, HTML, JSON או למאגרי מידע של אתרים באמצעות API.
חסרונות של מיצוי נתונים
- קריסת שרתים
בעת אחזור נתונים בקנה מידה גדול, שרת האינטרנט של אתר היעד עלול להיות עומס יתר, מה שעלול לגרום לשרת לקרוס. הדבר יפגע באינטרסים של בעל האתר. - איסור לפי IP
כאשר אדם אוסף נתונים בתדירות גבוהה מדי, אתרים עלולים לחסום את כתובת ה-IP שלו. המשאב יכול לשלול לחלוטין כתובת IP או להגביל את הגישה, מה שהופך את הנתונים ללא שלמים. כדי לאחזר נתונים ולהימנע מחסימה, עליך לעשות זאת במהירות מתונה ולהשתמש בכמה טכניקות נגד חסימה. - בעיות עם החוק
חילוץ נתונים מהרשת נופל לתחום אפור בכל הנוגע לחוקיות. אתרים גדולים כמו Linkedin ו-Facebook מציינים בבירור בתנאי השימוש שלהם שכל חילוץ נתונים אוטומטי אסור. היו תביעות רבות בין חברות עקב פעילות בוטים.
ההבדלים העיקריים בין כריית נתונים וחילוץ נתונים
- כריית נתונים נקראת גם גילוי ידע בבסיסי נתונים, מיצוי ידע, ניתוח נתונים/דפוסים, איסוף מידע. חילוץ נתונים משמש לסירוגין עם חילוץ נתוני אינטרנט, סריקת אינטרנט, כריית נתונים וכן הלאה.
- מחקר כריית נתונים מבוסס בעיקר על נתונים מובנים, בעוד שבכריית נתונים הם מופקים בדרך כלל ממקורות לא מובנים או בעלי מבנה גרוע.
- המטרה של כריית נתונים היא להפוך את הנתונים לשימושיים יותר לניתוח. חילוץ נתונים הוא איסוף נתונים למקום אחד בו ניתן לאחסן או לעבד אותם.
- ניתוח בכריית נתונים מבוסס על שיטות מתמטיות לזיהוי דפוסים או מגמות. חילוץ הנתונים מבוסס על שפות תכנות או כלי חילוץ נתונים לסריקת מקורות.
- המטרה של כריית נתונים היא למצוא עובדות שלא היו ידועות בעבר או שהתעלמו מהן, בעוד שאיבת נתונים עוסקת במידע קיים.
- כריית נתונים מורכבת יותר ודורשת השקעות גדולות בהכשרת אנשים. חילוץ נתונים, כאשר משתמשים בכלי הנכון, יכול להיות פשוט וחסכוני במיוחד.
אנו עוזרים למתחילים לא להתבלבל ב-Data. יצרנו קוד קידום במיוחד עבור תושבי חברה HABR, מתן הנחה נוספת של 10% להנחה המצוינת על הבאנר.
קורסים נוספים
מאמרים מומלצים
מקור: www.habr.com