למידת מכונה ללא פייתון, אנקונדה וזוחלים אחרים

לא, ובכן, כמובן, אני לא רציני. חייב להיות גבול למידת האפשר לפשט נושא. אבל בשלבים הראשונים, הבנת מושגי יסוד ו"כניסה" מהירה לנושא, זה עשוי להיות מקובל. נדון כיצד לתת שם נכון לחומר זה (אפשרויות: "למידת מכונה עבור בובות", "ניתוח נתונים מחיתולים", "אלגוריתמים לקטנטנים") בסוף.

עד לנקודה. כתב מספר תוכניות יישום ב-MS Excel להדמיה וייצוג חזותי של תהליכים המתרחשים בשיטות למידת מכונה שונות בעת ניתוח נתונים. לראות זה להאמין, אחרי הכל, כפי שאומרים נושאי התרבות, שפיתחה את רוב השיטות הללו (אגב, לא את כולן. "מכונת התמיכה הווקטורית" החזקה ביותר, או ה-SVM, התמיכה הווקטורית היא המצאה של בן ארצו ולדימיר ואפניק, המכון לניהול מוסקבה. 1963, אגב! עכשיו, לעומת זאת, הוא מלמד ועובד בארה"ב).

שלושה קבצים לבדיקה

1. K-פירושו התקבצות

בעיות מסוג זה מתייחסות ל"למידה ללא פיקוח", כאשר אנו צריכים לחלק את הנתונים הראשוניים למספר מסוים של קטגוריות ידועות מראש, אך אין לנו מספר כלשהו של "תשובות נכונות"; עלינו לחלץ אותן מהנתונים עצמם . הבעיה הקלאסית הבסיסית של מציאת תת-מינים של פרחי איריס (רונלד פישר, 1936!), הנחשבת לסימן הראשון של תחום ידע זה, היא בדיוק מסוג זה.

השיטה די פשוטה. יש לנו קבוצה של עצמים המיוצגים כווקטורים (קבוצות של N מספרים). באירוסים אלו קבוצות של 4 מספרים המאפיינים את הפרח: אורך ורוחב האונות החיצוניות והפנימיות של העטיף, בהתאמה (האירוסים של פישר - ויקיפדיה). המדד הקרטזיאני הרגיל נבחר כמרחק, או כמדד לקרבה בין אובייקטים.

לאחר מכן, מרכזי אשכול נבחרים באופן אקראי (או לא אקראי, ראה להלן), ומחושבים המרחקים מכל אובייקט למרכזי האשכול. כל אובייקט בשלב איטרציה נתון מסומן כשייך למרכז הקרוב ביותר. ואז מרכז כל אשכול מועבר לממוצע האריתמטי של הקואורדינטות של איבריו (באנלוגיה לפיזיקה, הוא נקרא גם "מרכז המסה"), וההליך חוזר על עצמו.

התהליך מתכנס די מהר. בתמונות בדו מימד זה נראה כך:

1. התפלגות אקראית ראשונית של נקודות במישור ומספר האשכולות

2. ציון מרכזי אשכולות והקצאת נקודות לאשכולות שלהם

3. העברת הקואורדינטות של מרכזי האשכול, חישוב מחדש של שיוך הנקודות עד להתייצבות המרכזים. נראה מסלול המעבר של מרכז האשכול למיקומו הסופי.

בכל עת, ניתן להגדיר מרכזי אשכולות חדשים (מבלי ליצור חלוקה חדשה של נקודות!) ולראות שתהליך החלוקה אינו תמיד חד משמעי. מבחינה מתמטית, זה אומר שעבור הפונקציה המיוטבת (סכום המרחקים בריבוע מנקודות למרכזי האשכולות שלהן), אנו מוצאים לא מינימום גלובלי אלא מקומי. ניתן להתגבר על בעיה זו או על ידי בחירה לא אקראית של מרכזי אשכול ראשוניים, או על ידי ספירת מרכזים אפשריים (לעיתים כדאי למקם אותם בדיוק באחת הנקודות, אז לפחות יש הבטחה שלא נתרוקן אשכולות). בכל מקרה, לקבוצה סופית יש תמיד אינפיום.

אתה יכול לשחק עם הקובץ הזה בקישור הזה (אל תשכח להפעיל תמיכה במאקרו. הקבצים נסרקו לאיתור וירוסים)

תיאור השיטה בוויקיפדיה - שיטת k-means

2. קירוב לפי פולינומים ופירוט נתונים. הסבה מקצועית

מדען מדהים ופופולרי של מדעי הנתונים K.V. וורונטסוב מתאר בקצרה שיטות למידת מכונה כ"מדע ציור עקומות דרך נקודות". בדוגמה זו, נמצא תבנית בנתונים בשיטת הריבועים הקטנים ביותר.

מוצגת הטכניקה של חלוקת נתוני המקור ל"אימון" ו"שליטה", כמו גם תופעה כמו אימון מחדש, או "התאמה מחדש" לנתונים. בקירוב נכון, תהיה לנו שגיאה מסוימת בנתוני האימון ושגיאה קצת יותר גדולה בנתוני הבקרה. אם שגוי, זה מביא להתאמה מדויקת לנתוני האימון ושגיאה עצומה בנתוני המבחן.

(עובדה ידועה היא שדרך N נקודות ניתן לצייר עקומה בודדת בדרגה N-1, ושיטה זו במקרה הכללי אינה נותנת את התוצאה הרצויה. פולינום אינטרפולציה לגראנז' בוויקיפדיה)

1. הגדר את ההתפלגות הראשונית

2. נחלק את הנקודות ל"אימון" ו"שליטה" ביחס של 70 ל-30.

3. אנו מציירים את העקומה המקורבת לאורך נקודות האימון, אנו רואים את השגיאה שהיא נותנת על נתוני הבקרה

4. אנו מציירים עקומה מדויקת דרך נקודות האימון, ורואים שגיאה מפלצתית בנתוני הבקרה (ואפס בנתוני האימון, אבל מה הטעם?).

מוצגת, כמובן, האפשרות הפשוטה ביותר עם חלוקה אחת לתת-קבוצות "אימון" ו"שליטה"; במקרה הכללי, זה נעשה פעמים רבות להתאמה הטובה ביותר של המקדמים.

הקובץ זמין כאן, סרוק על ידי אנטי וירוס. אפשר פקודות מאקרו לפעולה נכונה

3. ירידה בשיפוע ודינמיקה של שינוי שגיאה

יהיה מקרה 4 מימדי ורגרסיה ליניארית. מקדמי רגרסיה ליניאריים ייקבעו שלב אחר שלב בשיטת הירידה בשיפוע, בתחילה כל המקדמים הם אפס. גרף נפרד מראה את הדינמיקה של הפחתת שגיאות כאשר המקדמים מותאמים בצורה מדויקת יותר ויותר. ניתן לצפות בכל ארבע ההקרנות הדו-ממדיות.

אם תגדירו את שלב הירידה בשיפוע גדול מדי, תוכלו לראות שבכל פעם נדלג על המינימום ונגיע לתוצאה במספר גדול יותר של שלבים, אם כי בסופו של דבר עדיין נגיע (אלא אם כן נדחה גם את שלב הירידה הרבה - אז האלגוריתם יעבור "בספדים"). וגרף השגיאה בהתאם לשלב האיטרציה לא יהיה חלק, אלא "קופצני".

1. הפק נתונים, הגדר את שלב הירידה בשיפוע

2. עם בחירה נכונה של שלב הירידה בשיפוע, אנו מגיעים בצורה חלקה ומהירה למינימום

3. אם שלב הירידה בשיפוע נבחר בצורה שגויה, אנו חורגים מהמקסימום, גרף השגיאה הוא "קופצני", ההתכנסות לוקחת מספר גדול יותר של צעדים

и

4. אם נבחר את שלב הירידה בשיפוע בצורה לא נכונה לחלוטין, נתרחק מהמינימום

(כדי לשחזר את התהליך באמצעות ערכי צעדי הירידה המוצגים בתמונות, סמן את התיבה "נתוני התייחסות").

הקובץ נמצא בקישור הזה, אתה צריך להפעיל פקודות מאקרו, אין וירוסים.

האם לפי הקהילה המכובדת, פשטות ושיטת הצגת החומר מקובלת? האם כדאי לתרגם את המאמר לאנגלית?

מקור: www.habr.com