הצעד הראשון שלך ב-Data Science. כַּבִּיר

מילת מבוא קצרה

אני מאמין שנוכל לעשות יותר דברים אילו היו מספקים לנו הוראות שלב אחר שלב שיאמרו לנו מה לעשות ואיך לעשות זאת. אני עצמי זוכר רגעים בחיי שלא יכולתי להתחיל משהו כי פשוט היה קשה להבין מאיפה להתחיל. אולי, פעם באינטרנט ראית את המילים "Data Science" והחלטת שאתה רחוק מזה, והאנשים שעושים את זה נמצאים אי שם בחוץ, בעולם אחר. לא, הם ממש כאן. ואולי, הודות לאנשים מהתחום הזה, הופיע מאמר בפיד שלך. יש המון קורסים שיעזרו לכם להתרגל למלאכה הזו, אבל כאן אעזור לכם לעשות את הצעד הראשון.

ובכן, אתה מוכן? הרשו לי לומר לכם מיד שתצטרכו להכיר את Python 3, כי זה מה שאשתמש כאן. אני גם ממליץ לך להתקין אותו על Jupyter Notebook מראש או לראות כיצד להשתמש ב- google colab.

שלב ראשון

Kaggle הוא העוזר המשמעותי שלך בעניין הזה. באופן עקרוני, אתה יכול להסתדר בלעדיו, אבל אני אדבר על זה במאמר אחר. זוהי פלטפורמה המארחת תחרויות Data Science. בכל תחרות כזו, בשלבים המוקדמים תצברו ניסיון לא ריאלי בפתרון בעיות מסוגים שונים, ניסיון בפיתוח וניסיון בעבודה בצוות, דבר שחשוב בתקופתנו.

ניקח את המשימה שלנו משם. זה נקרא "טיטאניק". התנאי הוא זה: חזה אם כל אדם ישרוד. באופן כללי, המשימה של אדם המעורב ב-DS היא איסוף נתונים, עיבודם, אימון מודל, חיזוי וכדומה. ב-kaggle מותר לנו לדלג על שלב איסוף הנתונים - הם מוצגים בפלטפורמה. אנחנו צריכים להוריד אותם ונוכל להתחיל!

אתה יכול לעשות זאת באופן הבא:

הכרטיסייה נתונים מכילה קבצים המכילים נתונים

הורדנו את הנתונים, הכנו את מחברות Jupyter שלנו ו...

שלב שני

איך אנחנו עכשיו מטעין את הנתונים האלה?

ראשית, בואו לייבא את הספריות הדרושות:

import pandas as pd
import numpy as np

Pandas יאפשר לנו להוריד קבצי .csv להמשך עיבוד.

יש צורך ב-Numpy כדי לייצג את טבלת הנתונים שלנו כמטריצה ​​עם מספרים.
לך על זה. בואו ניקח את הקובץ train.csv ונעלה אותו אלינו:

dataset = pd.read_csv('train.csv')

נתייחס לבחירת הנתונים של train.csv דרך משתנה הנתונים. בוא נראה מה יש שם:

dataset.head()

הפונקציה head() מאפשרת לנו להסתכל על השורות הראשונות של מסגרת נתונים.

עמודות ה- Survived הן בדיוק התוצאות שלנו, הידועות במסגרת הנתונים הזו. עבור שאלת המשימה, עלינו לחזות את העמודה Survived עבור נתוני test.csv. נתונים אלה מאחסנים מידע על נוסעים אחרים של הטיטאניק, שעבורם אנחנו, בפתרון הבעיה, לא יודעים את התוצאה.

אז בואו נחלק את הטבלה שלנו לנתונים תלויים ובלתי תלויים. הכל פשוט כאן. נתונים תלויים הם הנתונים התלויים בנתונים הבלתי תלויים שנמצאים בתוצאות. נתונים בלתי תלויים הם אותם נתונים המשפיעים על התוצאה.

לדוגמה, יש לנו את מערך הנתונים הבא:

"וובה לימדה מדעי המחשב - לא.
Vova קיבל ציון 2 במדעי המחשב".

הציון במדעי המחשב תלוי בתשובה לשאלה: האם וובה למדה מדעי המחשב? האם זה ברור? בואו נמשיך הלאה, אנחנו כבר יותר קרובים למטרה!

המשתנה המסורתי עבור נתונים בלתי תלויים הוא X. עבור נתונים תלויים, y.

אנו עושים את הפעולות הבאות:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

מה זה? עם הפונקציה iloc[:, 2: ] אנחנו אומרים לפיתון: אני רוצה לראות במשתנה X את הנתונים שמתחילים מהעמודה השנייה (כולל ובתנאי שהספירה מתחילה מאפס). בשורה השנייה אנחנו אומרים שאנחנו רוצים לראות את הנתונים בעמודה הראשונה.

[ a:b, c:d ] הוא המבנה של מה שאנו משתמשים בסוגריים. אם לא תציין משתנים כלשהם, הם יישמרו כברירת מחדל. כלומר, נוכל לציין [:,: d] ואז נקבל את כל העמודות ב-dataframe, מלבד אלו שהולכות ממספר d ואילך. המשתנים a ו-b מגדירים מחרוזות, אבל אנחנו צריכים את כולם, אז נשאיר זאת כברירת מחדל.

בוא נראה מה קיבלנו:

X.head()

y.head()

על מנת לפשט את השיעור הקטן הזה, נסיר עמודים הדורשים טיפול מיוחד או שאינם משפיעים כלל על השרידות. הם מכילים נתונים מסוג str.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

סוּפֶּר! בואו נעבור לשלב הבא.

שלב שלישי

כאן אנחנו צריכים לקודד את הנתונים שלנו כדי שהמכונה תבין טוב יותר כיצד הנתונים האלה משפיעים על התוצאה. אבל לא נקודד הכל, אלא רק נתוני str שהשארנו. עמודה "סקס". איך אנחנו רוצים לקוד? בואו נציג נתונים על מינו של אדם כווקטור: 10 - זכר, 01 - נקבה.

ראשית, בואו נמיר את הטבלאות שלנו למטריצת NumPy:

X = np.array(X)
y = np.array(y)

ועכשיו בואו נסתכל:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

ספריית sklearn היא ספרייה כל כך מגניבה שמאפשרת לנו לעשות עבודה מלאה ב-Data Science. הוא מכיל מספר רב של מודלים מעניינים של למידת מכונה וגם מאפשר לנו לבצע הכנת נתונים.

OneHotEncoder יאפשר לנו לקודד את המין של אדם בייצוג זה, כפי שתיארנו. ייווצרו 2 כיתות: זכר, נקבה. אם האדם הוא גבר, אז 1 ייכתב בעמודה "זכר", ו-0 בעמודה "נקבה", בהתאמה.

אחרי OneHotEncoder() יש [1] - זה אומר שאנחנו רוצים לקודד עמודה מספר 1 (ספירה מאפס).

סוּפֶּר. בואו נתקדם עוד יותר!

ככלל, זה קורה שחלק מהנתונים נשארים ריקים (כלומר, NaN - לא מספר). למשל, יש מידע על אדם: שמו, מינו. אבל אין מידע על גילו. במקרה זה, ניישם את השיטה הבאה: נמצא את הממוצע האריתמטי על כל העמודות, ואם חסרים נתונים מסוימים בעמודה, נמלא את החלל בממוצע האריתמטי.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

עכשיו בואו ניקח בחשבון שמצבים קורים כשהנתונים גדולים מאוד. חלק מהנתונים נמצאים במרווח [0:1], בעוד שחלקם עשויים לחרוג ממאות ואלפים. כדי לבטל פיזור כזה וכדי להפוך את המחשב לדייק יותר בחישוביו, נסרוק את הנתונים ונשנה אותם. כל המספרים לא יעלו על שלושה. לשם כך, נשתמש בפונקציית StandardScaler.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

כעת הנתונים שלנו נראים כך:

מעמד. אנחנו כבר קרובים למטרה שלנו!

שלב רביעי

בואו לאמן את הדגם הראשון שלנו! מספריית sklearn נוכל למצוא מספר עצום של דברים מעניינים. יישמתי את מודל Gradient Boosting Classifier על בעיה זו. אנו משתמשים במסווג מכיוון שהמשימה שלנו היא משימת סיווג. יש להקצות את הפרוגנוזה ל-1 (שרד) או 0 (לא שרד).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

פונקציית ההתאמה אומרת לפייתון: תן למודל לחפש תלות בין X ו-y.

פחות משנייה והדגם מוכן.

איך ליישם את זה? נראה עכשיו!

שלב חמישי. סיכום

עכשיו אנחנו צריכים לטעון טבלה עם נתוני הבדיקה שלנו שעבורה אנחנו צריכים לעשות תחזית. עם הטבלה הזו נבצע את כל אותן הפעולות שעשינו עבור X.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

בואו ליישם את המודל שלנו עכשיו!

gbc_predict = gbc.predict(X_test)

את כל. עשינו תחזית. כעת יש להקליט אותו ב-csv ולשלוח אותו לאתר.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

מוּכָן. קיבלנו קובץ המכיל תחזיות לכל נוסע. כל שנותר הוא להעלות את הפתרונות הללו לאתר ולקבל הערכה של התחזית. פתרון פרימיטיבי כזה נותן לא רק 74% מהתשובות הנכונות בציבור, אלא גם תנופה מסוימת ב-Data Science. הסקרנים ביותר יכולים לכתוב לי בהודעות פרטיות בכל עת ולשאול שאלה. תודה לכל!

מקור: www.habr.com