14 פרויקטים בקוד פתוח לשיפור מיומנויות מדעי הנתונים (קל, רגיל, קשה)

מדע נתונים למתחילים

1. ניתוח סנטימנט (ניתוח מצב רוח באמצעות טקסט)

הצג את היישום המלא של פרויקט Data Science באמצעות קוד מקור - פרויקט ניתוח סנטימנט ב-R.

ניתוח סנטימנט הוא ניתוח של מילים כדי לזהות סנטימנטים ודעות, שיכולים להיות חיוביים או שליליים. זהו סוג של סיווג שבו המחלקות יכולות להיות בינאריות (חיוביות ושליליות) או ברבים (שמחים, כועסים, עצובים, מגעילים...). ניישם את פרויקט Data Science ב-R ונשתמש במערך הנתונים בחבילת "janeaustenR". נשתמש במילונים למטרות כלליות כמו AFINN, bing ו-loughran, נעשה הצטרפות פנימית ובסוף ניצור ענן מילים להצגת התוצאה.

שפה: R
ערכת נתונים/חבילה: janeoustenR

המאמר תורגם בתמיכת EDISON Software, אשר מייצרת חדרי התאמה וירטואליים לחנויות מרובות מותגיםו - תוכנת בדיקות.

2. איתור חדשות מזויפות

קח את הכישורים שלך לשלב הבא על ידי עבודה על פרויקט מדעי הנתונים למתחילים - זיהוי חדשות מזויפות עם Python.

חדשות מזויפות הן מידע כוזב המופץ באמצעות מדיה חברתית ומדיה מקוונת אחרת על מנת להשיג מטרות פוליטיות. ברעיון פרויקט Data Science זה, נשתמש ב-Python כדי לבנות מודל שיכול לקבוע במדויק אם החדשות הן אמיתיות או מזויפות. ניצור TfidfVectorizer ונשתמש במסווג PassiveAggressiveClassifier כדי לסווג חדשות ל"אמיתיות" ו"מזיפות". נשתמש במערך נתונים של צורות בגודל 7796×4 ונעשה הכל במעבדת Jupyter.

שפה: פיתון

ערכת נתונים/חבילה: news.csv

3. איתור מחלת פרקינסון

התקדם על ידי עבודה על רעיון פרויקט מדעי הנתונים - זיהוי מחלת פרקינסון עם XGBoost.

התחלנו להשתמש ב-Data Science כדי לשפר את שירותי הבריאות והשירותים - אם נוכל לחזות את המחלה בשלב מוקדם, אז יהיו לנו יתרונות רבים. אז, ברעיון פרויקט Data Science הזה, נלמד כיצד לזהות מחלת פרקינסון באמצעות Python. זוהי מחלה ניוונית, פרוגרסיבית של מערכת העצבים המרכזית, המשפיעה על התנועה וגורמת לרעד ונוקשות. זה משפיע על הנוירונים המייצרים דופמין במוח, ומדי שנה הוא משפיע על למעלה ממיליון אנשים בהודו.

שפה: פיתון

ערכת נתונים/חבילה: מערך הנתונים של UCI ML פרקינסון

פרויקטי Data Science במורכבות בינונית

4. זיהוי רגשי דיבור

בדוק את היישום המלא של פרויקט מדגם Data Science - זיהוי דיבור עם Librosa.

כעת נלמד כיצד להשתמש בספריות שונות. פרויקט Data Science זה משתמש ב-librosa לזיהוי דיבור. SER הוא תהליך של זיהוי רגשות אנושיים ומצבים רגשיים מתוך דיבור. מכיוון שאנו משתמשים בטון ובגובה הקול כדי להביע רגשות בקול שלנו, SER רלוונטי. אבל מכיוון שרגשות הם סובייקטיביים, הערת אודיו היא משימה קשה. נשתמש בפונקציות mfcc, chroma ו-mel ונשתמש במערך הנתונים של RAVDESS לזיהוי רגשות. אנו ניצור מסווג MLPC עבור מודל זה.

שפה: פיתון

ערכת נתונים/חבילה: מערך הנתונים של RAVDESS

5. איתור מין וגיל

הרשים מעסיקים עם הפרויקט האחרון של Data Science - זיהוי מין וגיל עם OpenCV.

זהו מדע נתונים מעניין עם Python. באמצעות תמונה אחת בלבד, תלמד כיצד לחזות את מינו וגילו של אדם. במסגרת זו, נציג בפניכם את Computer Vision ואת עקרונותיה. אנחנו נבנה רשת נוירונים מפותלת וישתמש במודלים שהוכשרו על ידי טל הסנר וגיל לוי במערך הנתונים של Adience. נשתמש בכמה קבצי .pb, .pbtxt, .prototxt ו-.caffemodel לאורך הדרך.

שפה: פיתון

ערכת נתונים/חבילה: נאמנות

6. ניתוח נתונים של אובר

הצג את היישום המלא של פרויקט Data Science עם קוד מקור - פרויקט ניתוח נתונים של אובר ב-R.

זהו פרויקט הדמיית נתונים עם ggplot2 בו נשתמש ב-R ובספריות שלו וננתח פרמטרים שונים. נשתמש במערך הנתונים של Uber Pickups New York וניצור הדמיות עבור מסגרות זמן שונות של השנה. זה אומר לנו איך הזמן משפיע על מסעות הלקוחות.

שפה: R

ערכת נתונים/חבילה: מאגר נתונים של Uber Pickups בניו יורק

7. זיהוי ישנוניות של נהג

שדרג את כישוריך על ידי עבודה על פרויקט מדעי הנתונים המובילים - מערכת זיהוי ישנוניות עם OpenCV & Keras.

נהיגה ישנונית היא מסוכנת ביותר, עם כאלף תאונות מדי שנה עקב הירדמות נהגים תוך כדי נהיגה. בפרויקט זה של Python, ניצור מערכת שיכולה לזהות נהגים ישנוניים וגם להתריע בפניהם באמצעות ביפ.

פרויקט זה מיושם באמצעות Keras ו-OpenCV. נשתמש ב-OpenCV לזיהוי הפנים והעיניים ובעזרת Keras נסווג את מצב העין (פתוח או סגור) בשיטות רשת עצבית עמוקה.

8. צ'טבוט

בנה צ'אטבוט עם Python ועשה צעד קדימה בקריירה שלך - Chatbot עם NLTK & Keras.

צ'טבוטים הם חלק בלתי נפרד מהעסק. עסקים רבים צריכים להציע שירותים ללקוחותיהם ונדרש הרבה כוח אדם, זמן ומאמץ כדי לשרת אותם. צ'אטבוטים יכולים להפוך חלק גדול מהאינטראקציה עם הלקוח לאוטומטי על ידי מענה על כמה מהשאלות הנפוצות שלקוחות שואלים. יש בעצם שני סוגים של צ'טבוטים: דומיין ספציפי ו-Open-domain. צ'אט בוט ספציפי לתחום משמש לעתים קרובות כדי לפתור בעיה ספציפית. לפיכך, עליך להתאים אותו כך שיעבוד ביעילות בתחום שלך. ניתן לשאול צ'אטבוטים בדומיין פתוח כל שאלה, כך שהכשרתם דורשת כמות עצומה של נתונים.

מערך נתונים: Intents קובץ json

שפה: פיתון

פרויקטים מתקדמים של Data Science

9. מחולל כיתוב תמונה

בדוק את יישום הפרויקט המלא עם קוד המקור - מחולל כיתוב תמונה עם CNN ו-LSTM.

תיאור מה יש בתמונה הוא משימה קלה לבני אדם, אבל עבור מחשבים, תמונה היא רק אוסף של מספרים המייצגים את ערך הצבע של כל פיקסל. זוהי משימה קשה עבור מחשבים. להבין מה יש בתמונה ואז ליצור תיאור שפה טבעית (למשל אנגלית) היא משימה קשה נוספת. פרויקט זה משתמש בטכניקות למידה עמוקה שבהן אנו מיישמים רשת עצבית קונבולוציונית (CNN) עם רשת עצבית חוזרת (LSTM) כדי ליצור מחולל תיאור תמונה.

מערך נתונים: פליקר 8K

שפה: פיתון

מִסגֶרֶת: קרס

10. איתור הונאה בכרטיס אשראי

עשה את המיטב על ידי עבודה על רעיון פרויקט Data Science - זיהוי הונאה בכרטיס אשראי עם למידת מכונה.

עד עכשיו התחלת להבין את השיטות והמושגים. בואו נעבור לכמה פרויקטים מתקדמים של מדעי הנתונים. בפרויקט זה נשתמש בשפת R עם אלגוריתמים כגון עצי החלטה, רגרסיה לוגיסטית, רשתות עצביות מלאכותיות ומסווג מגביר גרדיאנט. אנו נשתמש במערך הנתונים של עסקאות הכרטיס כדי לסווג עסקאות בכרטיסי אשראי כמרמה ואמיתיות. נבחר עבורם דגמים שונים ונבנה עקומות ביצועים.

שפה: R

ערכת נתונים/חבילה: מערך נתונים של עסקאות כרטיסים

11. מערכת המלצות לסרטים

חקור את היישום של פרויקט מדעי הנתונים הטוב ביותר עם קוד מקור - מערכת המלצות לסרטים ב-R

בפרויקט Data Science זה, נשתמש ב-R כדי לבצע את המלצות הסרט באמצעות למידת מכונה. מערכת ההמלצות שולחת הצעות למשתמשים בתהליך סינון המבוסס על העדפות המשתמשים אחרים והיסטוריית הגלישה. אם A ו-B אוהבים את Home Alone, ו-B אוהב את Mean Girls, אז אתה יכול להציע את A - אולי גם הם יאהבו את זה. זה מאפשר ללקוחות ליצור אינטראקציה עם הפלטפורמה.

שפה: R

ערכת נתונים/חבילה: מערך הנתונים של MovieLens

12. פילוח לקוחות

הרשים מעסיקים עם פרויקט Data Science (כולל קוד מקור) - פילוח לקוחות עם למידת מכונה.

פילוח קונים הוא יישום פופולרי למידה ללא פיקוח. באמצעות אשכולות, חברות מגדירות פלחי לקוחות לעבודה עם בסיס משתמשים פוטנציאלי. הם מחלקים את הלקוחות לקבוצות לפי מאפיינים משותפים כמו מין, גיל, תחומי עניין והרגלי הוצאות, כך שהם יכולים לשווק ביעילות את המוצרים שלהם לכל קבוצה. אנחנו נשתמש K- פירושו אשכולות, כמו גם לדמיין את ההתפלגות לפי מין וגיל. לאחר מכן אנו מנתחים את רמות ההכנסות וההוצאות השנתיות שלהם.

שפה: R

ערכת נתונים/חבילה: Mall_Customers מערך נתונים

13. סיווג סרטן השד

ראה את היישום המלא של פרויקט Data Science ב- Python - סיווג סרטן השד באמצעות למידה עמוקה.

נחזור לתרומה הרפואית של מדע הנתונים, בואו נלמד כיצד לזהות סרטן שד עם Python. נשתמש במערך הנתונים IDC_regular כדי לזהות קרצינומה דוקטלי פולשנית, הצורה הנפוצה ביותר של סרטן השד. הוא מתפתח בצינורות החלב, חודר לתוך הרקמה הסיבית או השומנית של בלוטת החלב מחוץ לצינור. ברעיון פרויקט מדעי זה של איסוף נתונים, נשתמש למידה עמוקה וספריית קרס לסיווג.

שפה: פיתון

ערכת נתונים/חבילה: IDC_רגיל

14. זיהוי תמרורים

השגת דיוק בטכנולוגיית מכוניות לנהיגה עצמית עם פרויקט Data Science זיהוי תמרורים באמצעות CNN קוד פתוח.

תמרורים וחוקי תנועה חשובים מאוד לכל נהג כדי להימנע מתאונות. כדי לעקוב אחר הכלל, תחילה עליך להבין כיצד נראה התמרור. אדם חייב ללמוד את כל התמרורים בטרם תינתן לו הזכות לנהוג ברכב כלשהו. אבל כעת מספר הרכבים האוטונומיים הולך וגדל, ובעתיד הקרוב, אדם לא ינהג יותר במכונית בכוחות עצמו. בפרויקט זיהוי תמרורים תלמד כיצד תוכנית יכולה לזהות סוג של תמרורים על ידי צילום תמונה כקלט. ערכת ההתייחסות לזיהוי תמרורים הגרמנית (GTSRB) משמשת לבניית רשת עצבית עמוקה כדי לזהות את המחלקה אליה שייך תמרור. אנחנו גם יוצרים ממשק משתמש פשוט לאינטראקציה עם האפליקציה.

שפה: פיתון

מערך נתונים: GTRB (מדד זיהוי תמרורים גרמני)

קרא עוד

• 52 מערכי נתונים לפרויקטי הדרכה
• דוג'ו חזיתי: פרויקטים להכשרת מיומנויות מפתחים (5 חדשים + 43 ישנים)
• 12 אינפוגרפיקות דינמיות של IT המעניינים ביותר

מקור: www.habr.com