डेटा विज्ञान कौशल्ये सुधारण्यासाठी 14 मुक्त-स्रोत प्रकल्प (सुलभ, सामान्य, कठीण)

नवशिक्यांसाठी डेटा सायन्स

1. भावना विश्लेषण (मजकूराद्वारे भावना विश्लेषण)

सोर्स कोड − वापरून संपूर्ण डेटा सायन्स प्रकल्प अंमलबजावणी तपासा आर मध्ये भावना विश्लेषण प्रकल्प.

भावना विश्लेषण म्हणजे भावना आणि मते निश्चित करण्यासाठी शब्दांचे विश्लेषण, जे सकारात्मक किंवा नकारात्मक असू शकतात. हा वर्गीकरणाचा एक प्रकार आहे ज्यामध्ये वर्ग बायनरी (सकारात्मक आणि नकारात्मक) किंवा अनेकवचनी (आनंदी, रागावलेले, दुःखी, वाईट...) असू शकतात. आम्ही हा डेटा सायन्स प्रकल्प R मध्ये लागू करू आणि "janeaustenR" पॅकेजमध्ये डेटासेट वापरू. आम्ही AFINN, bing आणि loughran सारख्या सामान्य उद्देश शब्दकोषांचा वापर करू, अंतर्गत जोडणी करू आणि शेवटी परिणाम प्रदर्शित करण्यासाठी आम्ही एक शब्द क्लाउड तयार करू.

भाषा: R
डेटासेट/पॅकेज: janeaustenR

लेखाचा अनुवाद एडिसन सॉफ्टवेअरच्या समर्थनाने केला गेला होता, जे मल्टी-ब्रँड स्टोअरसाठी व्हर्च्युअल फिटिंग रूम बनवतेआणि सॉफ्टवेअर चाचण्या.

2. बनावट बातम्या शोधणे

नवशिक्यांसाठी डेटा सायन्स प्रकल्पावर काम करून तुमची कौशल्ये पुढील स्तरावर घेऊन जा - Python सह बनावट बातम्या शोधणे.

बनावट बातम्या म्हणजे राजकीय उद्दिष्टे साध्य करण्यासाठी सोशल मीडिया आणि इतर ऑनलाइन माध्यमांद्वारे पसरवलेली खोटी माहिती. या डेटा सायन्स प्रकल्पाच्या कल्पनेमध्ये, आम्ही एक मॉडेल तयार करण्यासाठी Python वापरू जे बातमी खरी आहे की खोटी हे अचूकपणे ठरवू शकते. आम्ही एक TfidfVectorizer तयार करू आणि बातम्यांचे “वास्तविक” आणि “बनावट” मध्ये वर्गीकरण करण्यासाठी PassiveAggressiveClassifier वापरू. आम्ही 7796×4 आकाराचा डेटासेट वापरू आणि Jupyter Lab मध्ये सर्वकाही चालवू.

भाषा: python ला

डेटासेट/पॅकेज: news.csv

3. पार्किन्सन रोग शोधणे

तुमच्या डेटा सायन्स प्रोजेक्ट आयडियासह पुढे जा - XGBoost वापरून पार्किन्सन रोग शोधणे.

आम्ही आरोग्यसेवा आणि सेवा सुधारण्यासाठी डेटा सायन्स वापरण्यास सुरुवात केली आहे - जर आम्ही एखाद्या रोगाचा प्राथमिक अवस्थेत अंदाज लावू शकलो, तर आम्हाला बरेच फायदे होतील. तर, या डेटा सायन्स प्रोजेक्ट कल्पनेत, आपण Python वापरून पार्किन्सन रोग कसा शोधायचा ते शिकू. हा मध्यवर्ती मज्जासंस्थेचा एक न्यूरोडीजनरेटिव्ह, प्रगतीशील रोग आहे जो हालचालींवर परिणाम करतो आणि हादरे आणि कडकपणा कारणीभूत ठरतो. हे मेंदूतील डोपामाइन-उत्पादक न्यूरॉन्सवर परिणाम करते आणि दरवर्षी, भारतातील 1 दशलक्षाहून अधिक लोकांना प्रभावित करते.

भाषा: python ला

डेटासेट/पॅकेज: UCI ML पार्किन्सन्स डेटासेट

मध्यम जटिलतेचे डेटा विज्ञान प्रकल्प

4. भाषण भावना ओळख

डेटा सायन्स उदाहरण प्रकल्पाची संपूर्ण अंमलबजावणी तपासा − लिब्रोसा वापरून भाषण ओळख.

आता वेगवेगळ्या लायब्ररींचा वापर कसा करायचा ते पाहू. हा डेटा सायन्स प्रकल्प उच्चार ओळखण्यासाठी लिब्रोसा वापरतो. एसईआर ही भाषणातून मानवी भावना आणि भावनिक अवस्था ओळखण्याची प्रक्रिया आहे. आम्ही आमच्या आवाजाने भावना व्यक्त करण्यासाठी टोन आणि पिच वापरत असल्याने, SER संबंधित आहे. पण भावना व्यक्तिनिष्ठ असल्याने, ऑडिओ भाष्य हे एक आव्हानात्मक काम आहे. आम्ही mfcc, क्रोमा आणि mel फंक्शन्स वापरू आणि भावना ओळखण्यासाठी RAVDESS डेटासेट वापरू. आम्ही या मॉडेलसाठी MLPC वर्गीकरण तयार करू.

भाषा: python ला

डेटासेट/पॅकेज: RAVDESS डेटासेट

5. लिंग आणि वय ओळख

नवीनतम डेटा विज्ञान प्रकल्पासह नियोक्त्यांना प्रभावित करा - OpenCV वापरून लिंग आणि वय निश्चित करणे.

पायथनसह हे एक मनोरंजक डेटा विज्ञान आहे. फक्त एक प्रतिमा वापरून, आपण एखाद्या व्यक्तीचे लिंग आणि वय अंदाज करणे शिकाल. यामध्ये आम्ही तुम्हाला कॉम्प्युटर व्हिजन आणि त्याच्या तत्त्वांची ओळख करून देऊ. आम्ही बांधू कंव्होल्यूशनल न्यूरल नेटवर्क आणि Adience डेटासेटवर Tal Hassner आणि Gil Levy द्वारे प्रशिक्षित मॉडेल वापरतील. वाटेत आम्ही काही .pb, .pbtxt, .prototxt आणि .caffemodel फाइल्स वापरू.

भाषा: python ला

डेटासेट/पॅकेज: उपस्थित

6. उबर डेटा विश्लेषण

स्त्रोत कोडसह संपूर्ण डेटा सायन्स प्रकल्प अंमलबजावणी पहा आर मध्ये उबर डेटा विश्लेषण प्रकल्प.

हा ggplot2 सह डेटा व्हिज्युअलायझेशन प्रकल्प आहे ज्यामध्ये आपण R आणि त्याची लायब्ररी वापरू आणि विविध पॅरामीटर्सचे विश्लेषण करू. आम्ही Uber Pickups New York City डेटासेट वापरू आणि वर्षाच्या वेगवेगळ्या टाइम फ्रेमसाठी व्हिज्युअलायझेशन तयार करू. हे आम्हाला सांगते की वेळेचा ग्राहकांच्या प्रवासावर कसा परिणाम होतो.

भाषा: R

डेटासेट/पॅकेज: न्यू यॉर्क सिटी डेटासेटमध्ये Uber पिकअप

7. ड्रायव्हरची तंद्री शोधणे

टॉप डेटा सायन्स प्रोजेक्टवर काम करून तुमची कौशल्ये सुधारा - ओपनसीव्ही आणि केरासह तंद्री शोध प्रणाली.

तंद्रीत वाहन चालवणे अत्यंत धोकादायक आहे आणि वाहन चालवताना वाहनचालकांना झोप लागल्याने दरवर्षी सुमारे हजार अपघात होतात. या पायथन प्रकल्पात, आम्ही एक प्रणाली तयार करू जी तंद्री असलेल्या ड्रायव्हर्सना शोधू शकते आणि त्यांना ऑडिओ सिग्नलसह अलर्ट देखील करू शकते.

हा प्रकल्प Keras आणि OpenCV वापरून राबविला जातो. चेहरा आणि डोळा शोधण्यासाठी आम्ही OpenCV चा वापर करू आणि Keras सह आम्ही डीप न्यूरल नेटवर्क तंत्राचा वापर करून डोळ्यांची स्थिती (ओपन किंवा क्लोज्ड) वर्गीकृत करू.

8. चॅटबॉट

पायथनसह चॅटबॉट तयार करा आणि तुमच्या करिअरमध्ये एक पाऊल पुढे टाका - NLTK आणि Keras सह चॅटबॉट.

चॅटबॉट्स हा व्यवसायाचा अविभाज्य भाग आहे. अनेक व्यवसायांना त्यांच्या ग्राहकांना सेवा द्यावी लागते आणि त्यांना सेवा देण्यासाठी खूप मनुष्यबळ, वेळ आणि मेहनत लागते. ग्राहक विचारत असलेल्या काही सामान्य प्रश्नांची उत्तरे देऊन चॅटबॉट्स तुमच्या ग्राहकांच्या परस्परसंवादाला स्वयंचलित करू शकतात. मुळात चॅटबॉट्सचे दोन प्रकार आहेत: डोमेन-विशिष्ट आणि ओपन-डोमेन. विशिष्ट समस्येचे निराकरण करण्यासाठी डोमेन-विशिष्ट चॅटबॉटचा वापर केला जातो. त्यामुळे, तुमच्या क्षेत्रात प्रभावीपणे काम करण्यासाठी तुम्हाला ते सानुकूलित करणे आवश्यक आहे. ओपन-डोमेन चॅटबॉट्सना कोणतेही प्रश्न विचारले जाऊ शकतात, म्हणून त्यांना प्रशिक्षण देण्यासाठी मोठ्या प्रमाणात डेटा आवश्यक आहे.

डेटा संच: इंटेंट्स json फाइल

भाषा: python ला

प्रगत डेटा विज्ञान प्रकल्प

9. प्रतिमा मथळा जनरेटर

सोर्स कोड − सह प्रकल्पाची संपूर्ण अंमलबजावणी तपासा CNN आणि LSTM सह इमेज कॅप्शन जनरेटर.

प्रतिमेमध्ये काय आहे याचे वर्णन करणे मानवांसाठी सोपे काम आहे, परंतु संगणकांसाठी, प्रतिमा ही फक्त संख्यांची मालिका आहे जी प्रत्येक पिक्सेलचे रंग मूल्य दर्शवते. संगणकासाठी हे अवघड काम आहे. प्रतिमेमध्ये काय आहे हे समजून घेणे आणि नंतर नैसर्गिक भाषेत (जसे की इंग्रजी) वर्णन तयार करणे हे आणखी एक कठीण काम आहे. हा प्रकल्प सखोल शिक्षण तंत्राचा वापर करतो ज्यामध्ये आम्ही प्रतिमा वर्णन जनरेटर तयार करण्यासाठी रिकरंट न्यूरल नेटवर्क (LSTM) सह कन्व्होल्यूशनल न्यूरल नेटवर्क (CNN) कार्यान्वित करतो.

डेटा संच: फ्लिकर 8K

भाषा: python ला

फ्रेमवर्क: केरास

10. क्रेडिट कार्ड फसवणूक शोध

तुमच्या डेटा सायन्स प्रकल्पाच्या कल्पनेवर काम करताना सर्वोत्तम प्रयत्न करा - मशीन लर्निंग वापरून क्रेडिट कार्ड फसवणूक शोधणे.

आतापर्यंत तुम्हाला तंत्रे आणि संकल्पना समजू लागल्या आहेत. चला काही प्रगत डेटा विज्ञान प्रकल्पांकडे वळूया. या प्रकल्पात आपण अल्गोरिदमसह R भाषा वापरू निर्णय झाडे, लॉजिस्टिक रीग्रेशन, आर्टिफिशियल न्यूरल नेटवर्क्स आणि ग्रेडियंट बूस्टिंग क्लासिफायर. क्रेडिट कार्डचे व्यवहार फसवे किंवा अस्सल म्हणून वर्गीकृत करण्यासाठी आम्ही कार्ड व्यवहारांचा डेटासेट वापरू. आम्ही त्यांच्यासाठी भिन्न मॉडेल निवडू आणि कार्यप्रदर्शन वक्र तयार करू.

भाषा: R

डेटासेट/पॅकेज: कार्ड व्यवहार डेटासेट

11. चित्रपट शिफारस प्रणाली

सोर्स कोडसह सर्वोत्तम डेटा सायन्स प्रकल्पाच्या अंमलबजावणीचा अभ्यास करा - आर भाषेत चित्रपट शिफारस प्रणाली

या डेटा सायन्स प्रोजेक्टमध्ये, आम्ही मशीन लर्निंगद्वारे चित्रपटाच्या शिफारसी लागू करण्यासाठी R चा वापर करू. शिफारस प्रणाली इतर वापरकर्त्यांच्या पसंती आणि ब्राउझिंग इतिहासावर आधारित फिल्टरिंग प्रक्रियेद्वारे वापरकर्त्यांना सूचना पाठवते. जर A आणि B ला Home Alone आवडत असेल आणि B ला मीन मुली आवडत असतील तर तुम्ही A सुचवू शकता - त्यांनाही ते आवडेल. हे ग्राहकांना प्लॅटफॉर्मशी संवाद साधण्यास अनुमती देते.

भाषा: R

डेटासेट/पॅकेज: MovieLens डेटासेट

12. ग्राहक विभाजन

डेटा सायन्स प्रकल्पासह (स्रोत कोडसह) नियोक्त्यांना प्रभावित करा - मशीन लर्निंग वापरून ग्राहकांचे विभाजन.

खरेदीदार विभाजन एक लोकप्रिय अनुप्रयोग आहे पर्यवेक्षण न केलेले शिक्षण. क्लस्टरिंगचा वापर करून, कंपन्या संभाव्य वापरकर्ता बेस लक्ष्य करण्यासाठी ग्राहक विभाग ओळखतात. ते लिंग, वय, स्वारस्ये आणि खर्च करण्याच्या सवयी यांसारख्या सामान्य वैशिष्ट्यांनुसार ग्राहकांना गटांमध्ये विभागतात जेणेकरून ते प्रत्येक गटाला त्यांच्या उत्पादनांची प्रभावीपणे विक्री करू शकतील. आम्ही वापरू के-म्हणजे क्लस्टरिंग, तसेच लिंग आणि वयानुसार वितरणाची कल्पना करा. त्यानंतर आम्ही त्यांचे वार्षिक उत्पन्न आणि खर्चाच्या पातळीचे विश्लेषण करू.

भाषा: R

डेटासेट/पॅकेज: मॉल_ग्राहक डेटासेट

13. स्तनाचा कर्करोग वर्गीकरण

Python − मधील डेटा सायन्स प्रकल्पाची संपूर्ण अंमलबजावणी पहा सखोल शिक्षण वापरून स्तन कर्करोगाचे वर्गीकरण.

डेटा सायन्सच्या वैद्यकीय योगदानाकडे परत येत, पायथन वापरून स्तनाचा कर्करोग कसा शोधायचा ते जाणून घेऊ. स्तनाच्या कर्करोगाचा सर्वात सामान्य प्रकार, आक्रमक डक्टल कार्सिनोमा ओळखण्यासाठी आम्ही IDC_regular डेटासेट वापरू. हे दुधाच्या नलिकांमध्ये विकसित होते, डक्टच्या बाहेरील तंतुमय किंवा फॅटी स्तनाच्या ऊतींमध्ये पुरते. या डेटा कलेक्शन सायन्स प्रोजेक्ट आयडिया मध्ये आपण वापरणार आहोत दीप लर्निंग आणि वर्गीकरणासाठी केरस लायब्ररी.

भाषा: python ला

डेटासेट/पॅकेज: IDC_नियमित

14. वाहतूक चिन्हे ओळख

डेटा सायन्स प्रकल्पासह स्व-ड्रायव्हिंग तंत्रज्ञानामध्ये अचूकता प्राप्त करणे CNN वापरून रहदारी चिन्ह ओळख मुक्त स्रोत.

अपघात टाळण्यासाठी प्रत्येक वाहनचालकासाठी रस्त्याच्या चिन्हे आणि वाहतुकीचे नियम अत्यंत महत्त्वाचे आहेत. नियमाचे पालन करण्यासाठी, आपल्याला प्रथम रस्ता चिन्ह कसे दिसते हे समजून घेणे आवश्यक आहे. एखाद्या व्यक्तीला कोणतेही वाहन चालविण्याचा परवाना देण्यापूर्वी रस्त्याच्या सर्व चिन्हे शिकणे आवश्यक आहे. परंतु आता स्वायत्त वाहनांची संख्या वाढत आहे आणि नजीकच्या भविष्यात एखादी व्यक्ती स्वतंत्रपणे कार चालवणार नाही. रोड साइन रेकग्निशन प्रोजेक्टमध्ये, एक प्रोग्राम इनपुट म्हणून इमेज घेऊन रस्त्याच्या चिन्हांचा प्रकार कसा ओळखू शकतो हे शिकाल. जर्मन ट्रॅफिक साइन रेकग्निशन बेंचमार्क (GTSRB) डेटासेटचा वापर ट्रॅफिक चिन्ह कोणत्या वर्गाशी संबंधित आहे हे ओळखण्यासाठी खोल न्यूरल नेटवर्क तयार करण्यासाठी केला जातो. अनुप्रयोगाशी संवाद साधण्यासाठी आम्ही एक साधी GUI देखील तयार करतो.

भाषा: python ला

डेटा संच: GTSRB (जर्मन ट्रॅफिक साइन रेकग्निशन बेंचमार्क)

पुढे वाचा

• प्रशिक्षण प्रकल्पांसाठी 52 डेटासेट
• फ्रंट-एंड डोजो: विकासक कौशल्ये प्रशिक्षित करण्यासाठी प्रकल्प (5 नवीन + 43 जुने)
• शीर्ष 12 सर्वात मनोरंजक IT डायनॅमिक इन्फोग्राफिक्स

स्त्रोत: www.habr.com