डाटा विज्ञान कौशल सुधार गर्न 14 खुला स्रोत परियोजनाहरू (सजिलो, सामान्य, कडा)

शुरुआतीहरूको लागि डाटा विज्ञान

1. भावना विश्लेषण (पाठ मार्फत भावना विश्लेषण)

स्रोत कोड - प्रयोग गरेर पूरा डाटा विज्ञान परियोजना कार्यान्वयन जाँच गर्नुहोस् R मा भावना विश्लेषण परियोजना.

भावना विश्लेषण भावना र विचारहरू निर्धारण गर्न शब्दहरूको विश्लेषण हो, जुन सकारात्मक वा नकारात्मक हुन सक्छ। यो एक प्रकारको वर्गीकरण हो जसमा कक्षाहरू बाइनरी (सकारात्मक र नकारात्मक) वा बहुवचन (खुशी, क्रोधित, दुःखी, खराब...) हुन सक्छन्। हामी यो डेटा विज्ञान परियोजनालाई R मा कार्यान्वयन गर्नेछौं र डेटासेटलाई "janeaustenR" प्याकेजमा प्रयोग गर्नेछौं। हामी सामान्य उद्देश्य शब्दकोशहरू जस्तै AFINN, bing र loughran प्रयोग गर्नेछौं, भित्री जोड्ने प्रदर्शन गर्नेछौं, र अन्तमा हामी परिणाम प्रदर्शन गर्न शब्द क्लाउड सिर्जना गर्नेछौं।

Язык: R
डाटासेट/प्याकेज: janeaustenR

लेख एडिसन सफ्टवेयरको समर्थनमा अनुवाद गरिएको थियो, जुन बहु-ब्रान्ड स्टोरहरूको लागि भर्चुअल फिटिङ कोठाहरू बनाउँछर परीक्षण सफ्टवेयर.

2. नक्कली समाचार पत्ता लगाउने

शुरुआतीहरूको लागि डेटा विज्ञान परियोजनामा ​​काम गरेर आफ्नो सीपहरूलाई अर्को स्तरमा लैजानुहोस् - Python संग नक्कली समाचार पत्ता लगाउन.

फेक न्यूज भनेको राजनीतिक लक्ष्य हासिल गर्न सामाजिक सञ्जाल र अन्य अनलाइन मिडिया मार्फत फैलिएको गलत सूचना हो। यस डेटा विज्ञान परियोजना विचारमा, हामी समाचार कथा वास्तविक वा नक्कली हो कि भनेर सही रूपमा निर्धारण गर्न सक्ने मोडेल निर्माण गर्न Python प्रयोग गर्नेछौं। हामी TfidfVectorizer सिर्जना गर्नेछौं र समाचारलाई "वास्तविक" र "नक्कली" मा वर्गीकरण गर्न PassiveAggressiveClassifier प्रयोग गर्नेछौं। हामी आकार 7796×4 को डेटासेट प्रयोग गर्नेछौं र Jupyter Lab मा सबै कुरा चलाउनेछौं।

Язык: अजगर

डाटासेट/प्याकेज: news.csv

3. पार्किन्सन रोग पत्ता लगाउने

तपाईंको डाटा विज्ञान परियोजना विचारको साथ अगाडि बढ्नुहोस् - XGBoost प्रयोग गरेर पार्किन्सन रोग पत्ता लगाउने.

हामीले स्वास्थ्य सेवा र सेवाहरू सुधार गर्न डेटा विज्ञान प्रयोग गर्न थालेका छौं - यदि हामीले प्रारम्भिक चरणमा रोगको भविष्यवाणी गर्न सक्छौं भने, हामीसँग धेरै फाइदाहरू हुनेछन्। त्यसोभए, यस डेटा विज्ञान परियोजना विचारमा, हामी पाइथन प्रयोग गरेर पार्किन्सन रोग कसरी पत्ता लगाउने भनेर सिक्नेछौं। यो केन्द्रीय स्नायु प्रणालीको न्यूरोडिजेनेरेटिभ, प्रगतिशील रोग हो जसले आन्दोलनलाई असर गर्छ र कम्पन र कठोरता निम्त्याउँछ। यसले मस्तिष्कमा डोपामाइन उत्पादन गर्ने न्यूरोन्सलाई असर गर्छ, र प्रत्येक वर्ष, यसले भारतमा १० लाखभन्दा बढी मानिसहरूलाई असर गर्छ।

Язык: अजगर

डाटासेट/प्याकेज: UCI ML पार्किन्सन्स डेटासेट

मध्यम जटिलताको डाटा विज्ञान परियोजनाहरू

4. भाषण भावना पहिचान

डेटा विज्ञान उदाहरण परियोजना को पूर्ण कार्यान्वयन जाँच गर्नुहोस् - Librosa प्रयोग गरेर वाक् पहिचान.

अब विभिन्न पुस्तकालयहरू कसरी प्रयोग गर्ने सिक्नुहोस्। यो डेटा विज्ञान परियोजनाले बोली पहिचानको लागि लिब्रोसा प्रयोग गर्दछ। SER भनेको भाषणबाट मानव भावना र प्रभावकारी अवस्थाहरू पहिचान गर्ने प्रक्रिया हो। हामीले हाम्रो आवाजसँग भावना व्यक्त गर्न टोन र पिच प्रयोग गर्ने भएकोले, SER सान्दर्भिक छ। तर भावनाहरू व्यक्तिपरक भएकाले, अडियो एनोटेसन एउटा चुनौतीपूर्ण कार्य हो। हामी mfcc, chroma र mel प्रकार्यहरू प्रयोग गर्नेछौं र भावना पहिचानको लागि RAVDESS डेटासेट प्रयोग गर्नेछौं। हामी यस मोडेलको लागि MLPC वर्गीकरणकर्ता सिर्जना गर्नेछौं।

Язык: अजगर

डाटासेट/प्याकेज: RAVDESS डाटासेट

5. लिङ्ग र उमेर पत्ता लगाउने

भर्खरको डाटा विज्ञान परियोजनाको साथ रोजगारदाताहरूलाई प्रभाव पार्नुहोस् - OpenCV प्रयोग गरेर लिङ्ग र उमेर निर्धारण गर्दै.

यो पाइथन संग एक रोचक डाटा विज्ञान छ। केवल एक छवि प्रयोग गरेर, तपाइँ एक व्यक्तिको लिङ्ग र उमेर भविष्यवाणी गर्न सिक्नुहुनेछ। यसमा हामी तपाईलाई कम्प्युटर भिजन र यसका सिद्धान्तहरूको परिचय दिनेछौं। निर्माण गर्नेछौं convolutional तंत्रिका नेटवर्क र Adience डेटासेटमा Tal Hassner र Gil Levy द्वारा प्रशिक्षित मोडेलहरू प्रयोग गर्नेछ। बाटोमा हामी केही .pb, .pbtxt, .prototxt र .caffemodel फाइलहरू प्रयोग गर्नेछौं।

Язык: अजगर

डाटासेट/प्याकेज: दर्शक

6. Uber डाटा विश्लेषण

स्रोत कोड - संग पूरा डाटा विज्ञान परियोजना कार्यान्वयन जाँच गर्नुहोस् आर मा Uber डाटा विश्लेषण परियोजना.

यो ggplot2 सँग डाटा भिजुअलाइजेशन प्रोजेक्ट हो जसमा हामी R र यसको पुस्तकालयहरू प्रयोग गर्नेछौं र विभिन्न प्यारामिटरहरू विश्लेषण गर्नेछौं। हामी Uber Pickups न्यू योर्क शहर डाटासेट प्रयोग गर्नेछौं र वर्षको विभिन्न समय फ्रेमहरूको लागि दृश्यहरू सिर्जना गर्नेछौं। यसले हामीलाई समयले ग्राहकको यात्रालाई कसरी असर गर्छ भनी बताउँछ।

Язык: R

डाटासेट/प्याकेज: न्यूयोर्क शहर डाटासेटमा Uber पिकअपहरू

7. चालक निद्रा पत्ता लगाउने

शीर्ष डाटा विज्ञान परियोजना मा काम गरेर आफ्नो कौशल सुधार गर्नुहोस् - OpenCV र Keras संग निद्रा पत्ता लगाउने प्रणाली.

निदाएर ड्राइभिङ अत्यन्त खतरनाक छ, र ड्राइभिङ गर्दा ड्राइभरहरू निद्रामा परेका कारण हरेक वर्ष लगभग एक हजार दुर्घटनाहरू हुन्छन्। यस पाइथन परियोजनामा, हामी एक प्रणाली सिर्जना गर्नेछौं जसले निन्द्रा लागेका ड्राइभरहरू पत्ता लगाउन सक्छ र तिनीहरूलाई अडियो संकेतद्वारा सचेत गराउन सक्छ।

यो परियोजना Keras र OpenCV प्रयोग गरी कार्यान्वयन गरिएको छ। हामी अनुहार र आँखा पत्ता लगाउनको लागि OpenCV प्रयोग गर्नेछौं र Keras संग हामी गहिरो न्यूरल नेटवर्क प्रविधिहरू प्रयोग गरेर आँखा स्थिति (खुला वा बन्द) वर्गीकृत गर्नेछौं।

२. च्याटबोट

पाइथनको साथ च्याटबोट सिर्जना गर्नुहोस् र आफ्नो क्यारियरमा एक कदम अगाडि बढ्नुहोस् - NLTK र Keras संग च्याटबोट.

Chatbots व्यापार को एक अभिन्न अंग हो। धेरै व्यवसायहरूले आफ्ना ग्राहकहरूलाई सेवाहरू प्रस्ताव गर्नुपर्दछ र उनीहरूलाई सेवा दिन धेरै जनशक्ति, समय र प्रयास लाग्छ। Chatbots ले ग्राहकहरूले सोध्ने केही सामान्य प्रश्नहरूको जवाफ दिएर तपाईंको धेरै ग्राहक अन्तरक्रियालाई स्वचालित गर्न सक्छ। त्यहाँ मूलतः दुई प्रकारका च्याटबटहरू छन्: डोमेन-विशेष र खुला-डोमेन। डोमेन-विशिष्ट च्याटबोट प्रायः एक विशेष समस्या समाधान गर्न प्रयोग गरिन्छ। त्यसोभए, तपाईंले यसलाई आफ्नो क्षेत्रमा प्रभावकारी रूपमा काम गर्न अनुकूलन गर्न आवश्यक छ। ओपन-डोमेन च्याटबटहरूलाई कुनै पनि प्रश्न सोध्न सकिन्छ, त्यसैले तिनीहरूलाई प्रशिक्षण दिन ठूलो मात्रामा डाटा चाहिन्छ।

डाटा सेट: intents json फाइल

Язык: अजगर

उन्नत डाटा विज्ञान परियोजनाहरू

9. छवि क्याप्शन जेनरेटर

स्रोत कोड - संग परियोजना को पूर्ण कार्यान्वयन जाँच गर्नुहोस् CNN र LSTM सँग छवि क्याप्शन जेनरेटर.

छविमा के छ भनेर वर्णन गर्नु मानिसका लागि सजिलो कार्य हो, तर कम्प्युटरहरूको लागि, छवि केवल संख्याहरूको एक श्रृंखला हो जसले प्रत्येक पिक्सेलको रंग मान प्रतिनिधित्व गर्दछ। यो कम्प्युटर को लागी एक कठिन काम हो। छविमा के छ भनेर बुझ्न र त्यसपछि प्राकृतिक भाषा (जस्तै अंग्रेजी) मा एक विवरण सिर्जना अर्को गाह्रो काम हो। यस परियोजनाले गहिरो सिकाइ प्रविधिहरू प्रयोग गर्दछ जसमा हामीले छवि विवरण जेनेरेटर सिर्जना गर्न पुनरावर्ती न्यूरल नेटवर्क (LSTM) सँग कन्भोलुसनल न्यूरल नेटवर्क (CNN) लागू गर्छौं।

डाटा सेट: Flickr 8K

Язык: अजगर

फ्रेमवर्क: केरास

10. क्रेडिट कार्ड जालसाजी पत्ता लगाउने

आफ्नो डेटा विज्ञान परियोजना विचार - मा काम गर्दा आफ्नो सक्दो गर्नुहोस् मेसिन लर्निङ प्रयोग गरेर क्रेडिट कार्ड धोखाधडी पत्ता लगाउनुहोस्.

अहिले सम्म तपाईंले प्रविधि र अवधारणाहरू बुझ्न थाल्नुभएको छ। केही उन्नत डेटा विज्ञान परियोजनाहरूमा जाऔं। यस परियोजनामा ​​हामी एल्गोरिदम जस्तै R भाषा प्रयोग गर्नेछौं निर्णय रूखहरू, लजिस्टिक रिग्रेसन, आर्टिफिसियल न्यूरल नेटवर्क र ग्रेडियन्ट बूस्टिङ क्लासिफायर। हामी क्रेडिट कार्ड लेनदेनहरूलाई धोखाधडी वा वास्तविक रूपमा वर्गीकृत गर्न कार्ड लेनदेनको डेटासेट प्रयोग गर्नेछौं। हामी तिनीहरूका लागि विभिन्न मोडेलहरू चयन गर्नेछौं र प्रदर्शन कर्भहरू निर्माण गर्नेछौं।

Язык: R

डाटासेट/प्याकेज: कार्ड लेनदेन डेटासेट

11. चलचित्र सिफारिस प्रणाली

स्रोत कोडको साथ उत्कृष्ट डेटा विज्ञान परियोजनाको कार्यान्वयनको अध्ययन गर्नुहोस् - आर भाषामा चलचित्र सिफारिस प्रणाली

यस डेटा विज्ञान परियोजनामा, हामी मेसिन लर्निङ मार्फत चलचित्रका सिफारिसहरू कार्यान्वयन गर्न R को प्रयोग गर्नेछौं। सिफारिस प्रणालीले अन्य प्रयोगकर्ताहरूको प्राथमिकता र ब्राउजिङ इतिहासमा आधारित फिल्टरिङ प्रक्रियामार्फत प्रयोगकर्ताहरूलाई सुझावहरू पठाउँछ। यदि A र B लाई Home Alone मन पर्छ, र B ले मीन गर्लहरू मन पराउँछन् भने, तपाईंले A सुझाव दिन सक्नुहुन्छ - उनीहरूलाई पनि मन पर्न सक्छ। यसले ग्राहकहरूलाई प्लेटफर्मसँग अन्तरक्रिया गर्न अनुमति दिन्छ।

Язык: R

डाटासेट/प्याकेज: MovieLens डाटासेट

12. ग्राहक विभाजन

डेटा विज्ञान परियोजना (स्रोत कोड सहित) को साथ रोजगारदाताहरूलाई प्रभाव पार्नुहोस् - मेसिन लर्निङ प्रयोग गरेर ग्राहक विभाजन.

क्रेता विभाजन एक लोकप्रिय अनुप्रयोग हो असुरक्षित शिक्षा। क्लस्टरिङ प्रयोग गरेर, कम्पनीहरूले सम्भावित प्रयोगकर्ता आधारलाई लक्षित गर्न ग्राहक खण्डहरू पहिचान गर्छन्। तिनीहरूले ग्राहकहरूलाई लिङ्ग, उमेर, रुचि र खर्च गर्ने बानीहरू जस्ता साझा विशेषताहरू अनुसार समूहहरूमा विभाजन गर्छन् ताकि तिनीहरूले प्रभावकारी रूपमा प्रत्येक समूहमा आफ्ना उत्पादनहरू बजार गर्न सकून्। हामी प्रयोग गर्नेछौं K- अर्थ क्लस्टरिंग, साथै लिङ्ग र उमेर अनुसार वितरणको कल्पना गर्नुहोस्। त्यसपछि हामी तिनीहरूको वार्षिक आय र व्यय स्तरहरू विश्लेषण गर्नेछौं।

Язык: R

डाटासेट/प्याकेज: Mall_Customers dataset

13. स्तन क्यान्सर वर्गीकरण

पाइथन - मा डेटा विज्ञान परियोजनाको पूर्ण कार्यान्वयन जाँच गर्नुहोस् गहिरो शिक्षा प्रयोग गरेर स्तन क्यान्सर वर्गीकरण.

डेटा विज्ञानको चिकित्सा योगदानमा फर्केर आउनुहोस्, पाइथन प्रयोग गरेर स्तन क्यान्सर पत्ता लगाउने तरिका जानौं। हामी स्तन क्यान्सरको सबैभन्दा सामान्य रूप, Invasive ductal carcinoma पहिचान गर्न IDC_regular डेटासेट प्रयोग गर्नेछौं। यो दूध नलिकाहरूमा विकसित हुन्छ, नलिका बाहिर रेशायुक्त वा बोसोयुक्त स्तनको तन्तुमा बिग्रन्छ। यो डाटा संग्रह विज्ञान परियोजना विचार मा हामी प्रयोग गर्नेछौं गहिरो अध्ययन र वर्गीकरण को लागी Keras पुस्तकालय।

Язык: अजगर

डाटासेट/प्याकेज: IDC_नियमित

14. ट्राफिक चिन्ह पहिचान

डेटा विज्ञान परियोजनाको साथ सेल्फ-ड्राइभिङ टेक्नोलोजीमा सटीकता प्राप्त गर्दै CNN प्रयोग गरेर ट्राफिक साइन पहिचान खुला स्रोत।

सडक संकेतहरू र ट्राफिक नियमहरू दुर्घटनाबाट बच्न प्रत्येक चालकको लागि धेरै महत्त्वपूर्ण छन्। नियम पालना गर्न, तपाईंले पहिले सडक चिन्ह कस्तो देखिन्छ भनेर बुझ्न आवश्यक छ। कुनै पनि सवारी साधन चलाउने इजाजतपत्र दिनु अघि व्यक्तिले सबै सडक चिन्हहरू सिक्नुपर्छ। तर अब स्वायत्त सवारी साधनहरूको संख्या बढ्दै गएको छ, र निकट भविष्यमा एक व्यक्तिले अब स्वतन्त्र रूपमा कार चलाउने छैन। रोड साइन रिकग्निसन प्रोजेक्टमा, तपाईंले कसरी एउटा कार्यक्रमले इनपुटको रूपमा छवि लिएर सडक चिन्हहरूको प्रकार पहिचान गर्न सक्छ भनेर सिक्नुहुनेछ। जर्मन ट्राफिक साइन रिकग्निसन बेन्चमार्क (GTSRB) डेटासेट ट्राफिक साइन सम्बन्धित वर्ग पहिचान गर्न गहिरो न्यूरल नेटवर्क निर्माण गर्न प्रयोग गरिन्छ। हामी एप्लिकेसनसँग अन्तर्क्रिया गर्नको लागि एक साधारण GUI पनि सिर्जना गर्छौं।

Язык: अजगर

डाटा सेट: GTSRB (जर्मन ट्राफिक साइन रिकग्निसन बेन्चमार्क)

थप पढ्नुहोस्

• प्रशिक्षण परियोजनाहरूको लागि 52 डेटासेटहरू
• फ्रन्ट-एन्ड डोजो: विकासकर्ता सीपहरू तालिम दिने परियोजनाहरू (५ नयाँ + ४३ पुरानो)
• शीर्ष 12 सबैभन्दा रोचक IT गतिशील इन्फोग्राफिक्स

स्रोत: www.habr.com