డేటా సైన్స్ నైపుణ్యాలను మెరుగుపరచడానికి 14 ఓపెన్ సోర్స్ ప్రాజెక్ట్‌లు (సులభం, సాధారణం, కఠినమైనవి)

బిగినర్స్ కోసం డేటా సైన్స్

1. సెంటిమెంట్ విశ్లేషణ (టెక్స్ట్ ద్వారా సెంటిమెంట్ విశ్లేషణ)

సోర్స్ కోడ్ − ఉపయోగించి పూర్తి డేటా సైన్స్ ప్రాజెక్ట్ అమలును తనిఖీ చేయండి ఆర్‌లో సెంటిమెంట్ అనాలిసిస్ ప్రాజెక్ట్.

సెంటిమెంట్ అనాలిసిస్ అనేది భావాలను మరియు అభిప్రాయాలను నిర్ణయించడానికి పదాల విశ్లేషణ, ఇది సానుకూలంగా లేదా ప్రతికూలంగా ఉంటుంది. ఇది ఒక రకమైన వర్గీకరణ, దీనిలో తరగతులు బైనరీ (పాజిటివ్ మరియు నెగటివ్) లేదా బహువచనం (సంతోషం, కోపం, విచారం, దుష్ట...) కావచ్చు. మేము ఈ డేటా సైన్స్ ప్రాజెక్ట్‌ను Rలో అమలు చేస్తాము మరియు డేటాసెట్‌ను "janeaustenR" ప్యాకేజీలో ఉపయోగిస్తాము. మేము AFINN, bing మరియు loughran వంటి సాధారణ ప్రయోజన నిఘంటువులను ఉపయోగిస్తాము, అంతర్గత చేరికను నిర్వహిస్తాము మరియు చివరికి మేము ఫలితాన్ని ప్రదర్శించడానికి ఒక పద క్లౌడ్‌ను సృష్టిస్తాము.

భాష: R
డేటాసెట్/ప్యాకేజీ: జానౌస్టెన్ ఆర్

వ్యాసం EDISON సాఫ్ట్‌వేర్ మద్దతుతో అనువదించబడింది, ఇది మల్టీ-బ్రాండ్ స్టోర్‌ల కోసం వర్చువల్ ఫిట్టింగ్ రూమ్‌లను చేస్తుందిమరియు పరీక్ష సాఫ్ట్‌వేర్.

2. ఫేక్ న్యూస్ డిటెక్షన్

ప్రారంభకులకు డేటా సైన్స్ ప్రాజెక్ట్‌లో పని చేయడం ద్వారా మీ నైపుణ్యాలను తదుపరి స్థాయికి తీసుకెళ్లండి - పైథాన్‌తో నకిలీ వార్తలను గుర్తించడం.

ఫేక్ న్యూస్ అనేది రాజకీయ లక్ష్యాలను సాధించడానికి సోషల్ మీడియా మరియు ఇతర ఆన్‌లైన్ మీడియా ద్వారా వ్యాపించే తప్పుడు సమాచారం. ఈ డేటా సైన్స్ ప్రాజెక్ట్ ఆలోచనలో, వార్తా కథనం నిజమా లేదా నకిలీదా అని ఖచ్చితంగా నిర్ధారించగల మోడల్‌ను రూపొందించడానికి మేము పైథాన్‌ని ఉపయోగిస్తాము. మేము TfidfVectorizerని సృష్టిస్తాము మరియు వార్తలను "నిజమైన" మరియు "నకిలీ"గా వర్గీకరించడానికి PassiveAggressiveClassifierని ఉపయోగిస్తాము. మేము 7796×4 ఆకారపు డేటాసెట్‌ని ఉపయోగిస్తాము మరియు జూపిటర్ ల్యాబ్‌లో ప్రతిదీ అమలు చేస్తాము.

భాష: పైథాన్

డేటాసెట్/ప్యాకేజీ: news.csv

3. పార్కిన్సన్స్ వ్యాధిని గుర్తించడం

మీ డేటా సైన్స్ ప్రాజెక్ట్ ఐడియాతో ముందుకు సాగండి - XGBoost ఉపయోగించి పార్కిన్సన్స్ వ్యాధిని గుర్తించడం.

మేము ఆరోగ్య సంరక్షణ మరియు సేవలను మెరుగుపరచడానికి డేటా సైన్స్‌ని ఉపయోగించడం ప్రారంభించాము - మేము ప్రారంభ దశలోనే వ్యాధిని అంచనా వేయగలిగితే, మనకు అనేక ప్రయోజనాలు ఉంటాయి. కాబట్టి, ఈ డేటా సైన్స్ ప్రాజెక్ట్ ఆలోచనలో, పైథాన్‌ని ఉపయోగించి పార్కిన్సన్స్ వ్యాధిని ఎలా గుర్తించాలో నేర్చుకుందాం. ఇది కేంద్ర నాడీ వ్యవస్థ యొక్క న్యూరోడెజెనరేటివ్, ప్రగతిశీల వ్యాధి, ఇది కదలికను ప్రభావితం చేస్తుంది మరియు వణుకు మరియు దృఢత్వాన్ని కలిగిస్తుంది. ఇది మెదడులోని డోపమైన్-ఉత్పత్తి చేసే న్యూరాన్‌లను ప్రభావితం చేస్తుంది మరియు ప్రతి సంవత్సరం, ఇది భారతదేశంలో 1 మిలియన్ కంటే ఎక్కువ మంది ప్రజలను ప్రభావితం చేస్తుంది.

భాష: పైథాన్

డేటాసెట్/ప్యాకేజీ: UCI ML పార్కిన్సన్స్ డేటాసెట్

మీడియం సంక్లిష్టత యొక్క డేటా సైన్స్ ప్రాజెక్ట్‌లు

4. స్పీచ్ ఎమోషన్ రికగ్నిషన్

డేటా సైన్స్ ఉదాహరణ ప్రాజెక్ట్ − యొక్క పూర్తి అమలును తనిఖీ చేయండి లిబ్రోసా ఉపయోగించి ప్రసంగ గుర్తింపు.

వివిధ లైబ్రరీలను ఎలా ఉపయోగించాలో ఇప్పుడు తెలుసుకుందాం. ఈ డేటా సైన్స్ ప్రాజెక్ట్ స్పీచ్ రికగ్నిషన్ కోసం లిబ్రోసాను ఉపయోగిస్తుంది. SER అనేది ప్రసంగం నుండి మానవ భావోద్వేగాలు మరియు ప్రభావిత స్థితులను గుర్తించే ప్రక్రియ. మేము మా స్వరాలతో భావోద్వేగాన్ని వ్యక్తీకరించడానికి టోన్ మరియు పిచ్‌ని ఉపయోగిస్తాము కాబట్టి, SER సంబంధితంగా ఉంటుంది. కానీ భావోద్వేగాలు ఆత్మాశ్రయమైనవి కాబట్టి, ఆడియో ఉల్లేఖనం సవాలుతో కూడుకున్న పని. మేము mfcc, chroma మరియు mel ఫంక్షన్‌లను ఉపయోగిస్తాము మరియు భావోద్వేగ గుర్తింపు కోసం RAVDESS డేటాసెట్‌ని ఉపయోగిస్తాము. మేము ఈ మోడల్ కోసం MLPC వర్గీకరణను సృష్టిస్తాము.

భాష: పైథాన్

డేటాసెట్/ప్యాకేజీ: RAVDESS డేటాసెట్

5. లింగం మరియు వయస్సు గుర్తింపు

తాజా డేటా సైన్స్ ప్రాజెక్ట్‌తో యజమానులను ఆకట్టుకోండి - OpenCVని ఉపయోగించి లింగం మరియు వయస్సును నిర్ణయించడం.

ఇది పైథాన్‌తో ఆసక్తికరమైన డేటా సైన్స్. కేవలం ఒక చిత్రాన్ని ఉపయోగించి, మీరు ఒక వ్యక్తి యొక్క లింగం మరియు వయస్సును అంచనా వేయడం నేర్చుకుంటారు. దీనిలో మేము మీకు కంప్యూటర్ విజన్ మరియు దాని సూత్రాలను పరిచయం చేస్తాము. మేం నిర్మిస్తాం కన్వల్యూషనల్ న్యూరల్ నెట్‌వర్క్ మరియు Adience డేటాసెట్‌లో Tal Hassner మరియు Gil Levy ద్వారా శిక్షణ పొందిన మోడల్‌లను ఉపయోగిస్తుంది. అలాగే మేము కొన్ని .pb, .pbtxt, .prototxt మరియు .caffemodel ఫైల్‌లను ఉపయోగిస్తాము.

భాష: పైథాన్

డేటాసెట్/ప్యాకేజీ: ప్రేక్షకులు

6. ఉబెర్ డేటా విశ్లేషణ

సోర్స్ కోడ్ −తో పూర్తి డేటా సైన్స్ ప్రాజెక్ట్ అమలును చూడండి R లో Uber డేటా విశ్లేషణ ప్రాజెక్ట్.

ఇది ggplot2తో కూడిన డేటా విజువలైజేషన్ ప్రాజెక్ట్, దీనిలో మేము R మరియు దాని లైబ్రరీలను ఉపయోగిస్తాము మరియు వివిధ పారామితులను విశ్లేషిస్తాము. మేము Uber Pickups న్యూయార్క్ సిటీ డేటాసెట్‌ని ఉపయోగిస్తాము మరియు సంవత్సరంలోని వివిధ సమయ ఫ్రేమ్‌ల కోసం విజువలైజేషన్‌లను రూపొందిస్తాము. కస్టమర్ ప్రయాణాన్ని సమయం ఎలా ప్రభావితం చేస్తుందో ఇది మాకు తెలియజేస్తుంది.

భాష: R

డేటాసెట్/ప్యాకేజీ: న్యూయార్క్ సిటీ డేటాసెట్‌లో ఉబెర్ పికప్‌లు

7. డ్రైవర్ మగతను గుర్తించడం

టాప్ డేటా సైన్స్ ప్రాజెక్ట్‌లో పని చేయడం ద్వారా మీ నైపుణ్యాలను మెరుగుపరచుకోండి - OpenCV & Kerasతో మగతను గుర్తించే వ్యవస్థ.

డ్రైవింగ్‌లో డ్రైవింగ్ చేయడం చాలా ప్రమాదకరం మరియు డ్రైవింగ్ చేస్తున్నప్పుడు డ్రైవర్లు నిద్రపోవడం వల్ల ప్రతి సంవత్సరం దాదాపు వెయ్యి ప్రమాదాలు జరుగుతున్నాయి. ఈ పైథాన్ ప్రాజెక్ట్‌లో, నిద్రమత్తులో ఉన్న డ్రైవర్‌లను గుర్తించి, ఆడియో సిగ్నల్‌తో వారిని హెచ్చరించే సిస్టమ్‌ను మేము రూపొందిస్తాము.

ఈ ప్రాజెక్ట్ Keras మరియు OpenCV ఉపయోగించి అమలు చేయబడింది. మేము ముఖం మరియు కంటి గుర్తింపు కోసం OpenCVని ఉపయోగిస్తాము మరియు Kerasతో మేము లోతైన నాడీ నెట్‌వర్క్ పద్ధతులను ఉపయోగించి కంటి స్థితిని (ఓపెన్ లేదా క్లోజ్డ్) వర్గీకరిస్తాము.

8. చాట్‌బాట్

పైథాన్‌తో చాట్‌బాట్‌ని సృష్టించండి మరియు మీ కెరీర్‌లో ఒక అడుగు ముందుకు వేయండి - NLTK & కేరాస్‌తో చాట్‌బాట్.

చాట్‌బాట్‌లు వ్యాపారంలో అంతర్భాగం. అనేక వ్యాపారాలు తమ కస్టమర్‌లకు సేవలను అందించాలి మరియు వారికి సేవ చేయడానికి చాలా మానవశక్తి, సమయం మరియు కృషి అవసరం. కస్టమర్‌లు అడిగే కొన్ని సాధారణ ప్రశ్నలకు సమాధానమివ్వడం ద్వారా చాట్‌బాట్‌లు మీ కస్టమర్ ఇంటరాక్షన్‌లో చాలా వరకు ఆటోమేట్ చేయగలవు. ప్రాథమికంగా రెండు రకాల చాట్‌బాట్‌లు ఉన్నాయి: డొమైన్-నిర్దిష్ట మరియు ఓపెన్-డొమైన్. నిర్దిష్ట సమస్యను పరిష్కరించడానికి డొమైన్-నిర్దిష్ట చాట్‌బాట్ తరచుగా ఉపయోగించబడుతుంది. కాబట్టి, మీ ఫీల్డ్‌లో సమర్థవంతంగా పని చేయడానికి మీరు దీన్ని అనుకూలీకరించాలి. ఓపెన్-డొమైన్ చాట్‌బాట్‌లను ఏవైనా ప్రశ్నలు అడగవచ్చు, కాబట్టి వాటికి శిక్షణ ఇవ్వడానికి భారీ మొత్తంలో డేటా అవసరం.

డేటా సెట్: ఇంటెంట్స్ json ఫైల్

భాష: పైథాన్

అధునాతన డేటా సైన్స్ ప్రాజెక్ట్‌లు

9. చిత్రం శీర్షిక జనరేటర్

సోర్స్ కోడ్ −తో ప్రాజెక్ట్ యొక్క పూర్తి అమలును తనిఖీ చేయండి CNN & LSTMతో చిత్ర శీర్షిక జనరేటర్.

ఇమేజ్‌లో ఏముందో వివరించడం మానవులకు సులభమైన పని, కానీ కంప్యూటర్‌లకు, ప్రతి పిక్సెల్ యొక్క రంగు విలువను సూచించే సంఖ్యల శ్రేణి మాత్రమే చిత్రం. కంప్యూటర్లకు ఇది చాలా కష్టమైన పని. చిత్రంలో ఏముందో అర్థం చేసుకోవడం, ఆపై సహజ భాషలో (ఇంగ్లీష్ వంటివి) వివరణను రూపొందించడం మరొక కష్టమైన పని. ఈ ప్రాజెక్ట్ డీప్ లెర్నింగ్ టెక్నిక్‌లను ఉపయోగిస్తుంది, దీనిలో మేము ఇమేజ్ డిస్క్రిప్షన్ జెనరేటర్‌ని రూపొందించడానికి రికరెంట్ న్యూరల్ నెట్‌వర్క్ (LSTM)తో కన్వల్యూషనల్ న్యూరల్ నెట్‌వర్క్ (CNN)ని అమలు చేస్తాము.

డేటా సెట్: Flickr 8K

భాష: పైథాన్

ఫ్రేమ్‌వర్క్: Keras

10. క్రెడిట్ కార్డ్ ఫ్రాడ్ డిటెక్షన్

మీ డేటా సైన్స్ ప్రాజెక్ట్ ఆలోచన -పై పని చేస్తున్నప్పుడు మీ వంతు కృషి చేయండి మెషిన్ లెర్నింగ్ ఉపయోగించి క్రెడిట్ కార్డ్ మోసాన్ని గుర్తించండి.

ఇప్పటికి మీరు టెక్నిక్‌లు మరియు కాన్సెప్ట్‌లను అర్థం చేసుకోవడం ప్రారంభించారు. కొన్ని అధునాతన డేటా సైన్స్ ప్రాజెక్ట్‌లకు వెళ్దాం. ఈ ప్రాజెక్ట్‌లో మేము వంటి అల్గారిథమ్‌లతో R భాషను ఉపయోగిస్తాము నిర్ణయం చెట్లు, లాజిస్టిక్ రిగ్రెషన్, ఆర్టిఫిషియల్ న్యూరల్ నెట్‌వర్క్‌లు మరియు గ్రేడియంట్ బూస్టింగ్ క్లాసిఫైయర్. మేము క్రెడిట్ కార్డ్ లావాదేవీలను మోసపూరితమైనవి లేదా నిజమైనవిగా వర్గీకరించడానికి కార్డ్ లావాదేవీల డేటాసెట్‌ను ఉపయోగిస్తాము. మేము వాటి కోసం వేర్వేరు నమూనాలను ఎంచుకుంటాము మరియు పనితీరు వక్రతలను నిర్మిస్తాము.

భాష: R

డేటాసెట్/ప్యాకేజీ: కార్డ్ లావాదేవీల డేటాసెట్

11. సినిమా సిఫార్సు వ్యవస్థ

సోర్స్ కోడ్‌తో అత్యుత్తమ డేటా సైన్స్ ప్రాజెక్ట్ అమలును అధ్యయనం చేయండి - R భాషలో సినిమా సిఫార్సు వ్యవస్థ

ఈ డేటా సైన్స్ ప్రాజెక్ట్‌లో, మెషీన్ లెర్నింగ్ ద్వారా సినిమా సిఫార్సులను అమలు చేయడానికి మేము Rని ఉపయోగిస్తాము. సిఫార్సు సిస్టమ్ ఇతర వినియోగదారుల ప్రాధాన్యతలు మరియు బ్రౌజింగ్ చరిత్ర ఆధారంగా ఫిల్టరింగ్ ప్రక్రియ ద్వారా వినియోగదారులకు సూచనలను పంపుతుంది. A మరియు B హోమ్ అలోన్‌ను ఇష్టపడితే మరియు B అంటే మీన్ గర్ల్స్‌ను ఇష్టపడితే, మీరు Aని సూచించవచ్చు - వారు కూడా దీన్ని ఇష్టపడవచ్చు. ప్లాట్‌ఫారమ్‌తో కస్టమర్‌లు ఇంటరాక్ట్ అవ్వడానికి ఇది అనుమతిస్తుంది.

భాష: R

డేటాసెట్/ప్యాకేజీ: MovieLens డేటాసెట్

12. కస్టమర్ సెగ్మెంటేషన్

డేటా సైన్స్ ప్రాజెక్ట్‌తో యజమానులను ఆకట్టుకోండి (సోర్స్ కోడ్‌తో సహా) - మెషిన్ లెర్నింగ్ ఉపయోగించి కస్టమర్ సెగ్మెంటేషన్.

కొనుగోలుదారుల విభజన అనేది ఒక ప్రసిద్ధ అప్లికేషన్ పర్యవేక్షించబడని అభ్యాసం. క్లస్టరింగ్‌ని ఉపయోగించి, సంభావ్య వినియోగదారు స్థావరాన్ని లక్ష్యంగా చేసుకోవడానికి కంపెనీలు కస్టమర్ విభాగాలను గుర్తిస్తాయి. వారు లింగం, వయస్సు, ఆసక్తులు మరియు ఖర్చు అలవాట్లు వంటి సాధారణ లక్షణాల ప్రకారం కస్టమర్లను సమూహాలుగా విభజిస్తారు, తద్వారా వారు ప్రతి సమూహానికి తమ ఉత్పత్తులను సమర్థవంతంగా మార్కెట్ చేయగలరు. మేము ఉపయోగిస్తాము K- అంటే క్లస్టరింగ్, అలాగే లింగం మరియు వయస్సు ద్వారా పంపిణీని దృశ్యమానం చేయండి. మేము వారి వార్షిక ఆదాయం మరియు వ్యయ స్థాయిలను విశ్లేషిస్తాము.

భాష: R

డేటాసెట్/ప్యాకేజీ: మాల్_కస్టమర్స్ డేటాసెట్

13. రొమ్ము క్యాన్సర్ వర్గీకరణ

పైథాన్ −లో డేటా సైన్స్ ప్రాజెక్ట్ యొక్క పూర్తి అమలును తనిఖీ చేయండి లోతైన అభ్యాసాన్ని ఉపయోగించి రొమ్ము క్యాన్సర్ వర్గీకరణ.

డేటా సైన్స్ యొక్క మెడికల్ కంట్రిబ్యూషన్‌కి తిరిగి వస్తున్నప్పుడు, పైథాన్‌ని ఉపయోగించి రొమ్ము క్యాన్సర్‌ను ఎలా గుర్తించాలో తెలుసుకుందాం. రొమ్ము క్యాన్సర్ యొక్క అత్యంత సాధారణ రూపమైన ఇన్వాసివ్ డక్టల్ కార్సినోమాను గుర్తించడానికి మేము IDC_regular డేటాసెట్‌ని ఉపయోగిస్తాము. ఇది పాల నాళాలలో అభివృద్ధి చెందుతుంది, వాహిక వెలుపలి పీచు లేదా కొవ్వు రొమ్ము కణజాలంలోకి ప్రవేశించడం. ఈ డేటా సేకరణ సైన్స్ ప్రాజెక్ట్ ఆలోచనలో మేము ఉపయోగిస్తాము డీప్ లెర్నింగ్ మరియు వర్గీకరణ కోసం కేరాస్ లైబ్రరీ.

భాష: పైథాన్

డేటాసెట్/ప్యాకేజీ: IDC_రెగ్యులర్

14. ట్రాఫిక్ సంకేతాల గుర్తింపు

డేటా సైన్స్ ప్రాజెక్ట్‌తో సెల్ఫ్ డ్రైవింగ్ టెక్నాలజీలో ఖచ్చితత్వాన్ని సాధించడం CNN ఉపయోగించి ట్రాఫిక్ సైన్ గుర్తింపు ఓపెన్ సోర్స్.

ప్రమాదాలను నివారించడానికి ప్రతి డ్రైవర్‌కు రోడ్డు సంకేతాలు మరియు ట్రాఫిక్ నియమాలు చాలా ముఖ్యమైనవి. నియమాన్ని అనుసరించడానికి, మీరు మొదట రహదారి గుర్తు ఎలా ఉంటుందో అర్థం చేసుకోవాలి. ఒక వ్యక్తి ఏదైనా వాహనం నడపడానికి లైసెన్స్ ఇవ్వడానికి ముందు అన్ని రహదారి సంకేతాలను నేర్చుకోవాలి. కానీ ఇప్పుడు స్వయంప్రతిపత్త వాహనాల సంఖ్య పెరుగుతోంది మరియు సమీప భవిష్యత్తులో ఒక వ్యక్తి స్వతంత్రంగా కారును నడపడు. రోడ్ సైన్ రికగ్నిషన్ ప్రాజెక్ట్‌లో, చిత్రాన్ని ఇన్‌పుట్‌గా తీసుకోవడం ద్వారా ప్రోగ్రామ్ రహదారి చిహ్నాల రకాన్ని ఎలా గుర్తించగలదో మీరు నేర్చుకుంటారు. జర్మన్ ట్రాఫిక్ సైన్ రికగ్నిషన్ బెంచ్‌మార్క్ (GTSRB) డేటాసెట్ ట్రాఫిక్ సైన్ ఏ తరగతికి చెందినదో గుర్తించడానికి లోతైన నాడీ నెట్‌వర్క్‌ను రూపొందించడానికి ఉపయోగించబడుతుంది. అప్లికేషన్‌తో పరస్పర చర్య చేయడానికి మేము ఒక సాధారణ GUIని కూడా సృష్టిస్తాము.

భాష: పైథాన్

డేటా సెట్: GTSRB (జర్మన్ ట్రాఫిక్ సైన్ రికగ్నిషన్ బెంచ్‌మార్క్)

ఇంకా చదవండి

• శిక్షణ ప్రాజెక్ట్‌ల కోసం 52 డేటాసెట్‌లు
• ఫ్రంట్-ఎండ్ డోజో: డెవలపర్ నైపుణ్యాలకు శిక్షణ ఇచ్చే ప్రాజెక్ట్‌లు (5 కొత్త + 43 పాతవి)
• టాప్ 12 అత్యంత ఆసక్తికరమైన IT డైనమిక్ ఇన్ఫోగ్రాఫిక్స్

మూలం: www.habr.com