ProHoster > Blogs > Interneta ziņas > 14 open-source projekti datu zinātnes prasmju attÄ«stÄ«Å”anai (viegli, normāli, grÅ«ti)

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Datu zinātne sākumam

1. Noskaņojuma analīze (Teksta analīze, lai noteiktu noskaņojumus)

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Apskatiet pilnu Datu zinātnes projekta realizāciju, izmantojot avota kodu ā€” Noskaņojuma analÄ«zes projekts R valodā.

Noskaņojuma analÄ«ze ir vārdu analÄ«ze, lai noteiktu noskaņojumus un viedokļus, kas var bÅ«t pozitÄ«vi vai negatÄ«vi. Tas ir klasifikācijas veids, kurā klases var bÅ«t bināras (pozitÄ«vas un negatÄ«vas) vai daudzveidÄ«gas (laimÄ«gas, dusmÄ«gas, skumjas, nepatÄ«kamas...). Mēs realizēsim Å”o Datu zinātnes projektu R valodā un izmantosim datu kopu no pakotnes "janeaustenR". Mēs izmantosim vispārējus vārdnÄ«cas, piemēram, AFINN, bing un loughran, veiksim iekŔējo savienojumu, un beigās izveidosim vārdu mākoni, lai attēlotu rezultātu.

Valoda: R
Datu kopas / Pakotne: janeaustenR

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Raksts tulkots ar EDISON Software atbalstu, kas izveido virtuālas pielaikoÅ”anas telpas daudzu zÄ«molu veikaliem, kā arÄ« testē programmatÅ«ru.

2. Viltus ziņu atklāŔana (Fake News Detection)

IepazÄ«stieties ar savām prasmēm, strādājot pie Datu zinātnes projekta sākumam ā€” viltus ziņu atklāŔana ar Python.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Viltus ziņas ir nepatiesa informācija, kas tiek izplatÄ«ta caur sociālajiem tÄ«kliem un citiem tÄ«mekļa plaÅ”saziņas lÄ«dzekļiem, lai sasniegtu politiskus mērÄ·us. Å ajā Datu zinātnes projekta idejā mēs izmantosim Python, lai izveidotu modeli, kas precÄ«zi noteiktu, vai ziņa ir Ä«sta vai viltota. Mēs izveidosim TfidfVectorizer un izmantosim PassiveAggressiveClassifier, lai klasificētu ziņas par "Ä«stām" un "viltotām". Mēs izmantosim datu kopu ar 7796 Ɨ 4 formātu un veiksim visu Jupyter Lab.

Valoda: Python

Datu kopas / Pakotne: news.csv

3. Parkinsona slimÄ«bas atklāŔana (Detecting Parkinsonā€™s Disease)

Virzieties uz priekÅ”u, strādājot pie Datu zinātnes projekta idejas ā€” Parkinsona slimÄ«bas atklāŔana ar XGBoost.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Mēs esam sākuÅ”i izmantot Datu zinātni, lai uzlabotu veselÄ«bas aprÅ«pi un pakalpojumus ā€” ja mēs varam prognozēt slimÄ«bu agrÄ«nā stadijā, mums bÅ«s daudz priekÅ”rocÄ«bu. Tātad, Å”ajā Datu zinātnes projekta idejā mēs iemācÄ«simies noteikt Parkinsona slimÄ«bu, izmantojot Python. Tā ir neirodeÄ£eneratÄ«va, progresējoÅ”a centrālās nervu sistēmas slimÄ«ba, kas ietekmē kustÄ«bu un izraisa trÄ«ci un stÄ«vumu. Tā ietekmē dopamÄ«nu ražojoÅ”os neuronus smadzenēs, un katru gadu tā skar vairāk nekā 1 miljonu cilvēku Indijā.

Valoda: Python

Datu kopas / Pakotne: UCI ML Parkinsons datu kopums

Vidējā grūtības pakāpe Datu zinātnes projektiem

4. Runas emociju atpazīŔana (Speech Emotion Recognition)

IepazÄ«stieties ar pilnÄ«gu Data Science projekta piemēra realizāciju ā€” balss atpazÄ«Å”ana, izmantojot Librosa.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Tagad mēs iemācÄ«simies izmantot dažādas bibliotēkas. Å is Data Science projekts izmanto librosa, lai veiktu balss atpazÄ«Å”anu. SER ir process, kas nosaka cilvēku emocijas un afektÄ«vās stāvokļus pēc balss. Tā kā mēs izmatojam toni un toņu augstumu, lai izteiktu emocijas ar balsi, SER ir svarÄ«gs. Tomēr, ņemot vērā emociju subjektivitāti, skaņas anotācija ir sarežģīta uzdevums. Mēs izmantosim funkcijas mfcc, chroma un mel un izmantosim RAVDESS datu kopu, lai atpazÄ«tu emocijas. Mēs izveidosim MLPC klasifikatoru Å”im modelim.

Valoda: Python

Datu kopas / Pakotne: RAVDESS datu kopums

5. Dzimuma un vecuma noteikŔana (Gender and Age Detection)

Pārsteidziet darba devējus ar jauno Data Science projektu ā€” dzimuma un vecuma noteikÅ”ana, izmantojot OpenCV.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Tas ir interesants Data Science projekts ar Python. Izmantojot tikai vienu attēlu, jūs iemācīsieties paredzēt cilvēka dzimumu un vecumu. Šajā projektā jūs iepazīstināsim ar datorredzi un tās principiem. Mēs uzbūvēsim konvolūciju neironu tīklu un izmantosim modeli, ko apmācījusi Tal Hassner un Gil Levi Adience datu kopai. Ceļojuma laikā mēs izmantosim dažus .pb, .pbtxt, .prototxt un .caffemodel failus.

Valoda: Python

Datu kopas / Pakotne: Adience

6. Uber datu analīze (Uber Data Analysis)

Paskatieties pilnu Data Science projekta realizāciju ar avota kodu ā€” Uber datu analÄ«ze projektā R.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Tas ir datu vizualizācijas projekts ar ggplot2, kurā mēs izmantosim R un tā bibliotēkas, analizējot dažādus parametrus. Mēs izmantosim Uber Pickups datu kopu Ņujorkā un veidosim vizualizācijas dažādiem gada laikiem. Tas noregulē laika ietekmi uz klientu braucieniem.

Valoda: R

Datu kopas / Pakotne: Uber Pickups in New York City datu kopums

7. Vadītāja miegainības noteikŔana (Driver Drowsiness detection)

Uzlabojiet savas prasmes, strādājot pie Top Data Science projekta ā€” miegainÄ«bas noteikÅ”anas sistēmas ar OpenCV & Keras.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Miegains brauciens ir ārkārtÄ«gi bÄ«stams, un katru gadu notiek ap tÅ«kstoÅ” negadÄ«jumu, kad vadÄ«tāji aizmieg brauciena laikā. Å ajā Python projektā mēs izveidosim sistēmu, kas spēs noteikt miegainus vadÄ«tājus un brÄ«dināt viņus ar skaņas signālu.

Šis projekts tiek īstenots, izmantojot Keras un OpenCV. Mēs izmantosim OpenCV, lai atklātu sejas un acis, bet, izmantojot Keras, mēs klasificēsim acu stāvokli (Atvērta vai Aizvērta), izmantojot dziļo neira tīklu metodes.

8. Čatbots

Izveidojiet čatbotu, izmantojot Python, un speriet soli uz priekÅ”u savā karjerā ā€” Čatbots ar NLTK & Keras.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Čatboti ir neatņemama daļa no biznesa. Daudziem uzņēmumiem ir jāsniedz pakalpojumi saviem klientiem, un to apkalpoÅ”anai ir nepiecieÅ”ama liela darba spēka, laika un pūļu izlietojums. Čatboti var automatizēt lielāko daļu mijiedarbÄ«bas ar klientiem, atbildot uz dažiem bieži uzdotajiem jautājumiem. Galvenokārt ir divi čatbotu veidi: specifiskā joma un atvērta joma. Specifiskās jomas čatbots bieži tiek izmantots konkrētas problēmas risināŔanai. Tāpēc jÅ«s to jāpielāgo efektÄ«vai darbÄ«bai jÅ«su jomā. Atvērtās jomas čatbotiem var uzdot jebkurus jautājumus, tāpēc to apmācÄ«bai ir nepiecieÅ”ami milzÄ«gi dati.

Datu kopums: Intents json fails

Valoda: Python

Augstas klases datu zinātnes projekti

9. Attēla aprakstu ģenerators

Pārbaudiet pilnu projekta realizāciju ar avota kodu ā€” Attēla aprakstu Ä£enerators ar CNN & LSTM.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

AprakstÄ«t, kas attēlā ir, cilvēkiem ir vienkārÅ”a, bet datoriem attēls ir tikai skaitļu kopums, kas attēlo katra pikseļa krāsas vērtÄ«bu. Tas ir grÅ«ts uzdevums datoriem. Saprast, kas atrodas attēlā, un pēc tam izveidot aprakstu dabiskajā valodā (piemēram, angļu valodā) ir cits grÅ«ts uzdevums. Å is projekts izmanto dziļās mācÄ«Å”anās metodes, kur mēs realizēsim konvolÅ«cijas neira tÄ«klu (CNN) ar atkārtotu neira tÄ«klu (LSTM), lai izveidotu attēla aprakstu Ä£eneratoru.

Datu kopums: Flickr 8K

Valoda: Python

Rāmis: Keras

10. Kredītkartes krāpŔanas atklāŔana

Izdariet visu iespējamo, strādājot pie datu zinātnes projekta idejas ā€” kredÄ«tkartes krāpÅ”anas atklāŔana, izmantojot maŔīnmācÄ«Å”anos.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

LÄ«dz Å”im jÅ«s esat sākuÅ”i saprast metodes un koncepcijas. Pārslēgsimies pie dažiem augstākajiem datu zinātnes projektiem. Å ajā projektā mēs izmantosim R valodu ar tādiem algoritmiem kā lēmumu koki, loÄ£istikas regresija, mākslÄ«gie neironu tÄ«kli un gradienta palielināŔanas klasifikators. Mēs izmantosim darÄ«jumu ar kartēm datu kopu, lai klasificētu kredÄ«tkarÅ”u darÄ«jumus par krāpnieciskiem un Ä«stiem. Mēs izvēlēsimies dažādus modeļus un izveidosim veiktspējas lÄ«knes.

Valoda: R

Datu kopas / Pakotne: Kartes darījumu datu kopas

11. Filmu ieteikumu sistēma

IepazÄ«stieties ar labākā Data Science projekta realizāciju ar Avota kodu ā€” Filmu ieteikumu sistēma R valodā

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Å ajā Data Science projektā mēs izmantosim R, lai veiktu filmu ieteikumus, izmantojot maŔīnmācÄ«Å”anos. Ieteikumu sistēma piedāvā lietotājiem ieteikumus, balstoties uz citu lietotāju izvēlēm un skatÄ«Å”anās vēsturi. Ja A un B patÄ«k "Mājās vieni", bet B mÄ«l "Meitenes no Mean", tad A varētu tikt ieteikts ā€” viņam tas varētu patikt. Tas ļauj klientiem mijiedarboties ar platformu.

Valoda: R

Datu kopas / Pakotne: MovieLens datu kopa

12. Klientu segmentācija

Aizraujiet darba devējus ar Data Science projekta palÄ«dzÄ«bu (ietverot avota kodu) ā€” Klientu segmentācija, izmantojot maŔīnmācÄ«Å”anos.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Klientu segmentācija ir populāra neuzraudzÄ«tā mācÄ«Å”anās. Izmantojot klasterizāciju, uzņēmumi nosaka klientu segmentus, ar kuriem strādāt ar potenciālo lietotāju bāzi. Viņi sadala klientus grupās, pamatojoties uz kopÄ«gām iezÄ«mēm, piemēram, dzimumu, vecumu, interesēm un izdevumu paradumiem, lai efektÄ«vi tirgotu sava produkta katrai grupai. Mēs izmantosim K-vidēji klasterizāciju, kā arÄ« vizualizēsim sadalÄ«jumu pēc dzimuma un vecuma. Tad mēs analizēsim viņu gada ienākumus un izdevumu lÄ«meni.

Valoda: R

Datu kopas / Pakotne: Mall_Customers datu kopa

13. Krūts vēža klasifikācija

Izskatiet pilnu Data Science projekta realizāciju Python valodā ā€” KrÅ«ts vēža klasifikācija, izmantojot dziļo mācÄ«Å”anos.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Atgriežoties pie medicÄ«nas datu zinātnes ieguldÄ«juma, mācÄ«simies atklāt krÅ«ts vēzi, izmantojot Python. Mēs izmantosim IDC_regular datu kopu, lai identificētu invazÄ«vo ductal karcinomu, visizplatÄ«tāko krÅ«ts vēža formu. Tā attÄ«stās piena kanālos, ieaugot piena dziedzeru saistaudu vai tauku audos ārpus kanāla. Å ajā datu vākÅ”anas zinātniskā projekta idejā mēs izmantosim Deep Learning un Keras bibliotēku klasifikācijai.

Valoda: Python

Datu kopas / Pakotne: IDC_regular

14. Ceļu zīmju atpazīŔana

Lai sasniegtu precizitāti automaŔīnas autonomajā braukÅ”anas tehnoloÄ£ijā, izmantojot datu zinātnes projektu par ceļu zÄ«mju atpazÄ«Å”anu, izmantojot CNN ar atvērtā koda risinājumiem.

14 open-source projekti datu zinātnes prasmju attīstīŔanai (viegli, normāli, grūti)

Ceļu zÄ«mes un ceļu satiksmes noteikumi ir ļoti svarÄ«gi ikvienam autovadÄ«tājam, lai izvairÄ«tos no negadÄ«jumiem. Lai ievērotu noteikumu, vispirms jāizprot, kā izskatās ceļu zÄ«me. Cilvēkam jāiemācās visas ceļu zÄ«mes, pirms viņam tiek dotas tiesÄ«bas vadÄ«t jebkuru transportlÄ«dzekli. Tomēr Å”obrÄ«d autonoma transportlÄ«dzekļu skaits pieaug, un tuvākajā nākotnē cilvēks vairs nevadÄ«s automaŔīnu pats. Projektā ā€œCeļu zÄ«mju atpazÄ«Å”anaā€ jÅ«s uzzināsiet, kā programma var atpazÄ«t ceļu zÄ«mju tipu, pieņemot attēlu kā ieejas signālu. Vācijas ceļu zÄ«mju atpazÄ«Å”anas datu kopa (GTSRB) tiek izmantota, lai izveidotu dziļo neironu tÄ«klu ceļu zÄ«mes klases atpazÄ«Å”anai. Mēs arÄ« izveidojam vienkārÅ”u grafisko saskarni mijiedarbÄ«bai ar lietojumprogrammu.

Valoda: Python

Datu kopums: GTSRB (Vācijas ceļu zÄ«mju atpazÄ«Å”anas novērtējums)

Lasīt vairāk

Avots: habr.com

Iegādājieties uzticamu tÄ«mekļa hostingu ar DDoS aizsardzÄ«bu, VPS VDS serveriem šŸ”„ Iegādājieties uzticamu tÄ«mekļa hostingu ar DDoS aizsardzÄ«bu, VPS VDS serveriem | ProHoster