14 ღია კოდის პროექტი მონაცემთა მეცნიერების უნარების გასაუმჯობესებლად (მარტივი, ნორმალური, რთული)

მონაცემთა მეცნიერება დამწყებთათვის

1. განწყობის ანალიზი (სენტიმენტის ანალიზი ტექსტის საშუალებით)

შეამოწმეთ მონაცემთა მეცნიერების პროექტის სრული განხორციელება წყარო კოდის გამოყენებით − განწყობის ანალიზის პროექტი რ.

სენტიმენტის ანალიზი არის სიტყვების ანალიზი სენტიმენტებისა და მოსაზრებების დასადგენად, რომლებიც შეიძლება იყოს დადებითი ან უარყოფითი. ეს არის კლასიფიკაციის ტიპი, რომელშიც კლასები შეიძლება იყოს ორობითი (დადებითი და უარყოფითი) ან მრავლობითი (ბედნიერი, გაბრაზებული, სევდიანი, საზიზღარი...). ჩვენ განვახორციელებთ მონაცემთა მეცნიერების ამ პროექტს R-ში და გამოვიყენებთ მონაცემთა ბაზას "janeaustenR" პაკეტში. ჩვენ გამოვიყენებთ ზოგადი დანიშნულების ლექსიკონებს, როგორიცაა AFINN, bing და loughran, შევასრულებთ შიდა შეერთებას და ბოლოს შევქმნით სიტყვის ღრუბელს შედეგის საჩვენებლად.

ენა: R
მონაცემთა ნაკრები/პაკეტი: janeaustenR

სტატია ითარგმნა EDISON Software-ის მხარდაჭერით, რომელიც ქმნის ვირტუალურ ფიტინგ ოთახებს მულტიბრენდული მაღაზიებისთვისდა ტესტირების პროგრამული უზრუნველყოფა.

2. ყალბი ამბების აღმოჩენა

გადაიტანეთ თქვენი უნარები შემდეგ დონეზე დამწყებთათვის მონაცემთა მეცნიერების პროექტზე მუშაობით - ყალბი ამბების აღმოჩენა პითონის საშუალებით.

ყალბი ამბები არის ცრუ ინფორმაცია, რომელიც ვრცელდება სოციალური მედიით და სხვა ონლაინ მედიით პოლიტიკური მიზნების მისაღწევად. მონაცემთა მეცნიერების ამ პროექტის იდეაში, ჩვენ გამოვიყენებთ პითონს მოდელის შესაქმნელად, რომელსაც შეუძლია ზუსტად განსაზღვროს ახალი ამბების სიუჟეტი რეალურია თუ ყალბი. ჩვენ შევქმნით TfidfVectorizer-ს და გამოვიყენებთ PassiveAggressiveClassifier-ს ახალი ამბების კლასიფიკაციისთვის "რეალური" და "ყალბი". ჩვენ გამოვიყენებთ 7796×4 ფორმის მონაცემთა ნაკრებს და გავუშვით ყველაფერი Jupyter Lab-ში.

ენა: Python

მონაცემთა ნაკრები/პაკეტი: news.csv

3. პარკინსონის დაავადების გამოვლენა

იარეთ წინ თქვენი მონაცემთა მეცნიერების პროექტის იდეით - პარკინსონის დაავადების გამოვლენა XGBoost-ის გამოყენებით.

ჩვენ დავიწყეთ მონაცემთა მეცნიერების გამოყენება ჯანდაცვისა და სერვისების გასაუმჯობესებლად - თუ დაავადების პროგნოზირება ადრეულ ეტაპზე შეგვიძლია, მაშინ ბევრი უპირატესობა გვექნება. ასე რომ, მონაცემთა მეცნიერების ამ პროექტის იდეაში, ჩვენ ვისწავლით თუ როგორ გამოვავლინოთ პარკინსონის დაავადება პითონის გამოყენებით. ეს არის ცენტრალური ნერვული სისტემის ნეიროდეგენერაციული, პროგრესირებადი დაავადება, რომელიც გავლენას ახდენს მოძრაობაზე და იწვევს კანკალს და სიმტკიცეს. ის გავლენას ახდენს თავის ტვინში დოფამინის წარმომქმნელ ნეირონებზე და ყოველწლიურად ის გავლენას ახდენს 1 მილიონზე მეტ ადამიანზე ინდოეთში.

ენა: Python

მონაცემთა ნაკრები/პაკეტი: UCI ML პარკინსონის მონაცემთა ბაზა

მონაცემთა მეცნიერების საშუალო სირთულის პროექტები

4. მეტყველების ემოციების ამოცნობა

შეამოწმეთ მონაცემთა მეცნიერების მაგალითის პროექტის სრული განხორციელება − მეტყველების ამოცნობა Librosa-ს გამოყენებით.

ახლა ვისწავლოთ როგორ გამოვიყენოთ სხვადასხვა ბიბლიოთეკები. მონაცემთა მეცნიერების ეს პროექტი იყენებს ლიბროზას მეტყველების ამოცნობისთვის. SER არის მეტყველებიდან ადამიანის ემოციების და ემოციური მდგომარეობის იდენტიფიცირების პროცესი. ვინაიდან ჩვენ ვიყენებთ ტონს და ხმას ემოციების გამოსახატავად ჩვენი ხმით, SER აქტუალურია. მაგრამ რადგან ემოციები სუბიექტურია, აუდიო ანოტაცია რთული ამოცანაა. ჩვენ გამოვიყენებთ mfcc, chroma და mel ფუნქციებს და გამოვიყენებთ RAVDESS მონაცემთა ბაზას ემოციების ამოცნობისთვის. ჩვენ შევქმნით MLPC კლასიფიკატორს ამ მოდელისთვის.

ენა: Python

მონაცემთა ნაკრები/პაკეტი: RAVDESS მონაცემთა ნაკრები

5. სქესის და ასაკის გამოვლენა

შთაბეჭდილება მოახდინე დამსაქმებლებზე მონაცემთა მეცნიერების უახლესი პროექტით - სქესის და ასაკის განსაზღვრა OpenCV-ის გამოყენებით.

ეს არის საინტერესო მონაცემთა მეცნიერება პითონთან ერთად. მხოლოდ ერთი სურათის გამოყენებით, თქვენ ისწავლით ადამიანის სქესის და ასაკის პროგნოზირებას. ამაში გაგაცნობთ Computer Vision-ს და მის პრინციპებს. ჩვენ ავაშენებთ კონვოლუციური ნერვული ქსელი და გამოიყენებს ტალ ჰასნერისა და გილ ლევის მიერ გაწვრთნილ მოდელებს Adience მონაცემთა ბაზაში. გზად ჩვენ გამოვიყენებთ .pb, .pbtxt, .prototxt და .caffemodel ფაილებს.

ენა: Python

მონაცემთა ნაკრები/პაკეტი: ადმინისტრაცია

6. Uber მონაცემთა ანალიზი

შეამოწმეთ მონაცემთა მეცნიერების პროექტის სრული განხორციელება წყარო კოდით - Uber მონაცემთა ანალიზის პროექტი რ.

ეს არის მონაცემთა ვიზუალიზაციის პროექტი ggplot2-ით, რომელშიც ჩვენ გამოვიყენებთ R-ს და მის ბიბლიოთეკებს და გავაანალიზებთ სხვადასხვა პარამეტრებს. ჩვენ გამოვიყენებთ Uber Pickups New York City მონაცემთა ბაზას და შევქმნით ვიზუალიზაციას წლის სხვადასხვა დროის ჩარჩოებისთვის. ეს გვეუბნება, თუ როგორ მოქმედებს დრო მომხმარებელთა მოგზაურობაზე.

ენა: R

მონაცემთა ნაკრები/პაკეტი: Uber Pickups ნიუ-იორკის მონაცემთა ბაზაში

7. მძღოლის ძილიანობის გამოვლენა

გააუმჯობესეთ თქვენი უნარები მონაცემთა მეცნიერების საუკეთესო პროექტზე მუშაობით - ძილიანობის გამოვლენის სისტემა OpenCV & Keras-ით.

ძილიანობა უკიდურესად სახიფათოა და ყოველწლიურად თითქმის ათასი ავარია ხდება მძღოლების მართვის დროს ჩაძინების გამო. Python-ის ამ პროექტში ჩვენ შევქმნით სისტემას, რომელსაც შეუძლია გამოავლინოს ძილიანი დრაივერები და ასევე გააფრთხილოს ისინი აუდიო სიგნალით.

ეს პროექტი ხორციელდება Keras-ისა და OpenCV-ის გამოყენებით. ჩვენ გამოვიყენებთ OpenCV-ს სახისა და თვალის ამოცნობისთვის და Keras-ით დავახარისხებთ თვალის მდგომარეობას (ღია ან დახურული) ღრმა ნერვული ქსელის ტექნიკის გამოყენებით.

8. ჩატბოტი

შექმენით ჩატბოტი პითონთან ერთად და გადადგით წინ გადადგმული ნაბიჯი თქვენს კარიერაში - ჩატბოტი NLTK და Keras-ით.

ჩატბოტები ბიზნესის განუყოფელი ნაწილია. ბევრმა ბიზნესმა უნდა შესთავაზოს მომსახურება თავის მომხმარებლებს და მათ მომსახურებას დიდი შრომა, დრო და ძალისხმევა სჭირდება. ჩეთბოტებს შეუძლიათ თქვენი კლიენტებთან ურთიერთქმედების დიდი ნაწილის ავტომატიზირება, უპასუხებენ ზოგიერთ ჩვეულებრივ კითხვებს, რომლებსაც მომხმარებლები სვამენ. ძირითადად არსებობს ორი ტიპის ჩატბოტები: დომენის სპეციფიკური და ღია დომენის. დომენის სპეციფიკური ჩატბოტი ხშირად გამოიყენება კონკრეტული პრობლემის გადასაჭრელად. ასე რომ, თქვენ უნდა დააკონფიგურიროთ ის, რომ ეფექტურად იმუშაოს თქვენს სფეროში. ღია დომენის ჩატბოტებს შეიძლება დაუსვათ ნებისმიერი შეკითხვა, ამიტომ მათი სწავლება დიდ მონაცემებს მოითხოვს.

მონაცემთა ნაკრები: Intents json ფაილი

ენა: Python

გაფართოებული მონაცემთა მეცნიერების პროექტები

9. გამოსახულების წარწერის გენერატორი

შეამოწმეთ პროექტის სრული განხორციელება წყარო კოდით − სურათის სუბტიტრების გენერატორი CNN და LSTM-ით.

იმის აღწერა, თუ რა არის გამოსახულებაში, ადვილი ამოცანაა ადამიანებისთვის, მაგრამ კომპიუტერებისთვის, სურათი არის უბრალოდ რიცხვების სერია, რომელიც წარმოადგენს თითოეული პიქსელის ფერის მნიშვნელობას. ეს რთული ამოცანაა კომპიუტერებისთვის. იმის გაგება, თუ რა არის გამოსახულებაში და შემდეგ აღწერის შექმნა ბუნებრივ ენაზე (როგორიცაა ინგლისური) კიდევ ერთი რთული ამოცანაა. ეს პროექტი იყენებს ღრმა სწავლის ტექნიკას, რომელშიც ჩვენ ვახორციელებთ კონვოლუციურ ნერვულ ქსელს (CNN) მორეციდივე ნერვული ქსელით (LSTM) გამოსახულების აღწერილობის გენერატორის შესაქმნელად.

მონაცემთა ნაკრები: Flickr 8K

ენა: Python

ჩარჩო: კერას

10. საკრედიტო ბარათის თაღლითობის გამოვლენა

გააკეთეთ ყველაფერი თქვენი მონაცემთა მეცნიერების პროექტის იდეაზე მუშაობისას - საკრედიტო ბარათის თაღლითობის აღმოჩენა მანქანური სწავლების გამოყენებით.

ამ დროისთვის თქვენ დაიწყეთ ტექნიკისა და კონცეფციების გაგება. მოდით გადავიდეთ მონაცემთა მეცნიერების რამდენიმე მოწინავე პროექტზე. ამ პროექტში ჩვენ გამოვიყენებთ R ენას მსგავსი ალგორითმებით გადაწყვეტილების ხეები, ლოგისტიკური რეგრესია, ხელოვნური ნერვული ქსელები და გრადიენტის გამაძლიერებელი კლასიფიკატორი. ჩვენ გამოვიყენებთ ბარათის ტრანზაქციების მონაცემთა ნაკრებს საკრედიტო ბარათით ტრანზაქციების კლასიფიკაციისთვის, როგორც თაღლითური ან ნამდვილი. ჩვენ შევარჩევთ მათთვის განსხვავებულ მოდელებს და ავაშენებთ შესრულების მოსახვევებს.

ენა: R

მონაცემთა ნაკრები/პაკეტი: ბარათის ტრანზაქციების მონაცემთა ნაკრები

11. ფილმების რეკომენდაციების სისტემა

შეისწავლეთ მონაცემთა მეცნიერების საუკეთესო პროექტის განხორციელება წყარო კოდით - ფილმების რეკომენდაციების სისტემა R ენაზე

მონაცემთა მეცნიერების ამ პროექტში ჩვენ გამოვიყენებთ R-ს, რათა განვახორციელოთ ფილმის რეკომენდაციები მანქანური სწავლების მეშვეობით. სარეკომენდაციო სისტემა უგზავნის წინადადებებს მომხმარებლებს ფილტრაციის პროცესის მეშვეობით, რომელიც ეფუძნება სხვა მომხმარებლების პრეფერენციებსა და დათვალიერების ისტორიას. თუ A-ს და B-ს მოსწონს სახლში მარტოობა, ხოლო B-ს მოსწონს Mean Girls, მაშინ შეგიძლიათ შემოგთავაზოთ A - მათაც შეიძლება მოეწონოთ. ეს საშუალებას აძლევს მომხმარებელს დაუკავშირდეს პლატფორმას.

ენა: R

მონაცემთა ნაკრები/პაკეტი: MovieLens მონაცემთა ნაკრები

12. მომხმარებელთა სეგმენტაცია

შთაბეჭდილება მოახდინე დამსაქმებლებზე მონაცემთა მეცნიერების პროექტით (წყაროს კოდის ჩათვლით) - მომხმარებელთა სეგმენტაცია მანქანური სწავლის გამოყენებით.

მყიდველის სეგმენტაცია პოპულარული აპლიკაციაა უკონტროლო სწავლა. კლასტერინგის გამოყენებით, კომპანიები იდენტიფიცირებენ მომხმარებელთა სეგმენტებს პოტენციურ მომხმარებელთა ბაზაზე. ისინი ყოფენ კლიენტებს ჯგუფებად საერთო მახასიათებლების მიხედვით, როგორიცაა სქესი, ასაკი, ინტერესები და ხარჯვის ჩვევები, რათა მათ შეძლონ თავიანთი პროდუქტების ეფექტურად გაყიდვა თითოეულ ჯგუფში. ჩვენ გამოვიყენებთ K- ნიშნავს დაჯგუფებას, ასევე განაწილების ვიზუალიზაცია სქესის და ასაკის მიხედვით. შემდეგ გავაანალიზებთ მათ წლიურ შემოსავლებსა და ხარჯებს.

ენა: R

მონაცემთა ნაკრები/პაკეტი: Mall_Customers მონაცემთა ნაკრები

13. ძუძუს კიბოს კლასიფიკაცია

შეამოწმეთ მონაცემთა მეცნიერების პროექტის სრული განხორციელება Python-ში - ძუძუს კიბოს კლასიფიკაცია ღრმა სწავლის გამოყენებით.

დავუბრუნდეთ მონაცემთა მეცნიერების სამედიცინო წვლილს, მოდით ვისწავლოთ როგორ გამოვავლინოთ ძუძუს კიბო პითონის გამოყენებით. ჩვენ გამოვიყენებთ IDC_regular მონაცემთა ბაზას ინვაზიური სადინრის კარცინომის, სარძევე ჯირკვლის კიბოს ყველაზე გავრცელებული ფორმის დასადგენად. ის ვითარდება რძის სადინარებში, იჭრება სადინრის გარეთ არსებულ ბოჭკოვან ან ცხიმოვან მკერდის ქსოვილში. ამ მონაცემთა შეგროვების სამეცნიერო პროექტის იდეას გამოვიყენებთ ღრმა სწავლება და კერასის ბიბლიოთეკა კლასიფიკაციისთვის.

ენა: Python

მონაცემთა ნაკრები/პაკეტი: IDC_რეგულარული

14. საგზაო ნიშნების ამოცნობა

სიზუსტის მიღწევა თვითმართვის ტექნოლოგიაში Data Science პროექტით საგზაო ნიშნების ამოცნობა CNN-ის გამოყენებით საჯარო წყარო.

საგზაო ნიშნები და საგზაო წესები ძალიან მნიშვნელოვანია თითოეული მძღოლისთვის, რათა თავიდან აიცილოს ავარიები. წესის შესასრულებლად, ჯერ უნდა გესმოდეთ, როგორ გამოიყურება საგზაო ნიშანი. ადამიანმა უნდა ისწავლოს ყველა საგზაო ნიშანი, სანამ რაიმე სატრანსპორტო საშუალების მართვის მოწმობას მისცემს. მაგრამ ახლა ავტონომიური მანქანების რაოდენობა იზრდება და უახლოეს მომავალში ადამიანი დამოუკიდებლად აღარ მართავს მანქანას. საგზაო ნიშნების ამოცნობის პროექტში, თქვენ შეისწავლით, თუ როგორ შეუძლია პროგრამას ამოიცნოს საგზაო ნიშნების ტიპი სურათის შეყვანის სახით. გერმანული საგზაო ნიშნების ამოცნობის ნიშნული (GTSRB) მონაცემთა ნაკრები გამოიყენება ღრმა ნერვული ქსელის ასაგებად, რათა ამოიცნოს კლასი, რომელსაც ეკუთვნის საგზაო ნიშანი. ჩვენ ასევე ვქმნით მარტივ GUI-ს აპლიკაციასთან ურთიერთობისთვის.

ენა: Python

მონაცემთა ნაკრები: GTSRB (გერმანიის საგზაო ნიშნების ამოცნობის ნიშნული)

Წაიკითხე მეტი

• 52 მონაცემთა ნაკრები სასწავლო პროექტებისთვის
• ფრონტ-ენდის დოჯო: პროექტები დეველოპერის უნარების მოსამზადებლად (5 ახალი + 43 ძველი)
• ტოპ 12 ყველაზე საინტერესო IT დინამიური ინფოგრაფიკა

წყარო: www.habr.com