ডেটা সায়েন্স দক্ষতা উন্নত করার জন্য 14টি ওপেন সোর্স প্রকল্প (সহজ, স্বাভাবিক, কঠিন)

নতুনদের জন্য ডেটা সায়েন্স

1. সেন্টিমেন্ট অ্যানালাইসিস (টেক্সটের মাধ্যমে সেন্টিমেন্ট অ্যানালাইসিস)

সোর্স কোড - ব্যবহার করে সম্পূর্ণ ডেটা সায়েন্স প্রকল্প বাস্তবায়ন দেখুন সেন্টিমেন্ট এনালাইসিস প্রজেক্ট ইন আর.

সেন্টিমেন্ট অ্যানালাইসিস হল অনুভূতি এবং মতামত নির্ধারণের জন্য শব্দের বিশ্লেষণ, যা ইতিবাচক বা নেতিবাচক হতে পারে। এটি এমন এক ধরনের শ্রেণীবিন্যাস যেখানে শ্রেণীগুলি বাইনারি (ইতিবাচক এবং নেতিবাচক) বা বহুবচন (সুখী, রাগান্বিত, দু: খিত, খারাপ...) হতে পারে। আমরা এই ডেটা সায়েন্স প্রকল্পটি R-এ বাস্তবায়ন করব এবং "janeaustenR" প্যাকেজে ডেটাসেট ব্যবহার করব। আমরা AFINN, bing এবং loughran এর মতো সাধারণ উদ্দেশ্যের অভিধান ব্যবহার করব, একটি অভ্যন্তরীণ যোগদান করব এবং শেষে আমরা ফলাফল প্রদর্শনের জন্য একটি শব্দ মেঘ তৈরি করব।

ভাষা: R
ডেটাসেট/প্যাকেজ: janeaustenR

নিবন্ধটি EDISON সফ্টওয়্যারের সহায়তায় অনুবাদ করা হয়েছিল, যা মাল্টি-ব্র্যান্ড স্টোরের জন্য ভার্চুয়াল ফিটিং রুম তৈরি করেএবং সফ্টওয়্যার পরীক্ষা করে.

2. জাল খবর সনাক্তকরণ

নতুনদের জন্য ডেটা সায়েন্স প্রকল্পে কাজ করে আপনার দক্ষতাকে পরবর্তী স্তরে নিয়ে যান - পাইথন দিয়ে ভুয়া খবর সনাক্ত করা.

ভুয়া খবর হল রাজনৈতিক লক্ষ্য অর্জনের জন্য সামাজিক যোগাযোগ মাধ্যম এবং অন্যান্য অনলাইন মিডিয়ার মাধ্যমে ছড়ানো মিথ্যা তথ্য। এই ডেটা সায়েন্স প্রকল্পের ধারণায়, আমরা পাইথন ব্যবহার করব এমন একটি মডেল তৈরি করতে যা সঠিকভাবে নির্ণয় করতে পারে একটি সংবাদের খবর আসল নাকি নকল। আমরা একটি TfidfVectorizer তৈরি করব এবং একটি PassiveAggressiveClassifier ব্যবহার করে সংবাদকে "বাস্তব" এবং "নকল"-এ শ্রেণীবদ্ধ করব। আমরা 7796×4 আকারের একটি ডেটাসেট ব্যবহার করব এবং জুপিটার ল্যাবে সবকিছু চালাব।

ভাষা: পাইথন

ডেটাসেট/প্যাকেজ: news.csv

3. পারকিনসন্স রোগ সনাক্ত করা

আপনার ডেটা সায়েন্স প্রজেক্ট আইডিয়া নিয়ে এগিয়ে যান - XGBoost ব্যবহার করে পারকিনসন রোগ সনাক্ত করা.

আমরা স্বাস্থ্যসেবা এবং পরিষেবার উন্নতির জন্য ডেটা সায়েন্স ব্যবহার শুরু করেছি - যদি আমরা প্রাথমিক পর্যায়ে একটি রোগের পূর্বাভাস দিতে পারি, তাহলে আমাদের অনেক সুবিধা হবে। সুতরাং, এই ডেটা সায়েন্স প্রজেক্ট আইডিয়াতে, আমরা শিখব কিভাবে পাইথন ব্যবহার করে পারকিনসন রোগ শনাক্ত করা যায়। এটি কেন্দ্রীয় স্নায়ুতন্ত্রের একটি নিউরোডিজেনারেটিভ, প্রগতিশীল রোগ যা নড়াচড়াকে প্রভাবিত করে এবং কাঁপুনি এবং কঠোরতা সৃষ্টি করে। এটি মস্তিষ্কে ডোপামিন-উৎপাদনকারী নিউরনকে প্রভাবিত করে এবং প্রতি বছর এটি ভারতে 1 মিলিয়নেরও বেশি মানুষকে প্রভাবিত করে।

ভাষা: পাইথন

ডেটাসেট/প্যাকেজ: UCI ML পারকিনসন ডেটাসেট

মাঝারি জটিলতার ডেটা সায়েন্স প্রকল্প

4. বক্তৃতা আবেগ স্বীকৃতি

ডেটা সায়েন্স উদাহরণ প্রকল্পের সম্পূর্ণ বাস্তবায়ন দেখুন - Librosa ব্যবহার করে বক্তৃতা স্বীকৃতি.

আসুন এখন শিখি কিভাবে বিভিন্ন লাইব্রেরি ব্যবহার করতে হয়। এই ডেটা সায়েন্স প্রকল্পটি বক্তৃতা শনাক্তকরণের জন্য লাইব্রোসা ব্যবহার করে। SER হল বক্তৃতা থেকে মানুষের আবেগ এবং আবেগপূর্ণ অবস্থা সনাক্ত করার প্রক্রিয়া। যেহেতু আমরা আমাদের কণ্ঠস্বর দিয়ে আবেগ প্রকাশ করতে টোন এবং পিচ ব্যবহার করি, তাই SER প্রাসঙ্গিক। কিন্তু যেহেতু আবেগ বিষয়ভিত্তিক, তাই অডিও টীকা একটি চ্যালেঞ্জিং কাজ। আমরা mfcc, chroma এবং mel ফাংশন ব্যবহার করব এবং আবেগের স্বীকৃতির জন্য RAVDESS ডেটাসেট ব্যবহার করব। আমরা এই মডেলের জন্য একটি MLPC ক্লাসিফায়ার তৈরি করব।

ভাষা: পাইথন

ডেটাসেট/প্যাকেজ: RAVDESS ডেটাসেট

5. লিঙ্গ এবং বয়স নির্ণয়

সর্বশেষ ডেটা সায়েন্স প্রকল্পের মাধ্যমে নিয়োগকারীদের প্রভাবিত করুন - OpenCV ব্যবহার করে লিঙ্গ এবং বয়স নির্ধারণ করা.

এটি পাইথনের সাথে একটি আকর্ষণীয় ডেটা বিজ্ঞান। শুধুমাত্র একটি ছবি ব্যবহার করে, আপনি একজন ব্যক্তির লিঙ্গ এবং বয়স ভবিষ্যদ্বাণী করতে শিখবেন। এতে আমরা আপনাকে কম্পিউটার ভিশন এবং এর নীতির সাথে পরিচয় করিয়ে দেব। আমরা নির্মাণ করব কনভোল্যুশনাল নিউরাল নেটওয়ার্ক এবং অ্যাডিয়েন্স ডেটাসেটে তাল হাসনার এবং গিল লেভি দ্বারা প্রশিক্ষিত মডেলগুলি ব্যবহার করবে৷ পথে আমরা কিছু .pb, .pbtxt, .prototxt এবং .caffemodel ফাইল ব্যবহার করব।

ভাষা: পাইথন

ডেটাসেট/প্যাকেজ: এডিয়েন্স

6. উবার ডেটা বিশ্লেষণ

সোর্স কোড - সহ সম্পূর্ণ ডেটা সায়েন্স প্রকল্প বাস্তবায়ন দেখুন উবার ডেটা বিশ্লেষণ প্রকল্প আর.

এটি ggplot2 সহ একটি ডেটা ভিজ্যুয়ালাইজেশন প্রকল্প যেখানে আমরা R এবং এর লাইব্রেরি ব্যবহার করব এবং বিভিন্ন পরামিতি বিশ্লেষণ করব। আমরা Uber পিকআপস নিউ ইয়র্ক সিটি ডেটাসেট ব্যবহার করব এবং বছরের বিভিন্ন সময় ফ্রেমের জন্য ভিজ্যুয়ালাইজেশন তৈরি করব। এটি আমাদের বলে যে সময় কীভাবে গ্রাহকের ভ্রমণকে প্রভাবিত করে।

ভাষা: R

ডেটাসেট/প্যাকেজ: নিউ ইয়র্ক সিটি ডেটাসেটে উবার পিকআপ

7. ড্রাইভারের তন্দ্রা সনাক্তকরণ

শীর্ষ ডেটা বিজ্ঞান প্রকল্পে কাজ করে আপনার দক্ষতা উন্নত করুন - ওপেনসিভি এবং কেরাসের সাথে তন্দ্রা সনাক্তকরণ সিস্টেম.

তন্দ্রাচ্ছন্ন ড্রাইভিং অত্যন্ত বিপজ্জনক, এবং চালকরা গাড়ি চালানোর সময় ঘুমিয়ে পড়ার কারণে প্রতি বছর প্রায় এক হাজার দুর্ঘটনা ঘটে। এই পাইথন প্রকল্পে, আমরা এমন একটি সিস্টেম তৈরি করব যা ঘুমন্ত ড্রাইভারদের সনাক্ত করতে পারে এবং একটি অডিও সংকেত দিয়ে তাদের সতর্ক করতে পারে।

এই প্রকল্পটি কেরাস এবং ওপেনসিভি ব্যবহার করে বাস্তবায়িত হয়। আমরা মুখ এবং চোখ সনাক্তকরণের জন্য ওপেনসিভি ব্যবহার করব এবং কেরাসের সাথে আমরা গভীর নিউরাল নেটওয়ার্ক কৌশল ব্যবহার করে চোখের অবস্থা (খোলা বা বন্ধ) শ্রেণিবদ্ধ করব।

8. চ্যাটবোট

পাইথনের সাথে একটি চ্যাটবট তৈরি করুন এবং আপনার ক্যারিয়ারে এক ধাপ এগিয়ে যান - NLTK এবং কেরাসের সাথে চ্যাটবট.

চ্যাটবট ব্যবসার একটি অবিচ্ছেদ্য অংশ। অনেক ব্যবসাকে তাদের গ্রাহকদের পরিষেবা দিতে হয় এবং তাদের পরিষেবা দিতে অনেক জনশক্তি, সময় এবং প্রচেষ্টা লাগে। চ্যাটবটগুলি গ্রাহকদের জিজ্ঞাসা করা কিছু সাধারণ প্রশ্নের উত্তর দিয়ে আপনার গ্রাহকের মিথস্ক্রিয়াকে স্বয়ংক্রিয় করতে পারে। মূলত দুই ধরনের চ্যাটবট রয়েছে: ডোমেন-নির্দিষ্ট এবং ওপেন-ডোমেইন। একটি ডোমেন-নির্দিষ্ট চ্যাটবট প্রায়ই একটি নির্দিষ্ট সমস্যা সমাধান করতে ব্যবহৃত হয়। সুতরাং, আপনার ক্ষেত্রে কার্যকরভাবে কাজ করার জন্য আপনাকে এটি কাস্টমাইজ করতে হবে। ওপেন-ডোমেন চ্যাটবটগুলিকে যে কোনও প্রশ্ন জিজ্ঞাসা করা যেতে পারে, তাই তাদের প্রশিক্ষণের জন্য প্রচুর পরিমাণে ডেটা প্রয়োজন৷

ডেটা সেট: ইন্টেন্টস json ফাইল

ভাষা: পাইথন

উন্নত তথ্য বিজ্ঞান প্রকল্প

9. ইমেজ ক্যাপশন জেনারেটর

সোর্স কোড - সহ প্রকল্পের সম্পূর্ণ বাস্তবায়ন দেখুন CNN এবং LSTM সহ চিত্র ক্যাপশন জেনারেটর.

একটি ছবিতে যা আছে তা বর্ণনা করা মানুষের জন্য একটি সহজ কাজ, কিন্তু কম্পিউটারের জন্য, একটি চিত্র হল সংখ্যার একটি সিরিজ যা প্রতিটি পিক্সেলের রঙের মানকে উপস্থাপন করে। কম্পিউটারের জন্য এটি একটি কঠিন কাজ। একটি ছবিতে কী আছে তা বোঝা এবং তারপর প্রাকৃতিক ভাষায় (যেমন ইংরেজি) বর্ণনা তৈরি করা আরেকটি কঠিন কাজ। এই প্রকল্পটি গভীর শিক্ষার কৌশল ব্যবহার করে যেখানে আমরা একটি চিত্র বর্ণনা জেনারেটর তৈরি করতে একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (LSTM) এর সাথে একটি কনভোলিউশনাল নিউরাল নেটওয়ার্ক (CNN) প্রয়োগ করি।

ডেটা সেট: Flickr 8K

ভাষা: পাইথন

ফ্রেমওয়ার্ক: Keras

10. ক্রেডিট কার্ড জালিয়াতি সনাক্তকরণ

আপনার ডেটা সায়েন্স প্রজেক্ট আইডিয়া -তে কাজ করার সময় আপনার যথাসাধ্য চেষ্টা করুন মেশিন লার্নিং ব্যবহার করে ক্রেডিট কার্ড জালিয়াতি সনাক্ত করুন.

এতক্ষণে আপনি কৌশল এবং ধারণাগুলি বুঝতে শুরু করেছেন। চলুন কিছু উন্নত ডেটা সায়েন্স প্রজেক্টের দিকে এগিয়ে যাই। এই প্রজেক্টে আমরা অ্যালগরিদমের মতো R ভাষা ব্যবহার করব সিদ্ধান্ত গাছ, লজিস্টিক রিগ্রেশন, কৃত্রিম নিউরাল নেটওয়ার্ক এবং গ্রেডিয়েন্ট বুস্টিং ক্লাসিফায়ার। ক্রেডিট কার্ডের লেনদেনগুলিকে জালিয়াতি বা আসল হিসাবে শ্রেণীবদ্ধ করতে আমরা কার্ড লেনদেনের একটি ডেটাসেট ব্যবহার করব। আমরা তাদের জন্য বিভিন্ন মডেল নির্বাচন করব এবং কর্মক্ষমতা বক্ররেখা তৈরি করব।

ভাষা: R

ডেটাসেট/প্যাকেজ: কার্ড লেনদেন ডেটাসেট

11. মুভি সুপারিশ সিস্টেম

সোর্স কোড সহ সেরা ডেটা সায়েন্স প্রকল্পের বাস্তবায়ন অধ্যয়ন করুন - R ভাষায় মুভি সুপারিশ সিস্টেম

এই ডেটা সায়েন্স প্রজেক্টে, আমরা মেশিন লার্নিং এর মাধ্যমে সিনেমার সুপারিশ বাস্তবায়ন করতে R ব্যবহার করব। সুপারিশ সিস্টেম অন্যান্য ব্যবহারকারীদের পছন্দ এবং ব্রাউজিং ইতিহাসের উপর ভিত্তি করে একটি ফিল্টারিং প্রক্রিয়ার মাধ্যমে ব্যবহারকারীদের পরামর্শ পাঠায়। A এবং B যদি হোম অ্যালোন পছন্দ করে, এবং B গড় মেয়েদের পছন্দ করে, তাহলে আপনি A-এর পরামর্শ দিতে পারেন - তারাও এটি পছন্দ করতে পারে। এটি গ্রাহকদের প্ল্যাটফর্মের সাথে যোগাযোগ করতে দেয়।

ভাষা: R

ডেটাসেট/প্যাকেজ: মুভিলেন্স ডেটাসেট

12. গ্রাহক বিভাজন

একটি ডেটা সায়েন্স প্রকল্পের মাধ্যমে নিয়োগকারীদের প্রভাবিত করুন (সোর্স কোড সহ) - মেশিন লার্নিং ব্যবহার করে গ্রাহক বিভাজন.

ক্রেতা বিভাজন একটি জনপ্রিয় অ্যাপ্লিকেশন তত্ত্বাবধানহীন শিক্ষা. ক্লাস্টারিং ব্যবহার করে, কোম্পানিগুলি সম্ভাব্য ব্যবহারকারী বেসকে লক্ষ্য করার জন্য গ্রাহক বিভাগগুলি সনাক্ত করে। তারা গ্রাহকদের লিঙ্গ, বয়স, আগ্রহ এবং ব্যয় করার অভ্যাসের মতো সাধারণ বৈশিষ্ট্য অনুসারে গ্রুপে বিভক্ত করে যাতে তারা কার্যকরভাবে প্রতিটি গ্রুপের কাছে তাদের পণ্য বাজারজাত করতে পারে। আমরা ব্যবহার করবো কে-মানে ক্লাস্টারিং, সেইসাথে লিঙ্গ এবং বয়স দ্বারা বন্টন কল্পনা করুন. তারপরে আমরা তাদের বার্ষিক আয় এবং ব্যয়ের মাত্রা বিশ্লেষণ করব।

ভাষা: R

ডেটাসেট/প্যাকেজ: মল_গ্রাহকদের ডেটাসেট

13. স্তন ক্যান্সার শ্রেণীবিভাগ

পাইথনে একটি ডেটা সায়েন্স প্রকল্পের সম্পূর্ণ বাস্তবায়ন দেখুন - গভীর শিক্ষা ব্যবহার করে স্তন ক্যান্সারের শ্রেণীবিভাগ.

ডেটা সায়েন্সের চিকিৎসা অবদানে ফিরে আসা যাক, আসুন শিখি কিভাবে পাইথন ব্যবহার করে স্তন ক্যান্সার শনাক্ত করা যায়। আমরা স্তন ক্যান্সারের সবচেয়ে সাধারণ রূপ, আক্রমণাত্মক ডাক্টাল কার্সিনোমা সনাক্ত করতে IDC_regular ডেটাসেট ব্যবহার করব। এটি দুধের নালীতে বিকশিত হয়, নালীর বাইরে আঁশযুক্ত বা চর্বিযুক্ত স্তন টিস্যুতে জমা হয়। এই তথ্য সংগ্রহে বিজ্ঞান প্রকল্পের ধারণা আমরা ব্যবহার করব গভীর জ্ঞানার্জন এবং শ্রেণীবিভাগের জন্য কেরাস লাইব্রেরি।

ভাষা: পাইথন

ডেটাসেট/প্যাকেজ: আইডিসি_নিয়মিত

14. ট্রাফিক সাইন রিকগনিশন

ডেটা সায়েন্স প্রকল্পের সাথে স্ব-ড্রাইভিং প্রযুক্তিতে নির্ভুলতা অর্জন করা CNN ব্যবহার করে ট্রাফিক সাইন স্বীকৃতি মুক্ত উৎস.

দুর্ঘটনা এড়াতে প্রতিটি চালকের জন্য রাস্তার চিহ্ন এবং ট্রাফিক নিয়ম অত্যন্ত গুরুত্বপূর্ণ। নিয়মটি অনুসরণ করার জন্য, আপনাকে প্রথমে বুঝতে হবে রাস্তার চিহ্ন কেমন দেখাচ্ছে। কোনো যানবাহন চালানোর লাইসেন্স দেওয়ার আগে একজন ব্যক্তিকে অবশ্যই সমস্ত রাস্তার চিহ্ন শিখতে হবে। তবে এখন স্বায়ত্তশাসিত যানবাহনের সংখ্যা বাড়ছে এবং অদূর ভবিষ্যতে একজন ব্যক্তি আর স্বাধীনভাবে গাড়ি চালাবেন না। রোড সাইন রিকগনিশন প্রজেক্টে, আপনি শিখবেন কিভাবে একটি প্রোগ্রাম ইনপুট হিসাবে একটি ইমেজ নিয়ে রাস্তার চিহ্নের ধরন চিনতে পারে। জার্মান ট্র্যাফিক সাইন রিকগনিশন বেঞ্চমার্ক (GTSRB) ডেটাসেটটি একটি গভীর নিউরাল নেটওয়ার্ক তৈরি করতে ব্যবহৃত হয় যাতে একটি ট্রাফিক সাইন কোন শ্রেণীর অন্তর্ভুক্ত তা চিনতে পারে৷ অ্যাপ্লিকেশনটির সাথে ইন্টারঅ্যাক্ট করার জন্য আমরা একটি সাধারণ GUIও তৈরি করি।

ভাষা: পাইথন

ডেটা সেট: GTSRB (জার্মান ট্রাফিক সাইন রিকগনিশন বেঞ্চমার্ক)

আরও পড়ুন

• প্রশিক্ষণ প্রকল্পের জন্য 52 ডেটাসেট
• ফ্রন্ট-এন্ড ডোজো: ডেভেলপার দক্ষতা প্রশিক্ষণের জন্য প্রকল্প (5 নতুন + 43 পুরানো)
• শীর্ষ 12 সবচেয়ে আকর্ষণীয় আইটি গতিশীল ইনফোগ্রাফিক্স

উত্স: www.habr.com