データ サイエンスのスキルを向上させるための 14 のオープンソース プロジェクト (イージー、ノーマル、ハード)

初心者向けのデータサイエンス

1. センチメント分析（テキストによる気分分析）

ソースコードを使用してデータサイエンスプロジェクトの完全な実装を表示します- Rの感情分析プロジェクト.

感情分析は、肯定的または否定的な感情や意見を識別するための単語の分析です。 これは分類の一種で、クラスは二値 (ポジティブとネガティブ) または複数 (幸せ、怒り、悲しみ、意地悪など) になります。 このデータ サイエンス プロジェクトを R で実装し、「janeaustenR」パッケージのデータセットを使用します。 AFINN、bing、loughran などの汎用辞書を使用し、内部結合を実行し、最後に結果を表示するワード クラウドを作成します。

言語： R
データセット/パッケージ: ジェーンオーステン

この記事は EDISON Software のサポートを受けて翻訳されました。 マルチブランドストア向けの仮想試着室を作成しますと テストソフトウェア.

2. フェイクニュースの検出

初心者向けのデータ サイエンス プロジェクトに取り組んで、スキルを次のレベルに引き上げましょう- Pythonを使ったフェイクニュース検出.

フェイクニュースとは、政治的目標を達成するためにソーシャルメディアやその他のオンラインメディアを通じて拡散される誤った情報です。 このデータ サイエンス プロジェクトのアイデアでは、Python を使用して、ニュースが本物か偽物かを正確に判断できるモデルを構築します。 TfidfVectorizer を作成し、PassiveAggressiveClassifier を使用してニュースを「本物」と「偽物」に分類します。 7796×4 形状データセットを使用し、すべてを Jupyter Lab で行います。

言語： Python

データセット/パッケージ: ニュース.csv

3. パーキンソン病の検出

データサイエンスプロジェクトのアイデアに取り組んで前進します- XGBoost によるパーキンソン病の検出.

私たちは医療とサービスを改善するためにデータ サイエンスの使用を開始しました。病気を早期に予測できれば、多くの利点が得られます。 したがって、このデータ サイエンス プロジェクトのアイデアでは、Python を使用してパーキンソン病を検出する方法を学びます。 これは、運動に影響を及ぼし、震えや硬直を引き起こす中枢神経系の神経変性性進行性疾患です。 これは脳内のドーパミン生成ニューロンに影響を及ぼし、インドでは毎年 1 万人以上が罹患しています。

言語： Python

データセット/パッケージ: UCI ML パーキンソン病データセット

中程度の複雑さのデータ サイエンス プロジェクト

4. 音声感情認識

データサイエンスサンプルプロジェクトの完全な実装をチェックしてください- Librosa による音声認識.

次に、さまざまなライブラリの使用方法を学びましょう。 このデータ サイエンス プロジェクトでは、音声認識に librosa を使用します。 SER は、音声から人間の感情や情動状態を識別するプロセスです。 私たちは声のトーンとピッチを使って感情を表現するため、SER は重要です。 しかし、感情は主観的なものであるため、音声注釈は困難な作業です。 mfcc、chroma、mel 関数を使用し、感情認識には RAVDESS データセットを使用します。 このモデルの MLPC 分類器を作成します。

言語： Python

データセット/パッケージ: RAVDESS データセット

5. 性別と年齢の検出

最新のデータ サイエンス プロジェクトで雇用主に好印象を与える - OpenCVによる性別と年齢の検出.

これは Python を使った興味深いデータ サイエンスです。 たった XNUMX 枚の画像を使用して、人の性別と年齢を予測する方法を学びます。 ここでは、コンピューター ビジョンとその原理について紹介します。 構築します 畳み込みニューラル ネットワーク また、Tal Hassner と Gil Levy が Adience データセットでトレーニングしたモデルを使用します。 途中で、.pb、.pbtxt、.prototxt、.caffemodel ファイルをいくつか使用します。

言語： Python

データセット/パッケージ: アディエンス

6. ウーバーのデータ分析

データサイエンスプロジェクトの完全な実装をソースコードとともに表示します- R の Uber データ分析プロジェクト.

これは ggplot2 を使用したデータ視覚化プロジェクトであり、R とそのライブラリを使用してさまざまなパラメーターを分析します。 Uber Pickups New York データセットを使用し、年間のさまざまな時間枠のビジュアライゼーションを作成します。 これは、時間がカスタマージャーニーにどのような影響を与えるかを示しています。

言語： R

データセット/パッケージ: ニューヨーク市の Uber 送迎データセット

7.ドライバーの眠気検知

トップデータサイエンスプロジェクトに取り組んでスキルをアップグレード - OpenCVとKerasによる眠気検知システム.

居眠り運転は非常に危険で、居眠り運転による事故は毎年約XNUMX件発生しています。 この Python プロジェクトでは、眠いドライバーを検出し、ビープ音で警告できるシステムを作成します。

このプロジェクトは Keras と OpenCV を使用して実装されています。 OpenCV を使用して顔と目を検出し、Keras の助けを借りて、ディープ ニューラル ネットワーク手法を使用して目の状態 (開いているか閉じているか) を分類します。

8.チャットボット

Python でチャットボットを構築し、キャリアを一歩前進させましょう - NLTK と Keras を使用したチャットボット.

チャットボットはビジネスに不可欠な要素です。 多くの企業は顧客にサービスを提供する必要があり、顧客にサービスを提供するには多くの人的資源、時間、労力がかかります。 チャットボットは、顧客からのよくある質問のいくつかに答えることで、顧客とのやり取りの多くを自動化できます。 チャットボットには基本的に、ドメイン固有とオープンドメインの XNUMX 種類があります。 ドメイン固有のチャットボットは、特定の問題を解決するためによく使用されます。 したがって、現場で効果的に機能するようにカスタマイズする必要があります。 オープンドメインのチャットボットにはあらゆる質問ができるため、トレーニングには大量のデータが必要になります。

データセット: インテントのjsonファイル

言語： Python

先進的なデータサイエンスプロジェクト

9. 画像キャプションジェネレーター

ソースコードを使用して完全なプロジェクト実装をチェックしてください- CNN と LSTM を使用した画像キャプション ジェネレーター.

画像の内容を説明するのは人間にとっては簡単な作業ですが、コンピュータにとって画像は各ピクセルの色の値を表す数値の集合にすぎません。 これはコンピュータにとっては難しい作業です。 画像の内容を理解し、自然言語による説明 (英語など) を作成することもまた難しい作業です。 このプロジェクトでは、畳み込みニューラル ネットワーク (CNN) とリカレント ニューラル ネットワーク (LSTM) を実装する深層学習技術を使用して、画像記述ジェネレーターを作成します。

データセット: フリッカー8K

言語： Python

フレームワーク： ケラス

10. クレジットカード不正行為の検出

データサイエンスプロジェクトのアイデアに取り組んで最善を尽くしてください- 機械学習によるクレジットカード不正検知.

ここまでで、メソッドと概念を理解し始めました。 いくつかの高度なデータ サイエンス プロジェクトに移りましょう。 このプロジェクトでは、次のようなアルゴリズムを備えた R 言語を使用します。 デシジョンツリー、ロジスティック回帰、人工ニューラル ネットワーク、勾配ブースティング分類器。 カード取引データセットを使用して、クレジット カード取引を不正なものと本物として分類します。 それらに対してさまざまなモデルを選択し、パフォーマンス曲線を構築します。

言語： R

データセット/パッケージ: カード取引データセット

11. 映画推薦システム

ソース コードを使用して最高のデータ サイエンス プロジェクトの実装を探索します - Rの映画推薦システム

このデータ サイエンス プロジェクトでは、R を使用して、機械学習を通じて映画のレコメンデーションを実行します。 レコメンデーション システムは、他のユーザーの好みや閲覧履歴に基づくフィルタリング プロセスを通じてユーザーに提案を送信します。 A と B がホーム アローンが好きで、B がミーン ガールズが好きなら、A を提案できます。彼らもそれを気に入るかもしれません。 これにより、クライアントはプラットフォームと対話できるようになります。

言語： R

データセット/パッケージ: MovieLensデータセット

12. 顧客のセグメンテーション

データ サイエンス プロジェクト (ソース コードを含む) で雇用主に好印象を与える - 機械学習による顧客セグメンテーション.

購入者のセグメンテーションは人気のあるアプリケーションです 教師なし学習。 企業はクラスタリングを使用して、潜在的なユーザー ベースと連携する顧客セグメントを定義します。 性別、年齢、興味、消費習慣などの共通の特徴に従って顧客をグループに分け、各グループに自社の製品を効果的にマーケティングできます。 我々は使用するだろう K-はクラスタリングを意味します、性別と年齢ごとの分布を視覚化するだけでなく。 次に、彼らの年間収入と支出のレベルを分析します。

言語： R

データセット/パッケージ: Mall_Customers データセット

13. 乳がんの分類

Python でのデータ サイエンス プロジェクトの完全な実装をご覧ください- 深層学習を使用した乳がんの分類.

データサイエンスの医学的貢献に戻り、Python で乳がんを検出する方法を学びましょう。 IDC_normal データセットを使用して、乳がんの最も一般的な形態である浸潤性乳管がんを検出します。 乳管内で発生し、乳管の外側の乳腺の線維組織または脂肪組織に浸透します。 このデータ収集科学プロジェクトのアイデアでは、次のものを使用します。 深層学習 分類用の Keras ライブラリ。

言語： Python

データセット/パッケージ: IDC_レギュラー

14. 交通標識の認識

データサイエンスプロジェクトで自動運転車技術の精度を実現 CNNを使用した交通標識認識 オープンソース。

道路標識と交通ルールは、すべてのドライバーにとって事故を避けるために非常に重要です。 ルールに従うには、まず道路標識がどのようなものかを理解する必要があります。 人は、車両を運転する権利を得る前に、すべての道路標識を学習する必要があります。 しかし現在、自動運転車の数は増加しており、近い将来、人は自分で車を運転できなくなります。 道路標識認識プロジェクトでは、プログラムが画像を入力として取得して道路標識の種類を認識する方法を学びます。 German Road Sign Recognition Reference Dataset (GTSRB) は、交通標識が属するクラスを認識するためのディープ ニューラル ネットワークを構築するために使用されます。 アプリケーションと対話するための単純な GUI も作成しています。

言語： Python

データセット: GTRB (ドイツの交通標識認識ベンチマーク)

続きを読む

• トレーニング プロジェクト用の 52 個のデータセット
• フロントエンド道場: 開発者のスキルを訓練するプロジェクト (新規 5 件 + 旧来 43 件)
• 最も興味深い IT ダイナミック インフォグラフィック トップ 12

出所： habr.com