Gartner MQ 2020 レビュー: 機械学習と人工知能プラットフォーム

私がこれを読んだ理由を説明することは不可能です。 ちょうど時間があったので、市場がどのように機能するかに興味がありました。 Gartner によれば、これは 2018 年以来すでに本格的な市場となっています。 2014 年から 2016 年まではアドバンスト アナリティクス (BI にルーツ) と呼ばれていましたが、2017 年にはデータ サイエンス (これをロシア語にどう訳したらよいかわかりません) と呼ばれていました。 広場周辺の出店者の動きに興味がある方は、 ここで 見て。 そして、特に 2020 年以降の変化が最小限であるため、2019 年のスクエアについてお話します。SAP は撤退し、Altair は Datawatch を買収しました。

これは体系的な分析や表ではありません。 地球物理学者の観点からの個人的な見解。 しかし、私は常に Gartner MQ を読むことに興味を持っています。MQ はいくつかの点を完璧に定式化しています。 そこで、技術的、市場的、そして哲学的な観点から私が注目した点を以下に示します。

これは、ML のトピックに深く関わっている人向けではなく、市場で一般的に何が起こっているかに興味がある人向けです。

DSML 市場自体は、BI とクラウド AI 開発者サービスの間に論理的に入れ子になっています。

お気に入りの引用と用語を最初に挙げます。

• 「リーダーは最良の選択ではないかもしれない」 — マーケットリーダーが必ずしも必要なわけではありません。 非常に緊急！ 機能的な顧客がいないため、顧客は常に「適切な」ソリューションではなく「最適な」ソリューションを探しています。
• 「モデルの運用化」 - MOP と略されます。 そして、みんなパグには苦労しています！ – (クールなパグのテーマがモデルを機能させます)。
• 「ノートパソコン環境」 は、コード、コメント、データ、結果が組み合わされる重要な概念です。 これは非常に明確で有望であり、UI コードの量を大幅に削減できます。
• 「オープンソースに根ざした」 よく言われることですが、オープンソースに根付いています。
• 「シチズンデータサイエンティスト」 - 視覚環境やあらゆる種類の補助的なものを必要とする、専門家ではなく、とても簡単な男、とても下手な人。 彼らはコードを書きません。
• 「民主主義」 — 多くの場合、「より幅広い人々が利用できるようにする」という意味で使用されます。 以前使用していた危険な「データを自由にする」の代わりに、「データを民主化する」と言えるでしょう。 「民主化」は常にロングテールであり、すべてのベンダーがそれを追いかけます。 知識の集中力は失われますが、アクセスしやすさは向上します。
• 「探索的データ分析 - EDA」 — これらの利用可能な手段の検討。 いくつかの統計。 ちょっとした視覚化。 多かれ少なかれ誰もがやっている事。 これに名前があるとは知りませんでした
• 「再現性」 - 一度実施した実験を繰り返すことができるように、すべての環境パラメータ、入力および出力を最大限に保存する。 実験的なテスト環境を表す最も重要な用語です。

だから：

アレックス

まるでおもちゃのようなクールなインターフェース。 もちろん、スケーラビリティは少し難しいです。 したがって、Citizen コミュニティのエンジニアは、ちょっとした遊びをするのと同じです。 分析はすべて XNUMX つのボトルで行えます。 スペクトル相関データ解析の複雑さを思い出しました コスカド、90年代にプログラムされました。

アナコンダ

Python と R の専門家に関するコミュニティ。 オープンソースはそれに応じて規模が大きい。 私の同僚がいつもそれを使っていることがわかりました。 でも、知りませんでした。

データブリック

これは 2013 つのオープンソース プロジェクトで構成されています。Spark 開発者は XNUMX 年以来、莫大な資金を集めてきました。ウィキを引用する必要があります。

「2013 年 13.9 月、Databricks は Andreessen Horowitz から 33 万ドルを調達したと発表しました。 同社は2014年に60万ドル、2016年に140万ドル、2017年に250億2019万ドル、400年（2019月）にXNUMX億XNUMX万ドル、XNUMX年（XNUMX月）にXNUMX億ドルをさらに調達しました。」

スパークをカットした偉人もいます。 わかりません、ごめんなさい！

そしてプロジェクトは次のとおりです。

• デルタ湖 - Spark 上の ACID が最近リリースされました (Elasticsearch で私たちが夢見ていたものです) - それをデータベースに変えます: 厳格なスキーマ、ACID、監査、バージョン...
• ML フロー — モデルの追跡、パッケージ化、管理および保管。
• コアラ - Spark 上の Pandas DataFrame API - Pandas - テーブルやデータ全般を操作するための Python API。

Spark を知らない人、または忘れてしまった人のために、以下を参照してください。 リンク。 少し退屈だが詳細なコンサルティング キツツキの例を紹介するビデオを見ました: DataBricks for Data Science (リンク) およびデータエンジニアリング用 (リンク).

つまり、Databricks は Spark を引き出します。 Spark をクラウドで通常どおり使用したい人は、意図したとおり、ためらうことなく DataBricks を使用します 🙂 ここでの主な差別化要因は Spark です。
Spark Streaming は本物の偽のリアルタイムやマイクロバッチではないことを学びました。 本物のリアルタイムが必要な場合は、Apache STORM を使用します。 また、誰もが Spark が MapReduce よりも優れていると言い、書いています。 これがスローガンです。

ダタイク

エンドツーエンドのクールなもの。 広告がたくさんあります。 Alteryx との違いがわかりません。

DataRobot

データ準備を担当する Paxata は、2019 年 20 月に Data Robots に買収された別会社です。 7万ドルを調達し売却しました。 全部XNUMX年で。

Excel ではなく Paxata でのデータ準備 - ここを参照してください: リンク.
XNUMX つのデータセット間の結合については、自動検索と提案が行われます。 素晴らしいことです - データを理解するには、テキスト情報がさらに重視されることになります (リンク).
Data Catalog は、役に立たない「ライブ」データセットの優れたカタログです。
Paxata でディレクトリがどのように形成されるのかも興味深いです (リンク).

「アナリスト会社によると、 卵子、ソフトウェアは技術の進歩によって可能になりました。 予測分析, 機械学習 と NoSQL データ キャッシュ手法。【15] ソフトウェアは セマンティック データテーブルの列の意味を理解するアルゴリズムと、データセット内の潜在的な重複を見つけるパターン認識アルゴリズムです。【15]【7] また、インデックス作成、テキスト パターン認識、その他のソーシャル メディアや検索ソフトウェアで伝統的に使用されているテクノロジーも使用されています。」

データロボットの主力製品は、 ここで。 彼らのスローガンは、モデルからエンタープライズ アプリケーションへ! 危機に関連して石油業界のコンサルティングを見つけましたが、それは非常に平凡で面白くありませんでした。 リンク。 Mops または MLops で彼らのビデオを見ました (リンク）。 これは、さまざまな製品を6〜7個入手して組み立てたようなフランケンシュタインです。

もちろん、データ サイエンティストの大規模なチームには、モデルを操作するためのまさにそのような環境が必要であることは明らかです。そうでないと、大量のモデルが作成され、何もデプロイされなくなります。 そして、石油とガスの上流の現実において、成功するモデルを XNUMX つ作成できれば、それは大きな進歩となるでしょう。

このプロセス自体は、たとえば、地質学、地球物理学における設計システムの研究を非常に思い出させます。 ウミツバメ。 怠け者でない人は誰でもモデルを作成したり修正したりします。 データをモデルに収集します。 その後、リファレンス モデルを作成し、本番環境に送りました。 たとえば、地質モデルと ML モデルの間には、多くの共通点が見つかります。

ドミノ

オープンプラットフォームとコラボレーションを重視します。 ビジネスユーザーは無料でご利用いただけます。 彼らの Data Lab は SharePoint に非常に似ています。 (そしてその名前はIBMを強く匂わせます)。 すべての実験は元のデータセットにリンクしています。 これはよくあることですね:) 私たちの実践と同じように、いくつかのデータがモデルにドラッグされ、その後クリーンアップされ、モデル内で整理されました。これらすべてはすでにモデル内に存在しており、ソースデータでは終わりが見つかりません。 。

Domino には優れたインフラストラクチャ仮想化機能があります。 私はすぐに必要な数のコアをマシンに組み立て、数えに行きました。 それがどのように行われたのかはすぐには明らかではありません。 Docker はどこにでも存在します。 自由度たっぷり！ 最新バージョンのワークスペースであれば接続可能です。 並行して実験を開始。 成功したものの追跡と選択。

DataRobot と同じ - 結果はアプリケーションの形式でビジネス ユーザー向けに公開されます。 特に才能のある「関係者」向け。 また、モデルの実際の使用状況も監視されます。 すべてはパグのために！

複雑なモデルがどのようにして本番環境に導入されるのか、完全には理解できません。 データをフィードして結果を取得するために、ある種の API が提供されています。

H2O

Driveless AI は、教師あり ML 用の非常にコンパクトで直感的なシステムです。 すべてが XNUMX つのボックスに収まります。 バックエンドについては、すぐには完全に明らかではありません。

モデルは、REST サーバーまたは Java アプリに自動的にパッケージ化されます。 これは素晴らしいアイデアです。 解釈可能性と説明可能性のために多くのことが行われてきました。 モデルの結果の解釈と説明 (本質的に説明できないものは何か、そうでなければ人間が同じことを計算できるのか)。
初めて、非構造化データと NLP。 高品質の建築写真。 そして全体的に絵が好きでした。

完全に明確ではない大規模なオープンソース H2O フレームワークがあります (アルゴリズム/ライブラリのセット?)。 Jupiter のようなプログラミングを必要としない独自のビジュアル ラップトップ (リンク）。 また、Java でラップされた Pojo と Mojo - H2O モデルについても読みました。 20 つ目は単純なもので、XNUMX つ目は最適化を使用します。 HXNUMX は、Gartner が自社の強みとしてテキスト分析と NLP、および説明可能性に関する取り組みを挙げた唯一の企業 (!) です。 それは非常に重要です！

同じ場所で: ハードウェアとクラウドとの統合分野における高性能、最適化、業界標準。

そして、その弱点は論理的です - Driverles AI は、オープンソースと比較して弱く、範囲が狭いです。 Paxataに比べてデータ準備がダサい！ そして、ストリーム、グラフ、地理情報などの産業データを無視します。 まあ、すべてが良いことばかりではありません。

騎士

メインページにある 6 つの非常に具体的で興味深いビジネス ケースが気に入りました。 強力なオープンソース。

Gartner は彼らをリーダーからビジョナリーに降格させました。 リーダーが常に最良の選択であるとは限らないため、収益が不十分であることはユーザーにとって良い兆候です。

キーワードは、H2O と同様に、拡張です。これは、貧しい市民のデータ サイエンティストを支援することを意味します。 レビューでパフォーマンスについて批判されたのはこれが初めてです。 面白い？ つまり、非常に多くのコンピューティング能力があるため、パフォーマンスがシステム上の問題になる可能性はまったくありません。 Gartner はこの「拡張」という言葉について次のように述べています。 別の記事、到達できませんでした。
そして、KNIMEはレビューで最初の非アメリカ人のようです！ (そして、私たちのデザイナーはランディング ページをとても気に入っていました。奇妙な人たちです。

MathWorks

MatLab は誰もが知っている古い名誉同志です。 生活のあらゆる分野や状況に対応するツールボックス。 何かとても違う。 実際、人生のあらゆるものには、非常に多くの数学が必要です。

システム設計用の Simulink アドオン製品。 デジタルツインのツールボックスを調べました - それについては何も理解していませんが、 ここで たくさん書かれています。 のために 石油産業。 一般に、これは数学や工学の深みとは根本的に異なる製品です。 特定の数学ツールキットを選択します。 Gartner によれば、彼らの問題は賢いエンジニアの問題と同じです - コラボレーションがなく、誰もが独自のモデルを調べ回っていて、民主主義も説明性もありません。

RapidMiner

私はこれまで、優れたオープンソースの文脈で (Matlab とともに) たくさんのことに出会ったり聞いたりしてきました。 いつものようにTurboPrepについて少し調べてみました。 ダーティデータからクリーンデータを取得する方法に興味があります。

ここでも、2018 年のマーケティング資料と、機能デモで英語を話す人々がひどいことから、人々が良いことがわかります。

2001 年以降ドルトムント出身で、強いドイツの背景を持つ人々）

このサイトを見ただけでは、オープンソースで何が利用できるのかまだ理解できません。さらに詳しく調べる必要があります。 導入と AutoML の概念に関する優れたビデオ。

RapidMiner Server バックエンドについても特別なことは何もありません。 おそらくコンパクトで、箱から出してすぐにプレミアムでうまく機能するでしょう。 Docker にパッケージ化されています。 RapidMiner サーバー上のみの共有環境。 そして、Radoop、Hadoop からのデータ、Studio ワークフローの Spark から韻を数えます。

予想通り、若い人気のベンダー「縞棒の売り手」がそれらを下に移動させました。 しかし、Gartner はエンタープライズ分野での将来の成功を予測しています。 そこでお金を集めることができます。 ドイツ人はこれを行う方法を知っています、なんとも :) SAP については言及しないでください。

彼らは国民のためにたくさんのことをしてくれています！ しかし、このページを見ると、Gartner は販売革新に苦戦しており、カバー範囲の広さではなく収益性を求めて戦っていると述べていることがわかります。

残った SAS и ティブコ 私にとって典型的な BI ベンダーです...そして両方とも最上位にあり、これは通常のデータサイエンスが論理的に成長しているという私の自信を裏付けています
クラウドや Hadoop インフラストラクチャからではなく、BI から。 つまり、IT からではなく、ビジネスからです。 たとえばガスプロムネフチのように： リンク,成熟した DSML 環境は、強力な BI 実践から生まれます。 しかし、もしかしたらそれは、MDM やその他のものに対してベタベタで偏っているかもしれません。

SAS

言うことはあまりありません。 明らかなことだけ。

TIBCO

この戦略は、28 ページにわたる Wiki ページの買い物リストに記載されています。 はい、話は長くなりますが、2007 !!! チャールズ。 私はテクノ青春時代に BI Spotfire (2014) を購入しました。 また、Jaspersoft (2008)、その後 2017 社もの予測分析ベンダー Insightful (S-plus) (2017)、Statistica (2013)、Alpine Data (2018)、イベント処理およびストリーミング Streambase System (2019)、MDM Orchestra からもレポートが提供されています。 Networks (XNUMX) と Snappy Data (XNUMX) のインメモリ プラットフォーム。

こんにちは、フランキー！

出所： habr.com