データ部門。 2013年。 回顧展

2013年に IBS、それから作成しているようでした データ事業部、ビッグデータ、およびデータ一般の問題領域に関して、（石油およびガス企業の顧客とのやり取りの経験にのみ基づいて）そのようなブレインダンプを作成するように私に依頼しました。それで7年後にこの作品に出会って、面白いと思いました。いくつかのことは明らかです。一部は完全に真実ではないことが判明しましたが... 7 年が経過しました。

私は英語で書きましたが、今度はそれをロシア語に翻訳しようと思いました。何かが現在でも関連性がある場合はどうなりますか? （掲示物は翻訳しますが、怠惰なので標識は英語のままにしておきます。緑は良い、赤は危険、青は夢です）。

「今日」の最低限のコメントを形式的にまとめておきます イタリアの明確で区別できるように。

それで、データ！私たちのためのデータ...

データ部門は、たとえば企業の静脈や動脈を流れる血液にたとえられるため、血液部門です。しかし、血液は同じでも生体は異なりますので、 製品化 とても難しいことですが、それは成長のチャンスでもあります。

データが目に飛び込んでくる人もいます。 我々.
そして、残念なことに、データポイントが空白であると認識していない人もいます。悲しいことに、これも私たちのものです お客様!

このように、 ビジネス原則...

1. 売る ビジネスとしない IT （IT スペシャリストの皆様、すぐに許してください）なぜなら、私たちは世界の問題を解決しているからです。そして、さらに多くの資金も提供しています。
2. すべてのビジネス上の問題はテーマ別の業界に集中しており、適切な対応が必要になります。 専門分野.
3. 証明しようとする試み 「データ」の値 あるいは、さらに難しいのは、企業にとっての「データ管理」の価値は永遠の苦しみと痛みです。基本的に、それは気分が良い人のところに来て、「おい、今から血液の治療をするよ。そして、おい、それは高いんだよ！」と言うようなものです。
4. 私の「夢物語」は、SaaS モデル内で「データ抽出」と「分析」を販売することです 中小企業プロジェクト管理、ヘルプデスク、会計、CRM、給与計算、勤怠管理、マーケティングなど、クールなインターフェイスを備えた 123 のクラウド サービスに侵入し、データの中に埋もれてしまった人たちです。 Youcalc と Successfactors (おそらくもうないでしょう） これはいい！
5. いじくり回すのが好きな人を探してください "噛み砕く" データ付き。それらは珍しくて奇妙なものですが（茶葉のように）、ビジネスの鍵となります。たとえば、詩人は相関関係を非常に得意とします。
6. エンジニア 必要です！ Crunchers がデータから抽出した問題を解決策に変えるために必要でした。そして、その決定が成功するか失敗するかは完全に彼ら次第です。
7. 開発 オープンソース プロジェクトは非常に価値があり、複雑なソリューションを事実上ゼロから「組み立てる」ことが可能になります。
8. しかし...Hadoop はライブラリであり、Lucene もライブラリであり、それらの間の距離を忘れてはなりません。 図書館と工業製品 多くの！
9. 構築されたソリューションは大幅に変更する必要があります。 モジュール性 и 統合性 - キーポイント。
10. アジャイル (主よ許して) は、顧客とのやり取りと検証における重要なテクニックです。 仮説、たくさんあるでしょう。
11. 特に、すべてのコーディングと UI をアウトソーシングすることが可能であり、必要です。すべてのビジネス分析と仕様 バックエンド 離れる必要がある 内部 そしてコアコンピテンシーとして考えられています。
12. ビジネスの意思決定者は、次のことについて常に「情報」を得る必要があります。 データを適切に扱う必要性 そしてそれらを分析する新しい方法を常に模索しています。従業員の技術的能力とビジネス的能力の組み合わせは、組織全体の地位向上に役立ちます。
13. インターネット – 無限のインスピレーションの源があります (当時は猫の数がそれほど多くなかった) 目的と範囲は大きく異なりますが、企業データ管理へのアプローチに関連しています。

技術的な仮説...

1. 大きな発展の可能性がある 単純化 データがどのように人々に示されるか。これを「iPhonization」という言葉で呼んでいます。
2. BI ベンダーは、自らが直接的にそうであると主張しているにもかかわらず、 分析をエンドユーザーに提供、（そして彼らは確かにこの方向に進んでいます）-ブレークスルーはまだ起こっていません。人々はよく理解していないだけです 多次元 データ
3. 多かれ少なかれ複雑で、大まかに構造化されたデータを表すユーザー インターフェイス 多面的な フォーム - また、無限の数の問題が発生します。結論: 平らであればあるほど良い。
4. ソースからの自動データ抽出 (必ずしも抽出用に設計されているとは限りません) に基づいて構築されたプラットフォームは、ソース、コネクタの安定性、およびインフラストラクチャに大きく依存します。結果を出せなかった場合は常にプラットフォーム（メッセンジャー）が責められることになります。 信頼する – この種のプラットフォームの資本。得るのは難しく、失うのは簡単な資本。
5. ビジネスの観点から見ると、ビッグデータ分析とビッグデータ分析の間に違いはありません。 ただのデータ。多くの場合、2x2 のような単純な数字の背後には、数百万ドル相当のチャンスが潜んでいます。良い例は、ノルウェーの棚にあるインフラストラクチャ要素の耐用年数の終了に関するデータです。将来の上限のすべての日付はいつですか。すべての機器の修理が XNUMX つの軸に集中し、N 年以内に棚のハルマゲドンが来ることがわかりました。ある非常に裕福な男性が椅子から立ち上がって、次の言葉を言いながら急いで部屋から出てきました。時間はたくさんあるので、艦隊の準備をしなければなりません...」
6. Excel、そして本質的にデータを明確かつ簡潔に表形式で表現する Excel には、非常に大きな力と大きな将来性があります。 私は美しいテーブルを信じています (そしてなお） 以上です！
7. このすべての「分析」の主な特徴は次のとおりです。 意思決定の自動化。最大の機会もありますが、最大のリスクも存在します。だからこそ機会は豊かであり、だからこそリスクがあり、だからこそ機会があり、だからこそ苦いのです... 🙂 たとえば、掘削管理など...
8. 「統合性」が重要な機能である場合、データは事実上サービスとして提供されるべきです。 REST ルールはありますが、最適化を忘れてはなりません パフォーマンス、現在では、コンピューティング能力が増大し続けるにつれて、統合性が犠牲になることがよくあります。
9. マスターデータ - これは、ビジネス上の問題に対処する前に、ローカライズ、抽出、標準化する必要があるものです。マスターデータは小さいですが、それに伴う問題は大きいです。意味論の兄弟が言うように、世界の問題の 50% は、人々が同じものを異なる名前で呼ぶことが原因であり、残りの 50% は、人々が異なるものを同じ名前で呼ぶことが原因です。
10. 任意の カプセル化 ストレージ レベルでは、ソリューションのオープン性が制限され、サイロ化につながります。大手ベンダーであれば良いですが、そうでない場合はまあまあです。 (もちろん、ここで話しているのはブロックレベルの話ではなく、当時すでに 3 年前だった AWS S6 の話ではなく、ファイルの話です。).
11. リレーショナルモデリング データはもはや私たちの友達ではありません。 RDF とキーバリュー – クールです!私たちは、2000 個のテーブルを 15 個のテーブルにモデル化したリレーショナル データベースの魔法のような変換を見てきましたが、ユーザーは誰も何も失いませんでした。
12. インターネットは存在するから機能する URL 統一されたアドレス指定方法として。 URLの重要性というか URI 企業の情報リソースを過大評価することは困難です。
13. テキストマイニングとNLPが人気。インタネットの中には。しかし、企業部門でも、非構造化企業データから構造化データを抽出することで大きな成功を収めることができます。
14. シナジー 構造化データと非構造化データから抽出された情報の間、つまりファイル – 分析用クロンダイク。
15. データを抽出するときは、権利と権利について忘れないでください。 著作権.
16. データ抽出会社は、ハッカー部門、良い意味で。イエロー ページ クローラー ボット保護システムに対する困難な戦いからインスピレーションを得たものです。
17. データを操作する前に、次のことを行う必要があります。 "見る" 全体として。説明するのは難しいです。表形式が思い浮かびます。一部のグラフはグラフィック表現ですが、どのグラフもすでに解釈です。いずれにせよ...「見てください」!
18. フロントエンドでユーザーの「信頼」の問題が繰り返されます。コネクタ/データ生成プロセスへの信頼、データへの信頼、 下された決断を信頼する.

出所： habr.com