社内のデータガバナンス

おい、ハブル！

データは企業にとって最も貴重な資産です。デジタルに注力しているほぼすべての企業がこれを宣言しています。これに異論を唱えるのは困難です。データの管理、保存、処理のアプローチを議論せずに開催される主要な IT カンファレンスは一つもありません。

データは外部からもたらされますが、社内でも生成されます。通信会社からのデータについて言えば、社内の従業員にとって、これはクライアント、その興味、習慣、場所に関する情報の保管庫です。適切なプロファイリングとセグメンテーションがあれば、広告オファーは最も効果的になります。ただし、実際には、すべてがそれほどバラ色であるわけではありません。企業が保存しているデータは、絶望的に古い、冗長、反復的であるか、またはその存在が一部のユーザー以外には知られていない可能性があります。 ￣_(ツ)_/￣

一言で言えば、データは効果的に管理されなければなりません。そうして初めて、データはビジネスに真のメリットと利益をもたらす資産となるのです。残念ながら、データ管理の問題を解決するには、非常に多くの複雑さを克服する必要があります。これらは主に、システムの「動物園」の形での歴史的遺産と、その管理に対する統一されたプロセスとアプローチの欠如の両方が原因です。しかし、「データドリブン」とは何を意味するのでしょうか?

これはまさにこのカットの下でお話しする内容であり、オープンソース スタックがどのように私たちを助けてくれたかについても同様です。

戦略的データ管理データ ガバナンス (DG) の概念はロシア市場ではすでによく知られており、その導入の結果としてビジネスが達成する目標は明確かつ明確に宣言されています。当社も例外ではなく、データ管理の概念を導入するという課題を自らに課しました。

では、どこから始めたのでしょうか?まず最初に、私たちは自分自身の主要な目標を設定しました。

1. データにアクセスできる状態を保ちます。
2. データのライフサイクルの透明性を確保します。
3. 企業ユーザーに一貫性のあるデータを提供します。
4. 企業ユーザーに検証済みのデータを提供します。

現在、ソフトウェア市場には多数のデータ ガバナンス クラスのツールが存在します。

しかし、ソリューションを詳細に分析して検討した結果、私たちは自分自身に対して多くの批判的なコメントを記録しました。

• ほとんどのメーカーは包括的なソリューションのセットを提供していますが、私たちにとってそれらは冗長であり、既存の機能と重複します。さらに、現在の IT 環境への統合にはリソースの面でも高価です。
• 機能とインターフェイスは、ビジネス エンド ユーザーではなく、技術者向けに設計されています。
• 製品の生存率が低く、ロシア市場での導入が成功していない。
• 高額なソフトウェアとさらなるサポート。

ロシア企業向けのソフトウェアの輸入代替に関する上記の基準と推奨事項により、私たちはオープンソース スタックでの独自の開発に移行することを確信しました。私たちが選択したプラットフォームは、Python で書かれた無料のオープンソース フレームワークである Django です。したがって、上記の目標に貢献する主要なモジュールを特定しました。

1. レポートの登録。
2. ビジネス用語集。
3. 技術的な変革を説明するモジュール。
4. ソースから BI ツールまでのデータ ライフ サイクルを記述するモジュール。
5. データ品質管理モジュール。

レポートの登録

大企業の内部調査の結果によると、データ関連の問題を解決する際、従業員は問題の検索に 40 ～ 80% の時間を費やしています。したがって、私たちは、これまで顧客のみが利用できた既存のレポートに関する情報をオープンにするという課題を自らに課しました。したがって、新しいレポートの作成にかかる時間が短縮され、データの民主化が保証されます。

レポート登録は、さまざまな地域、部門、部門の内部ユーザー向けの単一のレポート ウィンドウになりました。会社のいくつかの企業リポジトリで作成された情報サービスに関する情報が統合されており、その多くは Rostelecom にあります。

しかし、レジストリは、開発されたレポートの単なる無味乾燥なリストではありません。各レポートについて、ユーザーがレポートをよく理解するために必要な情報が提供されます。

• レポートの簡単な説明。
• データ可用性の深さ。
• 顧客セグメント。
• 視覚化ツール。
• 企業ストレージの名前。
• ビジネス機能要件。
• レポートへのリンク。
• アクセス用のアプリケーションへのリンク。
• 実施状況。

レポートでは使用状況レベルの分析が利用でき、レポートはユニーク ユーザー数に基づくログ分析に基づいてリストの先頭にランク付けされます。それだけではありません。一般的な特性に加えて、レポートの属性構成について、値と計算方法の例を示して詳しく説明しました。このような詳細情報により、ユーザーはレポートが自分にとって役立つかどうかの答えがすぐに得られます。

このモジュールの開発はデータの民主化における重要なステップであり、必要な情報を見つけるのにかかる時間が大幅に短縮されました。検索時間の短縮に加え、サポートチームへの相談件数も減少しました。レポートの統合登録を開発することによって達成されたもう XNUMX つの有益な結果、つまり異なる構造単位に対する重複したレポートの開発を防止したことは注目しないわけにはいきません。

ビジネス用語集

同じ会社内であっても、企業によって使用される言語が異なることは皆さんもご存知でしょう。はい、同じ用語を使用していますが、意味はまったく異なります。ビジネス用語集はこの問題を解決するために設計されました。

私たちにとってビジネス用語集は、用語や計算方法が解説された単なる参考書ではありません。これは、用語の開発、同意、承認、用語と会社のその他の情報資産との関係の構築のための本格的な環境です。ビジネス用語集に入る前に、用語は企業顧客およびデータ品質センターによる承認のすべての段階を経る必要があります。この後初めて使用できるようになります。

上で書いたように、このツールの独自性は、ビジネス用語のレベルから、それが使用されている特定のユーザー レポート、および物理データベース オブジェクトのレベルへの接続を可能にすることです。

これは、レジストリ レポートの詳細な説明と物理データベース オブジェクトの説明で用語集の用語識別子を使用することによって可能になります。

現在、4000 を超える用語が用語集で定義され、合意されています。これを使用すると、企業の情報システムに受信した変更要求の処理が簡素化され、高速化されます。必要なインジケーターがいずれかのレポートにすでに実装されている場合、ユーザーは、このインジケーターが使用されている既製のレポートのセットをすぐに表示し、既存の機能を効果的に再利用するか、最小限の変更を行うかを、開始することなく決定できます。新しいレポートの開発に関する新しいリクエスト。

技術的な変革とDataLineageを説明するモジュール

これらのモジュールは何ですか?単にレポート登録と用語集を実装するだけでは十分ではなく、すべてのビジネス用語を物理データベース モデルに基づいて確立することも必要です。このようにして、ソース システムから BI 視覚化まで、データ ウェアハウスのすべての層を介してデータ ライフ サイクルを形成するプロセスを完了することができました。つまり、DataLineage を構築します。

私たちは、データ変換のルールとロジックを記述するために社内で以前に使用されていた形式に基づいてインターフェイスを開発しました。以前と同じ情報がインターフェイスを介して入力されますが、ビジネス用語集からの用語識別子の定義が前提条件になりました。これが、ビジネス層と物理層の間の接続を構築する方法です。

誰がそれを必要としているでしょうか？数年間使用してきた古いフォーマットの何が問題でしたか?要件を作成するための人件費はどれくらい増加しましたか?私たちはツールの導入中にそのような疑問に対処する必要がありました。ここでの答えは非常に簡単です。会社のデータ オフィスとユーザー全員がこれを必要としています。

実際、従業員も対応する必要があり、当初は書類作成の人件費が若干増加しましたが、この問題は解決しました。練習、問題領域の特定、最適化がその役割を果たしました。私たちは主なことを達成しました - 開発された要件の品質を向上させました。必須フィールド、統一された参考書、入力マスク、組み込みチェック - これらすべてにより、変換記述の品質を大幅に向上させることができました。私たちは、開発要件としてスクリプトを引き渡す慣行から離れ、開発チームのみが利用できる知識を共有しました。生成されたメタデータ データベースにより、回帰分析の実行に必要な時間が大幅に短縮され、IT ランドスケープのあらゆるレイヤー (ショーケース レポート、集計、ソース) に対する変更の影響を迅速に評価できるようになります。

これはレポートの一般ユーザーとどのような関係があるのでしょうか? 彼らにとっての利点は何ですか? DataLineage を構築できる機能のおかげで、SQL やその他のプログラミング言語に慣れていないユーザーでも、特定のレポートの生成に基づいてソースとオブジェクトに関する情報をすぐに受け取ることができます。

データ品質管理モジュール

データの透明性を確保するという点で上で述べたことはすべて、ユーザーに提供するデータが正しいということを理解することなしには重要ではありません。データ ガバナンス コンセプトの重要なモジュールの XNUMX つは、データ品質管理モジュールです。

現段階では、これは選択されたエンティティの小切手のカタログです。製品開発の当面の目標は、チェックのリストを拡張し、レポート レジストリと統合することです。
それは誰に何を与えるのでしょうか？レジストリのエンド ユーザーは、レポート準備の計画日と実際の日付、ダイナミクスによる完了したチェックの結果、レポートにロードされたソースに関する情報にアクセスできます。

私たちの場合、作業プロセスに統合されるデータ品質モジュールは次のとおりです。

• 顧客の期待を迅速に形成します。
• データのさらなる利用に関する決定を下す。
• 定期的な品質管理を開発するための作業の初期段階で、問題点の予備セットを取得します。

もちろん、これらは本格的なデータ管理プロセスを構築するための最初のステップです。しかし、この作業を意図的に行い、データ ガバナンス ツールを作業プロセスに積極的に導入することによってのみ、クライアントに情報コンテンツ、データに対する高いレベルの信頼性、データ受信の透明性を提供し、立ち上げ速度を向上させることができると私たちは確信しています。新しい機能。

データオフィスチーム

出所： habr.com