사내 데이터 거버넌스

헤이 하브르!

데이터는 기업의 가장 귀중한 자산입니다. 디지털에 중점을 둔 거의 모든 회사가 이를 선언합니다. 이에 대해 논쟁하기는 어렵습니다. 데이터 관리, 저장 및 처리에 대한 접근 방식을 논의하지 않고는 단일 주요 IT 컨퍼런스가 열리지 않습니다.

데이터는 외부에서 우리에게 오고 회사 내에서도 생성됩니다. 통신 회사의 데이터에 대해 이야기하면 내부 직원에게 이는 고객, 관심 사항, 습관 및 위치에 대한 정보의 창고입니다. 적절한 프로파일링과 세분화를 통해 광고 제안이 가장 효과적입니다. 그러나 실제로 모든 것이 그렇게 장미빛인 것은 아닙니다. 기업이 저장하는 데이터는 절망적으로 오래되고, 중복되고, 반복적일 수 있으며, 소수의 사용자를 제외하고는 그 존재가 누구에게도 알려지지 않을 수 있습니다. ̅_(ツ)_/̅

한마디로, 데이터는 효과적으로 관리되어야 합니다. 그래야만 데이터가 비즈니스에 실질적인 이익과 이익을 가져다주는 자산이 될 것입니다. 불행하게도 데이터 관리 문제를 해결하려면 상당히 많은 복잡성을 극복해야 합니다. 이는 주로 시스템 "동물원" 형태의 역사적 유산과 통합된 프로세스 및 관리 접근 방식이 부족하기 때문입니다. 그런데 "데이터 기반"이라는 것은 무엇을 의미합니까?

이것이 바로 우리가 컷에서 이야기할 내용과 오픈소스 스택이 우리에게 어떻게 도움이 되었는지에 대한 것입니다.

전략적 데이터 관리 데이터 거버넌스(DG)의 개념은 이미 러시아 시장에서 꽤 잘 알려져 있으며, 구현 결과 기업이 달성한 목표는 명확하고 명확하게 선언되어 있습니다. 우리 회사도 예외는 아니었고 데이터 관리 개념을 도입하는 임무를 스스로 설정했습니다.

그럼 우리는 어디서부터 시작했는가? 우선, 우리는 다음과 같은 주요 목표를 세웠습니다.

1. 데이터에 대한 접근성을 유지하세요.
2. 데이터 수명주기의 투명성을 보장합니다.
3. 회사 사용자에게 일관되고 일관된 데이터를 제공합니다.
4. 검증된 데이터를 기업 사용자에게 제공합니다.

오늘날 소프트웨어 시장에는 XNUMX가지의 데이터 거버넌스 클래스 도구가 있습니다.

그러나 솔루션에 대한 자세한 분석과 연구 후에 우리는 다음과 같은 몇 가지 중요한 의견을 기록했습니다.

• 대부분의 제조업체는 포괄적인 솔루션 세트를 제공하는데, 이는 우리에게 중복되고 기존 기능과 중복됩니다. 또한 리소스 측면에서 비용이 많이 들고 현재 IT 환경에 통합됩니다.
• 기능과 인터페이스는 비즈니스 최종 사용자가 아닌 기술자를 위해 설계되었습니다.
• 제품의 낮은 생존율과 러시아 시장에서의 성공적인 구현 부족.
• 높은 소프트웨어 비용과 추가 지원.

러시아 회사의 소프트웨어 수입 대체와 관련하여 위에서 언급한 기준과 권장 사항을 통해 우리는 오픈 소스 스택에서 자체 개발을 진행하게 되었습니다. 우리가 선택한 플랫폼은 Python으로 작성된 무료 오픈 소스 프레임워크인 Django였습니다. 따라서 우리는 위에서 언급한 목표에 기여할 핵심 모듈을 식별했습니다.

1. 보고서를 등록합니다.
2. 비즈니스 용어집.
3. 기술적 변화를 설명하기 위한 모듈입니다.
4. 소스에서 BI 도구까지의 데이터 수명주기를 설명하는 모듈입니다.
5. 데이터 품질 관리 모듈.

보고서 등록

대기업 내부 조사 결과에 따르면, 직원들은 데이터 관련 문제를 해결할 때 데이터를 찾는데 업무 시간의 40~80%를 소비한다고 합니다. 따라서 우리는 기존에 고객에게만 공개되었던 보고서에 대한 정보를 공개하는 임무를 스스로 설정했습니다. 따라서 새로운 보고서 생성 시간을 단축하고 데이터의 민주화를 보장합니다.

신고기록부는 다양한 지역, 부서, 부서의 내부이용자를 위한 단일 신고창구가 되었습니다. 회사의 여러 기업 저장소에서 생성된 정보 서비스에 대한 정보를 통합하며 Rostelecom에는 그 중 많은 정보가 있습니다.

그러나 레지스트리는 단지 개발된 보고서의 건조한 목록이 아닙니다. 각 보고서에 대해 사용자가 보고서에 익숙해지는 데 필요한 정보를 제공합니다.

• 보고서에 대한 간략한 설명;
• 데이터 가용성의 깊이;
• 고객 부문;
• 시각화 도구;
• 기업 스토리지의 이름
• 비즈니스 기능 요구사항
• 보고서 링크;
• 액세스 신청 링크
• 구현 상태.

보고서는 사용 수준 분석이 가능하며, 순 사용자 수를 기준으로 한 로그 분석을 통해 보고서가 목록 상위에 순위가 매겨집니다. 그리고 그게 다가 아닙니다. 일반적인 특성 외에도 값 및 계산 방법의 예를 들어 보고서의 속성 구성에 대한 자세한 설명도 제공했습니다. 이러한 세부 정보는 보고서가 사용자에게 유용한지 여부에 대한 답변을 사용자에게 즉시 제공합니다.

이 모듈의 개발은 데이터 민주화의 중요한 단계였으며 필요한 정보를 찾는 데 걸리는 시간을 크게 줄였습니다. 검색 시간 단축은 물론, 지원팀에 상담 요청 건수도 줄었습니다. 통합 보고서 등록을 개발하여 다양한 구조 단위에 대한 중복 보고서 개발을 방지함으로써 우리가 달성한 또 다른 유용한 결과를 언급하지 않는 것은 불가능합니다.

비즈니스 용어집

같은 회사라도 회사마다 언어가 다르다는 사실은 다들 아실 겁니다. 예, 동일한 용어를 사용하지만 완전히 다른 의미를 갖습니다. 이 문제를 해결하기 위해 비즈니스 용어집이 설계되었습니다.

우리에게 비즈니스 용어집은 단지 용어 설명과 계산 방법을 설명하는 참고서가 아닙니다. 이는 용어를 개발, 동의 및 승인하고 용어와 회사의 기타 정보 자산 간의 관계를 구축하기 위한 본격적인 환경입니다. 비즈니스 용어집에 들어가기 전에 용어는 비즈니스 고객 및 데이터 품질 센터의 모든 승인 단계를 거쳐야 합니다. 이 후에야 사용할 수 있게 됩니다.

위에서 쓴 것처럼 이 도구의 고유성은 비즈니스 용어 수준에서 이 도구가 사용되는 특정 사용자 보고서는 물론 물리적 데이터베이스 개체 수준까지 연결할 수 있다는 것입니다.

이는 레지스트리 보고서에 대한 자세한 설명과 물리적 데이터베이스 개체에 대한 설명에 용어집 식별자를 사용함으로써 가능해졌습니다.

현재 용어집에는 4000개 이상의 용어가 정의되고 합의되었습니다. 이를 사용하면 회사의 정보 시스템 변경에 대한 수신 요청 처리가 단순화되고 속도가 빨라집니다. 필수 지표가 보고서에 이미 구현된 경우 사용자는 이 지표가 사용된 기성 보고서 세트를 즉시 볼 수 있으며, 시작하지 않고도 기존 기능의 효과적인 재사용 또는 최소한의 수정을 결정할 수 있습니다. 새로운 보고서 개발에 대한 새로운 요청.

기술 변환 및 DataLineage를 설명하기 위한 모듈

이 모듈은 무엇입니까? 단순히 Report Register와 Glossary를 구현하는 것만으로는 충분하지 않으며, 모든 비즈니스 용어를 물리적 데이터베이스 모델에 기반을 두는 것도 필요합니다. 이로써 데이터 웨어하우스의 모든 계층을 거쳐 소스 시스템부터 BI 시각화까지 데이터 라이프사이클을 구성하는 프로세스를 완료할 수 있었습니다. 즉, DataLineage를 빌드합니다.

우리는 데이터 변환의 규칙과 논리를 설명하기 위해 회사에서 이전에 사용했던 형식을 기반으로 인터페이스를 개발했습니다. 이전과 마찬가지로 인터페이스를 통해 동일한 정보가 입력되지만 비즈니스 용어집의 식별자라는 용어에 대한 정의가 전제 조건이 되었습니다. 이것이 우리가 비즈니스 계층과 물리적 계층 간의 연결을 구축하는 방법입니다.

누가 필요합니까? 몇 년 동안 사용했던 이전 형식에 어떤 문제가 있었나요? 소요량 생성을 위한 인건비가 얼마나 증가했습니까? 우리는 도구를 구현하는 동안 이러한 질문을 다루어야 했습니다. 이에 대한 대답은 매우 간단합니다. 회사의 데이터 오피스와 사용자 모두에게 이것이 필요합니다.

실제로 직원들은 적응해야 했고, 처음에는 서류 준비를 위한 인건비가 약간 증가했지만 우리는 이 문제를 해결했습니다. 문제 영역을 연습하고 식별하고 최적화하는 작업이 완료되었습니다. 우리는 중요한 목표를 달성했습니다. 즉, 개발된 요구 사항의 품질을 개선했습니다. 필수 필드, 통합 참고서, 입력 마스크, 내장 검사 등 이 모든 기능을 통해 변환 설명의 품질이 크게 향상되었습니다. 우리는 개발 요구 사항으로 스크립트를 넘겨주는 관행에서 벗어나 개발팀에게만 제공되는 지식을 공유했습니다. 생성된 메타데이터 데이터베이스는 회귀 분석을 수행하는 데 필요한 시간을 크게 줄이고 IT 환경의 모든 계층(쇼케이스 보고서, 집계, 소스)에 대한 변경 사항의 영향을 신속하게 평가할 수 있는 기능을 제공합니다.

이것이 일반 보고서 사용자와 어떤 관련이 있으며, 그들에게 어떤 이점이 있습니까? DataLineage를 구축할 수 있는 기능 덕분에 사용자는 SQL 및 기타 프로그래밍 언어와 멀리 떨어져 있는 사용자라도 특정 보고서가 생성되는 기반이 되는 소스 및 개체에 대한 정보를 빠르게 받을 수 있습니다.

데이터 품질 관리 모듈

데이터 투명성 보장 측면에서 위에서 이야기한 모든 내용은 우리가 사용자에게 제공하는 데이터가 정확하다는 점을 이해하지 않으면 중요하지 않습니다. 데이터 거버넌스 개념의 중요한 모듈 중 하나는 데이터 품질 관리 모듈입니다.

현재 단계에서는 선택한 엔터티에 대한 검사 카탈로그입니다. 제품 개발의 즉각적인 목표는 점검 목록을 확장하고 보고 레지스트리와 통합하는 것입니다.
누구에게 무엇을 줄 것인가? 레지스트리의 최종 사용자는 계획된 보고서 준비 날짜와 실제 보고서 준비 날짜, 완료된 역학 검사 결과, 보고서에 로드된 소스에 대한 정보에 대한 정보에 액세스할 수 있습니다.

우리의 업무 프로세스에 통합된 데이터 품질 모듈은 다음과 같습니다.

• 고객 기대의 신속한 형성.
• 데이터의 추가 사용에 대한 결정을 내립니다.
• 정기적인 품질 관리 개발을 위한 작업 초기 단계에서 예비 문제 지점을 확보합니다.

물론 이는 본격적인 데이터 관리 프로세스를 구축하는 첫 번째 단계입니다. 그러나 우리는 의도적으로 이 작업을 수행하고 작업 프로세스에 데이터 거버넌스 도구를 적극적으로 도입함으로써 고객에게 정보 콘텐츠, 데이터에 대한 높은 수준의 신뢰, 수신의 투명성을 제공하고 출시 속도를 높일 것이라고 확신합니다. 새로운 기능.

DataOffice 팀

출처 : habr.com