🥇크고 작은 데이터 테스터: 트렌드, 이론, 나의 이야기

안녕하세요 여러분, 제 이름은 Alexander입니다. 저는 데이터의 품질을 확인하는 데이터 품질 엔지니어입니다. 이 기사에서는 내가 어떻게 여기까지 왔는지, 그리고 왜 2020년에 이 테스트 영역이 파도의 정점에 있었는지에 대해 설명할 것입니다.

글로벌 트렌드

오늘날의 세계는 또 다른 기술 혁명을 경험하고 있습니다. 그 중 한 측면은 모든 종류의 기업이 축적된 데이터를 사용하여 자체 판매, 이익 및 홍보 플라이휠을 홍보하는 것입니다. 좋은(품질) 데이터의 존재와 그로부터 돈을 벌 수 있는(올바른 처리, 시각화, 기계 학습 모델 구축 등) 숙련된 두뇌가 오늘날 많은 사람들에게 성공의 열쇠가 된 것 같습니다. 15~20년 전에는 대기업이 주로 데이터 축적 및 수익화를 위한 집중적인 작업에 참여했다면 오늘날 이는 거의 모든 정상인이 차지하고 있습니다.

이와 관련하여 몇 년 전 전 세계의 모든 구직 전용 포털은 데이터 과학자를 위한 공석으로 가득 차기 시작했습니다. 모두가 그러한 전문가를 고용하면 기계 학습의 슈퍼 모델을 구축할 수 있다고 확신했기 때문입니다. , 미래를 예측하고 회사의 '퀀텀 도약'을 수행합니다. 시간이 지남에 따라 사람들은 이러한 전문가의 손에 떨어지는 모든 데이터가 모델 훈련에 적합하지 않기 때문에 이러한 접근 방식이 거의 어디서나 작동하지 않는다는 것을 깨달았습니다.

그리고 데이터 과학자들의 요청이 시작되었습니다. "이것저것에서 더 많은 데이터를 구매하자...", "데이터가 충분하지 않습니다...", "더 많은 데이터, 바람직하게는 고품질 데이터가 필요합니다..." . 이러한 요청에 따라 하나 또는 다른 데이터 세트를 소유한 회사 간에 수많은 상호 작용이 구축되기 시작했습니다. 당연히 이를 위해서는 데이터 소스 연결, 다운로드, 전체 로드 확인 등의 프로세스에 대한 기술적인 조직이 필요했습니다. 이러한 프로세스의 수가 증가하기 시작했으며 오늘날 우리는 또 다른 종류의 프로세스에 대한 엄청난 필요성을 안고 있습니다. 전문가 - 데이터 품질 엔지니어 - 시스템(데이터 파이프라인)의 데이터 흐름, 입력 및 출력의 데이터 품질을 모니터링하고 충분성, 무결성 및 기타 특성에 대한 결론을 내리는 사람입니다.

데이터 품질 엔지니어에 대한 추세는 격렬한 자본주의 시대의 한가운데서 어느 누구도 데이터 전쟁에서 패할 준비가 되어 있지 않은 미국에서 왔습니다. 아래에는 미국에서 가장 인기 있는 구직 사이트 두 곳의 스크린샷이 나와 있습니다. www.monster.com и www.dice.com — 17년 2020월 XNUMX일 현재 데이터 품질 및 데이터 과학자라는 키워드를 사용하여 접수된 공석 수에 대한 데이터를 표시합니다.

www.monster.com

데이터 과학자 – 21416개의 공석
데이터 품질 – 41104개의 공석

www.dice.com

데이터 과학자 – 404개의 공석
데이터 품질 – 2020년 공석

분명히 이러한 직업은 서로 경쟁하지 않습니다. 스크린샷을 통해 현재 데이터 과학자보다 훨씬 더 필요한 데이터 품질 엔지니어에 대한 요청 측면에서 노동 시장의 현재 상황을 설명하고 싶었습니다.

2019년 XNUMX월 EPAM은 현대 IT 시장의 요구에 부응하여 데이터 품질을 별도의 업무로 분리했습니다. 데이터 품질 엔지니어는 일상 업무 중에 데이터를 관리하고, 새로운 조건과 시스템에서의 동작을 확인하고, 데이터의 관련성, 충분성 및 관련성을 모니터링합니다. 이 모든 것을 통해 실용적인 의미에서 데이터 품질 엔지니어는 기존 기능 테스트에 거의 시간을 할애하지 않습니다. 하지만 이는 프로젝트에 따라 크게 달라집니다(아래에 예를 제시하겠습니다).

데이터 품질 엔지니어의 책임은 데이터베이스 테이블의 "null, 개수 및 합계"에 대한 일상적인 수동/자동 검사에만 국한되지 않고 고객의 비즈니스 요구 사항에 대한 깊은 이해와 그에 따라 사용 가능한 데이터를 유용한 비즈니스 정보.

데이터 품질 이론

이러한 엔지니어의 역할을 보다 완전하게 상상하기 위해 이론적으로 데이터 품질이 무엇인지 알아 보겠습니다.

데이터 품질 — 데이터 관리 단계 중 하나(사용자가 스스로 공부할 수 있도록 남겨두는 전 세계)이며 다음 기준에 따라 데이터를 분석하는 일을 담당합니다.

나는 각 점을 해독할 필요가 없다고 생각합니다(이론적으로는 "데이터 차원"이라고 함). 그림에 꽤 잘 설명되어 있습니다. 그러나 테스트 프로세스 자체가 이러한 기능을 테스트 케이스에 엄격하게 복사하고 확인한다는 것을 의미하지는 않습니다. 다른 유형의 테스트와 마찬가지로 데이터 품질에서도 우선 비즈니스 결정을 내리는 프로젝트 참여자와 합의한 데이터 품질 요구 사항을 기반으로 구축하는 것이 필요합니다.

데이터 품질 프로젝트에 따라 엔지니어는 데이터 품질을 피상적으로 평가하는 일반 자동화 테스터부터 위 기준에 따라 데이터의 심층 프로파일링을 수행하는 사람까지 다양한 기능을 수행할 수 있습니다.

데이터 관리, 데이터 품질 및 관련 프로세스에 대한 매우 자세한 설명은 다음 책에 잘 설명되어 있습니다. "DAMA-DMBOK: 데이터 관리 지식체계: 2판". 나는 이 주제에 대한 소개로서 이 책을 강력히 추천합니다(기사 끝부분에 해당 링크가 있습니다).

내 역사

IT 업계에서는 제품 회사의 주니어 테스터에서 EPAM의 수석 데이터 품질 엔지니어까지 일했습니다. 약 XNUMX년 동안 테스터로 일한 후 저는 회귀, 기능, 스트레스, 안정성, 보안, UI 등 모든 유형의 테스트를 완전히 수행했다는 확고한 확신을 갖게 되었습니다. Java, Scala, Python의 세 가지 프로그래밍 언어로 동시에 작업했습니다.

돌이켜보면 내 기술이 왜 그토록 다양했는지 이해합니다. 크고 작은 데이터 기반 프로젝트에 참여했기 때문입니다. 이것이 나를 성장을 위한 많은 도구와 기회의 세계로 데려온 것입니다.

새로운 지식과 기술을 얻을 수 있는 다양한 도구와 기회를 이해하려면 "데이터 및 AI" 세계에서 가장 인기 있는 도구를 보여주는 아래 그림을 보십시오.

이런 종류의 일러스트레이션은 소프트웨어 개발 분야의 유명한 벤처 투자자 중 한 명인 Matt Turck가 매년 편집합니다. 여기 링크 그의 블로그와 벤처 캐피탈 회사, 그는 파트너로 일하고 있습니다.

나는 프로젝트의 유일한 테스터였을 때, 또는 적어도 프로젝트가 시작될 때 특히 빠르게 전문적으로 성장했습니다. 테스트 과정 전체를 책임져야 하는 순간이고, 후퇴할 기회는 없고 앞으로만 나아갈 뿐이다. 처음에는 무서웠지만 이제는 그러한 테스트의 모든 장점이 분명해졌습니다.

테스트 관리자나 동료 테스터 등 의사소통을 위한 프록시가 없기 때문에 이전과는 전혀 다른 방식으로 전체 팀과 의사소통을 시작합니다.
프로젝트에 대한 몰입도가 엄청나게 깊어지고 모든 구성 요소에 대한 일반적이고 세부적인 정보를 얻을 수 있습니다.
개발자는 당신을 "자신이 무엇을 하고 있는지 모르는 테스트 담당자"로 보는 것이 아니라 자동화된 테스트와 특정 구성 요소에 나타나는 버그에 대한 예상을 통해 팀에 놀라운 이점을 제공하는 동등한 사람으로 간주합니다. 제품.
결과적으로 귀하는 더 효율적이고, 더 많은 자격을 갖추고, 더 많은 수요를 얻게 됩니다.

프로젝트가 성장함에 따라 나는 100% 새로운 테스터의 멘토가 되어 그들을 가르치고 내가 직접 배운 지식을 전달했습니다. 동시에, 프로젝트에 따라 경영진으로부터 항상 최고 수준의 자동 테스트 전문가를 받지는 못했고 (관심 있는 사람들을 위해) 자동화에 대해 교육하거나 일상 활동에 사용할 도구(도구)를 만들어야 했습니다. 데이터를 생성하고 시스템에 로드하기 위한 도구, 로드 테스트/안정성 테스트를 "신속하게" 수행하기 위한 도구 등).

특정 프로젝트의 예

안타깝게도 비공개 의무로 인해 제가 작업한 프로젝트에 대해 자세히 설명할 수는 없지만 프로젝트 중 하나에서 데이터 품질 엔지니어의 일반적인 작업에 대한 예를 들어보겠습니다.

프로젝트의 핵심은 이를 기반으로 머신러닝 모델 훈련을 위한 데이터를 준비하는 플랫폼을 구현하는 것입니다. 고객은 미국의 대형 제약회사였습니다. 기술적으로는 클러스터였습니다. Kubernetes, 상승 AWS EC2 여러 마이크로서비스와 기본 오픈 소스 EPAM 프로젝트가 포함된 인스턴스 - 군단, 특정 고객의 요구에 맞게 조정되었습니다(이제 프로젝트는 오다후). ETL 프로세스는 다음을 사용하여 구성되었습니다. 아파치 에어 플로우 데이터를 다음 위치에서 이동했습니다. 세일즈 포스 고객 시스템 AWS S3 버킷. 다음으로, 기계 학습 모델의 Docker 이미지가 플랫폼에 배포되었습니다. 플랫폼은 새로운 데이터에 대해 교육을 받고 REST API 인터페이스를 사용하여 비즈니스에 관심 있는 예측을 생성하고 특정 문제를 해결했습니다.

시각적으로 모든 것이 다음과 같이 보였습니다.

이 프로젝트에는 많은 기능 테스트가 있었고 기능 개발 속도와 릴리스 주기(XNUMX주 스프린트) 속도를 유지해야 하는 필요성을 고려하여 가장 중요한 구성 요소에 대한 테스트 자동화에 대해 즉시 생각해야 했습니다. 시스템. Kubernetes 기반 플랫폼 자체의 대부분은 다음에서 구현된 자동 테스트로 다루어졌습니다. 로봇 프레임 워크 + Python이지만 이를 지원하고 확장하는 것도 필요했습니다. 또한 고객의 편의를 위해 클러스터에 배포된 기계 학습 모델을 관리하고 모델 교육을 위해 데이터를 전송할 위치와 위치를 지정하는 기능을 제공하는 GUI가 생성되었습니다. 이러한 광범위한 추가에는 주로 REST API 호출과 소수의 엔드투엔드 UI 테스트를 통해 수행되는 자동화된 기능 테스트의 확장이 수반되었습니다. 이 모든 움직임의 적도 부근에서 우리는 제품 버전의 승인 테스트와 다음 릴리스의 승인과 관련하여 고객과의 커뮤니케이션을 훌륭하게 수행한 수동 테스터와 합류했습니다. 또한 새로운 전문가의 합류로 인해 우리는 작업을 문서화하고 즉시 자동화하기 어려웠던 몇 가지 매우 중요한 수동 검사를 추가할 수 있었습니다.

그리고 마지막으로 플랫폼과 그에 대한 GUI 추가 기능에서 안정성을 확보한 후 Apache Airflow DAG를 사용하여 ETL 파이프라인을 구축하기 시작했습니다. ETL 프로세스 결과를 기반으로 데이터를 확인하는 특수 Airflow DAG를 작성하여 자동화된 데이터 품질 확인이 수행되었습니다. 이 프로젝트의 일환으로 우리는 운이 좋았고 고객은 우리가 테스트한 익명화된 데이터 세트에 대한 액세스를 제공했습니다. 데이터 유형 준수 여부, 깨진 데이터 유무, 전후의 총 레코드 수, 집계를 위한 ETL 프로세스에 따른 변환 비교, 열 이름 변경 등을 한 줄씩 확인했습니다. 또한 이러한 검사는 SalesForce 외에도 MySQL과 같은 다양한 데이터 소스로 확장되었습니다.

최종 데이터 품질 검사는 이미 S3 수준에서 수행되었으며, 여기에 저장되어 기계 학습 모델 교육에 사용할 준비가 되었습니다. S3 버킷에 있는 최종 CSV 파일에서 데이터를 얻고 이를 검증하기 위해 다음을 사용하여 코드를 작성했습니다. boto3 클라이언트.

또한 고객은 데이터의 일부를 하나의 S3 버킷에 저장하고 일부는 다른 버킷에 저장해야 한다는 요구 사항도 있었습니다. 또한 이러한 정렬의 신뢰성을 확인하기 위해 추가 검사를 작성해야 했습니다.

다른 프로젝트의 일반 경험

데이터 품질 엔지니어의 가장 일반적인 활동 목록의 예:

자동화된 도구를 통해 테스트 데이터(유효무효 대소)를 준비합니다.
준비된 데이터 세트를 원본 소스에 업로드하고 사용할 준비가 되었는지 확인합니다.
특정 설정 세트를 사용하여 소스 스토리지에서 최종 또는 중간 스토리지까지 데이터 세트를 처리하기 위한 ETL 프로세스를 시작합니다(가능한 경우 ETL 작업에 대해 구성 가능한 매개변수 설정).
ETL 프로세스에서 처리된 데이터의 품질과 비즈니스 요구 사항 준수 여부를 확인합니다.

동시에 점검의 주요 초점은 원칙적으로 시스템의 데이터 흐름이 작동하고 완료되었다는 사실(기능 테스트의 일부)뿐 아니라 대부분 다음을 위한 데이터를 확인하고 검증하는 것입니다. 예상 요구 사항 준수, 이상 현상 및 기타 사항 식별.

도구

이러한 데이터 제어를 위한 기술 중 하나는 데이터 처리의 각 단계에서 체인 검사를 구성하는 것입니다. 문헌에서는 소위 "데이터 체인"(소스에서 최종 사용 지점까지 데이터 제어)이라고 합니다. 이러한 유형의 검사는 검사 SQL 쿼리를 작성하여 가장 자주 구현됩니다. 이러한 쿼리는 가능한 한 가벼워야 하며 데이터 품질의 개별 부분(테이블 메타데이터, 빈 줄, NULL, 구문 오류 - 확인에 필요한 기타 속성)을 확인해야 한다는 것이 분명합니다.

미리 만들어진(변경 불가능, 약간 변경 가능) 데이터 세트를 사용하는 회귀 테스트의 경우 자동 테스트 코드는 데이터의 품질 준수 여부를 확인하기 위해 미리 만들어진 템플릿을 저장할 수 있습니다(예상 테이블 메타데이터에 대한 설명, 행 샘플 개체 테스트 중에 무작위로 선택됩니다. 등).

또한 테스트 중에는 Apache Airflow와 같은 프레임워크를 사용하여 ETL 테스트 프로세스를 작성해야 합니다. 아파치 스파크 또는 블랙박스 클라우드 유형 도구 GCP 데이터프렙, GCP 데이터 흐름 등등. 이러한 상황으로 인해 테스트 엔지니어는 위 도구의 작동 원리에 몰두하고 기능 테스트(예: 프로젝트의 기존 ETL 프로세스)를 수행하고 이를 사용하여 데이터를 확인하는 것이 훨씬 더 효율적입니다. 특히 Apache Airflow에는 널리 사용되는 분석 데이터베이스 작업을 위해 미리 만들어진 연산자가 있습니다. 예를 들면 다음과 같습니다. GCP 빅쿼리. 가장 기본적인 사용법은 이미 설명되어 있습니다. 여기에, 반복하지 않겠습니다.

기성 솔루션 외에는 아무도 자신의 기술과 도구를 구현하는 것을 금지하지 않습니다. 이는 프로젝트뿐만 아니라 데이터 품질 엔지니어 자신에게도 도움이 될 것이며, 이를 통해 기술적 지평과 코딩 기술을 향상시킬 것입니다.

실제 프로젝트에서 작동하는 방식

"데이터 체인", ETL 및 유비쿼터스 검사에 대한 마지막 단락의 좋은 예는 실제 프로젝트 중 하나의 다음 프로세스입니다.

여기에서 다양한 데이터(당연히 당사가 준비한)가 당사 시스템의 입력 "퍼널"(유효, 무효, 혼합 등)에 들어간 다음 필터링되어 중간 저장소에 들어간 다음 다시 일련의 변환을 거칩니다. 최종 스토리지에 저장되며, 여기서 분석, 데이터 마트 구축 및 비즈니스 통찰력 검색이 수행됩니다. 이러한 시스템에서는 ETL 프로세스의 작동을 기능적으로 확인하지 않고 변환 전후의 데이터 품질과 분석 결과에 중점을 둡니다.

위 내용을 요약하자면, 제가 근무한 장소와 관계없이 모든 곳에서 다음 기능을 공유하는 데이터 프로젝트에 참여했습니다.

자동화를 통해서만 일부 사례를 테스트하고 비즈니스에 허용되는 릴리스 주기를 달성할 수 있습니다.
이러한 프로젝트의 테스터는 각 참가자에게 큰 이점(테스트 가속화, 데이터 과학자의 좋은 데이터, 초기 단계의 결함 식별)을 제공하므로 팀에서 가장 존경받는 구성원 중 하나입니다.
자체 하드웨어에서 작업하든 클라우드에서 작업하든 상관없습니다. 모든 리소스는 Hortonworks, Cloudera, Mesos, Kubernetes 등과 같은 클러스터로 추상화됩니다.
프로젝트는 마이크로서비스 접근 방식을 기반으로 구축되었으며 분산 및 병렬 컴퓨팅이 우세합니다.

데이터 품질 분야에서 테스트를 수행할 때 테스트 전문가는 자신의 전문적인 초점을 제품 코드와 사용된 도구로 전환한다는 점에 주목하고 싶습니다.

데이터 품질 테스트의 특징

또한 저는 데이터(빅 데이터) 프로젝트(시스템) 및 기타 영역에서 테스트의 다음과 같은 특징을 확인했습니다(매우 일반화되고 주관적이라는 점을 즉시 예약하겠습니다).

유용한 링크

결론

데이터 품질 매우 젊고 유망한 방향으로, 그 일부가 된다는 것은 스타트업의 일부가 된다는 것을 의미합니다. 데이터 품질 분야에 들어가면 수많은 현대적이고 수요가 많은 기술에 몰입하게 될 것입니다. 그러나 가장 중요한 것은 아이디어를 생성하고 구현할 수 있는 엄청난 기회가 열릴 것이라는 것입니다. 프로젝트뿐만 아니라 자신에게도 지속적인 개선 접근 방식을 활용하여 전문가로서 지속적으로 발전할 수 있습니다.

출처 : habr.com

크고 작은 데이터 테스터: 트렌드, 이론, 나의 이야기