Xin chào mọi người, tên tôi là Alexander và tôi là kỹ sư Chất lượng Dữ liệu, người kiểm tra chất lượng của dữ liệu. Bài viết này sẽ nói về cách tôi đạt được điều này và tại sao vào năm 2020, lĩnh vực thử nghiệm này lại nằm trên đỉnh của một làn sóng.
Xu thế toàn cầu
Thế giới ngày nay đang trải qua một cuộc cách mạng công nghệ khác, một khía cạnh của nó là việc tất cả các loại công ty sử dụng dữ liệu tích lũy để thúc đẩy bánh đà về doanh số, lợi nhuận và PR của chính họ. Có vẻ như sự hiện diện của dữ liệu (chất lượng) tốt cũng như những bộ não lành nghề có thể kiếm tiền từ dữ liệu đó (xử lý chính xác, hình dung, xây dựng mô hình học máy, v.v.), đã trở thành chìa khóa thành công cho nhiều người ngày nay. Nếu 15-20 năm trước các công ty lớn chủ yếu tham gia vào công việc chuyên sâu với việc tích lũy dữ liệu và kiếm tiền thì ngày nay đây là tình trạng của hầu hết những người tỉnh táo.
Về vấn đề này, vài năm trước, tất cả các cổng dành riêng cho tìm kiếm việc làm trên khắp thế giới đã bắt đầu tràn ngập vị trí tuyển dụng dành cho các Nhà khoa học dữ liệu, vì mọi người đều chắc chắn rằng bằng cách thuê một chuyên gia như vậy, có thể xây dựng được một siêu mẫu về học máy. , dự đoán tương lai và thực hiện một “bước nhảy vọt” cho công ty. Theo thời gian, mọi người nhận ra rằng cách tiếp cận này hầu như không bao giờ hiệu quả ở bất cứ đâu, vì không phải tất cả dữ liệu rơi vào tay các chuyên gia như vậy đều phù hợp với mô hình đào tạo.
Và các yêu cầu từ các Nhà khoa học dữ liệu bắt đầu: “Hãy mua thêm dữ liệu từ những thứ này và thứ kia…”, “Chúng tôi không có đủ dữ liệu…”, “Chúng tôi cần thêm một số dữ liệu, tốt nhất là dữ liệu chất lượng cao…” . Dựa trên những yêu cầu này, nhiều tương tác bắt đầu được xây dựng giữa các công ty sở hữu bộ dữ liệu này hoặc bộ dữ liệu khác. Đương nhiên, điều này đòi hỏi tổ chức kỹ thuật của quy trình này - kết nối với nguồn dữ liệu, tải xuống, kiểm tra xem nó đã được tải đầy đủ chưa, v.v. Số lượng các quy trình như vậy bắt đầu tăng lên và ngày nay chúng ta có nhu cầu rất lớn về một loại quy trình khác. chuyên gia - Kỹ sư chất lượng dữ liệu - những người sẽ giám sát luồng dữ liệu trong hệ thống (đường dẫn dữ liệu), chất lượng dữ liệu ở đầu vào và đầu ra, đồng thời đưa ra kết luận về tính đầy đủ, tính toàn vẹn và các đặc điểm khác của chúng.
Xu hướng dành cho các kỹ sư Chất lượng Dữ liệu đến với chúng tôi từ Hoa Kỳ, nơi mà giữa thời đại chủ nghĩa tư bản đang hoành hành, không ai sẵn sàng thua trong cuộc chiến giành dữ liệu. Dưới đây tôi đã cung cấp ảnh chụp màn hình từ hai trong số các trang tìm kiếm việc làm phổ biến nhất ở Hoa Kỳ: и — hiển thị dữ liệu tính đến ngày 17 tháng 2020 năm XNUMX về số lượng vị trí tuyển dụng đã đăng nhận được bằng cách sử dụng từ khóa: Chất lượng Dữ liệu và Nhà khoa học Dữ liệu.
Nhà khoa học dữ liệu - 21416 vị trí tuyển dụng
Chất lượng dữ liệu - 41104 vị trí tuyển dụng
Nhà khoa học dữ liệu - 404 vị trí tuyển dụng
Chất lượng Dữ liệu – Vị trí tuyển dụng năm 2020
Rõ ràng, những ngành nghề này không hề cạnh tranh với nhau. Với ảnh chụp màn hình, tôi chỉ muốn minh họa tình hình hiện tại trên thị trường lao động về các yêu cầu đối với kỹ sư Chất lượng Dữ liệu, những người hiện đang cần nhiều hơn Nhà khoa học Dữ liệu.
Vào tháng 2019 năm XNUMX, EPAM, để đáp ứng nhu cầu của thị trường CNTT hiện đại, đã tách Chất lượng Dữ liệu thành một hoạt động riêng biệt. Các kỹ sư Chất lượng Dữ liệu, trong quá trình làm việc hàng ngày của họ, quản lý dữ liệu, kiểm tra hành vi của dữ liệu trong các điều kiện và hệ thống mới, giám sát mức độ liên quan, tính đầy đủ và mức độ liên quan của dữ liệu. Với tất cả những điều này, theo nghĩa thực tế, các kỹ sư Chất lượng Dữ liệu thực sự dành rất ít thời gian cho việc kiểm tra chức năng cổ điển, NHƯNG điều này phụ thuộc rất nhiều vào dự án (tôi sẽ đưa ra một ví dụ bên dưới).
Trách nhiệm của kỹ sư Chất lượng Dữ liệu không chỉ giới hạn ở việc kiểm tra thủ công/tự động thông thường đối với “null, count và sum” trong các bảng cơ sở dữ liệu, mà còn đòi hỏi sự hiểu biết sâu sắc về nhu cầu kinh doanh của khách hàng và theo đó, khả năng chuyển đổi dữ liệu có sẵn thành thông tin hữu ích cho doanh nghiệp.
Lý thuyết chất lượng dữ liệu
Để hình dung đầy đủ hơn vai trò của một kỹ sư như vậy, chúng ta hãy tìm hiểu về mặt lý thuyết Chất lượng dữ liệu là gì.
Chất lượng dữ liệu — một trong những giai đoạn của Quản lý dữ liệu (cả thế giới mà chúng tôi sẽ để lại cho bạn tự nghiên cứu) và chịu trách nhiệm phân tích dữ liệu theo các tiêu chí sau:
Tôi nghĩ không cần phải giải mã từng điểm (về lý thuyết chúng được gọi là “thứ nguyên dữ liệu”), chúng được mô tả khá rõ ràng trong hình. Nhưng bản thân quá trình thử nghiệm không có nghĩa là sao chép nghiêm ngặt các tính năng này vào các trường hợp thử nghiệm và kiểm tra chúng. Trong Chất lượng dữ liệu, cũng như bất kỳ loại thử nghiệm nào khác, trước hết, cần phải xây dựng dựa trên các yêu cầu về chất lượng dữ liệu đã được thống nhất với những người tham gia dự án đưa ra quyết định kinh doanh.
Tùy thuộc vào dự án Chất lượng Dữ liệu, một kỹ sư có thể thực hiện các chức năng khác nhau: từ người kiểm tra tự động hóa thông thường với việc đánh giá hời hợt về chất lượng dữ liệu cho đến người tiến hành lập hồ sơ dữ liệu sâu theo các tiêu chí trên.
Mô tả rất chi tiết về Quản lý dữ liệu, Chất lượng dữ liệu và các quy trình liên quan được mô tả rõ ràng trong cuốn sách có tên "DAMA-DMBOK: Nội dung kiến thức quản lý dữ liệu: Phiên bản thứ 2". Tôi đánh giá cao cuốn sách này như một lời giới thiệu về chủ đề này (bạn sẽ tìm thấy liên kết đến nó ở cuối bài viết).
Câu chuyện của tôi
Trong ngành CNTT, tôi đã thăng tiến từ một nhân viên thử nghiệm cấp dưới ở các công ty sản phẩm lên thành Kỹ sư trưởng về chất lượng dữ liệu tại EPAM. Sau khoảng hai năm làm người thử nghiệm, tôi có niềm tin chắc chắn rằng tôi đã thực hiện hoàn toàn tất cả các loại thử nghiệm: hồi quy, chức năng, căng thẳng, tính ổn định, bảo mật, giao diện người dùng, v.v. - và đã thử một số lượng lớn các công cụ kiểm tra, có làm việc cùng lúc bằng ba ngôn ngữ lập trình: Java, Scala, Python.
Nhìn lại, tôi hiểu tại sao kỹ năng của mình lại đa dạng đến vậy—tôi đã tham gia vào các dự án lớn và nhỏ dựa trên dữ liệu. Đây là điều đã đưa tôi đến với một thế giới có nhiều công cụ và cơ hội để phát triển.
Để đánh giá cao sự đa dạng của các công cụ và cơ hội đạt được kiến thức và kỹ năng mới, chỉ cần nhìn vào hình ảnh bên dưới, minh họa những công cụ phổ biến nhất trong thế giới “Dữ liệu & AI”.
Loại minh họa này được biên soạn hàng năm bởi một trong những nhà đầu tư mạo hiểm nổi tiếng Matt Turck, người xuất thân từ lĩnh vực phát triển phần mềm. Đây vào blog của anh ấy và , nơi anh ấy làm việc với tư cách là đối tác.
Tôi phát triển chuyên môn đặc biệt nhanh chóng khi tôi là người thử nghiệm duy nhất trong dự án, hoặc ít nhất là khi bắt đầu dự án. Đó là lúc bạn phải chịu trách nhiệm về toàn bộ quá trình thử nghiệm, và bạn không có cơ hội để rút lui mà chỉ có thể tiến về phía trước. Lúc đầu, điều đó thật đáng sợ, nhưng bây giờ tôi đã thấy rõ tất cả những lợi ích của việc thử nghiệm như vậy:
- Bạn bắt đầu giao tiếp với toàn bộ nhóm hơn bao giờ hết vì không có người đại diện nào để giao tiếp: cả người quản lý kiểm tra lẫn những người kiểm tra đồng nghiệp.
- Việc đắm mình vào dự án trở nên vô cùng sâu sắc và bạn có thông tin về tất cả các thành phần, cả nói chung và chi tiết.
- Các nhà phát triển không coi bạn là “anh chàng kiểm thử không biết mình đang làm gì”, mà là một người bình đẳng, người tạo ra những lợi ích đáng kinh ngạc cho nhóm bằng các thử nghiệm tự động và dự đoán các lỗi xuất hiện trong một thành phần cụ thể của sản phẩm.
- Kết quả là bạn làm việc hiệu quả hơn, có trình độ cao hơn và có nhiều nhu cầu hơn.
Khi dự án phát triển, trong 100% trường hợp, tôi trở thành người cố vấn cho những người thử nghiệm mới, dạy họ và truyền lại kiến thức mà tôi đã tự học được. Đồng thời, tùy thuộc vào dự án, không phải lúc nào tôi cũng nhận được các chuyên gia kiểm tra ô tô cấp cao nhất từ ban quản lý và cần phải đào tạo họ về tự động hóa (dành cho những người quan tâm) hoặc tạo ra các công cụ để sử dụng trong các hoạt động hàng ngày (công cụ để tạo dữ liệu và tải chúng vào hệ thống, một công cụ để thực hiện kiểm tra tải/kiểm tra độ ổn định “nhanh chóng”, v.v.).
Ví dụ về một dự án cụ thể
Thật không may, do nghĩa vụ không tiết lộ, tôi không thể nói chi tiết về các dự án mà tôi đã làm việc, nhưng tôi sẽ đưa ra ví dụ về các nhiệm vụ điển hình của Kỹ sư chất lượng dữ liệu trên một trong các dự án.
Bản chất của dự án là triển khai một nền tảng chuẩn bị dữ liệu cho các mô hình học máy đào tạo dựa trên nền tảng đó. Khách hàng là một công ty dược phẩm lớn của Mỹ. Về mặt kỹ thuật nó là một cụm , tăng lên các phiên bản, với một số dịch vụ vi mô và dự án Nguồn mở cơ bản của EPAM - , phù hợp với nhu cầu của một khách hàng cụ thể (hiện tại dự án đã được tái sinh thành ). Các quy trình ETL được tổ chức bằng cách sử dụng và di chuyển dữ liệu từ hệ thống khách hàng tại Xô. Tiếp theo, hình ảnh Docker của mô hình học máy đã được triển khai trên nền tảng, được đào tạo trên dữ liệu mới và sử dụng giao diện API REST để đưa ra các dự đoán mà doanh nghiệp quan tâm và giải quyết các vấn đề cụ thể.
Nhìn bề ngoài, mọi thứ trông giống như thế này:
Có rất nhiều thử nghiệm chức năng trong dự án này và với tốc độ phát triển tính năng cũng như nhu cầu duy trì tốc độ của chu kỳ phát hành (chạy nước rút trong hai tuần), cần phải nghĩ ngay đến việc tự động hóa thử nghiệm các thành phần quan trọng nhất của hệ thống. Bản thân hầu hết nền tảng dựa trên Kubernetes đều được bao phủ bởi các thử nghiệm tự động được triển khai trong + Python nhưng cũng cần hỗ trợ và mở rộng chúng. Ngoài ra, để thuận tiện cho khách hàng, GUI đã được tạo để quản lý các mô hình học máy được triển khai cho cụm, cũng như khả năng chỉ định vị trí và nơi dữ liệu cần được chuyển để đào tạo các mô hình. Sự bổ sung mở rộng này kéo theo việc mở rộng thử nghiệm chức năng tự động, chủ yếu được thực hiện thông qua các lệnh gọi API REST và một số lượng nhỏ các thử nghiệm giao diện người dùng cuối-2. Xung quanh đường xích đạo của tất cả phong trào này, chúng tôi có sự tham gia của một người thử nghiệm thủ công, người đã thực hiện xuất sắc việc thử nghiệm chấp nhận các phiên bản sản phẩm và liên lạc với khách hàng về việc chấp nhận bản phát hành tiếp theo. Ngoài ra, nhờ sự xuất hiện của một chuyên gia mới, chúng tôi có thể ghi lại công việc của mình và thêm một số bước kiểm tra thủ công rất quan trọng mà khó tự động hóa ngay lập tức.
Và cuối cùng, sau khi đạt được sự ổn định từ nền tảng và tiện ích bổ sung GUI trên nền tảng đó, chúng tôi bắt đầu xây dựng quy trình ETL bằng cách sử dụng Apache Airflow DAG. Việc kiểm tra chất lượng dữ liệu tự động được thực hiện bằng cách viết các DAG luồng khí đặc biệt để kiểm tra dữ liệu dựa trên kết quả của quy trình ETL. Là một phần của dự án này, chúng tôi đã may mắn và khách hàng đã cấp cho chúng tôi quyền truy cập vào các tập dữ liệu ẩn danh mà chúng tôi đã thử nghiệm. Chúng tôi đã kiểm tra từng dòng dữ liệu để biết mức độ tuân thủ các loại, sự hiện diện của dữ liệu bị hỏng, tổng số bản ghi trước và sau, so sánh các phép biến đổi được thực hiện bởi quy trình ETL để tổng hợp, thay đổi tên cột và những thứ khác. Ngoài ra, các hoạt động kiểm tra này được chia tỷ lệ theo các nguồn dữ liệu khác nhau, chẳng hạn như SalesForce, còn có cả MySQL.
Việc kiểm tra chất lượng dữ liệu cuối cùng đã được thực hiện ở cấp S3, nơi chúng được lưu trữ và sẵn sàng sử dụng cho việc đào tạo các mô hình học máy. Để lấy dữ liệu từ tệp CSV cuối cùng nằm trên Nhóm S3 và xác thực nó, mã đã được viết bằng .
Khách hàng cũng có yêu cầu lưu trữ một phần dữ liệu trong một Nhóm S3 và một phần trong một nhóm khác. Điều này cũng yêu cầu viết các kiểm tra bổ sung để kiểm tra độ tin cậy của việc phân loại đó.
Kinh nghiệm tổng hợp từ các dự án khác
Một ví dụ về danh sách hoạt động chung nhất của kỹ sư Chất lượng Dữ liệu:
- Chuẩn bị dữ liệu thử nghiệm (hợp lệ lớn nhỏ không hợp lệ) thông qua một công cụ tự động.
- Tải tập dữ liệu đã chuẩn bị lên nguồn ban đầu và kiểm tra xem nó đã sẵn sàng để sử dụng chưa.
- Khởi chạy các quy trình ETL để xử lý một tập hợp dữ liệu từ bộ lưu trữ nguồn đến bộ lưu trữ cuối cùng hoặc trung gian bằng cách sử dụng một bộ cài đặt nhất định (nếu có thể, hãy đặt các tham số có thể định cấu hình cho tác vụ ETL).
- Xác minh dữ liệu được xử lý theo quy trình ETL về chất lượng và sự tuân thủ các yêu cầu kinh doanh.
Đồng thời, trọng tâm chính của việc kiểm tra không chỉ dựa trên thực tế là luồng dữ liệu trong hệ thống về nguyên tắc đã hoạt động và đạt đến mức hoàn thành (là một phần của kiểm tra chức năng), mà chủ yếu là kiểm tra và xác thực dữ liệu cho tuân thủ các yêu cầu dự kiến, xác định các điểm bất thường và những thứ khác.
Dụng cụ
Một trong những kỹ thuật kiểm soát dữ liệu như vậy có thể là tổ chức kiểm tra chuỗi ở từng giai đoạn xử lý dữ liệu, cái gọi là “chuỗi dữ liệu” trong tài liệu - kiểm soát dữ liệu từ nguồn đến điểm sử dụng cuối cùng. Những loại kiểm tra này thường được triển khai bằng cách viết các truy vấn SQL kiểm tra. Rõ ràng là các truy vấn như vậy phải nhẹ nhất có thể và kiểm tra từng phần chất lượng dữ liệu (siêu dữ liệu bảng, dòng trống, NULL, Lỗi cú pháp - các thuộc tính khác cần thiết để kiểm tra).
Trong trường hợp kiểm tra hồi quy sử dụng các bộ dữ liệu làm sẵn (không thể thay đổi, có thể thay đổi một chút), mã kiểm tra tự động có thể lưu trữ các mẫu làm sẵn để kiểm tra dữ liệu xem có tuân thủ chất lượng hay không (mô tả về siêu dữ liệu bảng dự kiến; các đối tượng mẫu hàng có thể được được chọn ngẫu nhiên trong quá trình thử nghiệm, v.v.).
Ngoài ra, trong quá trình thử nghiệm, bạn phải viết các quy trình thử nghiệm ETL bằng cách sử dụng các khung như Apache Airflow, hoặc thậm chí là một công cụ loại đám mây hộp đen , Và như thế. Tình huống này buộc kỹ sư kiểm tra phải đắm mình vào nguyên tắc hoạt động của các công cụ trên và thậm chí hiệu quả hơn là vừa tiến hành kiểm tra chức năng (ví dụ: các quy trình ETL hiện có trong một dự án) và sử dụng chúng để kiểm tra dữ liệu. Đặc biệt, Apache Airflow có sẵn các toán tử để làm việc với các cơ sở dữ liệu phân tích phổ biến, chẳng hạn như . Ví dụ cơ bản nhất về việc sử dụng nó đã được phác thảo , nên tôi sẽ không lặp lại nữa.
Ngoài các giải pháp làm sẵn, không ai cấm bạn thực hiện các kỹ thuật và công cụ của riêng mình. Điều này không chỉ có lợi cho dự án mà còn cho bản thân Kỹ sư chất lượng dữ liệu, người từ đó sẽ cải thiện tầm nhìn kỹ thuật và kỹ năng mã hóa của mình.
Cách thức hoạt động trên một dự án thực tế
Một minh họa điển hình cho các đoạn cuối về “chuỗi dữ liệu”, ETL và kiểm tra phổ biến là quy trình sau đây từ một trong các dự án thực tế:
Ở đây, nhiều dữ liệu khác nhau (tự nhiên, do chúng tôi chuẩn bị) nhập vào “kênh” đầu vào của hệ thống của chúng tôi: hợp lệ, không hợp lệ, hỗn hợp, v.v., sau đó chúng được lọc và kết thúc ở bộ lưu trữ trung gian, sau đó chúng lại trải qua một loạt biến đổi và được đặt trong kho lưu trữ cuối cùng, từ đó, việc phân tích, xây dựng kho dữ liệu và tìm kiếm thông tin chi tiết về doanh nghiệp sẽ được thực hiện. Trong một hệ thống như vậy, nếu không kiểm tra chức năng hoạt động của các quy trình ETL, chúng tôi tập trung vào chất lượng dữ liệu trước và sau khi chuyển đổi, cũng như đầu ra cho phân tích.
Tóm lại những điều trên, bất kể tôi làm việc ở đâu, ở đâu tôi cũng tham gia vào các dự án Dữ liệu có chung các tính năng sau:
- Chỉ thông qua tự động hóa, bạn mới có thể kiểm tra một số trường hợp và đạt được chu kỳ phát hành được doanh nghiệp chấp nhận.
- Người thử nghiệm trong một dự án như vậy là một trong những thành viên được kính trọng nhất trong nhóm, vì nó mang lại lợi ích to lớn cho mỗi người tham gia (tăng tốc thử nghiệm, dữ liệu tốt từ Nhà khoa học dữ liệu, xác định các khiếm khuyết trong giai đoạn đầu).
- Việc bạn làm việc trên phần cứng của riêng mình hay trên đám mây không quan trọng - tất cả tài nguyên đều được trừu tượng hóa thành một cụm như Hortonworks, Cloudera, Mesos, Kubernetes, v.v.
- Các dự án được xây dựng theo cách tiếp cận microservice, tính toán phân tán và song song chiếm ưu thế.
Tôi muốn lưu ý rằng khi thực hiện thử nghiệm trong lĩnh vực Chất lượng Dữ liệu, chuyên gia thử nghiệm sẽ chuyển trọng tâm chuyên môn của mình sang mã của sản phẩm và các công cụ được sử dụng.
Các tính năng đặc biệt của kiểm tra chất lượng dữ liệu
Ngoài ra, đối với bản thân tôi, tôi đã xác định những điều sau đây (tôi sẽ ngay lập tức bảo lưu rằng chúng RẤT khái quát và hoàn toàn chủ quan) các tính năng đặc biệt của thử nghiệm trong các dự án (hệ thống) Dữ liệu (Dữ liệu lớn) và các lĩnh vực khác:
Liên kết hữu ích
- Học thuyết: .
- EPAM
- Tài liệu được đề xuất dành cho kỹ sư Chất lượng Dữ liệu mới bắt đầu:
- Khóa học miễn phí trên Stepik: .
- Khóa học về LinkedIn Learning: .
- Bài viết:
- ;
- ;
- ;
- Video:
- ;
- ;
Kết luận
Chất lượng dữ liệu là một hướng đi đầy hứa hẹn còn rất trẻ, trở thành một phần của nó có nghĩa là trở thành một phần của một công ty khởi nghiệp. Khi học về Chất lượng dữ liệu, bạn sẽ được đắm mình trong một số lượng lớn các công nghệ hiện đại, theo yêu cầu, nhưng quan trọng nhất, những cơ hội to lớn sẽ mở ra để bạn tạo và thực hiện ý tưởng của mình. Bạn sẽ có thể sử dụng phương pháp cải tiến liên tục không chỉ cho dự án mà còn cho chính bạn, liên tục phát triển với tư cách là một chuyên gia.
Nguồn: www.habr.com