Nghề Data Scientist và Data Engineer thường bị nhầm lẫn. Mỗi công ty có những đặc thù riêng khi làm việc với dữ liệu, các mục tiêu phân tích khác nhau và ý tưởng khác nhau về việc chuyên gia nào nên tham gia vào phần công việc nào, do đó, mỗi công ty đều có những yêu cầu riêng.
Chúng tôi tìm hiểu sự khác biệt giữa các chuyên gia này là gì, họ giải quyết những nhiệm vụ kinh doanh nào, họ có những kỹ năng gì và họ kiếm được bao nhiêu. Tài liệu hóa ra rất lớn, vì vậy nó được chia thành hai ấn phẩm.
Trong bài báo đầu tiên, Elena Gerasimova, trưởng khoa "” trong Netology, cho biết sự khác biệt giữa Nhà khoa học dữ liệu và Kỹ sư dữ liệu và họ làm việc với những công cụ nào.
Vai trò của kỹ sư và nhà khoa học khác nhau như thế nào?
Một kỹ sư dữ liệu là một chuyên gia, một mặt, phát triển, kiểm tra và duy trì cơ sở hạ tầng để làm việc với dữ liệu: cơ sở dữ liệu, kho lưu trữ và hệ thống xử lý hàng loạt. Mặt khác, đây là người dọn dẹp và “lược” dữ liệu để các nhà phân tích và nhà khoa học dữ liệu sử dụng, tức là tạo ra các đường ống xử lý dữ liệu.
Nhà khoa học dữ liệu tạo và đào tạo các mô hình dự đoán (và hơn thế nữa) bằng cách sử dụng thuật toán máy học và mạng thần kinh, giúp doanh nghiệp tìm ra các mẫu ẩn, dự đoán sự phát triển và tối ưu hóa các quy trình kinh doanh chính.
Sự khác biệt chính giữa Nhà khoa học dữ liệu và Kỹ sư dữ liệu là họ thường có các mục tiêu khác nhau. Cả hai đều hoạt động để giữ cho dữ liệu có thể truy cập được và có chất lượng cao. Nhưng Nhà khoa học dữ liệu tìm câu trả lời cho các câu hỏi của mình và kiểm tra các giả thuyết trong hệ sinh thái dữ liệu (ví dụ: dựa trên Hadoop) và Kỹ sư dữ liệu tạo một đường dẫn dịch vụ cho thuật toán học máy do nhà khoa học dữ liệu viết trong cụm Spark trong cùng một hệ sinh thái dữ liệu. hệ sinh thái.
Kỹ sư dữ liệu mang lại giá trị cho doanh nghiệp bằng cách làm việc theo nhóm. Nhiệm vụ của nó là hoạt động như một liên kết quan trọng giữa những người tham gia khác nhau - từ nhà phát triển đến người dùng báo cáo trong doanh nghiệp - và tăng năng suất của các nhà phân tích - từ tiếp thị và sản phẩm đến BI.
Mặt khác, Nhà khoa học dữ liệu tham gia tích cực vào chiến lược của công ty và trích xuất thông tin chi tiết, đưa ra quyết định, triển khai các thuật toán tự động hóa, lập mô hình và tạo giá trị từ dữ liệu.
Làm việc với dữ liệu tuân theo nguyên tắc GIGO (rác vào - rác ra): nếu các nhà phân tích và nhà khoa học dữ liệu xử lý dữ liệu chưa được chuẩn bị trước và có khả năng không chính xác, thì kết quả của ngay cả các thuật toán phân tích tinh vi nhất cũng sẽ không chính xác.
Các kỹ sư dữ liệu giải quyết vấn đề này bằng cách xây dựng các đường ống để xử lý, làm sạch và chuyển đổi dữ liệu, đồng thời cho phép nhà khoa học dữ liệu làm việc với dữ liệu chất lượng cao.
Có rất nhiều công cụ dữ liệu trên thị trường bao gồm từng giai đoạn: từ xuất hiện dữ liệu đến đầu ra cho đến bảng điều khiển dành cho ban giám đốc. Và điều quan trọng là kỹ sư đưa ra quyết định sử dụng chúng, không phải vì nó là mốt, mà vì anh ta sẽ thực sự giúp đỡ những người tham gia khác trong quá trình làm việc của họ.
Có điều kiện: nếu một công ty cần kết bạn với BI và ETL - tải dữ liệu và cập nhật báo cáo, thì đây là nền tảng kế thừa điển hình mà Kỹ sư dữ liệu sẽ phải xử lý (thật tốt nếu có một kiến trúc sư trong nhóm bên cạnh anh ta) .
Trách nhiệm của một kỹ sư dữ liệu
- Phát triển, xây dựng và bảo trì cơ sở hạ tầng để làm việc với dữ liệu.
- Xử lý lỗi và xây dựng các đường ống xử lý dữ liệu mạnh mẽ.
- Đưa dữ liệu phi cấu trúc từ nhiều nguồn động khác nhau về dạng cần thiết cho công việc của các nhà phân tích.
- Cung cấp các khuyến nghị để cải thiện tính nhất quán và chất lượng của dữ liệu.
- Cung cấp và duy trì kiến trúc dữ liệu được sử dụng bởi các nhà khoa học dữ liệu và nhà phân tích dữ liệu.
- Xử lý và lưu trữ dữ liệu một cách nhất quán và hiệu quả trong một cụm phân tán gồm hàng chục hoặc hàng trăm máy chủ.
- Đánh giá sự đánh đổi kỹ thuật của các công cụ để tạo ra các kiến trúc đơn giản nhưng mạnh mẽ có thể tồn tại sau thất bại.
- Kiểm soát và hỗ trợ các luồng dữ liệu và các hệ thống liên quan (thiết lập giám sát và cảnh báo).
Có một chuyên môn khác trong quỹ đạo Kỹ sư dữ liệu - kỹ sư ML. Nói tóm lại, những kỹ sư này chuyên đưa các mô hình học máy vào áp dụng và sử dụng trong công nghiệp. Thông thường, mô hình nhà khoa học dữ liệu là một phần của nghiên cứu và có thể không hoạt động trong chiến đấu.
Trách nhiệm của một nhà khoa học dữ liệu
- Trích xuất các tính năng từ dữ liệu để áp dụng các thuật toán học máy.
- Sử dụng các công cụ học máy khác nhau để dự đoán và phân loại các mẫu trong dữ liệu.
- Cải thiện hiệu suất và độ chính xác của các thuật toán học máy bằng cách tinh chỉnh và tối ưu hóa các thuật toán.
- Hình thành các giả thuyết "mạnh mẽ" phù hợp với chiến lược của công ty, cần được kiểm tra.
Cả Kỹ sư dữ liệu và Nhà khoa học dữ liệu đều đóng góp hữu hình vào việc phát triển văn hóa làm việc với dữ liệu, qua đó công ty có thể tăng lợi nhuận hoặc giảm chi phí.
Các kỹ sư và nhà khoa học làm việc với những ngôn ngữ và công cụ nào?
Ngày nay, kỳ vọng từ các nhà khoa học dữ liệu đã thay đổi. Trước đây, các kỹ sư xây dựng các truy vấn SQL lớn, viết MapReduce thủ công và xử lý dữ liệu bằng các công cụ như Informatica ETL, Pentaho ETL, Talend.
Vào năm 2020, một chuyên gia không thể thiếu kiến thức về Python và các công cụ điện toán hiện đại (ví dụ: Airflow), hiểu biết về các nguyên tắc làm việc với nền tảng đám mây (sử dụng chúng để tiết kiệm phần cứng, đồng thời tuân thủ các nguyên tắc bảo mật).
SAP, Oracle, MySQL, Redis là những công cụ kỹ sư dữ liệu truyền thống trong các công ty lớn. Chúng tốt, nhưng chi phí giấy phép quá cao nên việc học cách làm việc với chúng trong các dự án công nghiệp chỉ có ý nghĩa. Đồng thời, có một giải pháp thay thế miễn phí dưới dạng Postgres - nó miễn phí và phù hợp không chỉ cho việc học.
Trong lịch sử, người ta thường gặp phải yêu cầu về Java và Scala, mặc dù khi các công nghệ và cách tiếp cận phát triển, những ngôn ngữ này sẽ mờ dần trong nền.
Tuy nhiên, BigData khó tính: Hadoop, Spark và phần còn lại của sở thú không còn là điều kiện tiên quyết đối với một kỹ sư dữ liệu mà là một loại công cụ để giải quyết các vấn đề mà ETL truyền thống không thể giải quyết được.
Xu hướng là các dịch vụ sử dụng các công cụ mà không cần biết ngôn ngữ mà chúng được viết (ví dụ: Hadoop mà không cần biết về Java), cũng như cung cấp các dịch vụ làm sẵn để xử lý dữ liệu truyền phát (nhận dạng giọng nói hoặc hình ảnh trên video).
Các giải pháp công nghiệp từ SAS và SPSS rất phổ biến, trong khi Tableau, Rapidminer, Stata và Julia cũng được các nhà khoa học dữ liệu sử dụng rộng rãi cho các nhiệm vụ cục bộ.
Các nhà phân tích và nhà khoa học dữ liệu đã có cơ hội tự xây dựng các đường ống chỉ vài năm trước: ví dụ: đã có thể gửi dữ liệu đến bộ lưu trữ dựa trên PostgreSQL bằng các tập lệnh tương đối đơn giản.
Thông thường, việc sử dụng đường ống và cấu trúc dữ liệu tích hợp được giao cho các kỹ sư dữ liệu. Nhưng ngày nay, xu hướng dành cho các chuyên gia hình chữ T mạnh hơn bao giờ hết - với năng lực rộng trong các lĩnh vực liên quan, bởi vì các công cụ liên tục được đơn giản hóa.
Tại sao Kỹ sư dữ liệu và Nhà khoa học dữ liệu làm việc cùng nhau
Bằng cách hợp tác chặt chẽ với các kỹ sư, Nhà khoa học dữ liệu có thể tập trung vào khía cạnh nghiên cứu, xây dựng các thuật toán máy học sẵn sàng hoạt động.
Và các kỹ sư nên tập trung vào khả năng mở rộng, tái sử dụng dữ liệu và đảm bảo rằng các quy trình nhập và xuất dữ liệu trong từng dự án riêng lẻ tuân thủ kiến trúc toàn cầu.
Sự phân chia nhiệm vụ này đảm bảo tính nhất quán giữa các nhóm làm việc trên các dự án máy học khác nhau.
Hợp tác giúp tạo ra sản phẩm mới một cách hiệu quả. Tốc độ và chất lượng đạt được thông qua sự cân bằng giữa việc tạo dịch vụ cho mọi người (tích hợp lưu trữ toàn cầu hoặc bảng điều khiển) và việc triển khai từng nhu cầu hoặc dự án cụ thể (đường ống chuyên môn hóa cao, kết nối các nguồn bên ngoài).
Hợp tác chặt chẽ với các nhà khoa học và nhà phân tích dữ liệu giúp các kỹ sư phát triển kỹ năng phân tích và nghiên cứu để viết mã tốt hơn. Chia sẻ kiến thức được cải thiện giữa những người dùng kho dữ liệu và hồ dữ liệu, giúp các dự án trở nên linh hoạt hơn và mang lại kết quả lâu dài bền vững hơn.
Trong các công ty hướng đến phát triển văn hóa làm việc với dữ liệu và xây dựng các quy trình kinh doanh dựa trên dữ liệu đó, Nhà khoa học dữ liệu và Kỹ sư dữ liệu bổ sung cho nhau và tạo ra một hệ thống phân tích dữ liệu hoàn chỉnh.
Trong bài viết tiếp theo, chúng ta sẽ nói về loại hình giáo dục mà Kỹ sư dữ liệu và Nhà khoa học dữ liệu nên có, những kỹ năng họ cần phát triển và cách thức hoạt động của thị trường.
Từ các biên tập viên của Netology
Nếu bạn đang tìm kiếm nghề Kỹ sư dữ liệu hoặc Nhà khoa học dữ liệu, chúng tôi mời bạn nghiên cứu các chương trình của các khóa học của chúng tôi:
- Nghề nghiệp "'.
- Nghề nghiệp "'.
Nguồn: www.habr.com