데이터 엔지니어와 데이터 과학자: 차이점은 무엇인가요?

데이터 과학자와 데이터 엔지니어의 직업은 종종 혼동됩니다. 각 회사는 데이터 작업에 대한 고유한 특성, 분석 목적이 다르며 전문가가 작업의 어느 부분을 처리해야 하는지에 대한 아이디어가 다르므로 각 회사마다 고유한 요구 사항이 있습니다. 

이들 전문가의 차이점이 무엇인지, 그들이 해결하는 비즈니스 문제는 무엇인지, 어떤 기술을 보유하고 있는지, 수입은 얼마나 되는지 알아봅시다. 자료가 너무 많아서 두 권의 출판물로 나눴습니다.

첫 번째 기사에서는 교수진인 Elena Gerasimova가 “데이터 과학 및 분석" Netology에서는 데이터 과학자와 데이터 엔지니어의 차이점과 그들이 사용하는 도구에 대해 설명합니다.

엔지니어와 과학자의 역할은 어떻게 다른가

데이터 엔지니어는 데이터베이스, 스토리지, 대량 처리 시스템 등 데이터 인프라를 개발, 테스트 및 유지 관리하는 전문가입니다. 반면에 이는 분석가와 데이터 과학자가 사용할 데이터를 정리하고 "조합"하는 사람, 즉 데이터 처리 파이프라인을 만드는 사람입니다.

데이터 과학자는 기계 학습 알고리즘과 신경망을 사용하여 예측(및 기타) 모델을 생성하고 교육하여 기업이 숨겨진 패턴을 찾고 개발을 예측하며 주요 비즈니스 프로세스를 최적화하도록 돕습니다.

데이터 과학자와 데이터 엔지니어의 주요 차이점은 일반적으로 목표가 다르다는 것입니다. 두 가지 모두 데이터의 접근성과 고품질을 보장하기 위해 노력합니다. 그러나 데이터 과학자는 자신의 질문에 대한 답을 찾고 데이터 생태계(예: Hadoop 기반)에서 가설을 테스트하며, 데이터 엔지니어는 동일한 클러스터 내의 Spark 클러스터에서 데이터 과학자가 작성한 기계 학습 알고리즘을 서비스하기 위한 파이프라인을 만듭니다. 생태계. 

데이터 엔지니어는 팀의 일원으로 작업하여 비즈니스에 가치를 제공합니다. 그 임무는 개발자부터 보고의 비즈니스 소비자에 이르기까지 다양한 참가자 간의 중요한 연결 고리 역할을 하고, 마케팅 및 제품에서 BI에 이르기까지 분석가의 생산성을 높이는 것입니다. 

반대로 데이터 과학자는 회사의 전략에 적극적으로 참여하고 통찰력을 추출하고, 의사 결정을 내리고, 자동화 알고리즘을 구현하고, 데이터에서 가치를 모델링하고 생성합니다.


데이터 작업에는 GIGO(garbage in-garbage out) 원칙이 적용됩니다. 분석가와 데이터 과학자가 준비되지 않고 잠재적으로 부정확할 수 있는 데이터를 다루는 경우 가장 정교한 분석 알고리즘을 사용해도 결과가 부정확해집니다. 

데이터 엔지니어는 데이터 처리, 정리, 변환을 위한 파이프라인을 구축하고 데이터 과학자가 고품질 데이터로 작업할 수 있도록 하여 이 문제를 해결합니다. 

데이터 표시부터 출력, 이사회 대시보드까지 모든 단계를 포괄하는 데이터 작업을 위한 다양한 도구가 시장에 나와 있습니다. 그리고 엔지니어가 사용하기로 결정하는 것이 중요합니다. 유행하기 때문이 아니라 프로세스에서 다른 참가자의 작업에 실제로 도움이 될 것이기 때문입니다. 

일반적으로 회사가 데이터 로드 및 보고서 업데이트와 같이 BI와 ETL을 연결해야 하는 경우 데이터 엔지니어가 처리해야 하는 일반적인 레거시 기반은 다음과 같습니다(팀에 설계자가 있으면 좋습니다).

데이터 엔지니어의 책임

• 데이터 처리 인프라의 개발, 구축 및 유지 관리.
• 오류를 처리하고 안정적인 데이터 처리 파이프라인을 생성합니다.
• 다양한 동적 소스의 비정형 데이터를 분석가의 작업에 필요한 형식으로 가져옵니다.
• 데이터 일관성과 품질을 개선하기 위한 권장 사항을 제공합니다.
• 데이터 과학자 및 데이터 분석가가 사용하는 데이터 아키텍처를 제공하고 유지 관리합니다.
• 수십 또는 수백 대의 서버로 구성된 분산 클러스터에서 데이터를 일관되고 효율적으로 처리하고 저장합니다.
• 중단에도 살아남을 수 있는 단순하지만 강력한 아키텍처를 만들기 위해 도구의 기술적 장단점을 평가합니다.
• 데이터 흐름 및 관련 시스템의 제어 및 지원(모니터링 및 경고 설정)

데이터 엔지니어 궤적에는 ML 엔지니어라는 또 다른 전문 분야가 있습니다. 간단히 말해서, 이들 엔지니어는 기계 학습 모델을 산업 구현 및 사용에 적용하는 일을 전문으로 합니다. 종종 데이터 과학자로부터 받은 모델은 연구의 일부이므로 전투 상황에서는 작동하지 않을 수 있습니다.

데이터 과학자의 책임

• 머신러닝 알고리즘을 적용하기 위해 데이터에서 특징을 추출합니다.
• 다양한 기계 학습 도구를 사용하여 데이터의 패턴을 예측하고 분류합니다.
• 알고리즘을 미세 조정하고 최적화하여 기계 학습 알고리즘의 성능과 정확성을 향상시킵니다.
• 테스트가 필요한 회사의 전략에 따라 "강력한" 가설을 형성합니다.

데이터 엔지니어와 데이터 사이언티스트는 모두 데이터 문화 발전에 가시적인 기여를 공유하며, 이를 통해 기업은 추가 수익을 창출하거나 비용을 절감할 수 있습니다.

엔지니어와 과학자는 어떤 언어와 도구를 사용합니까?

오늘날 데이터 과학자에 대한 기대치는 바뀌었습니다. 이전에는 엔지니어들이 대규모 SQL 쿼리를 수집하고 MapReduce를 수동으로 작성했으며 Informatica ETL, Pentaho ETL, Talend와 같은 도구를 사용하여 데이터를 처리했습니다. 

2020년에 전문가는 Python 및 최신 계산 도구(예: Airflow)에 대한 지식과 클라우드 플랫폼 작업 원칙(보안 원칙을 준수하면서 하드웨어 비용을 절약하기 위해 사용)에 대한 이해 없이는 할 수 없습니다.

SAP, Oracle, MySQL, Redis는 대기업의 데이터 엔지니어를 위한 전통적인 도구입니다. 그것들은 훌륭하지만 라이선스 비용이 너무 높기 때문에 이를 사용하는 방법을 배우는 것은 산업 프로젝트에서만 의미가 있습니다. 동시에 Postgres 형태의 무료 대안이 있습니다. 이는 무료이며 교육에만 적합합니다. 

역사적으로 Java 및 Scala에 대한 요청이 자주 발견되었지만 기술과 접근 방식이 발전함에 따라 이러한 언어는 백그라운드로 사라집니다.

그러나 하드코어 BigData: Hadoop, Spark 및 나머지 동물원은 더 이상 데이터 엔지니어의 전제 조건이 아니라 기존 ETL로 해결할 수 없는 문제를 해결하기 위한 일종의 도구입니다. 

작성된 언어에 대한 지식 없이 도구를 사용하는 서비스(예: Java에 대한 지식 없이 Hadoop)와 스트리밍 데이터 처리를 위한 기성 서비스(음성 인식 또는 비디오 이미지 인식)를 제공하는 것이 추세입니다. ).

SAS 및 SPSS의 산업용 솔루션이 널리 사용되고 있으며 Tableau, Rapidminer, Stata 및 Julia도 데이터 과학자가 로컬 작업에 널리 사용합니다.

파이프라인 자체를 구축하는 기능은 불과 몇 년 전에 분석가와 데이터 과학자에게 나타났습니다. 예를 들어 비교적 간단한 스크립트를 사용하여 PostgreSQL 기반 스토리지에 데이터를 보내는 것이 이미 가능합니다. 

일반적으로 파이프라인과 통합 데이터 구조의 사용은 여전히 ​​데이터 엔지니어의 책임입니다. 하지만 오늘날에는 도구가 지속적으로 단순화되고 있기 때문에 관련 분야에서 광범위한 역량을 갖춘 T자형 전문가의 추세가 그 어느 때보다 강력합니다.

데이터 엔지니어와 데이터 과학자가 함께 일하는 이유

데이터 과학자는 엔지니어와 긴밀하게 협력하여 연구 측면에 집중하여 생산 준비가 된 기계 학습 알고리즘을 만들 수 있습니다.
그리고 엔지니어는 확장성, 데이터 재사용 및 각 개별 프로젝트의 데이터 입력 및 출력 파이프라인이 글로벌 아키텍처를 준수하는지 확인하는 데 중점을 두어야 합니다.

이러한 책임 분리는 다양한 기계 학습 프로젝트를 진행하는 팀 간의 일관성을 보장합니다. 

협업은 새로운 제품을 효율적으로 만드는 데 도움이 됩니다. 속도와 품질은 모든 사람을 위한 서비스 생성(글로벌 스토리지 또는 대시보드 통합)과 각 특정 요구 사항 또는 프로젝트 구현(고도로 전문화된 파이프라인, 외부 소스 연결) 간의 균형을 통해 달성됩니다. 

데이터 과학자 및 분석가와 긴밀히 협력하면 엔지니어가 더 나은 코드를 작성하기 위한 분석 및 연구 기술을 개발하는 데 도움이 됩니다. 웨어하우스 및 데이터 레이크 사용자 간의 지식 공유가 향상되어 프로젝트의 민첩성이 향상되고 보다 지속 가능한 장기 결과를 제공할 수 있습니다.

데이터로 작업하고 이를 기반으로 비즈니스 프로세스를 구축하는 문화를 조성하려는 기업에서는 데이터 과학자와 데이터 엔지니어가 서로를 보완하고 완전한 데이터 분석 시스템을 만듭니다. 

다음 기사에서는 데이터 엔지니어와 데이터 과학자가 어떤 종류의 교육을 받아야 하는지, 개발하려면 어떤 기술이 필요한지, 시장이 어떻게 작동하는지에 대해 이야기하겠습니다.

Netology의 편집자로부터

데이터 엔지니어 또는 데이터 과학자라는 직업을 찾고 있다면 다음 과정 프로그램을 공부해 보시기 바랍니다.

• 직업 "데이터 엔지니어".  
• 직업 "데이터 과학자".

출처 : habr.com