데이터 엔지니어 대 데이터 과학자: 차이점은 무엇일까?

데이터 과학자와 데이터 엔지니어라는 직업은 종종 혼동됩니다. 각 회사마다 데이터 작업 방식이 다르고, 분석 목표도 다르며, 어떤 전문가가 어떤 업무를 담당해야 하는지에 대한 생각도 다르기 때문에 각 회사마다 고유한 요구 사항이 있습니다. 

저희는 이 전문가들의 차이점이 무엇인지, 어떤 업무를 처리하는지, 어떤 기술을 가지고 있는지, 그리고 수입은 얼마인지 파악했습니다. 자료가 방대해서 두 개의 출판물로 나누었습니다.

첫 번째 기사에서는 교수진 책임자인 Elena Gerasimova가데이터 과학 및 분석» Netology에서 데이터 과학자와 데이터 엔지니어의 차이점과 그들이 사용하는 도구에 대해 설명합니다.

엔지니어와 과학자의 역할은 어떻게 다른가

데이터 엔지니어는 데이터베이스, 스토리지, 대용량 처리 시스템 등 데이터 인프라를 개발, 테스트, 지원하는 전문가입니다. 다른 한편으로는 분석가와 데이터 과학자가 사용할 수 있도록 데이터를 정리하고 "정리"하는, 즉 데이터 처리 파이프라인을 구축하는 역할을 합니다.

데이터 과학자는 머신 러닝 알고리즘과 신경망을 사용하여 예측(및 기타) 모델을 만들고 교육하여 기업이 숨겨진 패턴을 찾고, 미래 발전을 예측하고, 주요 비즈니스 프로세스를 최적화하도록 돕습니다.

데이터 과학자와 데이터 엔지니어의 주요 차이점은 일반적으로 목표가 다르다는 것입니다. 두 직업 모두 데이터의 접근성과 품질을 확보하기 위해 노력합니다. 하지만 데이터 과학자는 Hadoop과 같은 데이터 생태계에서 질문에 대한 답을 찾고 가설을 검증하는 반면, 데이터 엔지니어는 동일한 생태계 내 Spark 클러스터에서 데이터 과학자가 작성한 머신러닝 알고리즘을 제공하는 파이프라인을 구축합니다. 

데이터 엔지니어는 팀워크를 통해 비즈니스에 가치를 더합니다. 데이터 엔지니어의 역할은 개발자부터 보고서의 비즈니스 소비자까지 다양한 참여자를 연결하는 중요한 연결고리 역할을 하며, 마케팅 및 제품 개발부터 BI에 이르기까지 분석가의 생산성을 높이는 것입니다. 

반면, 데이터 과학자는 회사 전략에 적극적으로 참여하여 통찰력을 추출하고, 의사 결정을 내리고, 자동화 알고리즘을 구현하고, 모델링을 수행하고, 데이터에서 가치를 창출합니다.


데이터 작업은 GIGO(쓰레기 입력 - 쓰레기 출력) 원칙에 따릅니다. 분석가와 데이터 과학자가 준비되지 않고 잘못된 데이터를 다루는 경우, 아무리 정교한 분석 알고리즘을 사용하더라도 잘못된 결과가 나올 수 있습니다. 

데이터 엔지니어는 데이터 처리, 정리, 변환을 위한 파이프라인을 구축하고 데이터 과학자가 고품질 데이터로 작업할 수 있도록 하여 이 문제를 해결합니다. 

시중에는 데이터 생성부터 이사회 대시보드 출력까지 모든 단계를 포괄하는 다양한 데이터 도구가 있습니다. 이러한 도구 사용 여부는 엔지니어가 직접 결정하는 것이 중요합니다. 단순히 유행을 따르기 위해서가 아니라, 프로세스에 참여하는 다른 참여자들의 업무에 실질적인 도움을 주기 때문입니다. 

조건부: 회사에서 BI와 ETL(데이터 로딩 및 보고서 업데이트)을 서로 조화시켜야 하는 경우, 이는 데이터 엔지니어가 처리해야 할 전형적인 레거시 기반입니다(팀에 아키텍트도 포함되는 것이 좋습니다).

데이터 엔지니어의 책임

• 데이터 처리 인프라의 개발, 구축 및 유지 관리.
• 오류를 처리하고 안정적인 데이터 처리 파이프라인을 만듭니다.
• 다양한 동적 소스에서 비정형 데이터를 분석가의 작업에 필요한 형태로 가져옵니다.
• 데이터 일관성과 품질을 개선하기 위한 권장 사항을 제공합니다.
• 데이터 과학자와 데이터 분석가가 사용하는 데이터 아키텍처를 제공하고 지원합니다.
• 수십 또는 수백 대의 서버로 구성된 분산 클러스터에서 일관적이고 효율적으로 데이터를 처리하고 저장합니다.
• 실패를 견뎌낼 수 있는 간단하면서도 견고한 아키텍처를 구축하기 위해 도구의 기술적 균형을 평가합니다.
• 데이터 흐름과 관련 시스템의 제어 및 지원(모니터링 및 알림 설정).

데이터 엔지니어의 경로에는 또 다른 전문 분야가 있습니다. 바로 머신러닝 엔지니어입니다. 간단히 말해, 이러한 엔지니어는 머신러닝 모델을 산업 현장에 구현하고 활용하는 데 특화되어 있습니다. 데이터 과학자로부터 받은 모델은 연구의 일부일 뿐이며, 전투 상황에서는 작동하지 않을 수 있습니다.

데이터 과학자의 책임

• 데이터에서 특징을 추출하여 머신 러닝 알고리즘을 적용합니다.
• 다양한 머신 러닝 도구를 사용하여 데이터의 패턴을 예측하고 분류합니다.
• 알고리즘을 미세 조정하고 최적화하여 머신 러닝 알고리즘의 성능과 정확성을 개선합니다.
• 회사의 전략에 따라 검증이 필요한 "강력한" 가설을 수립합니다.

데이터 엔지니어와 데이터 과학자는 모두 회사가 추가 수익을 창출하거나 비용을 절감하는 데 도움이 되는 데이터 문화 개발에 실질적으로 기여한다는 공통점이 있습니다.

엔지니어와 과학자들은 어떤 언어와 도구를 사용하여 작업합니까?

오늘날 데이터 과학자에 대한 기대는 바뀌었습니다. 이전에는 엔지니어들이 대용량 SQL 쿼리를 작성하고, MapReduce를 직접 작성하고, Informatica ETL, Pentaho ETL, Talend와 같은 도구를 사용하여 데이터를 처리했습니다. 

2020년에는 전문가라면 Python과 최신 컴퓨팅 도구(예: Airflow)에 대한 지식이 필수적이며, 클라우드 플랫폼을 사용하는 원칙(보안 원칙을 준수하면서 하드웨어 비용을 절감하기 위해 클라우드 플랫폼을 사용)을 이해해야 합니다.

SAP, Oracle, MySQL, Redis는 대기업의 데이터 엔지니어를 위한 전통적인 도구입니다. 좋은 도구이지만 라이선스 비용이 너무 높아서 이러한 도구를 배우는 것은 산업 프로젝트에서만 의미가 있습니다. 반면, Postgres는 무료 대안으로, 무료이며 교육용으로만 적합하지 않습니다. 

역사적으로 Java와 Scala에 대한 수요는 많았지만, 기술과 접근 방식이 발전함에 따라 이러한 언어는 점점 사라지고 있습니다.

하지만 하드코어 빅데이터, 즉 Hadoop, Spark 및 기타 도구는 더 이상 데이터 엔지니어에게 필수적인 것이 아니라 기존 ETL로는 해결할 수 없는 문제를 해결하는 일종의 도구일 뿐입니다. 

언어에 대한 지식 없이도 도구를 사용하여 서비스를 제공하는 추세(예: Java에 대한 지식 없이 Hadoop을 사용하는 경우)가 있으며, 스트리밍 데이터를 처리하기 위한 기성 서비스(비디오의 음성 또는 이미지 인식)도 제공됩니다.

SAS와 SPSS의 산업용 솔루션이 인기 있는 반면, Tableau, Rapidminer, Stata, Julia도 데이터 과학자들이 현장 작업을 위해 널리 사용합니다.

분석가와 데이터 과학자만이 스스로 파이프라인을 구축할 수 있게 된 것은 불과 몇 년 전의 일입니다. 예를 들어, 지금은 비교적 간단한 스크립트를 사용하여 PostgreSQL 기반 저장소로 데이터를 보낼 수 있습니다. 

전통적으로 파이프라인과 통합 데이터 구조의 사용은 데이터 엔지니어의 책임이었습니다. 하지만 오늘날에는 관련 분야에 대한 폭넓은 역량을 갖춘 T자형 전문가를 선호하는 추세가 그 어느 때보다 강해지고 있으며, 도구 또한 끊임없이 간소화되고 있습니다.

데이터 엔지니어와 데이터 과학자가 함께 일하는 이유

엔지니어와 긴밀히 협력함으로써 데이터 과학자는 연구 측면에 집중하여 생산에 바로 투입 가능한 머신 러닝 알고리즘을 만들 수 있습니다.
엔지니어는 확장성, 데이터 재사용에 집중하고, 각 개별 프로젝트의 입력 및 출력 파이프라인이 글로벌 아키텍처와 일치하는지 확인해야 합니다.

이러한 책임 분담은 서로 다른 머신 러닝 프로젝트를 진행하는 팀 간의 일관성을 보장합니다. 

협업은 신제품을 효율적으로 개발하는 데 도움이 됩니다. 모두를 위한 서비스(글로벌 스토리지 또는 대시보드 통합)를 구축하는 것과 각 사용자의 특정 요구 사항이나 프로젝트를 구현하는 것(좁게 특화된 파이프라인, 외부 소스 연결) 간의 균형을 통해 속도와 품질을 확보할 수 있습니다. 

데이터 과학자 및 분석가와 긴밀히 협력하면 엔지니어가 분석 및 탐색 기술을 개발하여 더 나은 코드를 작성할 수 있습니다. 데이터웨어하우스와 데이터 레이크 사용자 간의 지식 공유가 개선되어 프로젝트의 민첩성이 향상되고 지속 가능한 장기적 성과가 도출됩니다.

데이터 문화를 개발하고 이를 기반으로 비즈니스 프로세스를 구축하려는 회사에서는 데이터 과학자와 데이터 엔지니어가 서로 보완하여 본격적인 데이터 분석 시스템을 구축합니다. 

다음 기사에서는 데이터 엔지니어와 데이터 과학자가 어떤 교육을 받아야 하는지, 어떤 기술을 개발해야 하는지, 그리고 시장이 어떻게 구성되어 있는지에 대해 알아보겠습니다.

Netology 편집자로부터

데이터 엔지니어 또는 데이터 과학자라는 직업을 고려하고 있다면 당사의 과정 프로그램을 수강해 보세요.

• 직업 "데이터 엔지니어".  
• 직업 "데이터 과학자".

출처 : habr.com