데이터 엔지니어 직업에서 가장 수요가 많은 기술

에 따르면 통계 2019, 데이터 엔지니어는 현재 수요가 다른 어떤 직업보다 빠르게 증가하는 직업입니다. 데이터 엔지니어는 조직에서 데이터를 처리, 변환 및 저장하는 데 사용되는 파이프라인과 데이터베이스를 생성하고 유지 관리하는 중요한 역할을 합니다. 이 직업의 대표자에게는 우선 어떤 기술이 필요합니까? 목록이 데이터 과학자에게 요구되는 목록과 다른가요? 내 기사에서이 모든 것에 대해 배울 것입니다.

어떤 기술 역량이 가장 인기가 있는지 파악하기 위해 2020년 XNUMX월 데이터 엔지니어 직위에 대한 공석을 분석했습니다. 그런 다음 결과를 데이터 과학자 직위에 대한 공석 통계와 비교했는데 몇 가지 흥미로운 차이점이 나타났습니다.

별다른 서문 없이 채용 공고에서 가장 자주 언급되는 상위 XNUMX가지 기술은 다음과 같습니다.

2020년 데이터 엔지니어 자리 공석에 대한 기술 언급

알아 내자.

데이터 엔지니어의 책임

오늘날 데이터 엔지니어가 수행하는 작업은 조직에 매우 중요합니다. 이들은 정보를 저장하고 다른 직원이 작업할 수 있는 형식으로 가져오는 일을 담당하는 사람들입니다. 데이터 엔지니어는 여러 소스에서 데이터를 스트리밍하거나 일괄 처리하는 파이프라인을 구축합니다. 그런 다음 파이프라인은 추출, 변환 및 로드 작업(즉, ETL 프로세스)을 수행하여 데이터를 향후 사용에 더 적합하게 만듭니다. 그 후, 데이터는 더 심층적인 처리를 위해 분석가와 데이터 과학자에게 제출됩니다. 마지막으로 데이터는 대시보드, 보고서 및 기계 학습 모델에서 여정을 마칩니다.

저는 현재 데이터 엔지니어의 업무에 어떤 기술이 가장 많이 요구되는지 결론을 내릴 수 있는 정보를 찾고 있었습니다.

방법

저는 세 개의 구직 사이트에서 정보를 수집했습니다. SimplyHired, 과연 и 몬스터 그리고 미국 거주자를 대상으로 한 공석 텍스트에서 '데이터 엔지니어'와 관련된 키워드는 무엇인지 살펴보았습니다. 이 작업을 위해 저는 두 개의 Python 라이브러리를 사용했습니다. 요청 и 아름다운 수프. 키워드 중에는 데이터 사이언티스트 직위에 대한 공석 분석을 위해 이전 목록에 포함된 키워드와 데이터 엔지니어 채용 제안을 읽으면서 수동으로 선택한 키워드를 모두 포함했습니다. LinkedIn은 마지막으로 데이터 수집을 시도한 후 그곳에서 금지되었기 때문에 소스 목록에 포함되지 않았습니다.

각 키워드에 대해 각 사이트의 전체 텍스트 수에서 조회수 비율을 개별적으로 계산한 다음 세 소스에 대한 평균을 계산했습니다.

조사 결과

다음은 XNUMX개 채용 사이트 모두에서 가장 높은 점수를 받은 XNUMX개의 기술 데이터 엔지니어링 용어입니다.

다음은 동일한 숫자이지만 표 형식으로 표시됩니다.

가자.

결과 개요

SQL과 Python 모두 검토된 채용 공고의 XNUMX/XNUMX 이상에 나타납니다. 먼저 연구하는 것이 이 두 가지 기술에 적합합니다. Python 데이터 작업, 웹사이트 생성, 스크립트 작성에 사용되는 매우 인기 있는 프로그래밍 언어입니다. SQL 구조적 쿼리 언어(Structured Query Language)를 나타냅니다. 이는 언어 그룹에 의해 구현된 표준을 포함하며 관계형 데이터베이스에서 데이터를 검색하는 데 사용됩니다. 오래 전에 등장했으며 저항력이 매우 높은 것으로 입증되었습니다.

공석 중 절반 정도에서 스파크가 언급됐다. 아파치 스파크 스트리밍, SQL, 머신러닝, 그래프 처리를 위한 모듈이 내장된 통합 빅데이터 분석 엔진입니다. 특히 대규모 데이터베이스를 다루는 사람들에게 인기가 높습니다.

AWS는 채용 공고의 약 45%에 나타납니다. Amazon에서 제조한 클라우드 컴퓨팅 플랫폼입니다. 모든 클라우드 플랫폼 중에서 가장 큰 시장 점유율을 차지하고 있습니다.
다음은 Java와 Hadoop입니다. 형제의 경우 40%가 조금 넘습니다. 자바 널리 사용되며 전투 테스트를 거친 언어입니다. 2019 스택 오버플로 개발자 설문조사 프로그래머들 사이에서 공포를 불러일으키는 언어 중 2020위를 차지했습니다. 이와 대조적으로 Python은 두 번째로 사랑받는 언어였습니다. Java 언어는 Oracle에서 실행되며 이에 대해 알아야 할 모든 내용은 XNUMX년 XNUMX월 공식 페이지의 이 스크린샷을 통해 이해할 수 있습니다.

마치 타임머신을 탄 것 같은
아파치 하둡 빅 데이터를 위해 서버 클러스터와 함께 MapReduce 프로그래밍 모델을 사용합니다. 이제 이 모델은 점점 더 버려지고 있습니다.

그런 다음 Hive, Scala, Kafka 및 NoSQL을 볼 수 있습니다. 이러한 각 기술은 제출된 공석의 XNUMX분의 XNUMX에서 언급됩니다. Apache Hive는 "SQL을 사용하여 분산 저장소에 있는 대규모 데이터 세트를 쉽게 읽고, 쓰고, 관리할 수 있게 해주는" 데이터 웨어하우스 소프트웨어입니다. 스칼라 – 빅데이터 작업 시 적극적으로 사용되는 프로그래밍 언어. 특히 Spark는 Scala로 만들어졌습니다. 이미 언급한 두려운 언어 순위에서 Scala는 XNUMX위를 차지했습니다. 아파치 카프카 – 스트리밍 메시지 처리를 위한 분산 플랫폼입니다. 데이터 스트리밍 수단으로 매우 인기가 높습니다.

NoSQL 데이터베이스 SQL과 대조됩니다. 비관계형, 비구조적, 수평 확장성이 있다는 점이 다릅니다. NoSQL은 어느 정도 인기를 얻었지만, 지배적인 스토리지 패러다임으로 SQL을 대체할 것이라는 예언이 나올 정도로 이 접근 방식에 대한 열풍은 끝난 것으로 보입니다.

데이터 과학자 공석 조건과 비교

다음은 데이터 과학 고용주들 사이에서 가장 일반적으로 사용되는 XNUMX가지 기술 용어입니다. 위에서 데이터 엔지니어링에 대해 설명한 것과 동일한 방식으로 이 목록을 얻었습니다.

2020년 데이터 과학자 자리 공석에서 기술에 대한 언급

총 인원을 살펴보면, 이전에 고려했던 채용에 비해 공석이 28% 더 많았습니다(12 대 013). 데이터 엔지니어보다 데이터 과학자의 공석에서 어떤 기술이 덜 일반적인지 살펴보겠습니다.

데이터 엔지니어링에서 더 인기가 있음

아래 그래프는 평균 차이가 10% 이상 또는 -10% 미만인 키워드를 보여줍니다.

데이터 엔지니어와 데이터 과학자 사이의 키워드 빈도 차이가 가장 큽니다.

AWS는 가장 큰 증가를 보여줍니다. 데이터 엔지니어링에서는 데이터 과학보다 25% 더 자주 나타납니다(각각 총 공석 수의 약 45% 및 20%). 그 차이가 눈에 띕니다!

여기에 약간 다른 표현의 동일한 데이터가 있습니다. 그래프에서 데이터 엔지니어 및 데이터 과학자 직위에 대한 공석에서 동일한 키워드에 대한 결과가 나란히 위치합니다.

데이터 엔지니어와 데이터 과학자 사이의 키워드 빈도 차이가 가장 큽니다.

제가 주목한 다음으로 가장 큰 도약은 Spark였습니다. 데이터 엔지니어는 종종 빅 데이터를 다루어야 합니다. 카프카 또한 데이터 과학자 공석 결과에 비해 20%, 즉 거의 15배 증가했습니다. 데이터 전송은 데이터 엔지니어의 주요 책임 중 하나입니다. 마지막으로 Java, NoSQL, Redshift, SQL 및 Hadoop에 대한 데이터 엔지니어링 분야에서 언급 수가 XNUMX% 더 높았습니다.

데이터 엔지니어링에서는 덜 인기 있음

이제 데이터 엔지니어 채용 시 어떤 기술이 덜 인기가 있는지 살펴보겠습니다.
데이터 사이언스 부문에 비해 가장 큰 하락세를 보인 것은 R: 그곳에서 그는 공석의 약 56%에 나타났고, 여기서는 17%에만 나타났습니다. 인상적인. R은 과학자와 통계학자들이 선호하는 프로그래밍 언어이며, 세계에서 XNUMX번째로 가장 두려운 언어입니다.

SAS 데이터 엔지니어 자리의 공석에서도 훨씬 덜 자주 발견됩니다. 차이는 14%입니다. SAS는 통계 및 데이터 작업을 위해 설계된 독점 언어입니다. 흥미로운 점: 결과로 판단 데이터 과학자를 위한 채용 공고에 대한 나의 연구, 최근에는 다른 어떤 기술보다 많은 기반을 잃었습니다.

데이터 엔지니어링과 데이터 과학 모두에서 수요가 높습니다.

두 세트의 처음 XNUMX개 위치 중 XNUMX개가 동일하다는 점에 유의해야 합니다. SQL, Python, Spark, AWS, Java, Hadoop, Hive 및 Scala는 데이터 엔지니어링 및 데이터 과학 산업 모두에서 상위 XNUMX위 안에 들었습니다. 아래 그래프에서는 데이터 엔지니어 고용주 사이에서 가장 인기 있는 XNUMX가지 기술을 볼 수 있으며, 그 옆에는 데이터 과학자의 공석률이 나와 있습니다.

추천

데이터 엔지니어링에 들어가고 싶다면 다음 기술을 숙달하는 것이 좋습니다. 대략적인 우선 순위에 따라 나열합니다.

SQL을 배워보세요. 저는 PostgreSQL이 오픈 소스이고 커뮤니티에서 매우 인기가 높으며 성장 단계에 있기 때문에 쪽으로 기울고 있습니다. My Memorable SQL 책에서 언어 사용 방법을 배울 수 있습니다. 파일럿 버전을 사용할 수 있습니다. 여기에.

가장 하드코어 수준은 아니더라도 Python을 마스터하세요. My Memorable Python은 초보자를 위해 특별히 설계되었습니다. 에서 구매하실 수 있습니다. 아마존, 전자 또는 실제 사본을 선택하거나 pdf 또는 epub 형식으로 다운로드하세요. 이 사이트에.

Python에 익숙해지면 데이터 정리 및 처리에 사용되는 Python 라이브러리인 pandas로 넘어갑니다. Python으로 작성하는 능력이 필요한 회사에서 일하는 것을 목표로 하고 있다면(그리고 이것이 대부분입니다), 기본적으로 pandas에 대한 지식이 있다고 가정할 수 있습니다. 저는 현재 팬더 작업에 대한 소개 가이드를 마무리하고 있습니다. 구독하다출시 순간을 놓치지 않도록.

마스터 AWS. 데이터 엔지니어가 되고 싶다면 클라우드 플랫폼 없이는 할 수 없으며 AWS가 가장 인기가 있습니다. 강의가 나에게 많은 도움이 되었다 리눅스 아카데미내가 공부할 때 Google Cloud의 데이터 엔지니어링, AWS에도 좋은 자료가 있을 거라고 생각합니다.

이미 이 전체 목록을 완료했고 고용주의 눈에 데이터 엔지니어로 더욱 성장하고 싶다면 빅 데이터 작업을 위해 Apache Spark를 추가하는 것이 좋습니다. 데이터 과학자 공석에 대한 내 연구에서 관심이 감소한 것으로 나타났지만 데이터 엔지니어 사이에서는 여전히 거의 모든 공석에 관심이 나타납니다.

마지막에

데이터 엔지니어에게 가장 수요가 많은 기술에 대한 이 개요가 도움이 되었기를 바랍니다. 분석가 직업이 어떻게 진행되고 있는지 궁금하다면 다음을 읽어보세요. 내 다른 기사. 행복한 엔지니어링!

출처 : habr.com