데이터 엔지니어는 누구이며, 어떻게 될 수 있나요?

다시 한번 안녕하세요! 기사 제목이 그 자체로 말해줍니다. 강좌 시작을 앞두고 데이터 엔지니어 데이터 엔지니어가 누구인지 이해하는 것이 좋습니다. 기사에는 유용한 링크가 많이 있습니다. 즐거운 독서 되세요.

데이터 엔지니어링의 물결을 붙잡고 심연에 빠지지 않도록 하는 방법에 대한 간단한 가이드입니다.

요즘에는 누구나 데이터 사이언티스트가 되고 싶어 하는 것 같습니다. 하지만 데이터 엔지니어링은 어떻습니까? 본질적으로 이는 데이터 분석가와 데이터 과학자의 일종의 하이브리드입니다. 데이터 엔지니어는 일반적으로 워크플로 관리, 파이프라인 처리, ETL 프로세스를 담당합니다.. 이러한 기능의 중요성으로 인해 이는 현재 적극적으로 추진력을 얻고 있는 또 다른 인기 있는 전문 전문 용어입니다.

높은 급여와 막대한 수요는 이 직업을 매우 매력적으로 만드는 작은 부분일 뿐입니다! 영웅 대열에 합류하고 싶다면 학습을 시작하기에 너무 늦은 때란 없습니다. 이 게시물에서는 첫 번째 단계를 수행하는 데 도움이 되는 모든 필수 정보를 수집했습니다.

그럼 시작합시다!

데이터 엔지니어링이란 무엇입니까?

솔직히 이보다 더 나은 설명은 없습니다.

“과학자들은 새로운 별을 발견할 수는 있지만 창조할 수는 없습니다. 그 사람은 엔지니어에게 그 일을 해달라고 부탁해야 할 겁니다."

–고든 린제이 글렉

따라서 데이터 엔지니어의 역할은 매우 중요합니다.

이름에서 알 수 있듯이 데이터 엔지니어링은 데이터, 즉 전달, 저장 및 처리와 관련이 있습니다. 따라서 엔지니어의 주요 임무는 안정적인 데이터 인프라를 제공하는 것입니다. AI 요구 계층 구조를 살펴보면 데이터 엔지니어링은 처음 2~3단계를 차지합니다. 수집, 이동 및 저장, 데이터 준비.

데이터 엔지니어는 어떤 일을 하나요?

빅데이터의 등장으로 책임 범위가 크게 바뀌었습니다. 이전에는 이러한 전문가가 Informatica ETL, Pentaho ETL, Talend와 같은 도구를 사용하여 대규모 SQL 쿼리와 정제된 데이터를 작성했다면 이제는 데이터 엔지니어에 대한 요구 사항이 증가했습니다.

데이터 엔지니어 자리에 공석이 있는 대부분의 회사에는 다음과 같은 요구 사항이 있습니다.

• SQL과 Python에 대한 지식이 뛰어납니다.
• 클라우드 플랫폼, 특히 Amazon Web Services에 대한 경험.
• Java/Scala에 대한 지식이 있으면 우대합니다.
• SQL 및 NoSQL 데이터베이스(데이터 모델링, 데이터 웨어하우징)에 대한 이해가 뛰어납니다.

명심하세요, 이것들은 단지 필수사항일 뿐입니다. 이 목록에서 데이터 엔지니어는 소프트웨어 개발 및 백엔드 분야의 전문가라고 가정할 수 있습니다.
예를 들어, 회사가 다양한 소스에서 대량의 데이터를 생성하기 시작하면 데이터 엔지니어로서 귀하의 임무는 정보 수집, 처리 및 저장을 구성하는 것입니다.

이 경우 사용되는 도구 목록은 다를 수 있으며 이는 모두 이 데이터의 양, 수신 속도 및 이질성에 따라 다릅니다. 대부분의 회사는 빅 데이터를 전혀 다루지 않으므로 중앙 집중식 저장소, 소위 데이터 웨어하우스로 데이터를 공급하는 작은 스크립트 세트와 함께 SQL 데이터베이스(PostgreSQL, MySQL 등)를 사용할 수 있습니다. 창고.

Google, Amazon, Facebook 또는 Dropbox와 같은 거대 IT 기업은 Python, Java 또는 Scala에 대한 지식이라는 더 높은 요구 사항을 가지고 있습니다.

• 빅데이터 경험: Hadoop, Spark, Kafka.
• 알고리즘 및 데이터 구조에 대한 지식.
• 분산 시스템의 기본 사항을 이해합니다.
• Tableau 또는 ElasticSearch와 같은 데이터 시각화 도구에 대한 경험이 있으면 도움이 될 것입니다.

즉, 대용량 데이터 처리, 즉 부하가 높은 환경에서 데이터를 처리하는 방향으로의 분명한 변화가 있습니다. 이러한 회사에서는 시스템 내결함성에 대한 요구 사항이 증가했습니다.

데이터 엔지니어 대. 데이터 과학자

좋아요, 그것은 간단하고 재미있는 비교였습니다(개인적인 것은 아닙니다). 그러나 실제로는 훨씬 더 복잡합니다.

먼저, 데이터 과학자와 데이터 엔지니어의 역할과 기술을 설명하는 데 많은 모호함이 있다는 점을 알아야 합니다. 즉, 성공적인 데이터 엔지니어가 되기 위해 어떤 기술이 필요한지 쉽게 혼란스러울 수 있습니다. 물론 두 역할 모두에 겹치는 특정 기술이 있습니다. 그러나 정반대의 기술도 많이 있습니다.

데이터 과학은 진지한 사업이지만 실무자가 스스로 분석을 수행할 수 있는 기능적 데이터 과학의 세계로 나아가고 있습니다. 데이터 파이프라인과 통합 데이터 구조를 활성화하려면 데이터 과학자가 아닌 데이터 엔지니어가 필요합니다.

데이터 엔지니어가 데이터 과학자보다 수요가 더 많나요?

- 네, 당근 케이크를 만들기 전에 먼저 당근을 수확하고, 껍질을 벗기고, 재고를 확보해야 하기 때문이죠!

데이터 엔지니어는 어떤 데이터 과학자보다 프로그래밍을 더 잘 이해하지만 통계에 관해서는 그 반대입니다.

하지만 데이터 엔지니어의 장점은 다음과 같습니다.

그/그녀가 없으면 데이터 과학자로부터 얻은, 어떻게든 결과를 생성하는 Python 파일의 끔찍한 품질 코드 조각으로 구성되는 프로토타입 모델의 가치는 XNUMX이 되는 경향이 있습니다.

데이터 엔지니어가 없으면 이 코드는 결코 프로젝트가 될 수 없으며 어떤 비즈니스 문제도 효과적으로 해결될 수 없습니다. 데이터 엔지니어는 이 모든 것을 제품으로 바꾸려고 노력하고 있습니다.

데이터 엔지니어가 알아야 할 기본 정보

따라서 이 직업이 당신에게 빛을 가져다주고 당신이 열정적이라면, 당신은 그것을 배울 수 있고, 필요한 모든 기술을 습득하고 데이터 엔지니어링 분야의 진정한 록스타가 될 수 있습니다. 그리고 그렇습니다. 프로그래밍 기술이나 기타 기술 지식이 없어도 이 작업을 수행할 수 있습니다. 어렵지만 가능합니다!

첫 번째 단계는 무엇입니까?

무엇이 무엇인지에 대한 일반적인 아이디어가 있어야합니다.

먼저 데이터 엔지니어링(Data Engineering)은 컴퓨터 과학을 말합니다. 보다 구체적으로 효율적인 알고리즘과 데이터 구조를 이해해야 합니다. 둘째, 데이터 엔지니어는 데이터를 다루기 때문에 데이터베이스의 원리와 그 기반이 되는 구조를 이해하는 것이 필요합니다.

예를 들어, 기존 B-트리 SQL 데이터베이스는 B-트리 데이터 구조를 기반으로 하며 최신 분산 저장소에서는 LSM-트리 및 기타 해시 테이블 수정을 기반으로 합니다.

*이 단계는 훌륭한 기사를 기반으로 합니다. 아딜리아 카슈타모바. 그러니 러시아어를 아시는 분은 이 작가를 지지하시고 읽어보세요. 그의 게시물.

1. 알고리즘 및 데이터 구조

올바른 데이터 구조를 사용하면 알고리즘 성능이 크게 향상될 수 있습니다. 이상적으로는 우리 모두가 학교에서 데이터 구조와 알고리즘에 대해 배워야 하지만 이는 거의 다루어지지 않습니다. 어쨌든 친해지기에 너무 늦은 때는 없습니다.
데이터 구조와 알고리즘 학습을 위해 제가 가장 좋아하는 무료 강좌는 다음과 같습니다.

• 단순한 것에서 복잡한 것까지: 데이터 구조(Udemy)
• 알고리즘, XNUMX부(Coursera)
• 알고리즘, XNUMX부(Coursera)

또한 알고리즘에 대한 Thomas Corman의 고전적인 작업도 잊지 마세요. 알고리즘 소개. 기억을 되살려야 할 때 완벽한 참고 자료가 됩니다.

• 기술을 향상하려면 다음을 사용하십시오. 리트코드.

또한 YouTube에서 Carnegie Mellon University의 놀라운 비디오를 통해 데이터베이스의 세계로 뛰어들 수 있습니다.

• 데이터베이스 시스템 소개.
• 고급 데이터베이스 시스템.

2. SQL 배우기

우리의 모든 삶은 데이터입니다. 그리고 데이터베이스에서 이 데이터를 추출하려면 동일한 언어로 "말"해야 합니다.

SQL(Structured Query Language)은 데이터 도메인의 통신 언어입니다. 누가 뭐래도 SQL은 살아왔고, 살아있고, 아주 오랫동안 살아갈 것이다.

오랫동안 개발을 해오셨다면, SQL의 종말이 임박했다는 소문이 주기적으로 나타나는 것을 눈치채셨을 것입니다. 이 언어는 70년대 초반에 개발되었으며 여전히 분석가, 개발자 및 매니아들 사이에서 매우 인기가 있습니다.
SQL에 대한 지식이 없으면 필연적으로 데이터를 검색하기 위한 쿼리를 만들어야 하므로 데이터 엔지니어링에서 할 수 있는 일이 없습니다. 모든 최신 빅 데이터 웨어하우스는 SQL을 지원합니다.

• 아마존 레드 시프트
• HP 버티카
• 신탁
• SQL 서버

... 그리고 많은 다른 사람들.

HDFS와 같은 분산 시스템에 저장된 대규모 데이터 계층을 분석하기 위해 Apache Hive, Impala 등의 SQL 엔진이 발명되었습니다.

SQL을 배우는 방법? 그냥 실제로 해보세요.

이렇게 하려면 다음에서 무료로 제공되는 훌륭한 튜토리얼을 확인하는 것이 좋습니다. 모드 분석.

1. 중간 SQL
2. SQL에서 데이터 조인

이 강좌를 특별하게 만드는 점은 브라우저에서 바로 SQL 쿼리를 작성하고 실행할 수 있는 대화형 환경이 있다는 것입니다. 자원 최신 SQL 불필요하지 않을 것입니다. 그리고 이 지식을 다음에 적용할 수 있습니다. Leetcode 작업 데이터베이스 섹션에서.

3. Python 및 Java/Scala 프로그래밍

Python 프로그래밍 언어를 배워야 하는 이유는 이미 기사에 썼습니다. Python 대 R. AI, ML 및 데이터 과학을 위한 최고의 도구 선택. Java와 Scala의 경우 막대한 양의 데이터를 저장하고 처리하는 대부분의 도구가 이러한 언어로 작성됩니다. 예를 들어:

• 아파치 카프카(스칼라)
• 하둡, HDFS(자바)
• 아파치 스파크(스칼라)
• 아파치 카산드라(자바)
• HBase(자바)
• 아파치 하이브(자바)

이러한 도구의 작동 방식을 이해하려면 해당 도구가 작성된 언어를 알아야 합니다. Scala의 기능적 접근 방식을 사용하면 병렬 데이터 처리 문제를 효과적으로 해결할 수 있습니다. 불행히도 Python은 속도와 병렬 처리를 자랑할 수 없습니다. 일반적으로 여러 언어와 프로그래밍 패러다임에 대한 지식은 문제 해결에 대한 접근 방식의 폭을 넓히는 데 좋습니다.

Scala 언어에 대해 자세히 알아보려면 다음을 읽어보세요. 스칼라로 프로그래밍하기 언어의 저자로부터. Twitter는 또한 좋은 소개 가이드를 게시했습니다. 스칼라 학교.

파이썬에 관해서는 나는 믿습니다. 유창한 파이썬 최고의 중급 책.

4. 빅데이터 작업을 위한 도구

다음은 빅 데이터 세계에서 가장 널리 사용되는 도구 목록입니다.

• 아파치 스파크
• 아파치 카프카
• 아파치 하둡(HDFS, HBase, Hive)
• 아파치 카산드라

이 놀라운 웹 사이트에서 대규모 데이터 블록 구축에 대한 자세한 정보를 찾을 수 있습니다. 대화형 환경. 가장 널리 사용되는 도구는 Spark와 Kafka입니다. 그들은 확실히 공부할 가치가 있으며 내부에서 어떻게 작동하는지 이해하는 것이 좋습니다. Jay Kreps(Kafka 공동저자)는 2013년에 기념비적인 작품을 출판했습니다. 로그: 모든 소프트웨어 개발자가 실시간 데이터 집계 추상화에 대해 알아야 할 사항그건 그렇고, 이 탈무드의 주요 아이디어는 Apache Kafka를 만드는 데 사용되었습니다.

• Hadoop에 대한 소개는 다음과 같습니다. Hadoop 마스터를 위한 전체 가이드(무료).
• 나에게 있어 Apache Spark에 대한 가장 포괄적인 가이드는 다음과 같습니다. Spark: 전체 가이드.

5. 클라우드 플랫폼

데이터 엔지니어 직위 지원자의 기본 요구 사항 목록에는 하나 이상의 클라우드 플랫폼에 대한 지식이 포함되어 있습니다. 고용주는 Amazon Web Services를 선호하며 Google의 클라우드 플랫폼이 XNUMX위, Microsoft Azure가 상위 XNUMX위를 차지했습니다.

Amazon EC2, AWS Lambda, Amazon S3, DynamoDB에 대한 지식이 있어야 합니다.

6. 분산 시스템

빅 데이터로 작업한다는 것은 독립적으로 작동하는 컴퓨터 클러스터가 존재함을 의미하며, 이들 간의 통신은 네트워크를 통해 수행됩니다. 클러스터가 클수록 해당 구성원 노드의 실패 확률이 높아집니다. 훌륭한 데이터 과학자가 되려면 분산 시스템의 문제와 기존 솔루션을 이해해야 합니다. 이 지역은 오래되고 복잡합니다.

Andrew Tanenbaum은 이 분야의 선구자로 간주됩니다. 이론을 두려워하지 않는 사람들에게 그의 책을 추천합니다 "분산 시스템", 초보자에게는 어렵게 보일 수 있지만 기술을 연마하는 데는 정말 도움이 될 것입니다.

나는 생각한다. Martin Kleppmann의 데이터 집약적 애플리케이션 설계 최고의 입문서. 그런데 마틴은 정말 멋진 일을 하고 있어요 블로그. 그의 작업은 빅 데이터 저장 및 처리를 위한 현대적인 인프라 구축에 대한 지식을 체계화하는 데 도움이 될 것입니다.
동영상 시청을 좋아하는 분들을 위해 Youtube에 강좌가 있습니다. 분산 컴퓨터 시스템.

7. 데이터 파이프라인

데이터 파이프라인은 데이터 엔지니어 없이는 살 수 없는 것입니다.

대부분의 경우 데이터 엔지니어는 소위 데이터 파이프라인을 구축합니다. 즉, 한 곳에서 다른 곳으로 데이터를 전달하는 프로세스를 만듭니다. 이는 외부 서비스의 API로 이동하거나 SQL 쿼리를 만들고, 데이터를 보강하고, 중앙 저장소(데이터 웨어하우스) 또는 구조화되지 않은 데이터 저장소(데이터 레이크)에 저장하는 사용자 지정 스크립트일 수 있습니다.

요약: 데이터 엔지니어를 위한 기본 체크리스트

요약하자면, 다음 사항에 대한 올바른 이해가 필요합니다.

• 정보 시스템;
• 소프트웨어 개발(Agile, DevOps, 디자인 기술, SOA)
• 분산 시스템 및 병렬 프로그래밍
• 데이터베이스 기초 - 계획, 설계, 운영 및 문제 해결;
• 실험 설계 - A/B 테스트를 통해 개념을 입증하고 신뢰성과 시스템 성능을 결정하며 신뢰할 수 있는 경로를 개발하여 좋은 솔루션을 신속하게 제공합니다.

이는 데이터 엔지니어가 되기 위한 요구 사항 중 일부에 불과하므로 데이터 시스템, 정보 시스템, 지속적인 전달/배포/통합, 프로그래밍 언어 및 기타 컴퓨터 과학 주제(모든 주제 영역은 아님)를 배우고 이해하십시오.

그리고 마지막으로 제가 말하고 싶은 마지막이지만 매우 중요한 것입니다.

데이터 엔지니어링이 되는 길은 생각보다 간단하지 않습니다. 그는 용서하지 않고 좌절시킵니다. 그러므로 여러분은 이에 대비해야 합니다. 이 여정의 어떤 순간은 당신을 포기하게 만들 수도 있습니다. 그러나 이것은 실제 작업이자 학습 과정입니다.

처음부터 설탕 코팅을 하지 마세요. 여행의 요점은 가능한 한 많은 것을 배우고 새로운 도전에 대비하는 것입니다.
이 점을 잘 보여주는 훌륭한 그림은 다음과 같습니다.

그리고 그렇습니다. 탈진을 피하고 휴식을 취하는 것을 잊지 마세요. 이것은 또한 매우 중요합니다. 행운을 빌어요!

친구 여러분, 이 기사에 대해 어떻게 생각하시나요? 우리는 당신을 초대합니다 무료 웹 세미나, 오늘 20.00시에 진행됩니다. 웨비나에서는 소규모 기업이나 스타트업을 위한 효과적이고 확장 가능한 데이터 처리 시스템을 최소한의 비용으로 구축하는 방법에 대해 논의합니다. 실습을 통해 Google Cloud 데이터 처리 도구에 대해 알아 보겠습니다. 또 봐요!

출처 : habr.com