데이터 엔지니어 직업 획득을 위한 레벨링 계획

지난 XNUMX년 동안 저는 프로젝트 관리자로 일해 왔으며(저는 직장에서 코드를 작성하지 않습니다) 자연스럽게 제 기술 백엔드에 부정적인 영향을 미칩니다. 나는 기술 격차를 줄이고 데이터 엔지니어라는 직업을 얻기로 결정했습니다. 데이터 엔지니어의 핵심 기술은 데이터 웨어하우스를 설계, 구축 및 유지 관리하는 능력입니다.

훈련 계획을 세웠는데 나에게만 도움이 될 것 같아요. 이 계획은 자율 학습 과정에 중점을 둡니다. 러시아어 무료 과정에 우선권이 주어집니다.

섹션:

• 알고리즘 및 데이터 구조. 키 섹션. 그것을 배우면 다른 모든 것도 잘 될 것입니다. 코드에 손을 대고 기본 구조와 알고리즘을 사용하는 것이 중요합니다.
• 데이터베이스 및 데이터 웨어하우스, 비즈니스 인텔리전스. 우리는 알고리즘에서 데이터 저장 및 처리로 이동하고 있습니다.
• 하둡과 빅데이터. 데이터베이스가 하드 드라이브에 포함되어 있지 않거나 데이터를 분석해야 하지만 Excel에서 더 이상 로드할 수 없는 경우 대용량 데이터가 시작됩니다. 제 생각에는 이전 두 항목에 대한 심층 연구 후에 만 ​​이 섹션으로 진행할 필요가 있습니다.

알고리즘 및 데이터 구조

내 계획에는 파이썬 학습, 수학 및 알고리즘화의 기초를 반복하는 것이 포함되었습니다.

• 파이썬 프로그래밍
• Python: 기초 및 응용
• 선형대수학
• 이산 수학에 대한 Likbez
• 알고리즘: 이론과 실습. 행동 양식
• 알고리즘: 이론과 실습. 데이터 구조

데이터베이스 및 데이터 웨어하우스, 비즈니스 인텔리전스

• 도서: Martin Kleppman - 고부하 애플리케이션. 프로그래밍, 확장, 지원. 이 책은 다양한 데이터 모델의 작동 방식, 내부에서의 구현, 작업에 따른 제한 사항 및 선택 사항에 대해 설명합니다.
• 데이터베이스 소개
• DBMS에 뛰어들다
• 비관계형 데이터베이스 소개

데이터 웨어하우스 구축, ETL, OLAP 큐브와 관련된 주제는 도구에 대한 의존도가 높으므로 이 문서에서 과정에 대한 링크를 제공하지 않습니다. 특정 회사에서 특정 프로젝트를 수행할 때 이러한 시스템을 연구하는 것이 좋습니다. ETL에 대해 알고 싶다면 시도해 볼 수 있습니다. 탈 렌드 또는 기류.

제 생각에는 최신 Data Vault 설계 방법론을 연구하는 것이 중요합니다. 1 링크, 2 링크. 그리고 그것을 배우는 가장 좋은 방법은 그것을 가지고 간단한 예를 들어 구현하는 것입니다. GitHub에는 여러 Data Vault 구현 예제가 있습니다. 링크. 최신 데이터 웨어하우스 서적: Hans Hultgren의 Data Vault를 사용한 민첩한 데이터 웨어하우스 모델링.

최종 사용자를 위한 비즈니스 인텔리전스 도구에 익숙해지려면 보고서, 대시보드, 미니 데이터 웨어하우스 Power BI Desktop의 무료 디자이너를 사용할 수 있습니다. 교육 자료: 1 링크, 2 링크.

하둡과 빅데이터

• 타사 라이브러리 없이 독립적인 MapReduce 구현으로 시작해야 합니다. 이를 통해 향후 다중 스레드 구현을 더 잘 이해할 수 있습니다. Python의 훌륭한 예가 설명되어 있습니다. 여기에.
• 하둡. 대량의 데이터를 처리하는 시스템.
• 빅데이터공학개론

결론

배운 모든 것이 업무에 적용될 수 있는 것은 아닙니다. 따라서 새로운 지식을 적용하려는 졸업 프로젝트가 필요합니다.

계획에 데이터 분석 및 기계 학습과 관련된 주제가 없습니다. 이것은 데이터 과학자 직업에 더 많이 적용됩니다. AWS 클라우드, Azure와 관련된 주제도 없습니다. 이러한 테마는 플랫폼 선택에 크게 의존합니다.

커뮤니티에 대한 질문:
내 레벨링 계획은 얼마나 적절합니까? 무엇을 제거하거나 추가해야 합니까?
논문으로 어떤 프로젝트를 추천하시겠습니까?

출처 : habr.com