แผนการปรับระดับเพื่อรับอาชีพวิศวกรข้อมูล

ในช่วงแปดปีที่ผ่านมาฉันทำงานเป็นผู้จัดการโครงการ (ฉันไม่ได้เขียนโค้ดในที่ทำงาน) ซึ่งส่งผลเสียต่อแบ็กเอนด์ทางเทคโนโลยีของฉันโดยธรรมชาติ ฉันตัดสินใจปิดช่องว่างทางเทคโนโลยีและรับอาชีพวิศวกรข้อมูล ทักษะหลักของวิศวกรข้อมูลคือความสามารถในการออกแบบ สร้าง และบำรุงรักษาคลังข้อมูล

ฉันทำแผนการฝึกอบรม ฉันคิดว่ามันจะมีประโยชน์ไม่เพียงสำหรับฉันเท่านั้น โดยเน้นหลักสูตรการเรียนรู้ด้วยตนเอง มีการจัดลำดับความสำคัญให้กับหลักสูตรฟรีในภาษารัสเซีย

ส่วน:

• อัลกอริทึมและโครงสร้างข้อมูล ส่วนที่สำคัญ เรียนรู้มันและทุกอย่างจะทำงานเช่นกัน สิ่งสำคัญคือต้องรับมือกับโค้ดและใช้โครงสร้างพื้นฐานและอัลกอริทึม
• ฐานข้อมูลและคลังข้อมูล Business Intelligence เรากำลังเปลี่ยนจากอัลกอริทึมไปสู่การจัดเก็บและประมวลผลข้อมูล
• Hadoop และข้อมูลขนาดใหญ่ เมื่อฐานข้อมูลไม่ได้รวมอยู่ในฮาร์ดไดรฟ์ หรือเมื่อจำเป็นต้องวิเคราะห์ข้อมูล แต่ Excel ไม่สามารถโหลดได้อีกต่อไป ข้อมูลขนาดใหญ่จะเริ่มต้นขึ้น ในความคิดของฉัน จำเป็นต้องดำเนินการต่อในส่วนนี้หลังจากศึกษาอย่างลึกซึ้งเกี่ยวกับสองส่วนก่อนหน้านี้เท่านั้น

อัลกอริทึมและโครงสร้างข้อมูล

ในแผนของฉัน ฉันได้รวมการเรียนรู้ Python การทำซ้ำพื้นฐานของคณิตศาสตร์และอัลกอริทึม

• การเขียนโปรแกรมด้วยภาษาไพธอน
• Python: พื้นฐานและการใช้งาน
• พีชคณิตเชิงเส้น
• Likbez เกี่ยวกับคณิตศาสตร์ที่ไม่ต่อเนื่อง
• อัลกอริทึม: ทฤษฎีและการปฏิบัติ วิธีการ
• อัลกอริทึม: ทฤษฎีและการปฏิบัติ โครงสร้างข้อมูล

ฐานข้อมูลและคลังข้อมูล Business Intelligence

• หนังสือ: Martin Kleppman - แอปพลิเคชั่นโหลดสูง การเขียนโปรแกรม การปรับขนาด การสนับสนุน หนังสือจะอธิบายวิธีการทำงานของโมเดลข้อมูลต่างๆ การนำไปใช้งานจากภายใน ข้อจำกัดและตัวเลือกต่างๆ ขึ้นอยู่กับงาน
• ความรู้เบื้องต้นเกี่ยวกับฐานข้อมูล
• ดำดิ่งสู่ DBMS
• บทนำสู่ฐานข้อมูลที่ไม่ใช่เชิงสัมพันธ์

หัวข้อที่เกี่ยวข้องกับการสร้างคลังข้อมูล, ETL, OLAP คิวบ์ขึ้นอยู่กับเครื่องมือเป็นอย่างมาก ดังนั้นฉันจึงไม่ได้ให้ลิงก์ไปยังหลักสูตรในเอกสารนี้ ขอแนะนำให้ศึกษาระบบดังกล่าวเมื่อทำงานในโครงการเฉพาะในบริษัทใดบริษัทหนึ่ง เพื่อทำความคุ้นเคยกับ ETL คุณสามารถลองได้ Talend หรือ Airflow.

ในความคิดของฉัน สิ่งสำคัญคือต้องศึกษาวิธีการออกแบบ Data Vault สมัยใหม่ การอ้างอิง 1, การอ้างอิง 2. และวิธีที่ดีที่สุดในการเรียนรู้คือการนำไปใช้และนำไปใช้ด้วยตัวอย่างง่ายๆ มีตัวอย่างการใช้งาน Data Vault หลายตัวอย่างบน GitHub ลิงค์. หนังสือคลังข้อมูลสมัยใหม่: การสร้างแบบจำลองคลังข้อมูล Agile ด้วย Data Vault โดย Hans Hultgren

เพื่อทำความคุ้นเคยกับเครื่องมือ Business Intelligence สำหรับผู้ใช้ คุณสามารถใช้ตัวออกแบบรายงาน แดชบอร์ด คลังข้อมูลขนาดเล็ก Power BI Desktop ได้ฟรี สื่อการศึกษา: การอ้างอิง 1, การอ้างอิง 2.

Hadoop และข้อมูลขนาดใหญ่

• คุณต้องเริ่มต้นด้วยการใช้งาน MapReduce แบบอิสระโดยไม่มีไลบรารีของบุคคลที่สาม สิ่งนี้จะช่วยให้เข้าใจการใช้งานแบบมัลติเธรดได้ดีขึ้นในอนาคต มีการอธิบายตัวอย่างที่ยอดเยี่ยมใน Python ที่นี่.
• ฮาดูป ระบบประมวลผลข้อมูลจำนวนมาก
• ความรู้เบื้องต้นเกี่ยวกับวิศวกรรมข้อมูลขนาดใหญ่

ข้อสรุป

ไม่ใช่ทุกสิ่งที่คุณเรียนรู้สามารถนำไปใช้ในที่ทำงาน ดังนั้นคุณต้องมีโครงการสำเร็จการศึกษาซึ่งคุณจะพยายามใช้ความรู้ใหม่

ไม่มีหัวข้อที่เกี่ยวข้องกับการวิเคราะห์ข้อมูลและการเรียนรู้ของเครื่องในแผน สิ่งนี้นำไปใช้กับวิชาชีพ Data Scientist ได้มากขึ้น นอกจากนี้ยังไม่มีหัวข้อที่เกี่ยวข้องกับ AWS cloud, Azure ธีมเหล่านี้ขึ้นอยู่กับตัวเลือกของแพลตฟอร์มเป็นอย่างสูง

คำถามถึงชุมชน:
แผนการปรับระดับของฉันเพียงพอแค่ไหน? จะลบหรือเพิ่มอะไร
คุณจะแนะนำโครงการใดเป็นวิทยานิพนธ์

ที่มา: will.com