Мэдээллийн инженер мэргэжлийг олж авах түвшний төлөвлөгөө

Сүүлийн XNUMX жилийн турш би төслийн менежерээр ажиллаж байгаа (би ажил дээрээ код бичдэггүй) нь миний технологийн арын хэсэгт сөргөөр нөлөөлдөг. Би технологийн цоорхойгоо хааж, дата инженерийн мэргэжлийг эзэмшихээр шийдсэн. Өгөгдлийн инженерийн үндсэн ур чадвар бол мэдээллийн агуулахыг зохион бүтээх, барих, засвар үйлчилгээ хийх чадвар юм.

Би бэлтгэлийн төлөвлөгөө гаргасан, энэ нь зөвхөн надад хэрэг болно гэж бодож байна. Төлөвлөгөө нь бие даан суралцах хичээлүүдэд чиглэгддэг. Орос хэл дээрх үнэ төлбөргүй сургалтанд тэргүүлэх ач холбогдол өгдөг.

Хэсэгүүд:

• Алгоритм ба өгөгдлийн бүтэц. Түлхүүр хэсэг. Үүнийг сур, тэгвэл бусад бүх зүйл бүтэх болно. Кодтой танилцаж, үндсэн бүтэц, алгоритмуудыг ашиглах нь чухал юм.
• Өгөгдлийн сан ба мэдээллийн агуулах, Бизнесийн оюун ухаан. Бид алгоритмаас өгөгдөл хадгалах, боловсруулах руу шилжиж байна.
• Hadoop ба Big Data. Өгөгдлийн сан нь хатуу диск дээр ороогүй эсвэл өгөгдөлд дүн шинжилгээ хийх шаардлагатай үед Excel тэдгээрийг ачаалах боломжгүй болсон үед том хэмжээний өгөгдөл эхэлдэг. Миний бодлоор өмнөх хоёр хэсгийг гүнзгий судалсны дараа л энэ хэсэгт шилжих шаардлагатай байна.

Алгоритм ба өгөгдлийн бүтэц

Төлөвлөгөөндөө би Python сурах, математикийн үндсийг давтах, алгоритмжуулах зэрэг хичээлүүдийг оруулсан.

• Python хэл дээр програмчлал
• Python: Үндсэн ойлголт ба програмууд
• Шугаман алгебр
• Дискрет математикийн тухай Ликбез
• Алгоритм: онол ба практик. Арга зүй
• Алгоритм: онол ба практик. Өгөгдлийн бүтэц

Өгөгдлийн сан ба мэдээллийн агуулах, Бизнесийн оюун ухаан

• Ном: Мартин Клеппман - Өндөр ачаалалтай програмууд. Програмчлал, масштаб, дэмжлэг. Энэ номонд янз бүрийн өгөгдлийн загварууд хэрхэн ажилладаг, тэдгээрийн хэрэгжилт, даалгавраас хамааран хязгаарлалт, сонголтуудыг тайлбарласан болно.
• Өгөгдлийн сангийн танилцуулга
• DBMS руу шумбах
• Харилцан хамааралгүй мэдээллийн сангийн танилцуулга

Мэдээллийн агуулах, ETL, OLAP шоо барихтай холбоотой сэдвүүд нь хэрэглүүрээс ихээхэн хамааралтай тул би энэ баримт бичигт курсуудын холбоосыг өгөхгүй. Тодорхой компанид тодорхой төсөл дээр ажиллахдаа ийм системийг судлах нь зүйтэй. ETL-тэй танилцахын тулд та оролдож болно Талын буюу Агаарын урсгал.

Миний бодлоор орчин үеийн Data Vault дизайны арга зүйг судлах нь чухал юм холбоос 1, холбоос 2. Үүнийг сурах хамгийн сайн арга бол үүнийг авч, энгийн жишээгээр хэрэгжүүлэх явдал юм. GitHub дээр Data Vault хэрэгжүүлэх хэд хэдэн жишээ бий ссылка. Орчин үеийн өгөгдлийн агуулах ном: Ханс Хултгренийн "Өгөгдлийн санг ашиглан Agile мэдээллийн агуулахыг загварчлах".

Эцсийн хэрэглэгчдэд зориулсан Business Intelligence хэрэгслүүдтэй танилцахын тулд та Power BI Desktop тайлан, хяналтын самбар, мини өгөгдлийн агуулахын үнэгүй зохион бүтээгчийг ашиглаж болно. Боловсролын материал: холбоос 1, холбоос 2.

Hadoop ба Big Data

• Та MapReduce-ийг гуравдагч этгээдийн номын сангүйгээр бие даан хэрэгжүүлэхээс эхлэх хэрэгтэй. Энэ нь ирээдүйд олон урсгалтай хэрэгжилтийг илүү сайн ойлгох боломжийг олгоно. Python хэл дээрх гайхалтай жишээг тайлбарласан болно энд.
• Hadoop. Их хэмжээний өгөгдөл боловсруулах систем.
• Big Data Engineering-ийн танилцуулга

дүгнэлт

Таны сурсан бүх зүйлийг ажил дээрээ хэрэгжүүлэх боломжгүй. Тиймээс танд шинэ мэдлэгээ ашиглахыг хичээх төгсөлтийн төсөл хэрэгтэй.

Төлөвлөгөөнд өгөгдөлд дүн шинжилгээ хийх, машин суралцахтай холбоотой сэдэв байхгүй. Энэ нь Data Scientist мэргэжилд илүү хамаатай. Мөн AWS үүл, Azure-тэй холбоотой сэдэв байхгүй байна. Эдгээр сэдэв нь платформын сонголтоос ихээхэн хамаардаг.

Нийгэмд хандсан асуултууд:
Миний тэгшлэх төлөвлөгөө хэр хангалттай вэ? Юу нэмэх эсвэл хасах вэ?
Та дипломын ажил болгон ямар төслийг санал болгох вэ?

Эх сурвалж: www.habr.com