Τα τελευταία οκτώ χρόνια εργάζομαι ως project manager (δεν γράφω κώδικα στη δουλειά), κάτι που φυσικά επηρεάζει αρνητικά το τεχνολογικό μου backend. Αποφάσισα να κλείσω το τεχνολογικό μου κενό και να πάρω το επάγγελμα του μηχανικού Data. Η βασική ικανότητα ενός Μηχανικού Δεδομένων είναι η ικανότητα να σχεδιάζει, να δημιουργεί και να διατηρεί αποθήκες δεδομένων.
Έκανα ένα πρόγραμμα προπόνησης, νομίζω ότι θα είναι χρήσιμο όχι μόνο για μένα. Το σχέδιο επικεντρώνεται σε μαθήματα αυτοεκπαίδευσης. Προτεραιότητα δίνεται στα δωρεάν μαθήματα στα ρωσικά.
Ενότητες:
- Αλγόριθμοι και δομές δεδομένων. Ενότητα κλειδιού. Μάθετε το και όλα τα άλλα θα πάνε καλά. Είναι σημαντικό να πιάσετε τον κώδικα και να χρησιμοποιήσετε τις βασικές δομές και αλγόριθμους.
- Βάσεις δεδομένων και αποθήκες δεδομένων, Business Intelligence. Περνάμε από τους αλγόριθμους στην αποθήκευση και επεξεργασία δεδομένων.
- Hadoop και Big Data. Όταν η βάση δεδομένων δεν περιλαμβάνεται στον σκληρό δίσκο ή όταν τα δεδομένα πρέπει να αναλυθούν, αλλά το Excel δεν μπορεί πλέον να τα φορτώσει, ξεκινούν τα μεγάλα δεδομένα. Κατά τη γνώμη μου, είναι απαραίτητο να προχωρήσουμε σε αυτήν την ενότητα μόνο μετά από μια βαθιά μελέτη των δύο προηγούμενων.
Αλγόριθμοι και δομές δεδομένων
Στο σχέδιό μου, συμπεριέλαβα την εκμάθηση Python, την επανάληψη των βασικών μαθηματικών και τον αλγόριθμο.
Βάσεις δεδομένων και αποθήκες δεδομένων, Business Intelligence
- Βιβλίο: Martin Kleppman - Εφαρμογές με υψηλή φόρτωση. Προγραμματισμός, κλιμάκωση, υποστήριξη. Το βιβλίο περιγράφει τον τρόπο λειτουργίας των διαφορετικών μοντέλων δεδομένων, την εκ των έσω εφαρμογή τους, τους περιορισμούς και τις επιλογές ανάλογα με την εργασία.
Τα θέματα που σχετίζονται με την κατασκευή αποθηκών δεδομένων, τους κύβους ETL, OLAP εξαρτώνται σε μεγάλο βαθμό από εργαλεία, επομένως δεν δίνω συνδέσμους για μαθήματα σε αυτό το έγγραφο. Συνιστάται να μελετάτε τέτοια συστήματα όταν εργάζεστε σε ένα συγκεκριμένο έργο σε μια συγκεκριμένη εταιρεία. Για γνωριμία με το ETL, μπορείτε να δοκιμάσετε ή .
Κατά τη γνώμη μου, είναι σημαντικό να μελετήσουμε τη σύγχρονη μεθοδολογία σχεδιασμού Data Vault , . Και ο καλύτερος τρόπος για να το μάθετε είναι να το πάρετε και να το εφαρμόσετε με ένα απλό παράδειγμα. Υπάρχουν πολλά παραδείγματα υλοποίησης Data Vault στο GitHub . The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault από τον Hans Hultgren.
Για να εξοικειωθείτε με τα εργαλεία Business Intelligence για τελικούς χρήστες, μπορείτε να χρησιμοποιήσετε τον δωρεάν σχεδιαστή αναφορών, πίνακες εργαλείων, μίνι αποθήκες δεδομένων Power BI Desktop. Εκπαιδευτικό υλικό: , .
Hadoop και Big Data
- Πρέπει να ξεκινήσετε με μια ανεξάρτητη υλοποίηση του MapReduce χωρίς βιβλιοθήκες τρίτων. Αυτό θα επιτρέψει την καλύτερη κατανόηση των εφαρμογών πολλαπλών νημάτων στο μέλλον. Περιγράφεται ένα εξαιρετικό παράδειγμα στην Python .
Συμπέρασμα
Δεν μπορούν όλα όσα μαθαίνεις να εφαρμοστούν στην εργασία. Επομένως, χρειάζεστε ένα έργο αποφοίτησης στο οποίο θα προσπαθήσετε να εφαρμόσετε νέες γνώσεις.
Δεν υπάρχουν θέματα σχετικά με την ανάλυση δεδομένων και τη Μηχανική μάθηση στο σχέδιο. αυτό ισχύει περισσότερο για το επάγγελμα του Επιστήμονα Δεδομένων. Επίσης, δεν υπάρχουν θέματα σχετικά με τα σύννεφα AWS, το Azure. αυτά τα θέματα εξαρτώνται σε μεγάλο βαθμό από την επιλογή της πλατφόρμας.
Ερωτήσεις προς την κοινότητα:
Πόσο επαρκές είναι το σχέδιο ισοπέδωσης μου; Τι να αφαιρέσετε ή να προσθέσετε;
Ποιο έργο θα προτείνατε ως διατριβή;
Πηγή: www.habr.com