Γεια σου και πάλι! Ο τίτλος του άρθρου μιλάει από μόνος του. Εν όψει της έναρξης του μαθήματος Σας προτείνουμε να καταλάβετε ποιοι είναι οι μηχανικοί δεδομένων. Υπάρχουν πολλοί χρήσιμοι σύνδεσμοι στο άρθρο. Καλή ανάγνωση.
Ένας απλός οδηγός για το πώς να πιάσετε το κύμα Data Engineering και να μην το αφήσετε να σας παρασύρει στην άβυσσο.
Φαίνεται ότι όλοι θέλουν να γίνουν Data Scientist αυτές τις μέρες. Τι γίνεται όμως με τη Μηχανική Δεδομένων; Ουσιαστικά, αυτό είναι ένα είδος υβριδίου ενός αναλυτή δεδομένων και ενός επιστήμονα δεδομένων. Ένας μηχανικός δεδομένων είναι συνήθως υπεύθυνος για τη διαχείριση ροών εργασίας, αγωγών επεξεργασίας και διεργασιών ETL. Λόγω της σημασίας αυτών των λειτουργιών, αυτή είναι επί του παρόντος μια άλλη δημοφιλής επαγγελματική ορολογία που κερδίζει ενεργά δυναμική.
Οι υψηλοί μισθοί και η τεράστια ζήτηση είναι μόνο ένα μικρό μέρος αυτού που κάνει αυτή τη δουλειά εξαιρετικά ελκυστική! Αν θέλετε να ενταχθείτε στις τάξεις των ηρώων, ποτέ δεν είναι αργά να αρχίσετε να μαθαίνετε. Σε αυτήν την ανάρτηση, έχω συγκεντρώσει όλες τις απαραίτητες πληροφορίες για να σας βοηθήσω να κάνετε τα πρώτα σας βήματα.
Ας ξεκινήσουμε λοιπόν!
Τι είναι η Μηχανική Δεδομένων;
Ειλικρινά, δεν υπάρχει καλύτερη εξήγηση από αυτή:
«Ένας επιστήμονας μπορεί να ανακαλύψει ένα νέο αστέρι, αλλά δεν μπορεί να δημιουργήσει ένα. Θα πρέπει να ζητήσει από έναν μηχανικό να του το κάνει».
– Γκόρντον Λίντσεϊ Γκλεγκ
Έτσι, ο ρόλος ενός μηχανικού δεδομένων είναι αρκετά σημαντικός.
Όπως υποδηλώνει το όνομα, η μηχανική δεδομένων ασχολείται με τα δεδομένα, δηλαδή την παράδοση, την αποθήκευση και την επεξεργασία τους. Κατά συνέπεια, το κύριο καθήκον των μηχανικών είναι να παρέχουν μια αξιόπιστη υποδομή για δεδομένα. Αν δούμε την ιεραρχία των αναγκών της AI, η μηχανική δεδομένων καταλαμβάνει τα πρώτα 2-3 στάδια: συλλογή, μετακίνηση και αποθήκευση, προετοιμασία δεδομένων.
Τι κάνει ένας μηχανικός δεδομένων;
Με την εμφάνιση των μεγάλων δεδομένων, το εύρος ευθύνης έχει αλλάξει δραματικά. Εάν προηγουμένως αυτοί οι ειδικοί έγραφαν μεγάλα ερωτήματα SQL και αποσταγμένα δεδομένα χρησιμοποιώντας εργαλεία όπως Informatica ETL, Pentaho ETL, Talend, τώρα οι απαιτήσεις για μηχανικούς δεδομένων έχουν αυξηθεί.
Οι περισσότερες εταιρείες με ανοιχτές κενές θέσεις για τη θέση του μηχανικού δεδομένων έχουν τις ακόλουθες απαιτήσεις:
- Άριστη γνώση SQL και Python.
- Εμπειρία με πλατφόρμες cloud, ιδιαίτερα τις υπηρεσίες Web της Amazon.
- Κατά προτίμηση γνώση Java/Scala.
- Καλή κατανόηση βάσεων δεδομένων SQL και NoSQL (μοντελοποίηση δεδομένων, αποθήκευση δεδομένων).
Λάβετε υπόψη ότι αυτά είναι μόνο τα βασικά. Από αυτή τη λίστα, μπορεί να υποτεθεί ότι οι μηχανικοί δεδομένων είναι ειδικοί στον τομέα της ανάπτυξης λογισμικού και του backend.
Για παράδειγμα, εάν μια εταιρεία αρχίζει να δημιουργεί μεγάλο όγκο δεδομένων από διάφορες πηγές, το καθήκον σας ως μηχανικός δεδομένων είναι να οργανώσετε τη συλλογή πληροφοριών, την επεξεργασία και την αποθήκευσή τους.
Ο κατάλογος των εργαλείων που χρησιμοποιούνται σε αυτήν την περίπτωση μπορεί να διαφέρει, όλα εξαρτώνται από τον όγκο αυτών των δεδομένων, την ταχύτητα λήψης και την ετερογένειά τους. Οι περισσότερες εταιρείες δεν ασχολούνται καθόλου με μεγάλα δεδομένα, επομένως ως ένα κεντρικό αποθετήριο, μια λεγόμενη αποθήκη δεδομένων, μπορείτε να χρησιμοποιήσετε μια βάση δεδομένων SQL (PostgreSQL, MySQL, κ.λπ.) με ένα μικρό σύνολο σεναρίων που τροφοδοτούν τα δεδομένα σε η αποθήκη.
Οι γίγαντες πληροφορικής όπως η Google, η Amazon, το Facebook ή το Dropbox έχουν υψηλότερες απαιτήσεις: γνώση Python, Java ή Scala.
- Εμπειρία με μεγάλα δεδομένα: Hadoop, Spark, Kafka.
- Γνώση αλγορίθμων και δομών δεδομένων.
- Κατανόηση των βασικών στοιχείων των κατανεμημένων συστημάτων.
- Η εμπειρία με εργαλεία οπτικοποίησης δεδομένων όπως το Tableau ή το ElasticSearch θα είναι ένα συν.
Δηλαδή, υπάρχει μια σαφής στροφή προς τα μεγάλα δεδομένα, δηλαδή στην επεξεργασία τους υπό υψηλά φορτία. Αυτές οι εταιρείες έχουν αυξημένες απαιτήσεις για ανοχή σφαλμάτων συστήματος.
Data Engineers Vs. επιστήμονες δεδομένων
Εντάξει, αυτή ήταν μια απλή και αστεία σύγκριση (τίποτα προσωπικό), αλλά στην πραγματικότητα είναι πολύ πιο περίπλοκο.
Πρώτον, πρέπει να γνωρίζετε ότι υπάρχει μεγάλη ασάφεια στην οριοθέτηση των ρόλων και των δεξιοτήτων ενός επιστήμονα δεδομένων και ενός μηχανικού δεδομένων. Δηλαδή, μπορείτε εύκολα να μπερδευτείτε σχετικά με το ποιες δεξιότητες χρειάζονται για να είστε επιτυχημένος μηχανικός δεδομένων. Φυσικά, υπάρχουν ορισμένες δεξιότητες που επικαλύπτονται και με τους δύο ρόλους. Υπάρχει όμως και μια σειρά από εκ διαμέτρου αντίθετες δεξιότητες.
Η επιστήμη δεδομένων είναι σοβαρή υπόθεση, αλλά προχωράμε προς έναν κόσμο λειτουργικής επιστήμης δεδομένων όπου οι επαγγελματίες μπορούν να κάνουν τις δικές τους αναλύσεις. Για να ενεργοποιήσετε αγωγούς δεδομένων και ενσωματωμένες δομές δεδομένων, χρειάζεστε μηχανικούς δεδομένων και όχι επιστήμονες δεδομένων.
Είναι ένας μηχανικός δεδομένων μεγαλύτερη ζήτηση από έναν επιστήμονα δεδομένων;
- Ναι, γιατί για να μπορέσετε να φτιάξετε κέικ καρότου, πρέπει πρώτα να μαζέψετε, να ξεφλουδίσετε και να αποθηκεύσετε τα καρότα!
Ένας μηχανικός δεδομένων κατανοεί τον προγραμματισμό καλύτερα από οποιονδήποτε επιστήμονα δεδομένων, αλλά όταν πρόκειται για στατιστικές, ισχύει το αντίθετο.
Αλλά εδώ είναι το πλεονέκτημα ενός μηχανικού δεδομένων:
Χωρίς αυτόν/αυτήν, η αξία του πρωτότυπου μοντέλου, που τις περισσότερες φορές αποτελείται από ένα κομμάτι κώδικα τρομερής ποιότητας σε ένα αρχείο Python, που λαμβάνεται από έναν επιστήμονα δεδομένων και με κάποιο τρόπο παράγει ένα αποτέλεσμα, τείνει στο μηδέν.
Χωρίς μηχανικό δεδομένων, αυτός ο κώδικας δεν θα γίνει ποτέ έργο και κανένα επιχειρηματικό πρόβλημα δεν θα λυθεί αποτελεσματικά. Ο μηχανικός δεδομένων προσπαθεί να τα μετατρέψει όλα αυτά σε προϊόν.
Βασικές πληροφορίες που πρέπει να γνωρίζει ένας μηχανικός δεδομένων
Έτσι, αν αυτή η δουλειά σας αναδεικνύει και είστε ενθουσιώδεις - μπορείτε να τη μάθετε, μπορείτε να κατακτήσετε όλες τις απαραίτητες δεξιότητες και να γίνετε πραγματικός ροκ σταρ στον τομέα της μηχανικής δεδομένων. Και, ναι, μπορείτε να το πετύχετε ακόμα και χωρίς δεξιότητες προγραμματισμού ή άλλες τεχνικές γνώσεις. Είναι δύσκολο, αλλά εφικτό!
Ποια είναι τα πρώτα βήματα;
Θα πρέπει να έχετε μια γενική ιδέα για το τι είναι τι.
Πρώτα απ 'όλα, η Μηχανική Δεδομένων αναφέρεται στην επιστήμη των υπολογιστών. Πιο συγκεκριμένα, πρέπει να κατανοήσετε αποτελεσματικούς αλγόριθμους και δομές δεδομένων. Δεύτερον, δεδομένου ότι οι μηχανικοί δεδομένων εργάζονται με δεδομένα, είναι απαραίτητο να κατανοήσουμε τις αρχές των βάσεων δεδομένων και τις δομές που τις διέπουν.
Για παράδειγμα, οι συμβατικές βάσεις δεδομένων B-tree SQL βασίζονται στη δομή δεδομένων B-Tree, καθώς και σε σύγχρονα κατανεμημένα αποθετήρια, το LSM-Tree και άλλες τροποποιήσεις πινάκων κατακερματισμού.
*Αυτά τα βήματα βασίζονται σε ένα εξαιρετικό άρθρο . Έτσι, αν γνωρίζετε ρωσικά, υποστηρίξτε αυτόν τον συγγραφέα και διαβάστε .
1. Αλγόριθμοι και δομές δεδομένων
Η χρήση της σωστής δομής δεδομένων μπορεί να βελτιώσει σημαντικά την απόδοση ενός αλγορίθμου. Στην ιδανική περίπτωση, θα έπρεπε όλοι να μαθαίνουμε για τις δομές δεδομένων και τους αλγόριθμους στα σχολεία μας, αλλά αυτό σπάνια καλύπτεται ποτέ. Σε κάθε περίπτωση, ποτέ δεν είναι αργά για γνωριμία.
Ακολουθούν λοιπόν τα αγαπημένα μου δωρεάν μαθήματα για την εκμάθηση δομών δεδομένων και αλγορίθμων:
Επιπλέον, μην ξεχνάτε την κλασική δουλειά του Thomas Corman για τους αλγόριθμους - . Αυτή είναι η τέλεια αναφορά όταν πρέπει να ανανεώσετε τη μνήμη σας.
- Για να βελτιώσετε τις δεξιότητές σας, χρησιμοποιήστε .
Μπορείτε επίσης να βουτήξετε στον κόσμο των βάσεων δεδομένων με εκπληκτικά βίντεο από το Πανεπιστήμιο Carnegie Mellon στο Youtube:
- .
- .
2. Μάθετε SQL
Όλη μας η ζωή είναι δεδομένα. Και για να εξαγάγετε αυτά τα δεδομένα από τη βάση δεδομένων, πρέπει να "μιλήσετε" την ίδια γλώσσα με αυτήν.
Η SQL (Structured Query Language) είναι η γλώσσα επικοινωνίας στον τομέα δεδομένων. Ανεξάρτητα από το τι λέει κάποιος, η SQL έχει ζήσει, είναι ζωντανή και θα ζήσει για πολύ καιρό.
Εάν βρίσκεστε σε ανάπτυξη για μεγάλο χρονικό διάστημα, πιθανότατα έχετε παρατηρήσει ότι οι φήμες για τον επικείμενο θάνατο της SQL εμφανίζονται περιοδικά. Η γλώσσα αναπτύχθηκε στις αρχές της δεκαετίας του '70 και εξακολουθεί να είναι πολύ δημοφιλής μεταξύ των αναλυτών, των προγραμματιστών και των απλών ενθουσιωδών.
Χωρίς γνώση της SQL δεν υπάρχει τίποτα να κάνετε στη μηχανική δεδομένων, καθώς αναπόφευκτα θα πρέπει να δημιουργήσετε ερωτήματα για την ανάκτηση δεδομένων. Όλες οι σύγχρονες αποθήκες μεγάλων δεδομένων υποστηρίζουν SQL:
- Amazon RedShift
- HP Vertica
- μαντείο
- Ο SQL Server
... και πολλοί άλλοι.
Για την ανάλυση ενός μεγάλου επιπέδου δεδομένων που είναι αποθηκευμένα σε κατανεμημένα συστήματα όπως το HDFS, εφευρέθηκαν μηχανές SQL: Apache Hive, Impala, κ.λπ. Δείτε, δεν πάει πουθενά.
Πώς να μάθετε SQL; Απλά κάντε το στην πράξη.
Για να το κάνετε αυτό, θα συνιστούσα να ελέγξετε ένα εξαιρετικό σεμινάριο, το οποίο, παρεμπιπτόντως, είναι δωρεάν .
Αυτό που κάνει αυτά τα μαθήματα ξεχωριστά είναι ότι διαθέτουν ένα διαδραστικό περιβάλλον όπου μπορείτε να γράψετε και να εκτελέσετε ερωτήματα SQL απευθείας στο πρόγραμμα περιήγησής σας. Πόρος δεν θα είναι περιττό. Και μπορείτε να εφαρμόσετε αυτή τη γνώση σε στην ενότητα Βάσεις δεδομένων.
3. Προγραμματισμός σε Python και Java/Scala
Γιατί πρέπει να μάθετε τη γλώσσα προγραμματισμού Python, έγραψα ήδη στο άρθρο . Όταν πρόκειται για Java και Scala, τα περισσότερα από τα εργαλεία για την αποθήκευση και την επεξεργασία τεράστιων ποσοτήτων δεδομένων είναι γραμμένα σε αυτές τις γλώσσες. Για παράδειγμα:
- Απάτσι Κάφκα (Σκάλα)
- Hadoop, HDFS (Java)
- Apache Spark (Scala)
- Apache Cassandra (Java)
- HBase (Java)
- Apache Hive (Java)
Για να κατανοήσετε πώς λειτουργούν αυτά τα εργαλεία, πρέπει να γνωρίζετε τις γλώσσες στις οποίες είναι γραμμένα. Η λειτουργική προσέγγιση της Scala σάς επιτρέπει να επιλύετε αποτελεσματικά προβλήματα παράλληλης επεξεργασίας δεδομένων. Η Python, δυστυχώς, δεν μπορεί να καυχηθεί για ταχύτητα και παράλληλη επεξεργασία. Γενικά, η γνώση πολλών γλωσσών και παραδειγμάτων προγραμματισμού είναι καλή για το εύρος των προσεγγίσεων για την επίλυση προβλημάτων.
Για να βουτήξετε στη γλώσσα Scala, μπορείτε να διαβάσετε από τον συγγραφέα της γλώσσας. Το Twitter δημοσίευσε επίσης έναν καλό εισαγωγικό οδηγό - .
Όσο για την Python, πιστεύω το καλύτερο βιβλίο μεσαίου επιπέδου.
4. Εργαλεία για εργασία με μεγάλα δεδομένα
Ακολουθεί μια λίστα με τα πιο δημοφιλή εργαλεία στον κόσμο των μεγάλων δεδομένων:
- Apache Spark
- Apache Kafka
- Apache Hadoop (HDFS, HBase, Hive)
- Apache Cassandra
Μπορείτε να βρείτε περισσότερες πληροφορίες σχετικά με τη δημιουργία μεγάλων μπλοκ δεδομένων σε αυτό το καταπληκτικό . Τα πιο δημοφιλή εργαλεία είναι το Spark και το Kafka. Σίγουρα αξίζει να μελετηθούν, καλό είναι να καταλάβετε πώς λειτουργούν από μέσα. Ο Jay Kreps (συν-συγγραφέας του Kafka) δημοσίευσε ένα μνημειώδες έργο το 2013 Παρεμπιπτόντως, οι κύριες ιδέες από αυτό το Ταλμούδ χρησιμοποιήθηκαν για τη δημιουργία του Απάτσι Κάφκα.
- Μια εισαγωγή στο Hadoop μπορεί να είναι .
- Ο πιο ολοκληρωμένος οδηγός για το Apache Spark για μένα είναι - .
5. Cloud πλατφόρμες
Η γνώση τουλάχιστον μιας πλατφόρμας cloud περιλαμβάνεται στη λίστα των βασικών απαιτήσεων για τους υποψήφιους για τη θέση του μηχανικού δεδομένων. Οι εργοδότες προτιμούν τις υπηρεσίες Web της Amazon, με την πλατφόρμα cloud της Google στη δεύτερη θέση και το Microsoft Azure να ολοκληρώνει την πρώτη τριάδα.
Πρέπει να έχετε καλή γνώση των Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.
6. Κατανεμημένα συστήματα
Η εργασία με μεγάλα δεδομένα συνεπάγεται την παρουσία συμπλεγμάτων υπολογιστών που λειτουργούν ανεξάρτητα, η επικοινωνία μεταξύ των οποίων πραγματοποιείται μέσω ενός δικτύου. Όσο μεγαλύτερο είναι το σύμπλεγμα, τόσο μεγαλύτερη είναι η πιθανότητα αποτυχίας των κόμβων μελών του. Για να γίνετε σπουδαίος επιστήμονας δεδομένων, πρέπει να κατανοήσετε τα προβλήματα και τις υπάρχουσες λύσεις για κατανεμημένα συστήματα. Αυτή η περιοχή είναι παλιά και πολύπλοκη.
Ο Andrew Tanenbaum θεωρείται πρωτοπόρος στον τομέα αυτό. Για όσους δεν φοβούνται τη θεωρία, προτείνω το βιβλίο του , μπορεί να φαίνεται τρομακτικό για αρχάριους, αλλά θα σας βοηθήσει πραγματικά να βελτιώσετε τις δεξιότητές σας.
Νομίζω καλύτερο εισαγωγικό βιβλίο. Παρεμπιπτόντως, ο Μάρτιν έχει ένα υπέροχο . Το έργο του θα βοηθήσει στη συστηματοποίηση της γνώσης σχετικά με την κατασκευή μιας σύγχρονης υποδομής για την αποθήκευση και την επεξεργασία μεγάλων δεδομένων.
Για όσους τους αρέσει να παρακολουθούν βίντεο, υπάρχει ένα μάθημα στο Youtube .
7. Σωληνώσεις δεδομένων
Οι αγωγοί δεδομένων είναι κάτι χωρίς το οποίο δεν μπορείτε να ζήσετε ως μηχανικός δεδομένων.
Τις περισσότερες φορές, ένας μηχανικός δεδομένων κατασκευάζει μια λεγόμενη γραμμή δεδομένων, δηλαδή δημιουργεί μια διαδικασία για την παράδοση δεδομένων από το ένα μέρος στο άλλο. Αυτά μπορεί να είναι προσαρμοσμένα σενάρια που πηγαίνουν στο API μιας εξωτερικής υπηρεσίας ή κάνουν ένα ερώτημα SQL, αυξάνουν τα δεδομένα και τα τοποθετούν σε ένα κεντρικό κατάστημα (αποθήκη δεδομένων) ή σε ένα μη δομημένο χώρο αποθήκευσης δεδομένων (λίμνες δεδομένων).
Συνοψίζοντας: η βασική λίστα ελέγχου για έναν μηχανικό δεδομένων
Συνοψίζοντας, απαιτείται καλή κατανόηση των παρακάτω:
- Πληροφοριακά συστήματα;
- Ανάπτυξη λογισμικού (Agile, DevOps, Design Techniques, SOA);
- Κατανεμημένα συστήματα και παράλληλος προγραμματισμός.
- Βασικές αρχές βάσης δεδομένων - Σχεδιασμός, Σχεδιασμός, Λειτουργία και Αντιμετώπιση Προβλημάτων.
- Σχεδιασμός πειραμάτων - Δοκιμές A/B για την απόδειξη των εννοιών, τον προσδιορισμό της αξιοπιστίας, την απόδοση του συστήματος και την ανάπτυξη αξιόπιστων διαδρομών για την παροχή καλών λύσεων γρήγορα.
Αυτές είναι μερικές μόνο από τις απαιτήσεις για να γίνετε μηχανικός δεδομένων, επομένως μάθετε και κατανοήστε τα συστήματα δεδομένων, τα συστήματα πληροφοριών, τη συνεχή παράδοση/ανάπτυξη/ενσωμάτωση, τις γλώσσες προγραμματισμού και άλλα θέματα επιστήμης υπολογιστών (όχι όλα τα θεματικά πεδία).
Και τέλος, το τελευταίο αλλά πολύ σημαντικό πράγμα που θέλω να πω.
Ο δρόμος για να γίνεις Data Engineering δεν είναι τόσο απλός όσο μπορεί να φαίνεται. Δεν συγχωρεί, απογοητεύει και πρέπει να είστε προετοιμασμένοι για αυτό. Μερικές στιγμές σε αυτό το ταξίδι μπορεί να σας ωθήσουν να τα παρατήσετε. Αλλά αυτό είναι πραγματική δουλειά και μια διαδικασία μάθησης.
Απλά μην το ζαχαρώσετε από την αρχή. Το όλο νόημα του ταξιδιού είναι να μάθεις όσο το δυνατόν περισσότερα και να είσαι έτοιμος για νέες προκλήσεις.
Εδώ είναι μια υπέροχη εικόνα που συνάντησα που δείχνει καλά αυτό το σημείο:
Και ναι, θυμηθείτε να αποφύγετε την εξάντληση και την ανάπαυση. Αυτό είναι επίσης πολύ σημαντικό. Καλή τύχη!
Πώς σας φαίνεται το άρθρο φίλοι μου; Σας προσκαλούμε να , που θα πραγματοποιηθεί σήμερα στις 20.00. Κατά τη διάρκεια του διαδικτυακού σεμιναρίου, θα συζητήσουμε πώς να δημιουργήσουμε ένα αποτελεσματικό και επεκτάσιμο σύστημα επεξεργασίας δεδομένων για μια μικρή εταιρεία ή startup με ελάχιστο κόστος. Ως πρακτική, θα εξοικειωθούμε με τα εργαλεία επεξεργασίας δεδομένων Google Cloud. Τα λέμε!
Πηγή: www.habr.com