Σήμερα μόνο άνθρωποι που δεν έχουν εξωτερικές σχέσεις με τον έξω κόσμο δεν έχουν ακούσει για μεγάλα δεδομένα. Στο Habré, το θέμα της ανάλυσης Big Data και των σχετικών θεμάτων είναι δημοφιλές. Αλλά για μη ειδικούς που θα ήθελαν να αφοσιωθούν στη μελέτη των Μεγάλων Δεδομένων, δεν είναι πάντα σαφές τι προοπτικές έχει αυτός ο τομέας, πού μπορεί να εφαρμοστεί η ανάλυση Big Data και σε τι μπορεί να βασιστεί ένας καλός αναλυτής. Ας προσπαθήσουμε να το καταλάβουμε.
Ο όγκος των πληροφοριών που παράγονται από τον άνθρωπο αυξάνεται κάθε χρόνο. Μέχρι το 2020, ο όγκος των δεδομένων που αποθηκεύονται θα αυξηθεί στα 40-44 zettabyte (1 ZB ~ 1 δισεκατομμύριο GB). Μέχρι το 2025 - έως περίπου 400 zettabyte. Αντίστοιχα, η διαχείριση δομημένων και μη δομημένων δεδομένων με χρήση σύγχρονων τεχνολογιών είναι ένας τομέας που γίνεται όλο και πιο σημαντικός. Τόσο μεμονωμένες εταιρείες όσο και ολόκληρες χώρες ενδιαφέρονται για τα μεγάλα δεδομένα.
Παρεμπιπτόντως, κατά τη διάρκεια της συζήτησης για την έκρηξη της πληροφορίας και τις μεθόδους επεξεργασίας δεδομένων που παράγονται από τον άνθρωπο προέκυψε ο όρος Big Data. Πιστεύεται ότι προτάθηκε για πρώτη φορά το 2008 από τον εκδότη του περιοδικού Nature, Clifford Lynch.
Από τότε, η αγορά Big Data αυξάνεται ετησίως κατά αρκετές δεκάδες τοις εκατό. Και αυτή η τάση, σύμφωνα με τους ειδικούς, θα συνεχιστεί. Έτσι, σύμφωνα με εκτιμήσεις της εταιρείας το 2021, η συνολική παγκόσμια αγορά ανάλυσης μεγάλων δεδομένων θα αυξηθεί στα 67,2 δισεκατομμύρια δολάρια. Η ετήσια ανάπτυξη θα είναι περίπου 35,9%.
Γιατί χρειαζόμαστε αναλυτικά στοιχεία μεγάλων δεδομένων;
Σας επιτρέπει να αναγνωρίζετε εξαιρετικά πολύτιμες πληροφορίες από δομημένα ή μη σύνολα δεδομένων. Χάρη σε αυτό, μια επιχείρηση μπορεί, για παράδειγμα, να προσδιορίσει τις τάσεις, να προβλέψει την απόδοση της παραγωγής και να βελτιστοποιήσει το δικό της κόστος. Είναι σαφές ότι για τη μείωση του κόστους, οι εταιρείες είναι έτοιμες να εφαρμόσουν τις τελευταίες λύσεις.
Τεχνολογίες και μέθοδοι ανάλυσης που χρησιμοποιούνται για την ανάλυση Big Data:
- Εξόρυξη δεδομένων;
- crowdsourcing?
- ανάμειξη και ενοποίηση δεδομένων·
- μηχανική εκμάθηση?
- τεχνητά νευρωνικά δίκτυα;
- αναγνώριση μοτίβου;
- προγνωστική ανάλυση?
- μοντελοποίηση προσομοίωσης;
- χωρική ανάλυση;
- Στατιστική ανάλυση;
- οπτικοποίηση αναλυτικών δεδομένων.
Big Data analytics στον κόσμο
Η ανάλυση μεγάλων δεδομένων χρησιμοποιείται πλέον από περισσότερο από το 50% των εταιρειών παγκοσμίως. Παρά το γεγονός ότι το 2015 το ποσοστό αυτό ήταν μόλις 17%. Τα Big Data χρησιμοποιούνται πιο ενεργά από εταιρείες που δραστηριοποιούνται στους τομείς των τηλεπικοινωνιών και των χρηματοοικονομικών υπηρεσιών. Στη συνέχεια, υπάρχουν εταιρείες που ειδικεύονται στην τεχνολογία υγειονομικής περίθαλψης. Ελάχιστη χρήση των αναλυτικών στοιχείων Big Data σε εκπαιδευτικές εταιρείες: στις περισσότερες περιπτώσεις, εκπρόσωποι αυτού του τομέα ανακοίνωσαν την πρόθεσή τους να χρησιμοποιήσουν την τεχνολογία στο εγγύς μέλλον.
Στις Ηνωμένες Πολιτείες, τα Big Data analytics χρησιμοποιούνται πιο ενεργά: πάνω από το 55% των εταιρειών από διάφορους τομείς εργάζονται με αυτήν την τεχνολογία. Στην Ευρώπη και την Ασία, η ζήτηση για ανάλυση μεγάλων δεδομένων δεν είναι πολύ χαμηλότερη - περίπου 53%.
Και τι γίνεται στη Ρωσία;
Σύμφωνα με αναλυτές της IDC,. Η ανάπτυξη της αγοράς τέτοιων λύσεων στην Κεντρική και Ανατολική Ευρώπη είναι αρκετά ενεργή, το ποσοστό αυτό αυξάνεται κατά 11% κάθε χρόνο. Μέχρι το 2022, θα φτάσει τα 5,4 δισεκατομμύρια δολάρια σε ποσοτικούς όρους.
Από πολλές απόψεις, αυτή η ταχεία ανάπτυξη της αγοράς οφείλεται στην ανάπτυξη αυτής της περιοχής στη Ρωσία. Το 2018, τα έσοδα από την πώληση σχετικών λύσεων στη Ρωσική Ομοσπονδία ανήλθαν στο 40% της συνολικής επένδυσης σε τεχνολογίες επεξεργασίας Big Data σε ολόκληρη την περιοχή.
Στη Ρωσική Ομοσπονδία, εταιρείες από τον τραπεζικό και τον δημόσιο τομέα, τον κλάδο των τηλεπικοινωνιών και τη βιομηχανία δαπανούν τα περισσότερα για την επεξεργασία μεγάλων δεδομένων.
Τι κάνει και πόσα κερδίζει ένας Big Data Analyst στη Ρωσία;
Ένας αναλυτής μεγάλων δεδομένων είναι υπεύθυνος για την εξέταση τεράστιων ποσοτήτων πληροφοριών, τόσο ημιδομημένων όσο και μη δομημένων. Για τους τραπεζικούς οργανισμούς πρόκειται για συναλλαγές, για τους χειριστές - κλήσεις και κίνηση, στο λιανικό - επισκέψεις και αγορές πελατών. Όπως αναφέρθηκε παραπάνω, η ανάλυση Big Data μάς επιτρέπει να ανακαλύψουμε συνδέσεις μεταξύ διαφόρων παραγόντων στο «ιστορικό ακατέργαστων πληροφοριών», για παράδειγμα, μια διαδικασία παραγωγής ή μια χημική αντίδραση. Με βάση τα δεδομένα ανάλυσης, αναπτύσσονται νέες προσεγγίσεις και λύσεις σε διάφορους τομείς - από την κατασκευή έως την ιατρική.
Ικανότητες που απαιτούνται για έναν αναλυτή Big Data:
- Η ικανότητα να κατανοείτε γρήγορα τα χαρακτηριστικά στην περιοχή για την οποία πραγματοποιείται η ανάλυση και να βυθιστείτε σε πτυχές της επιθυμητής περιοχής. Αυτό θα μπορούσε να είναι το λιανικό εμπόριο, η βιομηχανία πετρελαίου και φυσικού αερίου, η ιατρική κ.λπ.
- Γνώση μεθόδων στατιστικής ανάλυσης δεδομένων, κατασκευή μαθηματικών μοντέλων (νευρωνικά δίκτυα, δίκτυα Bayes, ομαδοποίηση, παλινδρόμηση, αναλύσεις παραγόντων, διακύμανσης και συσχέτισης κ.λπ.).
- Να είναι σε θέση να εξάγει δεδομένα από διαφορετικές πηγές, να τα μετατρέπει για ανάλυση και να τα φορτώνει σε μια αναλυτική βάση δεδομένων.
- Άριστη SQL.
- Γνώση Αγγλικών σε επίπεδο ικανό για εύκολη ανάγνωση της τεχνικής τεκμηρίωσης.
- Γνώση της Python (τουλάχιστον τα βασικά), του Bash (είναι πολύ δύσκολο να γίνει χωρίς αυτό στη διαδικασία εργασίας), συν είναι επιθυμητό να γνωρίζετε τα βασικά της Java και της Scala (απαραίτητα για την ενεργή χρήση του Spark, ενός από τα πιο δημοφιλή πλαίσια για εργασία με μεγάλα δεδομένα).
- Δυνατότητα εργασίας με Hadoop.
Λοιπόν, πόσα κερδίζει ένας αναλυτής Big Data;
Οι ειδικοί των μεγάλων δεδομένων έχουν πλέον έλλειψη· η ζήτηση υπερβαίνει την προσφορά. Αυτό οφείλεται στο γεγονός ότι οι επιχειρήσεις καταλαβαίνουν: η ανάπτυξη απαιτεί νέες τεχνολογίες και η ανάπτυξη της τεχνολογίας απαιτεί ειδικούς.
Έτσι, Data Scientist και Data Analytics στις Η.Π.Α σύμφωνα με το πρακτορείο πρόσληψης Glassdoor. Ο μέσος μισθός αυτών των ειδικών στην Αμερική ξεκινά από 100 χιλιάδες δολάρια ετησίως.
Στη Ρωσία, οι ειδικοί μηχανικής μάθησης λαμβάνουν από 130 έως 300 χιλιάδες ρούβλια το μήνα, οι αναλυτές μεγάλων δεδομένων - από 73 έως 200 χιλιάδες ρούβλια το μήνα. Όλα εξαρτώνται από την εμπειρία και τα προσόντα. Φυσικά υπάρχουν κενές θέσεις με χαμηλότερους μισθούς και άλλες με υψηλότερους. Μέγιστη ζήτηση για αναλυτές μεγάλων δεδομένων στη Μόσχα και την Αγία Πετρούπολη. Η Μόσχα, κάτι που δεν προκαλεί έκπληξη, αντιπροσωπεύει περίπου το 50% των ενεργών θέσεων εργασίας (σύμφωνα με το hh.ru). Πολύ λιγότερη ζήτηση υπάρχει στο Μινσκ και το Κίεβο. Αξίζει να σημειωθεί ότι ορισμένες κενές θέσεις προσφέρουν ευέλικτο ωράριο και εργασία εξ αποστάσεως. Αλλά γενικά, οι εταιρείες χρειάζονται ειδικούς που εργάζονται στο γραφείο.
Με την πάροδο του χρόνου, μπορούμε να περιμένουμε αύξηση της ζήτησης για αναλυτές Big Data και εκπροσώπους σχετικών ειδικοτήτων. Όπως προαναφέρθηκε, η έλλειψη προσωπικού στον τομέα της τεχνολογίας δεν έχει ακυρωθεί. Αλλά, φυσικά, για να γίνετε αναλυτής Big Data, πρέπει να μελετήσετε και να εργαστείτε, βελτιώνοντας τόσο τις δεξιότητες που αναφέρονται παραπάνω όσο και πρόσθετες. Μία από τις ευκαιρίες για να ξεκινήσετε την πορεία του αναλυτή Big Data είναι και δοκιμάστε τις δυνάμεις σας στην εργασία με μεγάλα δεδομένα.
Πηγή: www.habr.com