Το 2008, τα BigData ήταν ένας νέος όρος και μια μοντέρνα τάση. Το 2019, τα BigData είναι αντικείμενο πώλησης, πηγή κέρδους και λόγος για νέους λογαριασμούς.
Το περασμένο φθινόπωρο, η ρωσική κυβέρνηση δρομολόγησε ένα νομοσχέδιο για τη ρύθμιση των μεγάλων δεδομένων. Τα άτομα ενδέχεται να μην αναγνωρίζονται από πληροφορίες, αλλά μπορούν να το κάνουν κατόπιν αιτήματος των ομοσπονδιακών αρχών. Η επεξεργασία BigData για τρίτους γίνεται μόνο μετά από ειδοποίηση της Roskomnadzor. Οι εταιρείες που έχουν περισσότερες από 100 χιλιάδες διευθύνσεις δικτύου εμπίπτουν στο νόμο. Και, φυσικά, όπου χωρίς καταχωρητές - υποτίθεται ότι δημιουργείται ένα με μια λίστα χειριστών βάσης δεδομένων. Και αν πριν αυτά τα Μεγάλα Δεδομένα δεν τα έπαιρναν όλοι στα σοβαρά, τώρα θα πρέπει να ληφθούν υπόψη.
Εγώ, ως διευθυντής μιας εταιρείας προγραμματισμού χρεώσεων που επεξεργάζεται αυτά τα πολύ μεγάλα δεδομένα, δεν μπορώ να αγνοήσω τη βάση δεδομένων. Θα σκεφτώ τα μεγάλα δεδομένα μέσα από το πρίσμα των τηλεπικοινωνιακών φορέων, από τα συστήματα τιμολόγησης των οποίων περνούν καθημερινά ροές πληροφοριών για χιλιάδες συνδρομητές.
Θεώρημα
Ας ξεκινήσουμε, όπως σε ένα μαθηματικό πρόβλημα: πρώτα αποδεικνύουμε ότι τα δεδομένα των τηλεπικοινωνιακών φορέων μπορούν να ονομαστούν BigDat. Τυπικά, τα μεγάλα δεδομένα χαρακτηρίζονται από τρία χαρακτηριστικά VVV, αν και στις ελεύθερες ερμηνείες ο αριθμός των «Vs» έφτασε τα επτά.
Ενταση ΗΧΟΥ. Μόνο το MVNO της Rostelecom εξυπηρετεί περισσότερους από ένα εκατομμύριο συνδρομητές. Οι βασικοί πάροχοι φιλοξενίας διαχειρίζονται δεδομένα για 44 έως 78 εκατομμύρια άτομα. Η κίνηση αυξάνεται κάθε δευτερόλεπτο: το πρώτο τρίμηνο του 2019, οι συνδρομητές έχουν ήδη πρόσβαση 3,3 δισεκατομμύρια GB από κινητά τηλέφωνα.
Ταχύτητα. Κανείς δεν μπορεί να σας πει για τη δυναμική καλύτερα από τα στατιστικά, γι' αυτό θα εξετάσω τις προβλέψεις της Cisco. Μέχρι το 2021, το 20% της επισκεψιμότητας IP θα πηγαίνει στην κίνηση από κινητά - σχεδόν θα τριπλασιαστεί σε πέντε χρόνια. Το ένα τρίτο των συνδέσεων κινητής τηλεφωνίας θα είναι M2M – η ανάπτυξη του IoT θα οδηγήσει σε εξαπλάσια αύξηση των συνδέσεων. Το Διαδίκτυο των πραγμάτων θα γίνει όχι μόνο κερδοφόρο, αλλά και με ένταση πόρων, επομένως ορισμένοι φορείς θα επικεντρωθούν μόνο σε αυτό. Και όσοι αναπτύσσουν το IoT ως ξεχωριστή υπηρεσία θα λαμβάνουν διπλή κίνηση.
Ποικιλία. Η διαφορετικότητα είναι μια υποκειμενική έννοια, αλλά οι τηλεπικοινωνιακοί φορείς πραγματικά γνωρίζουν σχεδόν τα πάντα για τους συνδρομητές τους. Από στοιχεία ονόματος και διαβατηρίου μέχρι μοντέλο τηλεφώνου, αγορές, μέρη που επισκέφθηκες και ενδιαφέροντα. Σύμφωνα με το νόμο Yarovaya, τα αρχεία πολυμέσων αποθηκεύονται για έξι μήνες. Ας πάρουμε λοιπόν ως αξίωμα ότι τα δεδομένα που συλλέγονται είναι ποικίλα.
Λογισμικό και μεθοδολογία
Οι πάροχοι είναι ένας από τους κύριους καταναλωτές BigData, επομένως οι περισσότερες τεχνικές ανάλυσης μεγάλων δεδομένων είναι εφαρμόσιμες στον κλάδο των τηλεπικοινωνιών. Ένα άλλο ερώτημα είναι ποιος είναι έτοιμος να επενδύσει στην ανάπτυξη ML, AI, Deep Learning, να επενδύσει σε κέντρα δεδομένων και εξόρυξη δεδομένων. Η πλήρης εργασία με μια βάση δεδομένων αποτελείται από υποδομές και μια ομάδα, το κόστος της οποίας δεν μπορεί να αντέξει ο καθένας. Οι επιχειρήσεις που έχουν ήδη μια εταιρική αποθήκη ή αναπτύσσουν μια μεθοδολογία Διακυβέρνησης Δεδομένων θα πρέπει να στοιχηματίσουν στο BigData. Για όσους δεν είναι ακόμη έτοιμοι για μακροπρόθεσμες επενδύσεις, σας συμβουλεύω να δημιουργήσετε σταδιακά την αρχιτεκτονική του λογισμικού και να εγκαταστήσετε τα στοιχεία ένα προς ένα. Μπορείτε να αφήσετε τις βαριές μονάδες και το Hadoop για το τέλος. Λίγοι άνθρωποι αγοράζουν μια έτοιμη λύση για προβλήματα όπως η ποιότητα δεδομένων και η εξόρυξη δεδομένων· οι εταιρείες γενικά προσαρμόζουν το σύστημα στις συγκεκριμένες προδιαγραφές και ανάγκες τους - οι ίδιες ή με τη βοήθεια προγραμματιστών.
Ωστόσο, δεν μπορεί να τροποποιηθεί κάθε χρέωση για να λειτουργεί με BigData. Ή μάλλον, όχι μόνο όλα μπορούν να τροποποιηθούν. Λίγοι άνθρωποι μπορούν να το κάνουν αυτό.
Τρία σημάδια ότι ένα σύστημα τιμολόγησης έχει την ευκαιρία να γίνει εργαλείο επεξεργασίας βάσης δεδομένων:
- Οριζόντια επεκτασιμότητα. Το λογισμικό πρέπει να είναι ευέλικτο - μιλάμε για μεγάλα δεδομένα. Η αύξηση του όγκου των πληροφοριών θα πρέπει να αντιμετωπίζεται με μια αναλογική αύξηση του υλικού στο σύμπλεγμα.
- Ανοχή σε σφάλματα. Τα σοβαρά προπληρωμένα συστήματα είναι συνήθως ανεκτικά σε σφάλματα από προεπιλογή: η τιμολόγηση αναπτύσσεται σε ένα σύμπλεγμα σε πολλές γεωγραφικές τοποθεσίες, έτσι ώστε να ασφαλίζουν αυτόματα το ένα το άλλο. Θα πρέπει επίσης να υπάρχουν αρκετοί υπολογιστές στο σύμπλεγμα Hadoop σε περίπτωση που ένας ή περισσότεροι αποτύχουν.
- Τοποθεσία. Τα δεδομένα πρέπει να αποθηκευτούν και να υποβληθούν σε επεξεργασία σε έναν διακομιστή, διαφορετικά μπορεί να αποτύχει η μεταφορά δεδομένων. Ένα από τα δημοφιλή σχήματα προσέγγισης Map-Reduce: καταστήματα HDFS, διεργασίες Spark. Στην ιδανική περίπτωση, το λογισμικό θα πρέπει να ενσωματώνεται απρόσκοπτα στην υποδομή του κέντρου δεδομένων και να μπορεί να κάνει τρία πράγματα σε ένα: συλλογή, οργάνωση και ανάλυση πληροφοριών.
Ομάδα
Τι, πώς και για ποιο σκοπό το πρόγραμμα θα επεξεργάζεται μεγάλα δεδομένα αποφασίζεται από την ομάδα. Συχνά αποτελείται από ένα άτομο – έναν επιστήμονα δεδομένων. Αν και, κατά τη γνώμη μου, το ελάχιστο πακέτο εργαζομένων για Big Data περιλαμβάνει επίσης Product Manager, Data Engineer και Manager. Ο πρώτος κατανοεί τις υπηρεσίες, μεταφράζει την τεχνική γλώσσα σε ανθρώπινη γλώσσα και το αντίστροφο. Το Data Engineer ζωντανεύει μοντέλα χρησιμοποιώντας Java/Scala και πειραματίζεται με τη Μηχανική Μάθηση. Ο διευθυντής συντονίζει, θέτει στόχους και ελέγχει τα στάδια.
Προβλήματα
Είναι από την πλευρά της ομάδας BigData που συνήθως προκύπτουν προβλήματα κατά τη συλλογή και την επεξεργασία δεδομένων. Το πρόγραμμα πρέπει να εξηγήσει τι πρέπει να συλλέξει και πώς να το επεξεργαστεί - για να το εξηγήσετε, πρέπει πρώτα να το καταλάβετε μόνοι σας. Αλλά για τους παρόχους, τα πράγματα δεν είναι τόσο απλά. Μιλάω για τα προβλήματα χρησιμοποιώντας το παράδειγμα της εργασίας μείωσης της ανατροπής των συνδρομητών - αυτό προσπαθούν να λύσουν οι τηλεπικοινωνιακοί φορείς με τη βοήθεια των Big Data αρχικά.
Θέτοντας στόχους. Οι καλογραμμένες τεχνικές προδιαγραφές και η διαφορετική κατανόηση των όρων ήταν ένας πόνος αιώνων όχι μόνο για τους ελεύθερους επαγγελματίες. Ακόμη και οι «πεσμένοι» συνδρομητές μπορούν να ερμηνευθούν με διαφορετικούς τρόπους - ως εκείνοι που δεν έχουν χρησιμοποιήσει τις υπηρεσίες του φορέα εκμετάλλευσης για ένα μήνα, έξι μήνες ή ένα χρόνο. Και για να δημιουργήσετε ένα MVP με βάση ιστορικά δεδομένα, πρέπει να κατανοήσετε τη συχνότητα των επιστροφών των συνδρομητών από το churn - εκείνοι που δοκίμασαν άλλους παρόχους ή έφυγαν από την πόλη και χρησιμοποίησαν διαφορετικό αριθμό. Ένα άλλο σημαντικό ερώτημα: πόσο καιρό πριν ο συνδρομητής αναμένεται να φύγει πρέπει να το καθορίσει ο πάροχος και να λάβει μέτρα; Έξι μήνες είναι πολύ νωρίς, μια εβδομάδα είναι πολύ αργά.
Αντικατάσταση εννοιών. Συνήθως, οι χειριστές αναγνωρίζουν έναν πελάτη με αριθμό τηλεφώνου, επομένως είναι λογικό οι πινακίδες να ανεβαίνουν χρησιμοποιώντας αυτόν. Τι γίνεται με τον προσωπικό σας λογαριασμό ή τον αριθμό αίτησης υπηρεσίας; Είναι απαραίτητο να αποφασίσετε ποια μονάδα θα πρέπει να ληφθεί ως πελάτης, έτσι ώστε τα δεδομένα στο σύστημα του χειριστή να μην διαφέρουν. Η αξιολόγηση της αξίας ενός πελάτη είναι επίσης αμφίβολη - ποιος συνδρομητής είναι πιο πολύτιμος για την εταιρεία, ποιος χρήστης απαιτεί περισσότερη προσπάθεια για να διατηρήσει και ποιοι θα "πέσουν" σε κάθε περίπτωση και δεν έχει νόημα να δαπανηθούν πόροι για αυτούς.
Ελλειψη πληροφόρησης. Δεν είναι όλοι οι υπάλληλοι των παρόχων σε θέση να εξηγήσουν στην ομάδα BigData τι επηρεάζει συγκεκριμένα την απόσυρση των συνδρομητών και πώς υπολογίζονται πιθανοί παράγοντες στη χρέωση. Ακόμα κι αν ονόμασαν ένα από αυτά - ARPU - αποδεικνύεται ότι μπορεί να υπολογιστεί με διαφορετικούς τρόπους: είτε με περιοδικές πληρωμές πελατών είτε με αυτόματες χρεώσεις χρέωσης. Και στη διαδικασία της εργασίας, προκύπτουν ένα εκατομμύριο άλλα ερωτήματα. Καλύπτει το μοντέλο όλους τους πελάτες, ποιο είναι το τίμημα για τη διατήρηση ενός πελάτη, έχει νόημα να σκεφτούμε εναλλακτικά μοντέλα και τι να κάνουμε με πελάτες που έχουν διατηρηθεί κατά λάθος τεχνητά.
Ο καθορισμός του στόχου. Γνωρίζω τρεις τύπους σφαλμάτων αποτελεσμάτων που προκαλούν απογοήτευση των χειριστών με τη βάση δεδομένων.
- Ο πάροχος επενδύει σε BigData, επεξεργάζεται gigabyte πληροφοριών, αλλά έχει ένα αποτέλεσμα που θα μπορούσε να είχε ληφθεί φθηνότερα. Χρησιμοποιούνται απλά διαγράμματα και μοντέλα, πρωτόγονες αναλύσεις. Το κόστος είναι πολλαπλάσιο, αλλά το αποτέλεσμα είναι το ίδιο.
- Ο χειριστής λαμβάνει πολύπλευρα δεδομένα ως έξοδο, αλλά δεν καταλαβαίνει πώς να τα χρησιμοποιήσει. Υπάρχουν αναλυτικά στοιχεία - εδώ είναι κατανοητά και ογκώδη, αλλά δεν ωφελούν. Το τελικό αποτέλεσμα, το οποίο δεν μπορεί να συνίσταται στον στόχο της «επεξεργασίας δεδομένων», δεν έχει μελετηθεί. Δεν αρκεί η επεξεργασία - τα αναλυτικά στοιχεία θα πρέπει να γίνουν η βάση για την ενημέρωση των επιχειρηματικών διαδικασιών.
- Εμπόδια στη χρήση των αναλυτικών στοιχείων BigData μπορεί να είναι ξεπερασμένες επιχειρηματικές διαδικασίες και λογισμικό ακατάλληλο για νέους σκοπούς. Αυτό σημαίνει ότι έκαναν λάθος στο στάδιο της προετοιμασίας - δεν σκέφτηκαν τον αλγόριθμο των ενεργειών και τα στάδια εισαγωγής Big Data στην εργασία.
Γιατί
Μιλώντας για αποτελέσματα. Θα εξετάσω τους τρόπους χρήσης και δημιουργίας εσόδων από Big Data που χρησιμοποιούν ήδη οι τηλεπικοινωνιακοί φορείς.
Οι πάροχοι προβλέπουν όχι μόνο την εκροή των συνδρομητών, αλλά και το φορτίο στους σταθμούς βάσης.
- Αναλύονται πληροφορίες σχετικά με τις κινήσεις των συνδρομητών, τη δραστηριότητα και τις υπηρεσίες συχνότητας. Αποτέλεσμα: μείωση του αριθμού υπερφορτώσεων λόγω βελτιστοποίησης και εκσυγχρονισμού προβληματικών περιοχών της υποδομής.
- Οι πάροχοι τηλεπικοινωνιών χρησιμοποιούν πληροφορίες σχετικά με τη γεωγραφική θέση των συνδρομητών και την πυκνότητα κίνησης όταν ανοίγουν σημεία πώλησης. Έτσι, τα αναλυτικά στοιχεία BigData χρησιμοποιούνται ήδη από την MTS και τη VimpelCom για τον σχεδιασμό της τοποθεσίας των νέων γραφείων.
- Οι πάροχοι δημιουργούν έσοδα από τα δικά τους μεγάλα δεδομένα προσφέροντάς τα σε τρίτους. Οι κύριοι πελάτες των χειριστών BigData είναι οι εμπορικές τράπεζες. Χρησιμοποιώντας τη βάση δεδομένων, παρακολουθούν ύποπτες δραστηριότητες της κάρτας SIM του συνδρομητή με την οποία είναι συνδεδεμένες οι κάρτες και χρησιμοποιούν υπηρεσίες βαθμολόγησης κινδύνου, επαλήθευσης και παρακολούθησης. Και το 2017, η κυβέρνηση της Μόσχας ζήτησε τη δυναμική κίνησης με βάση τα δεδομένα BigData από το Tele2 για τον σχεδιασμό της τεχνικής και της υποδομής μεταφορών.
- Τα BigData analytics είναι ένα χρυσωρυχείο για τους επαγγελματίες του μάρκετινγκ, οι οποίοι μπορούν να δημιουργήσουν εξατομικευμένες διαφημιστικές καμπάνιες για έως και χιλιάδες ομάδες συνδρομητών, εάν το επιθυμούν. Οι εταιρείες τηλεπικοινωνιών συγκεντρώνουν τα κοινωνικά προφίλ, τα ενδιαφέροντα των καταναλωτών και τα πρότυπα συμπεριφοράς των συνδρομητών και στη συνέχεια χρησιμοποιούν τα BigData που συλλέγουν για να προσελκύσουν νέους πελάτες. Αλλά για τον σχεδιασμό προώθησης και δημοσίων σχέσεων μεγάλης κλίμακας, η τιμολόγηση δεν έχει πάντα αρκετή λειτουργικότητα: το πρόγραμμα πρέπει ταυτόχρονα να λαμβάνει υπόψη πολλούς παράγοντες παράλληλα με λεπτομερείς πληροφορίες για τους πελάτες.
Ενώ ορισμένοι εξακολουθούν να θεωρούν τα BigData μια κενή φράση, οι Big Four ήδη βγάζουν χρήματα από αυτό. Το MTS κερδίζει 14 δισεκατομμύρια ρούβλια από την επεξεργασία μεγάλων δεδομένων σε έξι μήνες και το Tele2 αύξησε τα έσοδα από έργα κατά τρεισήμισι φορές. Το BigData μετατρέπεται από τάση σε must have, βάσει του οποίου θα ξαναχτιστεί ολόκληρη η δομή των τηλεπικοινωνιακών φορέων.
Πηγή: www.habr.com