Το τμήμα Πληροφορικής της VTB αρκετές φορές χρειάστηκε να αντιμετωπίσει καταστάσεις έκτακτης ανάγκης στη λειτουργία συστημάτων, όταν το φορτίο σε αυτά αυξήθηκε πολλές φορές. Ως εκ τούτου, υπήρχε ανάγκη να αναπτυχθεί και να δοκιμαστεί ένα μοντέλο που θα προβλέπει το μέγιστο φορτίο σε κρίσιμα συστήματα. Για να γίνει αυτό, οι ειδικοί πληροφορικής της τράπεζας δημιούργησαν παρακολούθηση, ανέλυσαν δεδομένα και έμαθαν να αυτοματοποιούν τις προβλέψεις. Θα σας πούμε σε ένα σύντομο άρθρο ποια εργαλεία βοήθησαν στην πρόβλεψη του φορτίου και αν βοήθησαν στη βελτιστοποίηση της εργασίας.
Προβλήματα με υπηρεσίες υψηλού φορτίου προκύπτουν σε όλους σχεδόν τους κλάδους, αλλά για τον χρηματοπιστωτικό τομέα είναι κρίσιμα. Την ώρα X, όλες οι μονάδες μάχης πρέπει να είναι έτοιμες και επομένως ήταν απαραίτητο να γνωρίζουμε εκ των προτέρων τι θα μπορούσε να συμβεί και ακόμη και να καθορίσουμε την ημέρα που θα πηδούσε το φορτίο και ποια συστήματα θα το συναντούσαν. Οι αποτυχίες πρέπει να αντιμετωπίζονται και να προλαμβάνονται, επομένως δεν συζητήθηκε καν η ανάγκη εφαρμογής ενός συστήματος πρόβλεψης ανάλυσης. Ήταν απαραίτητος ο εκσυγχρονισμός των συστημάτων που βασίζονται σε δεδομένα παρακολούθησης.
Αναλύσεις στα γόνατά σας
Το έργο μισθοδοσίας είναι ένα από τα πιο ευαίσθητα σε περίπτωση αποτυχίας. Είναι το πιο κατανοητό για πρόβλεψη, οπότε αποφασίσαμε να ξεκινήσουμε με αυτό. Λόγω της υψηλής συνδεσιμότητας, άλλα υποσυστήματα, συμπεριλαμβανομένων των υπηρεσιών απομακρυσμένης τραπεζικής (RBS), ενδέχεται να αντιμετωπίσουν προβλήματα σε περιόδους αιχμής. Για παράδειγμα, οι πελάτες που ήταν ευχαριστημένοι με το SMS σχετικά με τη λήψη χρημάτων άρχισαν να το χρησιμοποιούν ενεργά. Το φορτίο θα μπορούσε να πηδήξει περισσότερο από μια τάξη μεγέθους.
Το πρώτο μοντέλο πρόβλεψης δημιουργήθηκε χειροκίνητα. Πήραμε τις μεταφορτώσεις για το τελευταίο έτος και υπολογίσαμε ποιες ημέρες αναμένονται οι μέγιστες κορυφές: για παράδειγμα, την 1η, 15η και 25η, καθώς και τις τελευταίες ημέρες του μήνα. Αυτό το μοντέλο απαιτούσε σημαντικό κόστος εργασίας και δεν παρείχε ακριβή πρόβλεψη. Ωστόσο, εντόπισε σημεία συμφόρησης όπου ήταν απαραίτητο να προστεθεί υλικό και κατέστησε δυνατή τη βελτιστοποίηση της διαδικασίας μεταφοράς χρημάτων συμφωνώντας με τους πελάτες της άγκυρας: για να μην δίνονται οι μισθοί σε μια γουλιά, οι συναλλαγές από διαφορετικές περιοχές κατανεμήθηκαν με την πάροδο του χρόνου. Τώρα τα επεξεργαζόμαστε σε μέρη που η υποδομή πληροφορικής της τράπεζας μπορεί να «μασάει» χωρίς αποτυχία.
Έχοντας λάβει το πρώτο θετικό αποτέλεσμα, προχωρήσαμε στην αυτοματοποίηση της πρόβλεψης.Δεκάδες ακόμη κρίσιμες περιοχές περίμεναν τη σειρά τους.
Συνολική προσέγγιση
Η VTB έχει εφαρμόσει ένα σύστημα παρακολούθησης από τη MicroFocus. Από εκεί πήραμε τη συλλογή δεδομένων για πρόβλεψη, ένα σύστημα αποθήκευσης και ένα σύστημα αναφοράς. Στην πραγματικότητα, η παρακολούθηση υπήρχε ήδη, το μόνο που έμενε ήταν να προστεθούν μετρήσεις, μια ενότητα πρόβλεψης και να δημιουργηθούν νέες αναφορές. Αυτή η απόφαση υποστηρίζεται από τον εξωτερικό ανάδοχο Technoserv, επομένως η κύρια εργασία για την υλοποίηση του έργου έπεσε στους ειδικούς της, αλλά κατασκευάσαμε μόνοι μας το μοντέλο. Το σύστημα πρόβλεψης έγινε με βάση το Prophet, ένα προϊόν ανοιχτού κώδικα που αναπτύχθηκε από το Facebook. Είναι εύκολο στη χρήση και ενσωματώνεται εύκολα με τα εγκατεστημένα ενσωματωμένα εργαλεία παρακολούθησης και το Vertica. Σε γενικές γραμμές, το σύστημα αναλύει το γράφημα φορτίου και το προεκθέτει με βάση τη σειρά Fourier. Είναι επίσης δυνατό να προσθέσουμε ορισμένους συντελεστές ανά ημέρα, που λαμβάνονται από το μοντέλο μας. Οι μετρήσεις λαμβάνονται χωρίς ανθρώπινη παρέμβαση, η πρόβλεψη επανυπολογίζεται αυτόματα μία φορά την εβδομάδα και οι νέες αναφορές αποστέλλονται στους παραλήπτες.
Αυτή η προσέγγιση προσδιορίζει τις κύριες κυκλικές καταστάσεις, για παράδειγμα, ετήσια, μηνιαία, τριμηνιαία και εβδομαδιαία. Πληρωμές μισθών και προκαταβολών, περιόδους διακοπών, αργιών και εκπτώσεων - όλα αυτά επηρεάζουν τον αριθμό των κλήσεων στα συστήματα. Αποδείχθηκε, για παράδειγμα, ότι ορισμένοι κύκλοι αλληλοεπικαλύπτονται και το κύριο φορτίο (75%) στα συστήματα προέρχεται από την Κεντρική Ομοσπονδιακή Περιφέρεια. Τα νομικά πρόσωπα και τα φυσικά πρόσωπα συμπεριφέρονται διαφορετικά. Εάν το φορτίο από τους "φυσικούς" είναι σχετικά ομοιόμορφα κατανεμημένο στις ημέρες της εβδομάδας (πρόκειται για πολλές μικρές συναλλαγές), τότε για τις εταιρείες το 99,9% δαπανάται σε ώρες εργασίας και οι συναλλαγές μπορεί να είναι σύντομες ή να διεκπεραιωθούν μέσα σε αρκετές λεπτά ή και ώρες.
Με βάση τα δεδομένα που λαμβάνονται, προσδιορίζονται οι μακροπρόθεσμες τάσεις. Το νέο σύστημα αποκάλυψε ότι οι άνθρωποι μετακινούνται μαζικά σε απομακρυσμένες τραπεζικές υπηρεσίες. Όλοι το γνωρίζουν αυτό, αλλά δεν περιμέναμε τέτοια κλίμακα και στην αρχή δεν το πιστέψαμε: ο αριθμός των κλήσεων σε τραπεζικά γραφεία μειώνεται εξαιρετικά γρήγορα και ο αριθμός των απομακρυσμένων συναλλαγών αυξάνεται κατά το ίδιο ακριβώς ποσό. Αντίστοιχα, το φορτίο στα συστήματα επίσης αυξάνεται και θα συνεχίσει να αυξάνεται. Τώρα προβλέπουμε το φορτίο μέχρι τον Φεβρουάριο του 2020. Οι κανονικές ημέρες μπορούν να προβλεφθούν με σφάλμα 3%, και οι ημέρες αιχμής με σφάλμα 10%. Αυτό είναι ένα καλό αποτέλεσμα.
Παγίδες
Ως συνήθως, αυτό δεν ήταν χωρίς δυσκολίες. Ο μηχανισμός παρέκτασης που χρησιμοποιεί τη σειρά Fourier δεν διασχίζει καλά το μηδέν - γνωρίζουμε ότι οι νομικές οντότητες δημιουργούν λίγες συναλλαγές τα Σαββατοκύριακα, αλλά η μονάδα πρόβλεψης παράγει τιμές που απέχουν πολύ από το μηδέν. Ήταν δυνατό να τα διορθώσουμε με το ζόρι, αλλά τα δεκανίκια δεν είναι η μέθοδός μας. Επιπλέον, έπρεπε να λύσουμε το πρόβλημα της ανώδυνης ανάκτησης δεδομένων από συστήματα πηγής. Η τακτική συλλογή πληροφοριών απαιτεί σοβαρούς υπολογιστικούς πόρους, επομένως δημιουργήσαμε γρήγορες κρυφές μνήμες χρησιμοποιώντας αναπαραγωγή και λαμβάνουμε επιχειρηματικά δεδομένα από αντίγραφα. Η απουσία πρόσθετου φορτίου στα κύρια συστήματα σε τέτοιες περιπτώσεις αποτελεί απαίτηση αποκλεισμού.
Νέες προκλήσεις
Το απλό έργο της πρόβλεψης των κορυφών επιλύθηκε: δεν υπήρξαν αστοχίες στην τράπεζα που σχετίζονται με υπερφόρτωση από τον Μάιο του τρέχοντος έτους και το νέο σύστημα πρόβλεψης έπαιξε σημαντικό ρόλο σε αυτό. Ναι, αποδείχθηκε ότι δεν ήταν αρκετό και τώρα η τράπεζα θέλει να καταλάβει πόσο επικίνδυνες είναι οι κορυφές για αυτήν. Χρειαζόμαστε προβλέψεις που χρησιμοποιούν μετρήσεις από τη δοκιμή φορτίου και για περίπου το 30% των κρίσιμων συστημάτων αυτό λειτουργεί ήδη, ενώ τα υπόλοιπα βρίσκονται στη διαδικασία λήψης προβλέψεων. Στο επόμενο στάδιο, πρόκειται να προβλέψουμε το φορτίο των συστημάτων όχι σε επιχειρηματικές συναλλαγές, αλλά σε όρους υποδομής πληροφορικής, δηλαδή θα κατέβουμε ένα επίπεδο. Επιπλέον, πρέπει να αυτοματοποιήσουμε πλήρως τη συλλογή μετρήσεων και την κατασκευή προβλέψεων βάσει αυτών, ώστε να μην ασχολούμαστε με λήψεις. Δεν υπάρχει τίποτα φανταχτερό σε αυτό - απλώς διασταυρώνουμε την παρακολούθηση και τις δοκιμές φόρτωσης σύμφωνα με τις παγκόσμιες βέλτιστες πρακτικές.
Πηγή: www.habr.com