Μια μελέτη για την εφαρμογή της επιχειρηματικής λογικής σε επίπεδο αποθηκευμένων συναρτήσεων PostgreSQL

Το έναυσμα για τη συγγραφή αυτού του σκίτσου ήταν το άρθρο «Κατά τη διάρκεια της καραντίνας, ο φόρτος εργασίας αυξήθηκε 5 φορές, αλλά ήμασταν έτοιμοι». Πώς το Lingualeo μετακόμισε στην PostgreSQL με 23 εκατομμύρια χρήστες. Βρήκα επίσης ενδιαφέρον το άρθρο που δημοσιεύτηκε πριν από 4 χρόνια - Εφαρμογή επιχειρηματικής λογικής στη MySQL.

Φαινόταν ενδιαφέρον ότι η ίδια σκέψη - "να εφαρμόσουν επιχειρηματική λογική στη βάση δεδομένων".

Μια μελέτη για την εφαρμογή της επιχειρηματικής λογικής σε επίπεδο αποθηκευμένων συναρτήσεων PostgreSQL

Δεν ήμουν μόνο εγώ που μου ήρθε στο μυαλό.

Επίσης, για το μέλλον, ήθελα να διατηρήσω, πρώτα απ 'όλα, για τον εαυτό μου, ενδιαφέρουσες εξελίξεις που προέκυψαν κατά την υλοποίηση. Ειδικά αν αναλογιστεί κανείς ότι σχετικά πρόσφατα ελήφθη μια στρατηγική απόφαση για αλλαγή της αρχιτεκτονικής και μεταφορά της επιχειρηματικής λογικής στο επίπεδο υποστήριξης. Ώστε όλα όσα έχουν αναπτυχθεί σύντομα δεν θα είναι χρήσιμα σε κανέναν και δεν θα ενδιαφέρουν κανέναν.

Οι περιγραφόμενες μέθοδοι δεν είναι κάποιου είδους ανακάλυψη ή εξαιρετικές τεχνογνωσίας, όλα είναι κλασικά και έχουν εφαρμοστεί αρκετές φορές (για παράδειγμα, χρησιμοποίησα παρόμοια προσέγγιση πριν από 20 χρόνια στην Oracle).Απλώς αποφάσισα να συγκεντρώσω τα πάντα σε ένα μέρος. Σε περίπτωση που φανεί χρήσιμο σε κάποιον. Όπως έχει δείξει η πρακτική, πολύ συχνά η ίδια ιδέα έρχεται σε διαφορετικούς ανθρώπους ανεξάρτητα. Και είναι χρήσιμο να το κρατήσετε για τον εαυτό σας ως αναμνηστικό.

Φυσικά, τίποτα σε αυτόν τον κόσμο δεν είναι τέλειο, λάθη και τυπογραφικά λάθη δυστυχώς είναι πιθανά. Η κριτική και τα σχόλια είναι ιδιαίτερα ευπρόσδεκτα και αναμενόμενα και μια ακόμη μικρή λεπτομέρεια - οι συγκεκριμένες λεπτομέρειες εφαρμογής παραλείπονται. Ωστόσο, όλα εξακολουθούν να χρησιμοποιούνται σε ένα πραγματικό έργο εργασίας. Έτσι, το άρθρο είναι απλώς ένα σκίτσο και μια περιγραφή της γενικής έννοιας, τίποτα περισσότερο. Ελπίζω να υπάρχουν αρκετές λεπτομέρειες για να κατανοήσουμε τη συνολική εικόνα.

Η γενική ιδέα είναι «διαίρει και βασίλευε, κρύβεσαι και αποκτάς»

Η ιδέα είναι κλασική - ένα ξεχωριστό σχήμα για πίνακες, ένα ξεχωριστό σχήμα για αποθηκευμένες συναρτήσεις.
Ο πελάτης δεν έχει απευθείας πρόσβαση στα δεδομένα. Το μόνο που μπορεί να κάνει ο πελάτης είναι να καλέσει την αποθηκευμένη συνάρτηση και να επεξεργαστεί την απάντηση που έλαβε.

Ρόλοι

CREATE ROLE store;

CREATE ROLE sys_functions;

CREATE ROLE loc_audit_functions;

CREATE ROLE service_functions;

CREATE ROLE business_functions;

Σχέδια

Σχέδιο αποθήκευσης τραπεζιού

Πίνακες στόχων που υλοποιούν θεματικές οντότητες.

CREATE SCHEMA store AUTHORIZATION store ;

Διάγραμμα λειτουργίας συστήματος

Λειτουργίες συστήματος, ιδιαίτερα για την καταγραφή αλλαγών πίνακα.

CREATE SCHEMA sys_functions AUTHORIZATION sys_functions ;

Τοπικό σύστημα ελέγχου

Λειτουργίες και πίνακες για την υλοποίηση τοπικού ελέγχου της εκτέλεσης αποθηκευμένων συναρτήσεων και αλλαγών σε πίνακες προορισμού.

CREATE SCHEMA loc_audit_functions AUTHORIZATION loc_audit_functions;

Διάγραμμα λειτουργίας σέρβις

Λειτουργίες για υπηρεσίες και λειτουργίες DML.

CREATE SCHEMA service_functions AUTHORIZATION service_functions;

Διάγραμμα επιχειρησιακών λειτουργιών

Λειτουργίες για τελικές επιχειρηματικές λειτουργίες που καλούνται από τον πελάτη.

CREATE SCHEMA business_functions AUTHORIZATION business_functions;

Δικαιώματα πρόσβασης

Ρόλος - DBA έχει πλήρη πρόσβαση σε όλα τα σχήματα (χωριστά από τον ρόλο κατόχου DB).

CREATE ROLE dba_role;
GRANT store TO dba_role;
GRANT sys_functions TO dba_role;
GRANT loc_audit_functions TO dba_role;
GRANT service_functions TO dba_role;
GRANT business_functions TO dba_role;

Ρόλος - ΜΕΤΑΧΕΙΡΙΖΌΜΕΝΟΣ έχει το προνόμιο ΕΚΤΕΛΕΣΗ στο διάγραμμα business_functions.

CREATE ROLE user_role;

Προνόμια μεταξύ σχημάτων

ΧΟΡΗΓΗΣΗ
Αφού όλες οι συναρτήσεις δημιουργούνται με το χαρακτηριστικό SECURITY DEFINIER απαιτούνται οδηγίες ΑΝΑΚΛΗΣΗ ΕΚΤΕΛΕΣΗΣ ΣΕ ΟΛΕΣ ΤΙΣ ΛΕΙΤΟΥΡΓΙΕΣ… ΑΠΟ δημόσιο.

REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA sys_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  loc_audit_functions  FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  service_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  business_functions FROM public ; 

GRANT USAGE ON SCHEMA sys_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA sys_functions TO dba_role ;
GRANT USAGE ON SCHEMA loc_audit_functions  TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA loc_audit_functions  TO dba_role ;
GRANT USAGE ON SCHEMA service_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA service_functions TO dba_role ;
GRANT USAGE ON SCHEMA business_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO dba_role ;
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO user_role ;

GRANT ALL PRIVILEGES ON SCHEMA store TO GROUP business_functions ;
GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA store TO business_functions ;
GRANT USAGE ON ALL SEQUENCES IN SCHEMA store TO business_functions ;

Έτσι το σχήμα της βάσης δεδομένων είναι έτοιμο. Μπορείτε να αρχίσετε να συμπληρώνετε τα δεδομένα.

Πίνακες στόχων

Η δημιουργία πινάκων είναι ασήμαντη. Δεν υπάρχουν ειδικά χαρακτηριστικά, εκτός από το ότι αποφασίστηκε να μην χρησιμοποιηθούν ΚΑΤΑ ΣΥΡΡΟΗ και δημιουργούν ρητά ακολουθίες. Επιπλέον, φυσικά, η μέγιστη χρήση των οδηγιών

COMMENT ON ...

Σχόλια για όλα αντικείμενα, χωρίς εξαίρεση.

Τοπικός έλεγχος

Για την καταγραφή της εκτέλεσης των αποθηκευμένων συναρτήσεων και των αλλαγών σε πίνακες προορισμού, χρησιμοποιείται ένας πίνακας τοπικού ελέγχου, ο οποίος περιλαμβάνει, μεταξύ άλλων, λεπτομέρειες της σύνδεσης πελάτη, την ετικέτα της καλούμενης μονάδας και τις πραγματικές τιμές της εισόδου και παραμέτρους εξόδου με τη μορφή JSON.

Λειτουργίες συστήματος

Σχεδιασμένο για καταγραφή αλλαγών σε πίνακες προορισμού. Είναι λειτουργίες ενεργοποίησης.

Πρότυπο - λειτουργία συστήματος

---------------------------------------------------------
-- INSERT
CREATE OR REPLACE FUNCTION sys_functions.table_insert_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'insert' , json_build_object('id', NEW.id)  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_insert AFTER INSERT ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_insert_log();

---------------------------------------------------------
-- UPDATE
CREATE OR REPLACE FUNCTION sys_functions.table_update_log ()
RETURNS TRIGGER AS $$
BEGIN
  IF OLD.column != NEW.column
  THEN
    PERFORM loc_audit_functions.make_log( ' '||'table' , 'update' , json_build_object('OLD.column', OLD.column , 'NEW.column' , NEW.column )  );
  END IF ;
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_update AFTER UPDATE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_update_log ();

---------------------------------------------------------
-- DELETE
CREATE OR REPLACE FUNCTION sys_functions.table_delete_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'delete' , json_build_object('id', OLD.id )  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_delete AFTER DELETE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_delete_log ();

Λειτουργίες εξυπηρέτησης

Σχεδιασμένο για την υλοποίηση λειτουργιών υπηρεσιών και DML σε πίνακες προορισμού.

Πρότυπο - λειτουργία υπηρεσίας

--INSERT
--RETURN id OF NEW ROW
CREATE OR REPLACE FUNCTION service_functions.table_insert ( new_column store.table.column%TYPE )
RETURNS integer AS $$
DECLARE
  new_id integer ;
BEGIN
  -- Generate new id
  new_id = nextval('store.table.seq');

  -- Insert into table
  INSERT INTO store.table
  ( 
    id ,
    column
   )
  VALUES
  (
   new_id ,
   new_column
   );

RETURN new_id ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

--DELETE
--RETURN ROW NUMBERS DELETED
CREATE OR REPLACE FUNCTION service_functions.table_delete ( current_id integer ) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ;    
BEGIN
  DELETE FROM store.table WHERE id = current_id; 

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;
 
-- UPDATE DETAILS
-- RETURN ROW NUMBERS UPDATED
CREATE OR REPLACE FUNCTION service_functions.table_update_column 
(
  current_id integer 
  ,new_column store.table.column%TYPE
) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ; 
BEGIN
  UPDATE  store.table
  SET
    column = new_column
  WHERE id = current_id;

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Επιχειρηματικές λειτουργίες

Σχεδιασμένο για τελικές επιχειρηματικές λειτουργίες που καλούνται από τον πελάτη. Πάντα επιστρέφουν - JSON. Για να παρακολουθήσετε και να καταγράψετε σφάλματα εκτέλεσης, χρησιμοποιήστε το μπλοκ ΕΞΑΙΡΕΣΗ.

Πρότυπο - επιχειρησιακή λειτουργία

CREATE OR REPLACE FUNCTION business_functions.business_function_template(
--Input parameters        
 )
RETURNS JSON AS $$
DECLARE
  ------------------------
  --for exception catching
  error_message text ;
  error_json json ;
  result json ;
  ------------------------ 
BEGIN
--LOGGING
  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'STARTED',
    json_build_object
    (
	--IN Parameters
    ) 
   );

  PERFORM business_functions.notice('business_function_template');            

  --START BUSINESS PART
  --END BUSINESS PART

  -- SUCCESFULLY RESULT
  PERFORM business_functions.notice('result');
  PERFORM business_functions.notice(result);

  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'FINISHED', 
    json_build_object( 'result',result )
  );

  RETURN result ;
----------------------------------------------------------------------------------------------------------
-- EXCEPTION CATCHING
EXCEPTION                        
  WHEN OTHERS THEN    
    PERFORM loc_audit_functions.make_log
    (
      'business_function_template',
      'STARTED',
      json_build_object
      (
	--IN Parameters	
      ) , TRUE );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLSTATE',SQLSTATE ), TRUE 
     );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLERRM',SQLERRM  ), TRUE 
      );

     GET STACKED DIAGNOSTICS error_message = RETURNED_SQLSTATE ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-RETURNED_SQLSTATE',json_build_object('RETURNED_SQLSTATE',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = COLUMN_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-COLUMN_NAME',
       json_build_object('COLUMN_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = CONSTRAINT_NAME ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-CONSTRAINT_NAME',
      json_build_object('CONSTRAINT_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_DATATYPE_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_DATATYPE_NAME',
       json_build_object('PG_DATATYPE_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = MESSAGE_TEXT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-MESSAGE_TEXT',json_build_object('MESSAGE_TEXT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = SCHEMA_NAME ;
     PERFORM loc_audit_functions.make_log
     (s
       'business_function_template',
       ' ERROR-SCHEMA_NAME',json_build_object('SCHEMA_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_DETAIL ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_DETAIL',
      json_build_object('PG_EXCEPTION_DETAIL',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_HINT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_EXCEPTION_HINT',json_build_object('PG_EXCEPTION_HINT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_CONTEXT ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_CONTEXT',json_build_object('PG_EXCEPTION_CONTEXT',error_message  ), TRUE );                                      

    RAISE WARNING 'ALARM: %' , SQLERRM ;

    SELECT json_build_object
    (
      'isError' , TRUE ,
      'errorMsg' , SQLERRM
     ) INTO error_json ;

  RETURN  error_json ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Σύνολο

Για να περιγράψω τη γενική εικόνα, νομίζω ότι είναι αρκετά. Αν κάποιος ενδιαφέρεται για τις λεπτομέρειες και τα αποτελέσματα, γράψτε σχόλια, θα χαρώ να προσθέσω επιπλέον πινελιές στην εικόνα.

PS

Καταγραφή απλού σφάλματος - τύπος παραμέτρου εισαγωγής

-[ RECORD 1 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1072
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          | STARTED
jsonb_pretty    | {
                |     "dko": {
                |         "id": 4,
                |         "type": "Type1",                                                                                                                                                                                            
                |         "title": "CREATED BY addKD",
                |         "Weight": 10,
                |         "Tr": "300",
                |         "reduction": 10,
                |         "isTrud": "TRUE",
                |         "description": "decription",
                |         "lowerTr": "100",
                |         "measurement": "measurement1",
                |         "methodology": "m1",                                                                                                                                                                                           
                |         "passportUrl": "files",
                |         "upperTr": "200",
                |         "weightingFactor": 100.123,
                |         "actualTrValue": null,
                |         "upperTrCalcNumber": "120"
                |     },
                |     "CardId": 3
                | }
-[ RECORD 2 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1073
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLSTATE": "22P02"
                | }
-[ RECORD 3 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1074
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLERRM": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 4 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1075
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-RETURNED_SQLSTATE
jsonb_pretty    | {
                |     "RETURNED_SQLSTATE": "22P02"
                | }
-[ RECORD 5 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1076
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-COLUMN_NAME
jsonb_pretty    | {
                |     "COLUMN_NAME": ""
                | }

-[ RECORD 6 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1077
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-CONSTRAINT_NAME
jsonb_pretty    | {
                |     "CONSTRAINT_NAME": ""
                | }
-[ RECORD 7 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1078
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_DATATYPE_NAME
jsonb_pretty    | {
                |     "PG_DATATYPE_NAME": ""
                | }
-[ RECORD 8 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1079
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 9 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1080
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-SCHEMA_NAME
jsonb_pretty    | {
                |     "SCHEMA_NAME": ""
                | }
-[ RECORD 10 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1081
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_DETAIL
jsonb_pretty    | {
                |     "PG_EXCEPTION_DETAIL": ""
                | }
-[ RECORD 11 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1082
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_HINT
jsonb_pretty    | {
                |     "PG_EXCEPTION_HINT": ""
                | }
-[ RECORD 12 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1083
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_CONTEXT
jsonb_pretty    | {
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }

Πηγή: www.habr.com

Προσθέστε ένα σχόλιο