Isang pag-aaral sa pagpapatupad ng lohika ng negosyo sa antas ng PostgreSQL stored functions

Ang impetus para sa pagsulat ng sketch na ito ay ang artikulo "Sa panahon ng quarantine, ang workload ay tumaas ng 5 beses, ngunit kami ay handa." Paano lumipat ang Lingualeo sa PostgreSQL na may 23 milyong user. Natagpuan ko rin na kawili-wili ang artikulong nai-publish 4 na taon na ang nakalipas - Pagpapatupad ng lohika ng negosyo sa MySQL.

Mukhang kawili-wili na ang parehong pag-iisip - "ipatupad ang lohika ng negosyo sa database".

Isang pag-aaral sa pagpapatupad ng lohika ng negosyo sa antas ng PostgreSQL stored functions

Hindi lang ako ang pumasok sa isip ko.

Gayundin, para sa hinaharap, nais kong mapanatili, una sa lahat, para sa aking sarili, ang mga kagiliw-giliw na pag-unlad na lumitaw sa panahon ng pagpapatupad. Lalo na kung isasaalang-alang na kamakailan lamang ay isang madiskarteng desisyon ang ginawa upang baguhin ang arkitektura at ilipat ang lohika ng negosyo sa antas ng backend. Upang ang lahat ng nabuo ay malapit nang walang pakinabang sa sinuman at walang interes sa sinuman.

Ang mga pamamaraan na inilarawan ay hindi isang uri ng pagtuklas o katangi-tangi. dunong, lahat ay klasiko at ilang beses nang ipinatupad (halimbawa, gumamit ako ng katulad na diskarte 20 taon na ang nakalilipas sa Oracle). Napagpasyahan ko lang na kolektahin ang lahat sa isang lugar. Kung sakaling ito ay madaling gamitin para sa isang tao. Gaya ng ipinakita ng kasanayan, kadalasan ang parehong ideya ay dumarating sa iba't ibang tao nang nakapag-iisa. At kapaki-pakinabang na panatilihin ito para sa iyong sarili bilang isang alaala.

Syempre, walang perpekto sa mundong ito, sa kasamaang palad posible ang mga pagkakamali at typo. Ang mga kritisismo at komento ay lubos na tinatanggap at inaasahan. At isa pang maliit na detalye - ang mga partikular na detalye ng pagpapatupad ay tinanggal. Gayunpaman, ang lahat ay ginagamit pa rin sa isang tunay na gumaganang proyekto. Kaya, ang artikulo ay isang sketch lamang at isang paglalarawan ng pangkalahatang konsepto, wala nang iba pa. Umaasa ako na may sapat na mga detalye upang maunawaan ang pangkalahatang larawan.

Ang pangkalahatang ideya ay "hatiin at lupigin, itago at ariin"

Ang ideya ay klasiko - isang hiwalay na schema para sa mga talahanayan, isang hiwalay na schema para sa mga naka-imbak na function.
Ang kliyente ay walang access sa data nang direkta. Ang tanging magagawa ng kliyente ay tawagan ang naka-imbak na function at iproseso ang natanggap na tugon.

Mga tungkulin

CREATE ROLE store;

CREATE ROLE sys_functions;

CREATE ROLE loc_audit_functions;

CREATE ROLE service_functions;

CREATE ROLE business_functions;

Scheme

Iskema ng imbakan ng talahanayan

Mga target na talahanayan na nagpapatupad ng mga entity ng paksa.

CREATE SCHEMA store AUTHORIZATION store ;

Diagram ng function ng system

Mga function ng system, lalo na para sa mga pagbabago sa talahanayan ng pag-log.

CREATE SCHEMA sys_functions AUTHORIZATION sys_functions ;

Lokal na pamamaraan ng pag-audit

Mga function at talahanayan upang ipatupad ang lokal na pag-audit ng pagpapatupad ng mga nakaimbak na function at mga pagbabago sa mga target na talahanayan.

CREATE SCHEMA loc_audit_functions AUTHORIZATION loc_audit_functions;

Diagram ng function ng serbisyo

Mga function para sa serbisyo at mga function ng DML.

CREATE SCHEMA service_functions AUTHORIZATION service_functions;

Diagram ng pagpapaandar ng negosyo

Mga function para sa panghuling mga function ng negosyo na tinatawag ng kliyente.

CREATE SCHEMA business_functions AUTHORIZATION business_functions;

Mga karapatan sa pag-access

Tungkulin - DBA ay may ganap na access sa lahat ng mga schema (na hiwalay sa tungkulin ng May-ari ng DB).

CREATE ROLE dba_role;
GRANT store TO dba_role;
GRANT sys_functions TO dba_role;
GRANT loc_audit_functions TO dba_role;
GRANT service_functions TO dba_role;
GRANT business_functions TO dba_role;

Tungkulin - USER may pribilehiyo HALIMBAWA sa diagram business_functions.

CREATE ROLE user_role;

Mga pribilehiyo sa pagitan ng mga scheme

Grant
Dahil ang lahat ng mga function ay nilikha na may katangian TINUTUKOY NG SEGURIDAD kailangan ng mga tagubilin Bawiin ang I-execute SA LAHAT NG FUNCTION... MULA sa publiko;

REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA sys_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  loc_audit_functions  FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  service_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  business_functions FROM public ; 

GRANT USAGE ON SCHEMA sys_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA sys_functions TO dba_role ;
GRANT USAGE ON SCHEMA loc_audit_functions  TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA loc_audit_functions  TO dba_role ;
GRANT USAGE ON SCHEMA service_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA service_functions TO dba_role ;
GRANT USAGE ON SCHEMA business_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO dba_role ;
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO user_role ;

GRANT ALL PRIVILEGES ON SCHEMA store TO GROUP business_functions ;
GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA store TO business_functions ;
GRANT USAGE ON ALL SEQUENCES IN SCHEMA store TO business_functions ;

Kaya handa na ang database schema. Maaari mong simulan ang pagpuno sa data.

Mga target na talahanayan

Ang paglikha ng mga talahanayan ay walang halaga. Walang mga espesyal na tampok, maliban sa napagpasyahan na huwag gamitin SERYAL at tahasang bumuo ng mga pagkakasunud-sunod. Dagdag pa, siyempre, maximum na paggamit ng mga tagubilin

COMMENT ON ...

Mga komento para sa lahat mga bagay, nang walang pagbubukod.

Lokal na pag-audit

Upang mai-log ang pagpapatupad ng mga naka-imbak na function at mga pagbabago sa mga target na talahanayan, ginagamit ang isang lokal na talahanayan ng pag-audit, na kinabibilangan, bukod sa iba pang mga bagay, mga detalye ng koneksyon ng kliyente, ang label ng tinatawag na module, at ang aktwal na mga halaga ng input at mga parameter ng output sa anyo ng JSON.

Mga function ng system

Idinisenyo para sa pag-log ng mga pagbabago sa mga target na talahanayan. Ang mga ito ay trigger function.

Template - function ng system

---------------------------------------------------------
-- INSERT
CREATE OR REPLACE FUNCTION sys_functions.table_insert_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'insert' , json_build_object('id', NEW.id)  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_insert AFTER INSERT ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_insert_log();

---------------------------------------------------------
-- UPDATE
CREATE OR REPLACE FUNCTION sys_functions.table_update_log ()
RETURNS TRIGGER AS $$
BEGIN
  IF OLD.column != NEW.column
  THEN
    PERFORM loc_audit_functions.make_log( ' '||'table' , 'update' , json_build_object('OLD.column', OLD.column , 'NEW.column' , NEW.column )  );
  END IF ;
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_update AFTER UPDATE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_update_log ();

---------------------------------------------------------
-- DELETE
CREATE OR REPLACE FUNCTION sys_functions.table_delete_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'delete' , json_build_object('id', OLD.id )  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_delete AFTER DELETE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_delete_log ();

Mga function ng serbisyo

Idinisenyo upang ipatupad ang serbisyo at mga pagpapatakbo ng DML sa mga target na talahanayan.

Template - function ng serbisyo

--INSERT
--RETURN id OF NEW ROW
CREATE OR REPLACE FUNCTION service_functions.table_insert ( new_column store.table.column%TYPE )
RETURNS integer AS $$
DECLARE
  new_id integer ;
BEGIN
  -- Generate new id
  new_id = nextval('store.table.seq');

  -- Insert into table
  INSERT INTO store.table
  ( 
    id ,
    column
   )
  VALUES
  (
   new_id ,
   new_column
   );

RETURN new_id ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

--DELETE
--RETURN ROW NUMBERS DELETED
CREATE OR REPLACE FUNCTION service_functions.table_delete ( current_id integer ) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ;    
BEGIN
  DELETE FROM store.table WHERE id = current_id; 

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;
 
-- UPDATE DETAILS
-- RETURN ROW NUMBERS UPDATED
CREATE OR REPLACE FUNCTION service_functions.table_update_column 
(
  current_id integer 
  ,new_column store.table.column%TYPE
) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ; 
BEGIN
  UPDATE  store.table
  SET
    column = new_column
  WHERE id = current_id;

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Mga function ng negosyo

Idinisenyo para sa panghuling mga function ng negosyo na tinatawag ng kliyente. Palagi silang bumabalik - JSON. Upang maharang at mag-log ng mga error sa pagpapatupad, gamitin ang block KALIGTASAN.

Template - function ng negosyo

CREATE OR REPLACE FUNCTION business_functions.business_function_template(
--Input parameters        
 )
RETURNS JSON AS $$
DECLARE
  ------------------------
  --for exception catching
  error_message text ;
  error_json json ;
  result json ;
  ------------------------ 
BEGIN
--LOGGING
  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'STARTED',
    json_build_object
    (
	--IN Parameters
    ) 
   );

  PERFORM business_functions.notice('business_function_template');            

  --START BUSINESS PART
  --END BUSINESS PART

  -- SUCCESFULLY RESULT
  PERFORM business_functions.notice('result');
  PERFORM business_functions.notice(result);

  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'FINISHED', 
    json_build_object( 'result',result )
  );

  RETURN result ;
----------------------------------------------------------------------------------------------------------
-- EXCEPTION CATCHING
EXCEPTION                        
  WHEN OTHERS THEN    
    PERFORM loc_audit_functions.make_log
    (
      'business_function_template',
      'STARTED',
      json_build_object
      (
	--IN Parameters	
      ) , TRUE );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLSTATE',SQLSTATE ), TRUE 
     );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLERRM',SQLERRM  ), TRUE 
      );

     GET STACKED DIAGNOSTICS error_message = RETURNED_SQLSTATE ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-RETURNED_SQLSTATE',json_build_object('RETURNED_SQLSTATE',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = COLUMN_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-COLUMN_NAME',
       json_build_object('COLUMN_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = CONSTRAINT_NAME ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-CONSTRAINT_NAME',
      json_build_object('CONSTRAINT_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_DATATYPE_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_DATATYPE_NAME',
       json_build_object('PG_DATATYPE_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = MESSAGE_TEXT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-MESSAGE_TEXT',json_build_object('MESSAGE_TEXT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = SCHEMA_NAME ;
     PERFORM loc_audit_functions.make_log
     (s
       'business_function_template',
       ' ERROR-SCHEMA_NAME',json_build_object('SCHEMA_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_DETAIL ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_DETAIL',
      json_build_object('PG_EXCEPTION_DETAIL',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_HINT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_EXCEPTION_HINT',json_build_object('PG_EXCEPTION_HINT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_CONTEXT ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_CONTEXT',json_build_object('PG_EXCEPTION_CONTEXT',error_message  ), TRUE );                                      

    RAISE WARNING 'ALARM: %' , SQLERRM ;

    SELECT json_build_object
    (
      'isError' , TRUE ,
      'errorMsg' , SQLERRM
     ) INTO error_json ;

  RETURN  error_json ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Kabuuan

Upang ilarawan ang pangkalahatang larawan, sa tingin ko ito ay sapat na. Kung sinuman ang interesado sa mga detalye at resulta, magsulat ng mga komento, ikalulugod kong magdagdag ng mga karagdagang pagpindot sa larawan.

PS

Pag-log ng isang simpleng error - uri ng parameter ng input

-[ RECORD 1 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1072
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          | STARTED
jsonb_pretty    | {
                |     "dko": {
                |         "id": 4,
                |         "type": "Type1",                                                                                                                                                                                            
                |         "title": "CREATED BY addKD",
                |         "Weight": 10,
                |         "Tr": "300",
                |         "reduction": 10,
                |         "isTrud": "TRUE",
                |         "description": "decription",
                |         "lowerTr": "100",
                |         "measurement": "measurement1",
                |         "methodology": "m1",                                                                                                                                                                                           
                |         "passportUrl": "files",
                |         "upperTr": "200",
                |         "weightingFactor": 100.123,
                |         "actualTrValue": null,
                |         "upperTrCalcNumber": "120"
                |     },
                |     "CardId": 3
                | }
-[ RECORD 2 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1073
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLSTATE": "22P02"
                | }
-[ RECORD 3 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1074
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLERRM": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 4 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1075
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-RETURNED_SQLSTATE
jsonb_pretty    | {
                |     "RETURNED_SQLSTATE": "22P02"
                | }
-[ RECORD 5 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1076
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-COLUMN_NAME
jsonb_pretty    | {
                |     "COLUMN_NAME": ""
                | }

-[ RECORD 6 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1077
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-CONSTRAINT_NAME
jsonb_pretty    | {
                |     "CONSTRAINT_NAME": ""
                | }
-[ RECORD 7 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1078
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_DATATYPE_NAME
jsonb_pretty    | {
                |     "PG_DATATYPE_NAME": ""
                | }
-[ RECORD 8 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1079
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 9 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1080
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-SCHEMA_NAME
jsonb_pretty    | {
                |     "SCHEMA_NAME": ""
                | }
-[ RECORD 10 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1081
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_DETAIL
jsonb_pretty    | {
                |     "PG_EXCEPTION_DETAIL": ""
                | }
-[ RECORD 11 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1082
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_HINT
jsonb_pretty    | {
                |     "PG_EXCEPTION_HINT": ""
                | }
-[ RECORD 12 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1083
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_CONTEXT
jsonb_pretty    | {
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }

Pinagmulan: www.habr.com

Magdagdag ng komento