Usa ka pagtuon sa pagpatuman sa lohika sa negosyo sa lebel sa PostgreSQL nga gitipigan nga mga gimbuhaton

Ang impetus sa pagsulat niini nga sketch mao ang artikulo "Sa panahon sa quarantine, ang workload misaka 5 ka beses, apan kami andam." Giunsa ang pagbalhin sa Lingualeo sa PostgreSQL nga adunay 23 milyon nga tiggamit. Nakit-an ko usab ang artikulo nga gipatik 4 ka tuig ang milabay nga makapaikag - Pagpatuman sa lohika sa negosyo sa MySQL.

Morag makapaikag nga ang parehas nga hunahuna - "ipatuman ang lohika sa negosyo sa database".

Usa ka pagtuon sa pagpatuman sa lohika sa negosyo sa lebel sa PostgreSQL nga gitipigan nga mga gimbuhaton

Dili lang ako ang misantop sa akong hunahuna.

Usab, alang sa umaabot, gusto nako nga mapreserbar, una sa tanan, alang sa akong kaugalingon, makapaikag nga mga kalamboan nga mitumaw sa panahon sa pagpatuman. Ilabi na nga gikonsiderar nga medyo bag-o lang usa ka estratehikong desisyon ang gihimo aron mabag-o ang arkitektura ug ibalhin ang lohika sa negosyo sa lebel sa backend. Aron ang tanan nga naugmad sa dili madugay wala’y kapuslanan ni bisan kinsa ug wala’y interes ni bisan kinsa.

Ang mga pamaagi nga gihulagway dili usa ka matang sa pagkadiskobre o talagsaon. masayud sa unsa nga paagi, ang tanan klasiko ug gipatuman sa makadaghang higayon (pananglitan, gigamit nako ang susama nga pamaagi 20 ka tuig na ang milabay sa Oracle) Nakahukom lang ko nga kolektahon ang tanan sa usa ka dapit. Sa kaso nga kini magamit alang sa usa ka tawo. Sama sa gipakita sa praktis, kasagaran ang parehas nga ideya moabut sa lainlaing mga tawo nga independente. Ug mapuslanon ang pagtipig niini alang sa imong kaugalingon ingon usa ka souvenir.

Siyempre, walay perpekto niining kalibotana, ang mga kasaypanan ug mga typo sa walay palad posible. Ang pagsaway ug mga komentaryo kusganong gidawat ug gipaabot. Ug usa pa ka gamay nga detalye - ang mga piho nga detalye sa pagpatuman wala iapil. Bisan pa, ang tanan gigamit gihapon sa usa ka tinuud nga nagtrabaho nga proyekto. Busa, ang artikulo usa lamang ka sketch ug usa ka paghulagway sa kinatibuk-ang konsepto, wala na. Nanghinaut ko nga adunay igo nga mga detalye aron masabtan ang kinatibuk-ang hulagway.

Ang kinatibuk-ang ideya mao ang "pagbahin ug pagbuntog, pagtago ug pagpanag-iya"

Ang ideya mao ang klasiko - usa ka bulag nga laraw alang sa mga lamesa, usa ka lahi nga laraw alang sa gitipig nga mga gimbuhaton.
Ang kliyente walay access sa data direkta. Ang mahimo sa kliyente mao ang pagtawag sa gitipigan nga function ug pagproseso sa tubag nga nadawat.

Mga Papel

CREATE ROLE store;

CREATE ROLE sys_functions;

CREATE ROLE loc_audit_functions;

CREATE ROLE service_functions;

CREATE ROLE business_functions;

Mga pamaagi

Plano sa pagtipig sa lamesa

Target nga mga lamesa nga nagpatuman sa mga entidad sa hilisgutan.

CREATE SCHEMA store AUTHORIZATION store ;

System function diagram

Ang mga gimbuhaton sa sistema, labi na alang sa mga pagbag-o sa talaan sa pag-log.

CREATE SCHEMA sys_functions AUTHORIZATION sys_functions ;

Lokal nga audit scheme

Mga gimbuhaton ug mga lamesa aron ipatuman ang lokal nga pag-awdit sa pagpatuman sa gitipigan nga mga gimbuhaton ug mga pagbag-o sa target nga mga lamesa.

CREATE SCHEMA loc_audit_functions AUTHORIZATION loc_audit_functions;

Service function diagram

Mga gimbuhaton alang sa serbisyo ug mga gimbuhaton sa DML.

CREATE SCHEMA service_functions AUTHORIZATION service_functions;

Business function diagram

Mga gimbuhaton alang sa katapusang mga gimbuhaton sa negosyo nga gitawag sa kliyente.

CREATE SCHEMA business_functions AUTHORIZATION business_functions;

Mga katungod sa pag-access

Papel - DBA adunay bug-os nga pag-access sa tanan nga mga laraw (gibulag sa tahas sa Tag-iya sa DB).

CREATE ROLE dba_role;
GRANT store TO dba_role;
GRANT sys_functions TO dba_role;
GRANT loc_audit_functions TO dba_role;
GRANT service_functions TO dba_role;
GRANT business_functions TO dba_role;

Papel - USER adunay pribilihiyo KATAPUSAN sa diagram business_functions.

CREATE ROLE user_role;

Mga pribilehiyo tali sa mga laraw

PAGHATAG
Tungod kay ang tanan nga mga gimbuhaton gihimo uban ang hiyas DEFINIER SA SEGURIDAD mga instruksyon nga gikinahanglan IBAWI ANG PAGHIMO SA TANANG FUNCTION… GIKAN sa publiko;

REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA sys_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  loc_audit_functions  FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  service_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  business_functions FROM public ; 

GRANT USAGE ON SCHEMA sys_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA sys_functions TO dba_role ;
GRANT USAGE ON SCHEMA loc_audit_functions  TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA loc_audit_functions  TO dba_role ;
GRANT USAGE ON SCHEMA service_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA service_functions TO dba_role ;
GRANT USAGE ON SCHEMA business_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO dba_role ;
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO user_role ;

GRANT ALL PRIVILEGES ON SCHEMA store TO GROUP business_functions ;
GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA store TO business_functions ;
GRANT USAGE ON ALL SEQUENCES IN SCHEMA store TO business_functions ;

Busa ang database schema andam na. Mahimo nimong sugdan ang pagpuno sa datos.

Target nga mga lamesa

Ang paghimo og mga lamesa walay hinungdan. Walay espesyal nga mga bahin, gawas nga kini nakahukom nga dili gamiton SERIAL ug makamugna og mga han-ay sa dayag. Dugang pa, siyempre, ang labing taas nga paggamit sa mga panudlo

COMMENT ON ...

Mga komento para sa sa tanan mga butang, nga walay eksepsiyon.

Lokal nga pag-audit

Aron ma-log ang pagpatuman sa gitipigan nga mga gimbuhaton ug mga pagbag-o sa mga target nga lamesa, gigamit ang usa ka lokal nga lamesa sa pag-audit, nga naglakip, taliwala sa uban pang mga butang, mga detalye sa koneksyon sa kliyente, ang label sa gitawag nga module, ug ang aktwal nga mga kantidad sa input ug mga parameter sa output sa porma sa JSON.

Mga gimbuhaton sa sistema

Gidisenyo alang sa pag-log sa mga pagbag-o sa target nga mga lamesa. Sila mga trigger function.

Template - function sa sistema

---------------------------------------------------------
-- INSERT
CREATE OR REPLACE FUNCTION sys_functions.table_insert_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'insert' , json_build_object('id', NEW.id)  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_insert AFTER INSERT ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_insert_log();

---------------------------------------------------------
-- UPDATE
CREATE OR REPLACE FUNCTION sys_functions.table_update_log ()
RETURNS TRIGGER AS $$
BEGIN
  IF OLD.column != NEW.column
  THEN
    PERFORM loc_audit_functions.make_log( ' '||'table' , 'update' , json_build_object('OLD.column', OLD.column , 'NEW.column' , NEW.column )  );
  END IF ;
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_update AFTER UPDATE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_update_log ();

---------------------------------------------------------
-- DELETE
CREATE OR REPLACE FUNCTION sys_functions.table_delete_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'delete' , json_build_object('id', OLD.id )  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_delete AFTER DELETE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_delete_log ();

Mga gimbuhaton sa serbisyo

Gidisenyo aron ipatuman ang serbisyo ug mga operasyon sa DML sa mga target nga lamesa.

Template - function sa serbisyo

--INSERT
--RETURN id OF NEW ROW
CREATE OR REPLACE FUNCTION service_functions.table_insert ( new_column store.table.column%TYPE )
RETURNS integer AS $$
DECLARE
  new_id integer ;
BEGIN
  -- Generate new id
  new_id = nextval('store.table.seq');

  -- Insert into table
  INSERT INTO store.table
  ( 
    id ,
    column
   )
  VALUES
  (
   new_id ,
   new_column
   );

RETURN new_id ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

--DELETE
--RETURN ROW NUMBERS DELETED
CREATE OR REPLACE FUNCTION service_functions.table_delete ( current_id integer ) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ;    
BEGIN
  DELETE FROM store.table WHERE id = current_id; 

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;
 
-- UPDATE DETAILS
-- RETURN ROW NUMBERS UPDATED
CREATE OR REPLACE FUNCTION service_functions.table_update_column 
(
  current_id integer 
  ,new_column store.table.column%TYPE
) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ; 
BEGIN
  UPDATE  store.table
  SET
    column = new_column
  WHERE id = current_id;

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Mga gimbuhaton sa negosyo

Gidisenyo alang sa katapusang mga gimbuhaton sa negosyo nga gitawag sa kliyente. Kanunay silang mobalik - JSON. Aron ma-intercept ug ma-log ang mga error sa pagpatuman, gamita ang block PAGSULAY.

Template - function sa negosyo

CREATE OR REPLACE FUNCTION business_functions.business_function_template(
--Input parameters        
 )
RETURNS JSON AS $$
DECLARE
  ------------------------
  --for exception catching
  error_message text ;
  error_json json ;
  result json ;
  ------------------------ 
BEGIN
--LOGGING
  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'STARTED',
    json_build_object
    (
	--IN Parameters
    ) 
   );

  PERFORM business_functions.notice('business_function_template');            

  --START BUSINESS PART
  --END BUSINESS PART

  -- SUCCESFULLY RESULT
  PERFORM business_functions.notice('result');
  PERFORM business_functions.notice(result);

  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'FINISHED', 
    json_build_object( 'result',result )
  );

  RETURN result ;
----------------------------------------------------------------------------------------------------------
-- EXCEPTION CATCHING
EXCEPTION                        
  WHEN OTHERS THEN    
    PERFORM loc_audit_functions.make_log
    (
      'business_function_template',
      'STARTED',
      json_build_object
      (
	--IN Parameters	
      ) , TRUE );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLSTATE',SQLSTATE ), TRUE 
     );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLERRM',SQLERRM  ), TRUE 
      );

     GET STACKED DIAGNOSTICS error_message = RETURNED_SQLSTATE ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-RETURNED_SQLSTATE',json_build_object('RETURNED_SQLSTATE',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = COLUMN_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-COLUMN_NAME',
       json_build_object('COLUMN_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = CONSTRAINT_NAME ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-CONSTRAINT_NAME',
      json_build_object('CONSTRAINT_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_DATATYPE_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_DATATYPE_NAME',
       json_build_object('PG_DATATYPE_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = MESSAGE_TEXT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-MESSAGE_TEXT',json_build_object('MESSAGE_TEXT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = SCHEMA_NAME ;
     PERFORM loc_audit_functions.make_log
     (s
       'business_function_template',
       ' ERROR-SCHEMA_NAME',json_build_object('SCHEMA_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_DETAIL ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_DETAIL',
      json_build_object('PG_EXCEPTION_DETAIL',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_HINT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_EXCEPTION_HINT',json_build_object('PG_EXCEPTION_HINT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_CONTEXT ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_CONTEXT',json_build_object('PG_EXCEPTION_CONTEXT',error_message  ), TRUE );                                      

    RAISE WARNING 'ALARM: %' , SQLERRM ;

    SELECT json_build_object
    (
      'isError' , TRUE ,
      'errorMsg' , SQLERRM
     ) INTO error_json ;

  RETURN  error_json ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Ang resulta

Aron ihulagway ang kinatibuk-ang hulagway, sa akong hunahuna kini igo na. Kung adunay interesado sa mga detalye ug mga resulta, isulat ang mga komento, malipay ako nga magdugang dugang nga mga paghikap sa litrato.

PS

Ang pag-log usa ka yano nga sayup - tipo sa parameter sa input

-[ RECORD 1 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1072
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          | STARTED
jsonb_pretty    | {
                |     "dko": {
                |         "id": 4,
                |         "type": "Type1",                                                                                                                                                                                            
                |         "title": "CREATED BY addKD",
                |         "Weight": 10,
                |         "Tr": "300",
                |         "reduction": 10,
                |         "isTrud": "TRUE",
                |         "description": "decription",
                |         "lowerTr": "100",
                |         "measurement": "measurement1",
                |         "methodology": "m1",                                                                                                                                                                                           
                |         "passportUrl": "files",
                |         "upperTr": "200",
                |         "weightingFactor": 100.123,
                |         "actualTrValue": null,
                |         "upperTrCalcNumber": "120"
                |     },
                |     "CardId": 3
                | }
-[ RECORD 2 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1073
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLSTATE": "22P02"
                | }
-[ RECORD 3 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1074
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLERRM": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 4 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1075
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-RETURNED_SQLSTATE
jsonb_pretty    | {
                |     "RETURNED_SQLSTATE": "22P02"
                | }
-[ RECORD 5 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1076
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-COLUMN_NAME
jsonb_pretty    | {
                |     "COLUMN_NAME": ""
                | }

-[ RECORD 6 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1077
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-CONSTRAINT_NAME
jsonb_pretty    | {
                |     "CONSTRAINT_NAME": ""
                | }
-[ RECORD 7 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1078
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_DATATYPE_NAME
jsonb_pretty    | {
                |     "PG_DATATYPE_NAME": ""
                | }
-[ RECORD 8 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1079
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 9 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1080
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-SCHEMA_NAME
jsonb_pretty    | {
                |     "SCHEMA_NAME": ""
                | }
-[ RECORD 10 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1081
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_DETAIL
jsonb_pretty    | {
                |     "PG_EXCEPTION_DETAIL": ""
                | }
-[ RECORD 11 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1082
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_HINT
jsonb_pretty    | {
                |     "PG_EXCEPTION_HINT": ""
                | }
-[ RECORD 12 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1083
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_CONTEXT
jsonb_pretty    | {
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }

Source: www.habr.com

Idugang sa usa ka comment