PostgreSQL-də saxlanılan funksiyalar səviyyəsində biznes məntiqinin həyata keçirilməsinə dair araşdırma

Bu eskizin yazılmasına təkan məqalə oldu “Karantin zamanı iş yükü 5 dəfə artdı, amma biz hazır idik”. Lingualeo 23 milyon istifadəçi ilə PostgreSQL-ə necə keçdi. 4 il əvvəl dərc olunmuş məqaləni də maraqlı tapdım - MySQL-də biznes məntiqinin tətbiqi.

Maraqlı görünürdü ki, eyni fikir - "verilənlər bazasında biznes məntiqini həyata keçirmək".

PostgreSQL-də saxlanılan funksiyalar səviyyəsində biznes məntiqinin həyata keçirilməsinə dair araşdırma

Ağlıma gələn təkcə mən deyildim.

Həm də gələcək üçün, ilk növbədə, həyata keçirmə zamanı yaranan maraqlı inkişafları özüm üçün qorumaq istədim. Xüsusilə nəzərə alsaq ki, nisbətən yaxınlarda arxitekturanın dəyişdirilməsi və biznes məntiqini backend səviyyəsinə köçürmək üçün strateji qərar verildi. Belə ki, işlənib hazırlanmış hər şey tezliklə heç kimə faydası olmayacaq və heç kimə maraqlı olmayacaq.

Təsvir edilən üsullar bir növ kəşf və ya müstəsna deyil. nou-, hər şey klassikdir və bir neçə dəfə həyata keçirilib (məsələn, mən 20 il əvvəl Oracle-da oxşar yanaşmadan istifadə etmişəm) Sadəcə hər şeyi bir yerə toplamaq qərarına gəldim. Əgər kimsə üçün faydalı olarsa. Təcrübə göstərdiyi kimi, çox vaxt eyni fikir müxtəlif insanlara müstəqil olaraq gəlir. Və onu özünüz üçün bir xatirə olaraq saxlamaq faydalıdır.

Əlbəttə ki, bu dünyada heç bir şey mükəmməl deyil, səhvlər və yazı səhvləri təəssüf ki, mümkündür. Tənqid və şərhlər böyük məmnuniyyətlə qarşılanır və gözlənilir.Və daha bir xırda detal - konkret icra detalları buraxılıb. Axı, hər şey hələ də real işləyən layihədə istifadə olunur. Beləliklə, məqalə sadəcə bir eskiz və ümumi konsepsiyanın təsviridir, başqa bir şey deyil. Ümid edirəm ki, ümumi mənzərəni başa düşmək üçün kifayət qədər detallar var.

Ümumi ideya “böl və qalib gəl, gizlən və sahib ol”

İdeya klassikdir - cədvəllər üçün ayrı bir sxem, saxlanılan funksiyalar üçün ayrı bir sxem.
Müştərinin məlumatlara birbaşa çıxışı yoxdur. Müştərinin edə biləcəyi yeganə şey saxlanılan funksiyaya zəng etmək və alınan cavabı emal etməkdir.

Roles

CREATE ROLE store;

CREATE ROLE sys_functions;

CREATE ROLE loc_audit_functions;

CREATE ROLE service_functions;

CREATE ROLE business_functions;

Şemalar

Cədvəl saxlama sxemi

Subyektləri həyata keçirən hədəf cədvəlləri.

CREATE SCHEMA store AUTHORIZATION store ;

Sistem funksiyasının diaqramı

Sistem funksiyaları, xüsusən cədvəl dəyişikliklərini qeyd etmək üçün.

CREATE SCHEMA sys_functions AUTHORIZATION sys_functions ;

Yerli audit sxemi

Saxlanılan funksiyaların icrasının yerli auditini həyata keçirmək üçün funksiyalar və cədvəllər və hədəf cədvəllərə dəyişikliklər.

CREATE SCHEMA loc_audit_functions AUTHORIZATION loc_audit_functions;

Xidmət funksiyasının diaqramı

Xidmət və DML funksiyaları üçün funksiyalar.

CREATE SCHEMA service_functions AUTHORIZATION service_functions;

Biznes funksiyasının diaqramı

Müştəri tərəfindən çağırılan son biznes funksiyaları üçün funksiyalar.

CREATE SCHEMA business_functions AUTHORIZATION business_functions;

Giriş hüquqları

Rol - DBA bütün sxemlərə tam çıxışı var (DB Sahibi rolundan ayrı).

CREATE ROLE dba_role;
GRANT store TO dba_role;
GRANT sys_functions TO dba_role;
GRANT loc_audit_functions TO dba_role;
GRANT service_functions TO dba_role;
GRANT business_functions TO dba_role;

Rol - İstifadəçi imtiyazına malikdir TƏCİLİ diaqramda biznes_funksiyaları.

CREATE ROLE user_role;

Sxemlər arasında imtiyazlar

Qrant verin
Çünki bütün funksiyalar atributla yaradılmışdır TƏHLÜKƏSİZLİK MÜƏYYƏNİCİSİ lazım olan təlimatlar BÜTÜN FONKSİYALARDA İCRA ETDİYİ LƏĞV EDİN… İctimaiyyətdən;

REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA sys_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  loc_audit_functions  FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  service_functions FROM public ; 
REVOKE EXECUTE ON ALL FUNCTION IN SCHEMA  business_functions FROM public ; 

GRANT USAGE ON SCHEMA sys_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA sys_functions TO dba_role ;
GRANT USAGE ON SCHEMA loc_audit_functions  TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA loc_audit_functions  TO dba_role ;
GRANT USAGE ON SCHEMA service_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA service_functions TO dba_role ;
GRANT USAGE ON SCHEMA business_functions TO dba_role ; 
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO dba_role ;
GRANT EXECUTE ON ALL FUNCTIONS IN SCHEMA business_functions TO user_role ;

GRANT ALL PRIVILEGES ON SCHEMA store TO GROUP business_functions ;
GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA store TO business_functions ;
GRANT USAGE ON ALL SEQUENCES IN SCHEMA store TO business_functions ;

Beləliklə, verilənlər bazası sxemi hazırdır. Məlumatları doldurmağa başlaya bilərsiniz.

Hədəf cədvəlləri

Cədvəllər yaratmaq mənasızdır. İstifadə edilməməsinə qərar verildiyi istisna olmaqla, heç bir xüsusi xüsusiyyət yoxdur SERİAL və açıq şəkildə ardıcıllıq yaradın. Üstəlik, əlbəttə ki, təlimatlardan maksimum istifadə

COMMENT ON ...

üçün şərhlər Bütün obyektlər, istisnasız olaraq.

Yerli audit

Saxlanılan funksiyaların yerinə yetirilməsini və hədəf cədvəllərə edilən dəyişiklikləri qeyd etmək üçün digər şeylər arasında müştəri əlaqəsinin təfərrüatlarını, çağırılan modulun etiketini, giriş və məlumatların faktiki dəyərlərini ehtiva edən yerli audit cədvəlindən istifadə olunur. çıxış parametrləri JSON şəklində.

Sistem funksiyaları

Hədəf cədvəllərində dəyişiklikləri qeyd etmək üçün nəzərdə tutulmuşdur. Onlar tetikleyici funksiyalardır.

Şablon - sistem funksiyası

---------------------------------------------------------
-- INSERT
CREATE OR REPLACE FUNCTION sys_functions.table_insert_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'insert' , json_build_object('id', NEW.id)  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_insert AFTER INSERT ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_insert_log();

---------------------------------------------------------
-- UPDATE
CREATE OR REPLACE FUNCTION sys_functions.table_update_log ()
RETURNS TRIGGER AS $$
BEGIN
  IF OLD.column != NEW.column
  THEN
    PERFORM loc_audit_functions.make_log( ' '||'table' , 'update' , json_build_object('OLD.column', OLD.column , 'NEW.column' , NEW.column )  );
  END IF ;
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_update AFTER UPDATE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_update_log ();

---------------------------------------------------------
-- DELETE
CREATE OR REPLACE FUNCTION sys_functions.table_delete_log ()
RETURNS TRIGGER AS $$
BEGIN
  PERFORM loc_audit_functions.make_log( ' '||'table' , 'delete' , json_build_object('id', OLD.id )  );
  RETURN NULL ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE TRIGGER table_after_delete AFTER DELETE ON storage.table FOR EACH ROW EXECUTE PROCEDURE sys_functions.table_delete_log ();

Xidmət funksiyaları

Hədəf cədvəllərində xidmət və DML əməliyyatlarını həyata keçirmək üçün nəzərdə tutulmuşdur.

Şablon - xidmət funksiyası

--INSERT
--RETURN id OF NEW ROW
CREATE OR REPLACE FUNCTION service_functions.table_insert ( new_column store.table.column%TYPE )
RETURNS integer AS $$
DECLARE
  new_id integer ;
BEGIN
  -- Generate new id
  new_id = nextval('store.table.seq');

  -- Insert into table
  INSERT INTO store.table
  ( 
    id ,
    column
   )
  VALUES
  (
   new_id ,
   new_column
   );

RETURN new_id ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

--DELETE
--RETURN ROW NUMBERS DELETED
CREATE OR REPLACE FUNCTION service_functions.table_delete ( current_id integer ) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ;    
BEGIN
  DELETE FROM store.table WHERE id = current_id; 

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;
 
-- UPDATE DETAILS
-- RETURN ROW NUMBERS UPDATED
CREATE OR REPLACE FUNCTION service_functions.table_update_column 
(
  current_id integer 
  ,new_column store.table.column%TYPE
) 
RETURNS integer AS $$
DECLARE
  rows_count integer  ; 
BEGIN
  UPDATE  store.table
  SET
    column = new_column
  WHERE id = current_id;

  GET DIAGNOSTICS rows_count = ROW_COUNT;                                                                           

  RETURN rows_count ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Biznes funksiyaları

Müştəri tərəfindən çağırılan son iş funksiyaları üçün nəzərdə tutulmuşdur. Həmişə qayıdırlar - JSON. İcra xətalarını tutmaq və qeyd etmək üçün blokdan istifadə edin TƏRCÜMƏ.

Şablon - iş funksiyası

CREATE OR REPLACE FUNCTION business_functions.business_function_template(
--Input parameters        
 )
RETURNS JSON AS $$
DECLARE
  ------------------------
  --for exception catching
  error_message text ;
  error_json json ;
  result json ;
  ------------------------ 
BEGIN
--LOGGING
  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'STARTED',
    json_build_object
    (
	--IN Parameters
    ) 
   );

  PERFORM business_functions.notice('business_function_template');            

  --START BUSINESS PART
  --END BUSINESS PART

  -- SUCCESFULLY RESULT
  PERFORM business_functions.notice('result');
  PERFORM business_functions.notice(result);

  PERFORM loc_audit_functions.make_log
  (
    'business_function_template',
    'FINISHED', 
    json_build_object( 'result',result )
  );

  RETURN result ;
----------------------------------------------------------------------------------------------------------
-- EXCEPTION CATCHING
EXCEPTION                        
  WHEN OTHERS THEN    
    PERFORM loc_audit_functions.make_log
    (
      'business_function_template',
      'STARTED',
      json_build_object
      (
	--IN Parameters	
      ) , TRUE );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLSTATE',SQLSTATE ), TRUE 
     );

     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR',
       json_build_object('SQLERRM',SQLERRM  ), TRUE 
      );

     GET STACKED DIAGNOSTICS error_message = RETURNED_SQLSTATE ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-RETURNED_SQLSTATE',json_build_object('RETURNED_SQLSTATE',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = COLUMN_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-COLUMN_NAME',
       json_build_object('COLUMN_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = CONSTRAINT_NAME ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-CONSTRAINT_NAME',
      json_build_object('CONSTRAINT_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_DATATYPE_NAME ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_DATATYPE_NAME',
       json_build_object('PG_DATATYPE_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = MESSAGE_TEXT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-MESSAGE_TEXT',json_build_object('MESSAGE_TEXT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = SCHEMA_NAME ;
     PERFORM loc_audit_functions.make_log
     (s
       'business_function_template',
       ' ERROR-SCHEMA_NAME',json_build_object('SCHEMA_NAME',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_DETAIL ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_DETAIL',
      json_build_object('PG_EXCEPTION_DETAIL',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_HINT ;
     PERFORM loc_audit_functions.make_log
     (
       'business_function_template',
       ' ERROR-PG_EXCEPTION_HINT',json_build_object('PG_EXCEPTION_HINT',error_message  ), TRUE );

     GET STACKED DIAGNOSTICS error_message = PG_EXCEPTION_CONTEXT ;
     PERFORM loc_audit_functions.make_log
     (
      'business_function_template',
      ' ERROR-PG_EXCEPTION_CONTEXT',json_build_object('PG_EXCEPTION_CONTEXT',error_message  ), TRUE );                                      

    RAISE WARNING 'ALARM: %' , SQLERRM ;

    SELECT json_build_object
    (
      'isError' , TRUE ,
      'errorMsg' , SQLERRM
     ) INTO error_json ;

  RETURN  error_json ;
END
$$ LANGUAGE plpgsql SECURITY DEFINER;

Ümumi

Ümumi mənzərəni təsvir etmək üçün məncə, kifayət qədərdir. Kimsə təfərrüatlar və nəticələrlə maraqlanırsa, şərh yazın, şəkilə əlavə toxunuşlar əlavə etməkdən məmnun olaram.

PS

Sadə bir səhv qeydi - giriş parametr növü

-[ RECORD 1 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1072
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          | STARTED
jsonb_pretty    | {
                |     "dko": {
                |         "id": 4,
                |         "type": "Type1",                                                                                                                                                                                            
                |         "title": "CREATED BY addKD",
                |         "Weight": 10,
                |         "Tr": "300",
                |         "reduction": 10,
                |         "isTrud": "TRUE",
                |         "description": "decription",
                |         "lowerTr": "100",
                |         "measurement": "measurement1",
                |         "methodology": "m1",                                                                                                                                                                                           
                |         "passportUrl": "files",
                |         "upperTr": "200",
                |         "weightingFactor": 100.123,
                |         "actualTrValue": null,
                |         "upperTrCalcNumber": "120"
                |     },
                |     "CardId": 3
                | }
-[ RECORD 2 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1073
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLSTATE": "22P02"
                | }
-[ RECORD 3 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1074
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR
jsonb_pretty    | {
                |     "SQLERRM": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 4 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1075
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-RETURNED_SQLSTATE
jsonb_pretty    | {
                |     "RETURNED_SQLSTATE": "22P02"
                | }
-[ RECORD 5 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1076
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-COLUMN_NAME
jsonb_pretty    | {
                |     "COLUMN_NAME": ""
                | }

-[ RECORD 6 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1077
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-CONSTRAINT_NAME
jsonb_pretty    | {
                |     "CONSTRAINT_NAME": ""
                | }
-[ RECORD 7 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1078
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_DATATYPE_NAME
jsonb_pretty    | {
                |     "PG_DATATYPE_NAME": ""
                | }
-[ RECORD 8 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1079
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }
-[ RECORD 9 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1080
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-SCHEMA_NAME
jsonb_pretty    | {
                |     "SCHEMA_NAME": ""
                | }
-[ RECORD 10 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1081
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_DETAIL
jsonb_pretty    | {
                |     "PG_EXCEPTION_DETAIL": ""
                | }
-[ RECORD 11 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1082
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_HINT
jsonb_pretty    | {
                |     "PG_EXCEPTION_HINT": ""
                | }
-[ RECORD 12 ]-
date_trunc      | 2020-08-19 13:15:46
id              | 1083
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-PG_EXCEPTION_CONTEXT
jsonb_pretty    | {
usename         | emp1
log_module      | addKD
log_module_hash | 0b4c1529a89af3ddf6af3821dc790e8a
status          |  ERROR-MESSAGE_TEXT
jsonb_pretty    | {
                |     "MESSAGE_TEXT": "invalid input syntax for type numeric: "null""
                | }

Mənbə: www.habr.com

Добавить комментарий