අද මට PostgreSQL DBMS හි වගු පරායත්තතා සමඟ වැඩ කිරීම සඳහා Python හි ලියා ඇති උපයෝගීතාවයක් Habr පාඨකයන්ට ඉදිරිපත් කිරීමට අවශ්යයි.
උපයෝගිතා API සරල වන අතර ක්රම තුනකින් සමන්විත වේ:
- සංරක්ෂිත_වගුව - නිශ්චිත ප්රාථමික යතුරු සමඟ ප්රත්යාවර්තී සංරක්ෂණය/පේළි මකා දැමීම
- ලබා ගන්න_වගුව_යොමු - වගුවක් සඳහා පරායත්තතා සොයන්න (නිශ්චිත එක සහ එය යොමු කරන අය විසින් යොමු කරන ලද වගු පෙන්වනු ඇත)
- ලබා ගන්න_පේළි_යොමු - අපේක්ෂිත වගුවේ දක්වා ඇති පේළි සඳහන් කරන වෙනත් වගු වල පේළි සොයන්න
මුදලටය
මගේ නම Oleg Borzov, මම Domklik හි උකස් ණය දෙන කළමනාකරුවන් සඳහා CRM කණ්ඩායමේ සංවර්ධකයෙක්මි.
අපගේ CRM පද්ධතියේ ප්රධාන දත්ත සමුදාය සමාගමේ පරිමාව අනුව විශාලතම එකකි. එය ද පැරණිතම එකකි: එය ව්යාපෘතිය දියත් කරන අවස්ථාවේදීම දර්ශනය විය, ගස් විශාල වූ විට, ඩොම්ක්ලික් ආරම්භයක් වූ අතර, විලාසිතාමය පයිතන් අසමමුහුර්ත රාමුවක ක්ෂුද්ර සේවාවක් වෙනුවට PHP හි විශාල මොනොලිතයක් තිබුණි.
PHP සිට Python දක්වා සංක්රමණය ඉතා දිගු වූ අතර පද්ධති දෙකෙහිම එකවර සහාය අවශ්ය වූ අතර එය දත්ත සමුදායේ සැලසුමට බලපෑවේය.
එහි ප්රතිඵලයක් වශයෙන්, විවිධ ආකාරයේ විමසුම් සඳහා දර්ශක පොකුරක් සහිත ඉහළ සම්බන්ධිත සහ විශාල වගු විශාල සංඛ්යාවක් සහිත දත්ත සමුදායක් අප සතුව ඇත. මේ සියල්ල දත්ත සමුදායේ ක්රියාකාරිත්වයට අහිතකර ලෙස බලපායි: විශාල වගු සහ ඒවා අතර සම්බන්ධතා පොකුරක් නිසා, විමසුම්වල සංකීර්ණත්වය නිරන්තරයෙන් වැඩි වන අතර එය වැඩිපුරම පටවා ඇති වගු සඳහා විශේෂයෙන් වැදගත් වේ.
දත්ත සමුදායේ බර අඩු කිරීම සඳහා, පැරණි වාර්තා වඩාත් විශාල සහ පටවා ඇති වගු වලින් සංරක්ෂිත ඒවාට මාරු කරන ස්ක්රිප්ට් එකක් ලිවීමට අපි තීරණය කළෙමු (උදාහරණයක් ලෙස, සිට task
в task_archive
).
මෙම කාර්යය වගු අතර සම්බන්ධතා විශාල සංඛ්යාවක් මගින් සංකීර්ණ වේ: සරලව සිට පේළි මාරු කරන්න task
в task_archive
ප්රමාණවත් නොවේ, ඊට පෙර ඔබ එම සියලු යොමු කිරීම් සමඟම පුනරාවර්තන ලෙස කළ යුතුය task
මේස.
මම උදාහරණයකින් පෙන්වන්නම්
අපි හිතමු අපි වගුවකින් වාර්තා මකා දැමිය යුතුයි කියලා Flights
. Postgres අපට මෙය එසේ කිරීමට ඉඩ නොදේ: අපට පළමුව සියලු යොමු කිරීමේ වගු වලින් වාර්තා මකා දැමිය යුතු අතර, කිසිවකු විසින් යොමු නොකළ වගු වෙත ප්රත්යාවර්තීව පහළට.
අපගේ උදාහරණයේ දී Flights
යොමු කරයි Ticket_flights
, සහ ඇය මත - Boarding_passes
.
එබැවින්, ඔබ එය මෙම අනුපිළිවෙලින් මකා දැමිය යුතුය:
- අපි පේළි වල ප්රාථමික යතුරු (PK) අගයන් ලබා ගනිමු
Ticket_flights
, එය මකා දැමිය යුතු පේළි වෙත යොමු කරයිFlights
. - අපි PK පේළි ලබා ගනිමු
Boarding_passes
, යොමු වනTicket_flights
. - අපි වගුවේ 2 පියවරෙන් PK මගින් පේළි මකා දමමු
Boarding_passes
. - පියවර 1 සිට PK මගින් රේඛා මකන්න
Ticket_flights
. - සිට රේඛා ඉවත් කිරීම
Flights
.
එහි ප්රතිඵලය වූයේ PgGraph නම් උපයෝගීතාවයකි, එය විවෘත මූලාශ්රයක් බවට පත් කිරීමට අපි තීරණය කළෙමු.
භාවිතා කරන්නේ කෙසේද
උපයෝගිතා භාවිතා කිරීමේ ආකාර දෙකකට සහය දක්වයි:
- විධාන රේඛාවෙන් අමතන්න (
pggraph …
). - පයිතන් කේතයේ භාවිතය (පන්තිය
PgGraphApi
).
ස්ථාපනය සහ වින්යාසය
පළමුව ඔබ Pypi ගබඩාවෙන් උපයෝගීතාව ස්ථාපනය කළ යුතුය:
pip3 install pggraph
ඉන්පසු දත්ත සමුදායේ වින්යාසය සහ සංරක්ෂිත ස්ක්රිප්ට් සමඟ දේශීය යන්ත්රය මත config.ini ගොනුවක් සාදන්න:
[db]
host = localhost
port = 5432
user = postgres
password = postgres
dbname = postgres
schema = public ; Необязательный параметр, указано значение по умолчанию
[archive] ; Данный раздел заполнять необязательно, ниже указаны значения по умолчанию
is_debug = false
chunk_size = 1000
max_depth = 20
to_archive = true
archive_suffix = 'archive'
කොන්සෝලයෙන් ධාවනය කරන්න
පරාමිතීන්
$ pggraph -h
usage: pggraph action [-h] --table TABLE [--ids IDS] [--config_path CONFIG_PATH]
positional arguments:
action required action: archive_table, get_table_references, get_rows_references
optional arguments:
-h, --help show this help message and exit
--table TABLE table name
--ids IDS primary key ids, separated by comma, e.g. 1,2,3
--config_path CONFIG_PATH path to config.ini
--log_path LOG_PATH path to log dir
--log_level LOG_LEVEL log level (debug, info, error)
ස්ථානීය තර්ක:
action
- අවශ්ය ක්රියාමාර්ග:archive_table
,get_table_references
හෝget_rows_references
.
නම් කළ තර්ක:
--config_path
- වින්යාස ගොනුව වෙත මාර්ගය;--table
- ඔබට ක්රියාවක් කිරීමට අවශ්ය වගුවක්;--ids
- කොමා වලින් වෙන් කරන ලද හැඳුනුම්පත ලැයිස්තුව, උදාහරණයක් ලෙස,1,2,3
(විකල්ප පරාමිතිය);--log_path
- ලඝු-සටහන් සඳහා ෆෝල්ඩරය වෙත මාර්ගය (විකල්ප පරාමිතිය, පෙරනිමියෙන් - මුල් පිටුව ෆෝල්ඩරය);--log_level
- ලොගින් මට්ටම (විකල්ප පරාමිතිය, පෙරනිමිය INFO වේ).
විධාන උදාහරණ
මේසයක් සංරක්ෂණය කිරීම
උපයෝගීතාවයේ ප්රධාන කාර්යය වන්නේ දත්ත සංරක්ෂණය කිරීමයි, i.e. ප්රධාන වගුවේ සිට සංරක්ෂිත වගුව වෙත පේළි මාරු කිරීම (උදාහරණයක් ලෙස, වගුවෙන් පොත් в පොත්_ලේඛනාගාරය).
සංරක්ෂිතයෙන් තොරව මකාදැමීමට ද සහය දක්වයි: මේ සඳහා ඔබට config.ini හි පරාමිතිය සැකසිය යුතුය. to_archive = අසත්ය).
අවශ්ය පරාමිතීන් - config_path, වගුව සහ id.
දියත් කිරීමෙන් පසු, වාර්තා පුනරාවර්තන ලෙස මකා දැමෙනු ඇත ids
මේසයේ table
සහ එයට යොමු වන සියලුම වගු වල.
$ pggraph archive_table --config_path config.hw.local.ini --table flights --ids 1,2,3
2020-06-20 19:27:44 INFO: flights - START
2020-06-20 19:27:44 INFO: flights - start archive_recursive 3 rows (depth=0)
2020-06-20 19:27:44 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: ticket_flights - start archive_recursive 3 rows (depth=1)
2020-06-20 19:27:44 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: boarding_passes - start archive_recursive 3 rows (depth=2)
2020-06-20 19:27:44 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: boarding_passes - archive_by_ids 3 rows by ticket_no, flight_id
2020-06-20 19:27:44 INFO: boarding_passes - start archive_recursive 3 rows (depth=2)
2020-06-20 19:27:44 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: boarding_passes - archive_by_ids 3 rows by ticket_no, flight_id
2020-06-20 19:27:44 INFO: boarding_passes - start archive_recursive 3 rows (depth=2)
2020-06-20 19:27:44 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: boarding_passes - archive_by_ids 3 rows by ticket_no, flight_id
2020-06-20 19:27:44 INFO: boarding_passes - start archive_recursive 3 rows (depth=2)
2020-06-20 19:27:44 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: boarding_passes - archive_by_ids 3 rows by ticket_no, flight_id
2020-06-20 19:27:44 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: ticket_flights - archive_by_ids 3 rows by ticket_no, flight_id
2020-06-20 19:27:44 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 19:27:44 INFO: flights - archive_by_ids 3 rows by id
2020-06-20 19:27:44 INFO: flights - END
නිශ්චිත වගුවක් සඳහා පරායත්තතා සොයන්න
නිශ්චිත වගුවක පරායත්තතා සෙවීමේ කාර්යය table
. අවශ්ය පරාමිතීන් - config_path
и table
.
දියත් කිරීමෙන් පසු, ශබ්ද කෝෂයක් තිරය මත දිස්වනු ඇත, එහිදී:
in_refs
- දී ඇති එකක් සඳහන් කරන වගු ශබ්ද කෝෂයක්, යතුර වගුවේ නම වන අතර, අගය විදේශ යතුරු වස්තු ලැයිස්තුවකි (pk_main
- ප්රධාන වගුවේ මූලික යතුර,pk_ref
- යොමු වගුවේ මූලික යතුර,fk_ref
- මූලාශ්ර වගුව සඳහා විදේශීය යතුර වන තීරුවේ නම;out_refs
- මෙය සඳහන් කරන වගු ශබ්දකෝෂයක්.
$ pggraph get_table_references --config_path config.hw.local.ini --table flights
{'in_refs': {'ticket_flights': [ForeignKey(pk_main='flight_id', pk_ref='ticket_no, flight_id', fk_ref='flight_id')]},
'out_refs': {'aircrafts': [ForeignKey(pk_main='aircraft_code', pk_ref='flight_id', fk_ref='aircraft_code')],
'airports': [ForeignKey(pk_main='airport_code', pk_ref='flight_id', fk_ref='arrival_airport'),
ForeignKey(pk_main='airport_code', pk_ref='flight_id', fk_ref='departure_airport')]}}
නිශ්චිත ප්රාථමික යතුර සමඟ නූල් වෙත යොමු සෙවීම
විදේශීය යතුර හරහා පේළි වෙත යොමු වන වෙනත් වගු වල පේළි සෙවීමේ කාර්යය ids
මේස table
. අවශ්ය පරාමිතීන් - config_path
, table
и ids
.
දියත් කිරීමෙන් පසු, පහත ව්යුහය සහිත ශබ්දකෝෂයක් තිරය මත දිස්වනු ඇත:
{
pk_id_1: {
reffering_table_name_1: {
foreign_key_1: [
{row_pk_1: value, row_pk_2: value},
...
],
...
},
...
},
pk_id_2: {...},
...
}
උදාහරණ ඇමතුම:
$ pggraph get_rows_references --config_path config.hw.local.ini --table flights --ids 1,2,3
{1: {'ticket_flights': {'flight_id': [{'flight_id': 1,
'ticket_no': '0005432816945'},
{'flight_id': 1,
'ticket_no': '0005432816941'}]}},
2: {'ticket_flights': {'flight_id': [{'flight_id': 2,
'ticket_no': '0005433101832'},
{'flight_id': 2,
'ticket_no': '0005433101864'},
{'flight_id': 2,
'ticket_no': '0005432919715'}]}},
3: {'ticket_flights': {'flight_id': [{'flight_id': 3,
'ticket_no': '0005432817560'},
{'flight_id': 3,
'ticket_no': '0005432817568'},
{'flight_id': 3,
'ticket_no': '0005432817559'}]}}}
කේතයේ භාවිතය
එය කොන්සෝලය තුළ ධාවනය කිරීමට අමතරව, පුස්තකාලය පයිතන් කේතය භාවිතා කළ හැක. iPython අන්තර්ක්රියාකාරී පරිසරයේ ඇති ඇමතුම් සඳහා උදාහරණ පහත දැක්වේ.
මේසයක් සංරක්ෂණය කිරීම
>>> from pg_graph.main import setup_logging
>>> setup_logging(log_level='DEBUG')
>>> from pg_graph.api import PgGraphApi
>>> api = PgGraphApi('config.hw.local.ini')
>>> api.archive_table('flights', [4,5])
2020-06-20 23:12:08 INFO: flights - START
2020-06-20 23:12:08 INFO: flights - start archive_recursive 2 rows (depth=0)
2020-06-20 23:12:08 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 DEBUG: ticket_flights - ForeignKey(pk_main='flight_id', pk_ref='flight_id, ticket_no', fk_ref='flight_id')
2020-06-20 23:12:08 DEBUG: SQL('SELECT flight_id, ticket_no FROM bookings.ticket_flights WHERE (flight_id) IN (%s, %s)')
2020-06-20 23:12:08 INFO: ticket_flights - start archive_recursive 30 rows (depth=1)
2020-06-20 23:12:08 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 DEBUG: boarding_passes - ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 INFO: boarding_passes - archive_by_fk 30 rows by ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.boarding_passes_archive (LIKE bookings.boarding_passes)')
2020-06-20 23:12:08 DEBUG: DELETE FROM boarding_passes by FK flight_id, ticket_no - 30 rows
2020-06-20 23:12:08 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 INFO: ticket_flights - archive_by_ids 30 rows by flight_id, ticket_no
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.ticket_flights_archive (LIKE bookings.ticket_flights)')
2020-06-20 23:12:08 DEBUG: DELETE FROM ticket_flights by flight_id, ticket_no - 30 rows
2020-06-20 23:12:08 DEBUG: INSERT INTO ticket_flights_archive - 30 rows
2020-06-20 23:12:08 INFO: ticket_flights - start archive_recursive 30 rows (depth=1)
2020-06-20 23:12:08 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 DEBUG: boarding_passes - ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 INFO: boarding_passes - archive_by_fk 30 rows by ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.boarding_passes_archive (LIKE bookings.boarding_passes)')
2020-06-20 23:12:08 DEBUG: DELETE FROM boarding_passes by FK flight_id, ticket_no - 30 rows
2020-06-20 23:12:08 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 INFO: ticket_flights - archive_by_ids 30 rows by flight_id, ticket_no
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.ticket_flights_archive (LIKE bookings.ticket_flights)')
2020-06-20 23:12:08 DEBUG: DELETE FROM ticket_flights by flight_id, ticket_no - 30 rows
2020-06-20 23:12:08 DEBUG: INSERT INTO ticket_flights_archive - 30 rows
2020-06-20 23:12:08 INFO: ticket_flights - start archive_recursive 30 rows (depth=1)
2020-06-20 23:12:08 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 DEBUG: boarding_passes - ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 INFO: boarding_passes - archive_by_fk 30 rows by ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.boarding_passes_archive (LIKE bookings.boarding_passes)')
2020-06-20 23:12:08 DEBUG: DELETE FROM boarding_passes by FK flight_id, ticket_no - 30 rows
2020-06-20 23:12:08 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 INFO: ticket_flights - archive_by_ids 30 rows by flight_id, ticket_no
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.ticket_flights_archive (LIKE bookings.ticket_flights)')
2020-06-20 23:12:08 DEBUG: DELETE FROM ticket_flights by flight_id, ticket_no - 30 rows
2020-06-20 23:12:08 DEBUG: INSERT INTO ticket_flights_archive - 30 rows
2020-06-20 23:12:08 INFO: ticket_flights - start archive_recursive 3 rows (depth=1)
2020-06-20 23:12:08 INFO: START ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 DEBUG: boarding_passes - ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 INFO: boarding_passes - archive_by_fk 3 rows by ForeignKey(pk_main='flight_id, ticket_no', pk_ref='flight_id, ticket_no', fk_ref='flight_id, ticket_no')
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.boarding_passes_archive (LIKE bookings.boarding_passes)')
2020-06-20 23:12:08 DEBUG: DELETE FROM boarding_passes by FK flight_id, ticket_no - 3 rows
2020-06-20 23:12:08 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 INFO: ticket_flights - archive_by_ids 3 rows by flight_id, ticket_no
2020-06-20 23:12:08 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.ticket_flights_archive (LIKE bookings.ticket_flights)')
2020-06-20 23:12:08 DEBUG: DELETE FROM ticket_flights by flight_id, ticket_no - 3 rows
2020-06-20 23:12:08 DEBUG: INSERT INTO ticket_flights_archive - 3 rows
2020-06-20 23:12:08 INFO: END ARCHIVE REFERRING TABLES
2020-06-20 23:12:08 INFO: flights - archive_by_ids 2 rows by flight_id
2020-06-20 23:12:09 DEBUG: SQL('CREATE TABLE IF NOT EXISTS bookings.flights_archive (LIKE bookings.flights)')
2020-06-20 23:12:09 DEBUG: DELETE FROM flights by flight_id - 2 rows
2020-06-20 23:12:09 DEBUG: INSERT INTO flights_archive - 2 rows
2020-06-20 23:12:09 INFO: flights - END
නිශ්චිත වගුවක් සඳහා පරායත්තතා සොයන්න
>>> from pg_graph.api import PgGraphApi
>>> from pprint import pprint
>>> api = PgGraphApi('config.hw.local.ini')
>>> res = api.get_table_references('flights')
>>> pprint(res)
{'in_refs': {'ticket_flights': [ForeignKey(pk_main='flight_id', pk_ref='flight_id, ticket_no', fk_ref='flight_id')]},
'out_refs': {'aircrafts': [ForeignKey(pk_main='aircraft_code', pk_ref='flight_id', fk_ref='aircraft_code')],
'airports': [ForeignKey(pk_main='airport_code', pk_ref='flight_id', fk_ref='arrival_airport'),
ForeignKey(pk_main='airport_code', pk_ref='flight_id', fk_ref='departure_airport')]}}
නිශ්චිත ප්රාථමික යතුර සමඟ නූල් වෙත යොමු සෙවීම
>>> from pg_graph.api import PgGraphApi
>>> from pprint import pprint
>>> api = PgGraphApi('config.hw.local.ini')
>>> rows = api.get_rows_references('flights', [1,2,3])
>>> pprint(rows)
{1: {'ticket_flights': {'flight_id': [{'flight_id': 1,
'ticket_no': '0005432816945'},
{'flight_id': 1,
'ticket_no': '0005432816941'}]}},
2: {'ticket_flights': {'flight_id': [{'flight_id': 2,
'ticket_no': '0005433101832'},
{'flight_id': 2,
'ticket_no': '0005433101864'},
{'flight_id': 2,
'ticket_no': '0005432919715'}]}},
3: {'ticket_flights': {'flight_id': [{'flight_id': 3,
'ticket_no': '0005432817560'},
{'flight_id': 3,
'ticket_no': '0005432817568'},
{'flight_id': 3,
'ticket_no': '0005432817559'}]}}}
පුස්තකාල මූල කේතය ලබා ගත හැක
අදහස්, කැපවීම් සහ යෝජනා ගැන මම සතුටු වෙමි.
මම මෙහි සහ ගබඩාවේ ඇති ප්රශ්නවලට මගේ හැකියාවෙන් පිළිතුරු දීමට උත්සාහ කරමි.
මූලාශ්රය: www.habr.com