ഏത് തത്വങ്ങളുടെ അടിസ്ഥാനത്തിലാണ് അനുയോജ്യമായ ഡാറ്റ വെയർഹൗസ് നിർമ്മിച്ചിരിക്കുന്നത്?

ബോയിലർ പ്ലേറ്റ് കോഡിന്റെ അഭാവത്തിൽ ബിസിനസ്സ് മൂല്യത്തിലും വിശകലനത്തിലും ശ്രദ്ധ കേന്ദ്രീകരിക്കുക. ഒരു കോഡ്ബേസ് ആയി DWH കൈകാര്യം ചെയ്യുന്നു: പതിപ്പിംഗ്, അവലോകനം, ഓട്ടോമേറ്റഡ് ടെസ്റ്റിംഗ്, CI. മോഡുലാർ, എക്സ്റ്റൻസിബിൾ, ഓപ്പൺ സോഴ്സ്, കമ്മ്യൂണിറ്റി. ഉപയോക്തൃ-സൗഹൃദ ഡോക്യുമെന്റേഷനും ഡിപൻഡൻസി വിഷ്വലൈസേഷനും (ഡാറ്റ ലൈനേജ്).

ഇതിനെ കുറിച്ചും ബിഗ് ഡാറ്റ & അനലിറ്റിക്സ് ഇക്കോസിസ്റ്റത്തിൽ ഡിബിടിയുടെ പങ്കിനെ കുറിച്ചും കൂടുതൽ - പൂച്ചയിലേക്ക് സ്വാഗതം.

Всем привет

ആർട്ടെമി കോസിർ ബന്ധപ്പെട്ടിരിക്കുന്നു. 5 വർഷത്തിലേറെയായി ഞാൻ ഡാറ്റ വെയർഹൗസുകൾ, ETL/ELT നിർമ്മിക്കൽ, ഡാറ്റാ അനലിറ്റിക്സ്, വിഷ്വലൈസേഷൻ എന്നിവയിൽ പ്രവർത്തിക്കുന്നു. ഞാൻ ഇപ്പോൾ ജോലി ചെയ്യുന്നു വീലി, ഞാൻ ഒരു കോഴ്സിൽ OTUS ൽ പഠിപ്പിക്കുന്നു ഡാറ്റ എഞ്ചിനീയർ, ഇന്ന് ഞാൻ തുടക്കം പ്രതീക്ഷിച്ച് എഴുതിയ ഒരു ലേഖനം നിങ്ങളുമായി പങ്കിടാൻ ആഗ്രഹിക്കുന്നു കോഴ്സിനുള്ള പുതിയ എൻറോൾമെന്റ്.

ഹ്രസ്വ അവലോകനം

DBT ചട്ടക്കൂട് ELT (എക്‌സ്‌ട്രാക്റ്റ് - ട്രാൻസ്‌ഫോം - ലോഡ്) എന്ന ചുരുക്കപ്പേരിലെ ടിയെക്കുറിച്ചാണ്.

BigQuery, Redshift, Snowflake തുടങ്ങിയ ഉൽപ്പാദനക്ഷമതയുള്ളതും അളക്കാവുന്നതുമായ അനലിറ്റിക്കൽ ഡാറ്റാബേസുകളുടെ വരവോടെ, ഡാറ്റ വെയർഹൗസിന് പുറത്ത് പരിവർത്തനങ്ങൾ നടത്തുന്നതിൽ അർത്ഥമില്ല. 

DBT ഉറവിടങ്ങളിൽ നിന്ന് ഡാറ്റ ഡൗൺലോഡ് ചെയ്യുന്നില്ല, എന്നാൽ സ്റ്റോറേജിലേക്ക് (ആന്തരിക അല്ലെങ്കിൽ ബാഹ്യ സ്റ്റോറേജിൽ) ഇതിനകം ലോഡ് ചെയ്ത ഡാറ്റയുമായി പ്രവർത്തിക്കാനുള്ള മികച്ച അവസരങ്ങൾ നൽകുന്നു.

ഡിബിടിയുടെ പ്രധാന ലക്ഷ്യം കോഡ് എടുക്കുക, അത് SQL-ലേക്ക് കംപൈൽ ചെയ്യുക, റിപ്പോസിറ്ററിയിൽ കൃത്യമായ ക്രമത്തിൽ കമാൻഡുകൾ എക്സിക്യൂട്ട് ചെയ്യുക എന്നതാണ്.

DBT പ്രോജക്റ്റ് ഘടന

പ്രോജക്റ്റിൽ 2 തരം ഡയറക്ടറികളും ഫയലുകളും അടങ്ങിയിരിക്കുന്നു:

• മോഡൽ (.sql) - ഒരു SELECT ചോദ്യം പ്രകടിപ്പിക്കുന്ന പരിവർത്തന യൂണിറ്റ്
• കോൺഫിഗറേഷൻ ഫയൽ (.yml) - പാരാമീറ്ററുകൾ, ക്രമീകരണങ്ങൾ, ടെസ്റ്റുകൾ, ഡോക്യുമെന്റേഷൻ

അടിസ്ഥാന തലത്തിൽ, ജോലി ഇനിപ്പറയുന്ന രീതിയിൽ ക്രമീകരിച്ചിരിക്കുന്നു:

• ഏത് സൗകര്യപ്രദമായ ഐഡിഇയിലും ഉപയോക്താവ് മോഡൽ കോഡ് തയ്യാറാക്കുന്നു
• CLI ഉപയോഗിച്ച്, മോഡലുകൾ സമാരംഭിക്കുന്നു, DBT മോഡൽ കോഡ് SQL-ലേക്ക് കംപൈൽ ചെയ്യുന്നു
• കംപൈൽ ചെയ്ത SQL കോഡ് ഒരു നിശ്ചിത ക്രമത്തിൽ (ഗ്രാഫ്) സ്റ്റോറേജിൽ എക്സിക്യൂട്ട് ചെയ്യുന്നു

CLI-ൽ നിന്ന് പ്രവർത്തിക്കുന്നത് ഇങ്ങനെയായിരിക്കാം:

എല്ലാം SELECT ആണ്

ഇത് ഡാറ്റ ബിൽഡ് ടൂൾ ചട്ടക്കൂടിന്റെ ഒരു കിടിലൻ സവിശേഷതയാണ്. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, സ്റ്റോറിലേക്ക് നിങ്ങളുടെ അന്വേഷണങ്ങൾ സാധൂകരിക്കുന്നതുമായി ബന്ധപ്പെട്ട എല്ലാ കോഡുകളും DBT സംഗ്രഹിക്കുന്നു (സൃഷ്ടിക്കുക, ചേർക്കുക, അപ്‌ഡേറ്റ് ചെയ്യുക, ആൾട്ടർ ഇല്ലാതാക്കുക, ഗ്രാന്റ്, ... എന്നീ കമാൻഡുകളിൽ നിന്നുള്ള വ്യതിയാനങ്ങൾ).

ഫലമായുണ്ടാകുന്ന ഡാറ്റ സെറ്റ് നിർവചിക്കുന്ന ഒരു SELECT ചോദ്യം എഴുതുന്നത് ഏത് മോഡലിലും ഉൾപ്പെടുന്നു.

ഈ സാഹചര്യത്തിൽ, ട്രാൻസ്ഫോർമേഷൻ ലോജിക്ക് മൾട്ടി-ലെവൽ ആകാം, മറ്റ് നിരവധി മോഡലുകളിൽ നിന്നുള്ള ഡാറ്റ ഏകീകരിക്കാം. ഒരു ഓർഡർ ഷോകേസ് നിർമ്മിക്കുന്ന ഒരു മോഡലിന്റെ ഉദാഹരണം (f_orders):

{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

നമുക്ക് ഇവിടെ കാണാൻ കഴിയുന്ന രസകരമായ കാര്യങ്ങൾ എന്തൊക്കെയാണ്?

ആദ്യം: CTE (കോമൺ ടേബിൾ എക്സ്പ്രഷനുകൾ) ഉപയോഗിച്ചു - ധാരാളം പരിവർത്തനങ്ങളും ബിസിനസ്സ് ലോജിക്കും ഉൾക്കൊള്ളുന്ന കോഡ് സംഘടിപ്പിക്കാനും മനസ്സിലാക്കാനും

രണ്ടാമത്തേത്: SQL-ന്റെയും ഭാഷയുടെയും മിശ്രിതമാണ് മോഡൽ കോഡ് Jinja (ടെംപ്ലേറ്റിംഗ് ഭാഷ).

ഉദാഹരണം ഒരു ലൂപ്പ് ഉപയോഗിക്കുന്നു വേണ്ടി എക്‌സ്‌പ്രഷനിൽ വ്യക്തമാക്കിയിട്ടുള്ള ഓരോ പേയ്‌മെന്റ് രീതിക്കും തുക സൃഷ്‌ടിക്കാൻ ഗണം. ഫംഗ്ഷനും ഉപയോഗിക്കുന്നു റഫറൻസ് - കോഡിനുള്ളിൽ മറ്റ് മോഡലുകളെ പരാമർശിക്കാനുള്ള കഴിവ്:

• സമാഹരിക്കുന്ന സമയത്ത് റഫറൻസ് ഒരു ടേബിളിലേക്കോ സ്റ്റോറേജിലെ കാഴ്ചയിലേക്കോ ടാർഗെറ്റ് പോയിന്ററായി പരിവർത്തനം ചെയ്യും
• റഫറൻസ് ഒരു മോഡൽ ഡിപൻഡൻസി ഗ്രാഫ് നിർമ്മിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു

അത് ആയിരുന്നു Jinja DBT-യിലേക്ക് ഏതാണ്ട് പരിധിയില്ലാത്ത സാധ്യതകൾ ചേർക്കുന്നു. ഏറ്റവും സാധാരണയായി ഉപയോഗിക്കുന്നവ ഇവയാണ്:

• എങ്കിൽ / അല്ലെങ്കിൽ പ്രസ്താവനകൾ - ബ്രാഞ്ച് പ്രസ്താവനകൾ
• ലൂപ്പുകൾക്കായി
• വേരിയബിളുകൾ
• മാക്രോ - മാക്രോകൾ സൃഷ്ടിക്കുന്നു

മെറ്റീരിയലൈസേഷൻ: ടേബിൾ, വ്യൂ, ഇൻക്രിമെന്റൽ

മെറ്റീരിയലൈസേഷൻ സ്ട്രാറ്റജി എന്നത് ഒരു സമീപനമാണ്, അതനുസരിച്ച് തത്ഫലമായുണ്ടാകുന്ന മോഡൽ ഡാറ്റ സ്റ്റോറേജിൽ സംഭരിക്കും.

അടിസ്ഥാനപരമായി ഇത്:

• പട്ടിക - സ്റ്റോറേജിലെ ഫിസിക്കൽ ടേബിൾ
• കാണുക - കാണുക, സംഭരണത്തിലെ വെർച്വൽ പട്ടിക

കൂടുതൽ സങ്കീർണ്ണമായ ഭൗതികവൽക്കരണ തന്ത്രങ്ങളും ഉണ്ട്:

• ഇൻക്രിമെന്റൽ - ഇൻക്രിമെന്റൽ ലോഡിംഗ് (വലിയ വസ്തുത പട്ടികകളുടെ); പുതിയ വരികൾ ചേർത്തു, മാറ്റിയ വരികൾ അപ്ഡേറ്റ് ചെയ്തു, ഇല്ലാതാക്കിയ വരികൾ മായ്ച്ചു 
• എഫെമറൽ - മോഡൽ നേരിട്ട് യാഥാർത്ഥ്യമാകുന്നില്ല, എന്നാൽ മറ്റ് മോഡലുകളിൽ ഒരു CTE ആയി പങ്കെടുക്കുന്നു
• നിങ്ങൾക്ക് സ്വയം ചേർക്കാൻ കഴിയുന്ന മറ്റേതെങ്കിലും തന്ത്രങ്ങൾ

മെറ്റീരിയലൈസേഷൻ തന്ത്രങ്ങൾക്ക് പുറമേ, നിർദ്ദിഷ്ട സ്റ്റോറേജുകൾക്കായി ഒപ്റ്റിമൈസേഷനുള്ള അവസരങ്ങളുണ്ട്, ഉദാഹരണത്തിന്:

• മഞ്ഞുകട്ട: ക്ഷണികമായ പട്ടികകൾ, ലയിപ്പിക്കുന്ന സ്വഭാവം, ടേബിൾ ക്ലസ്റ്ററിംഗ്, ഗ്രാന്റുകൾ പകർത്തൽ, സുരക്ഷിത കാഴ്‌ചകൾ
• റെഡ്ഷീറ്റ്: ഡിസ്‌റ്റ്‌കീ, സോർട്ട്‌കീ (ഇന്റർലീവഡ്, കോമ്പൗണ്ട്), ലേറ്റ് ബൈൻഡിംഗ് കാഴ്‌ചകൾ
• ബിഗ്ക്വറി: ടേബിൾ പാർട്ടീഷനിംഗും ക്ലസ്റ്ററിംഗും, സ്വഭാവം ലയിപ്പിക്കുക, KMS എൻക്രിപ്ഷൻ, ലേബലുകളും ടാഗുകളും
• തീപ്പൊരി: ഫയൽ ഫോർമാറ്റ് (parquet, csv, json, orc, delta), partition_by, clustered_by, buckets, incremental_strategy

ഇനിപ്പറയുന്ന സ്റ്റോറേജുകൾ നിലവിൽ പിന്തുണയ്ക്കുന്നു:

• പോസ്റ്റ് ഗ്രേഡുകൾ
• റെഡ്ഷീറ്റ്
• ബിഗ്ക്വറി
• മഞ്ഞുകട്ട
• പ്രെസ്റ്റോ (ഭാഗികമായി)
• സ്പാർക്ക് (ഭാഗികമായി)
• Microsoft SQL സെർവർ (കമ്മ്യൂണിറ്റി അഡാപ്റ്റർ)

നമുക്ക് നമ്മുടെ മാതൃക മെച്ചപ്പെടുത്താം:

• നമുക്ക് അതിന്റെ പൂരിപ്പിക്കൽ ഇൻക്രിമെന്റൽ ആക്കാം (ഇൻക്രിമെന്റൽ)
• റെഡ്ഷിഫ്റ്റിനായി നമുക്ക് സെഗ്മെന്റേഷനും സോർട്ടിംഗ് കീകളും ചേർക്കാം

-- Конфигурация модели: 
-- Инкрементальное наполнение, уникальный ключ для обновления записей (unique_key)
-- Ключ сегментации (dist), ключ сортировки (sort)
{{
  config(
       materialized='incremental',
       unique_key='order_id',
       dist="customer_id",
       sort="order_date"
   )
}}
 
{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
   where 1=1
   {% if is_incremental() -%}
       -- Этот фильтр будет применен только для инкрементального запуска
       and order_date >= (select max(order_date) from {{ this }})
   {%- endif %} 
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

മോഡൽ ഡിപൻഡൻസി ഗ്രാഫ്

ഇത് ഒരു ആശ്രിത വൃക്ഷം കൂടിയാണ്. ഇത് DAG (ഡയറക്ടഡ് അസൈക്ലിക് ഗ്രാഫ്) എന്നും അറിയപ്പെടുന്നു.

എല്ലാ പ്രോജക്റ്റ് മോഡലുകളുടെയും കോൺഫിഗറേഷനെ അടിസ്ഥാനമാക്കി DBT ഒരു ഗ്രാഫ് നിർമ്മിക്കുന്നു, അല്ലെങ്കിൽ മറ്റ് മോഡലുകളിലേക്കുള്ള മോഡലുകൾക്കുള്ളിലെ ref() ലിങ്കുകൾ. ഒരു ഗ്രാഫ് ഉള്ളത് ഇനിപ്പറയുന്ന കാര്യങ്ങൾ ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു:

• ശരിയായ ക്രമത്തിൽ മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നു
• സ്റ്റോർഫ്രണ്ട് രൂപീകരണത്തിന്റെ സമാന്തരവൽക്കരണം
• ഒരു അനിയന്ത്രിതമായ സബ്ഗ്രാഫ് പ്രവർത്തിപ്പിക്കുന്നു 

ഗ്രാഫ് ദൃശ്യവൽക്കരണത്തിന്റെ ഉദാഹരണം:

ഗ്രാഫിന്റെ ഓരോ നോഡും ഒരു മാതൃകയാണ്; ഗ്രാഫിന്റെ അരികുകൾ ref എന്ന എക്‌സ്‌പ്രഷൻ ഉപയോഗിച്ച് വ്യക്തമാക്കുന്നു.

ഡാറ്റയുടെ ഗുണനിലവാരവും ഡോക്യുമെന്റേഷനും

മോഡലുകൾ സ്വയം സൃഷ്ടിക്കുന്നതിനു പുറമേ, തത്ഫലമായുണ്ടാകുന്ന ഡാറ്റാ സെറ്റിനെക്കുറിച്ചുള്ള നിരവധി അനുമാനങ്ങൾ പരീക്ഷിക്കാൻ DBT നിങ്ങളെ അനുവദിക്കുന്നു, ഇനിപ്പറയുന്നവ:

• നൾ അല്ല
• തനതായ
• റഫറൻസ് ഇന്റഗ്രിറ്റി - റഫറൻഷ്യൽ ഇന്റഗ്രിറ്റി (ഉദാഹരണത്തിന്, ഓർഡർ ടേബിളിലെ customer_id ഉപഭോക്താക്കളുടെ പട്ടികയിലെ ഐഡിയുമായി യോജിക്കുന്നു)
• സ്വീകാര്യമായ മൂല്യങ്ങളുടെ പട്ടികയുമായി പൊരുത്തപ്പെടുന്നു

നിങ്ങളുടെ സ്വന്തം ടെസ്റ്റുകൾ (ഇഷ്‌ടാനുസൃത ഡാറ്റാ ടെസ്റ്റുകൾ) ചേർക്കുന്നത് സാധ്യമാണ്, ഉദാഹരണത്തിന്, ഒരു ദിവസം, ഒരാഴ്ച, ഒരു മാസം മുമ്പുള്ള സൂചകങ്ങൾക്കൊപ്പം വരുമാനത്തിന്റെ % വ്യതിയാനം. ഒരു SQL അന്വേഷണമായി രൂപപ്പെടുത്തിയിട്ടുള്ള ഏതൊരു അനുമാനവും ഒരു പരീക്ഷണമായി മാറും.

ഈ രീതിയിൽ, വെയർഹൗസ് വിൻഡോകളിലെ ഡാറ്റയിലെ അനാവശ്യ വ്യതിയാനങ്ങളും പിശകുകളും നിങ്ങൾക്ക് പിടിക്കാം.

ഡോക്യുമെന്റേഷന്റെ കാര്യത്തിൽ, മോഡലിലും ആട്രിബ്യൂട്ട് തലത്തിലും മെറ്റാഡാറ്റയും കമന്റുകളും ചേർക്കുന്നതിനും പതിപ്പിക്കുന്നതിനും വിതരണം ചെയ്യുന്നതിനുമുള്ള സംവിധാനങ്ങൾ DBT നൽകുന്നു. 

കോൺഫിഗറേഷൻ ഫയൽ ലെവലിൽ ടെസ്റ്റുകളും ഡോക്യുമെന്റേഷനും ചേർക്കുന്നത് എങ്ങനെയെന്ന് ഇതാ:

 - name: fct_orders
   description: This table has basic information about orders, as well as some derived facts based on payments
   columns:
     - name: order_id
       tests:
         - unique # проверка на уникальность значений
         - not_null # проверка на наличие null
       description: This is a unique identifier for an order
     - name: customer_id
       description: Foreign key to the customers table
       tests:
         - not_null
         - relationships: # проверка ссылочной целостности
             to: ref('dim_customers')
             field: customer_id
     - name: order_date
       description: Date (UTC) that the order was placed
     - name: status
       description: '{{ doc("orders_status") }}'
       tests:
         - accepted_values: # проверка на допустимые значения
             values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']

ജനറേറ്റുചെയ്‌ത വെബ്‌സൈറ്റിൽ ഈ ഡോക്യുമെന്റേഷൻ എങ്ങനെയുണ്ടെന്ന് ഇതാ:

മാക്രോകളും മൊഡ്യൂളുകളും

DBT യുടെ ഉദ്ദേശ്യം SQL സ്ക്രിപ്റ്റുകളുടെ ഒരു കൂട്ടം ആകുക എന്നതല്ല, മറിച്ച് ഉപയോക്താക്കൾക്ക് അവരുടേതായ പരിവർത്തനങ്ങൾ നിർമ്മിക്കുന്നതിനും ഈ മൊഡ്യൂളുകൾ വിതരണം ചെയ്യുന്നതിനുമുള്ള ശക്തവും സവിശേഷതകളാൽ സമ്പന്നവുമായ മാർഗങ്ങൾ നൽകുക എന്നതാണ്.

മോഡലുകൾക്കുള്ളിലെ ഫംഗ്‌ഷനുകൾ എന്ന് വിളിക്കാവുന്ന നിർമ്മാണങ്ങളുടെയും പദപ്രയോഗങ്ങളുടെയും കൂട്ടങ്ങളാണ് മാക്രോകൾ. DRY (Don't Repeat Yourself) എഞ്ചിനീയറിംഗ് തത്വത്തിന് അനുസൃതമായി മോഡലുകൾക്കും പ്രോജക്റ്റുകൾക്കുമിടയിൽ SQL വീണ്ടും ഉപയോഗിക്കാൻ മാക്രോകൾ നിങ്ങളെ അനുവദിക്കുന്നു.

മാക്രോ ഉദാഹരണം:

{% macro rename_category(column_name) %}
case
 when {{ column_name }} ilike  '%osx%' then 'osx'
 when {{ column_name }} ilike  '%android%' then 'android'
 when {{ column_name }} ilike  '%ios%' then 'ios'
 else 'other'
end as renamed_product
{% endmacro %}

അതിന്റെ ഉപയോഗവും:

{% set column_name = 'product' %}
select
 product,
 {{ rename_category(column_name) }} -- вызов макроса
from my_table

വ്യക്തിഗത മൊഡ്യൂളുകളും മാക്രോകളും പ്രസിദ്ധീകരിക്കാനും വീണ്ടും ഉപയോഗിക്കാനും ഉപയോക്താക്കളെ അനുവദിക്കുന്ന ഒരു പാക്കേജ് മാനേജറുമായാണ് DBT വരുന്നത്.

ഇനിപ്പറയുന്നതുപോലുള്ള ലൈബ്രറികൾ ലോഡുചെയ്യാനും ഉപയോഗിക്കാനും കഴിയുമെന്നാണ് ഇതിനർത്ഥം:

• dbt_utils: തീയതി/സമയം, സറോഗേറ്റ് കീകൾ, സ്കീമ ടെസ്റ്റുകൾ, പിവറ്റ്/അൺപിവറ്റ് എന്നിവയ്‌ക്കൊപ്പം പ്രവർത്തിക്കുന്നു
• പോലുള്ള സേവനങ്ങൾക്കായി റെഡിമെയ്ഡ് ഷോകേസ് ടെംപ്ലേറ്റുകൾ സ്നോപ്ലോ и വര 
• നിർദ്ദിഷ്ട ഡാറ്റ സ്റ്റോറുകൾക്കുള്ള ലൈബ്രറികൾ, ഉദാ. റെഡ്ഷീറ്റ് 
• ലോഗ് ചെയ്യുന്നു - ഡിബിടി പ്രവർത്തനം ലോഗ് ചെയ്യുന്നതിനുള്ള മൊഡ്യൂൾ

പാക്കേജുകളുടെ പൂർണ്ണമായ ലിസ്റ്റ് ഇവിടെ കാണാം dbt ഹബ്.

അതിലും കൂടുതൽ സവിശേഷതകൾ

ഒരു ഡാറ്റ വെയർഹൗസ് നിർമ്മിക്കാൻ ഞാനും ടീമും ഉപയോഗിക്കുന്ന മറ്റ് ചില രസകരമായ സവിശേഷതകളും നടപ്പാക്കലുകളും ഞാൻ ഇവിടെ വിവരിക്കും വീലി.

റൺടൈം പരിതസ്ഥിതികളുടെ വേർതിരിവ് DEV - TEST - PROD

ഒരേ DWH ക്ലസ്റ്ററിനുള്ളിൽ പോലും (വ്യത്യസ്ത സ്കീമുകൾക്കുള്ളിൽ). ഉദാഹരണത്തിന്, ഇനിപ്പറയുന്ന പദപ്രയോഗം ഉപയോഗിക്കുന്നു:

with source as (
 
   select * from {{ source('salesforce', 'users') }}
   where 1=1
   {%- if target.name in ['dev', 'test', 'ci'] -%}           
       where timestamp >= dateadd(day, -3, current_date)   
   {%- endif -%}
 
)

ഈ കോഡ് അക്ഷരാർത്ഥത്തിൽ പറയുന്നു: പരിസ്ഥിതികൾക്കായി dev, test, ci കഴിഞ്ഞ 3 ദിവസത്തേക്ക് മാത്രം ഡാറ്റ എടുക്കുക, ഇനി വേണ്ട. അതായത്, ഈ പരിതസ്ഥിതികളിൽ പ്രവർത്തിക്കുന്നത് വളരെ വേഗതയുള്ളതും കുറച്ച് വിഭവങ്ങൾ ആവശ്യമാണ്. പരിസ്ഥിതിയിൽ പ്രവർത്തിക്കുമ്പോൾ ഉത്പന്നം ഫിൽട്ടർ അവസ്ഥ അവഗണിക്കപ്പെടും.

ഇതര കോളം എൻകോഡിംഗ് ഉപയോഗിച്ചുള്ള മെറ്റീരിയലൈസേഷൻ

ഓരോ നിരയ്ക്കും ഡാറ്റ കംപ്രഷൻ അൽഗോരിതം സജ്ജമാക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു നിര DBMS ആണ് Redshift. ഒപ്റ്റിമൽ അൽഗോരിതങ്ങൾ തിരഞ്ഞെടുക്കുന്നത് ഡിസ്കിന്റെ ഇടം 20-50% കുറയ്ക്കും.

മാക്രോ redshift.compress_table ANALYZE COMPRESSION കമാൻഡ് എക്സിക്യൂട്ട് ചെയ്യും, ശുപാർശ ചെയ്യുന്ന കോളം എൻകോഡിംഗ് അൽഗരിതങ്ങൾ, നിർദ്ദിഷ്ട സെഗ്മെന്റേഷൻ കീകൾ (dist_key), സോർട്ടിംഗ് കീകൾ (sort_key) എന്നിവ ഉപയോഗിച്ച് ഒരു പുതിയ പട്ടിക സൃഷ്ടിക്കും, അതിലേക്ക് ഡാറ്റ കൈമാറുകയും ആവശ്യമെങ്കിൽ പഴയ പകർപ്പ് ഇല്ലാതാക്കുകയും ചെയ്യും.

മാക്രോ ഒപ്പ്:

{{ compress_table(schema, table,
                 drop_backup=False,
                 comprows=none|Integer,
                 sort_style=none|compound|interleaved,
                 sort_keys=none|List<String>,
                 dist_style=none|all|even,
                 dist_key=none|String) }}

ലോഗിംഗ് മോഡൽ പ്രവർത്തിക്കുന്നു

മോഡലിന്റെ ഓരോ നിർവ്വഹണത്തിലേക്കും നിങ്ങൾക്ക് കൊളുത്തുകൾ അറ്റാച്ചുചെയ്യാൻ കഴിയും, അത് സമാരംഭിക്കുന്നതിന് മുമ്പോ അല്ലെങ്കിൽ മോഡലിന്റെ നിർമ്മാണം പൂർത്തിയായതിന് തൊട്ടുപിന്നാലെയോ നടപ്പിലാക്കും:

   pre-hook: "{{ logging.log_model_start_event() }}"
   post-hook: "{{ logging.log_model_end_event() }}"

ആവശ്യമായ എല്ലാ മെറ്റാഡാറ്റയും ഒരു പ്രത്യേക പട്ടികയിൽ രേഖപ്പെടുത്താൻ ലോഗിംഗ് മൊഡ്യൂൾ നിങ്ങളെ അനുവദിക്കും, അത് പിന്നീട് തടസ്സങ്ങൾ ഓഡിറ്റ് ചെയ്യാനും വിശകലനം ചെയ്യാനും ഉപയോഗിക്കാം.

ലുക്കറിലെ ലോഗിംഗ് ഡാറ്റയെ അടിസ്ഥാനമാക്കി ഡാഷ്‌ബോർഡ് ഇങ്ങനെയാണ് കാണപ്പെടുന്നത്:

സ്റ്റോറേജ് മെയിന്റനൻസ് ഓട്ടോമേഷൻ

UDF (User Defined Functions) പോലെയുള്ള ഉപയോഗിച്ച ശേഖരണത്തിന്റെ പ്രവർത്തനക്ഷമതയുടെ ചില വിപുലീകരണങ്ങൾ നിങ്ങൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, ഈ ഫംഗ്‌ഷനുകളുടെ പതിപ്പ്, ആക്‌സസ്സ് നിയന്ത്രണം, പുതിയ റിലീസുകളുടെ ഓട്ടോമേറ്റഡ് റോളിംഗ് എന്നിവ DBT-യിൽ ചെയ്യാൻ വളരെ സൗകര്യപ്രദമാണ്.

ഹാഷുകൾ, ഇമെയിൽ ഡൊമെയ്‌നുകൾ, ബിറ്റ്മാസ്ക് ഡീകോഡിംഗ് എന്നിവ കണക്കാക്കാൻ ഞങ്ങൾ പൈത്തണിൽ UDF ഉപയോഗിക്കുന്നു.

ഏതൊരു നിർവ്വഹണ പരിതസ്ഥിതിയിലും (dev, test, prod) ഒരു UDF സൃഷ്ടിക്കുന്ന ഒരു മാക്രോയുടെ ഉദാഹരണം:

{% macro create_udf() -%}
 
 {% set sql %}
       CREATE OR REPLACE FUNCTION {{ target.schema }}.f_sha256(mes "varchar")
           RETURNS varchar
           LANGUAGE plpythonu
           STABLE
       AS $$  
           import hashlib
           return hashlib.sha256(mes).hexdigest()
       $$
       ;
 {% endset %}
  
 {% set table = run_query(sql) %}
 
{%- endmacro %}

വീലിയിൽ ഞങ്ങൾ ആമസോൺ റെഡ്ഷിഫ്റ്റ് ഉപയോഗിക്കുന്നു, അത് PostgreSQL അടിസ്ഥാനമാക്കിയുള്ളതാണ്. റെഡ്ഷിഫ്റ്റിനായി, പട്ടികകളിലെ സ്ഥിതിവിവരക്കണക്കുകൾ പതിവായി ശേഖരിക്കുകയും ഡിസ്ക് ഇടം ശൂന്യമാക്കുകയും ചെയ്യേണ്ടത് പ്രധാനമാണ് - യഥാക്രമം വിശകലനം, വാക്വം കമാൻഡുകൾ.

ഇത് ചെയ്യുന്നതിന്, redshift_maintenance മാക്രോയിൽ നിന്നുള്ള കമാൻഡുകൾ എല്ലാ രാത്രിയിലും നടപ്പിലാക്കുന്നു:

{% macro redshift_maintenance() %}
 
   {% set vacuumable_tables=run_query(vacuumable_tables_sql) %}
 
   {% for row in vacuumable_tables %}
       {% set message_prefix=loop.index ~ " of " ~ loop.length %}
 
       {%- set relation_to_vacuum = adapter.get_relation(
                                               database=row['table_database'],
                                               schema=row['table_schema'],
                                               identifier=row['table_name']
                                   ) -%}
       {% do run_query("commit") %}
 
       {% if relation_to_vacuum %}
           {% set start=modules.datetime.datetime.now() %}
           {{ dbt_utils.log_info(message_prefix ~ " Vacuuming " ~ relation_to_vacuum) }}
           {% do run_query("VACUUM " ~ relation_to_vacuum ~ " BOOST") %}
           {{ dbt_utils.log_info(message_prefix ~ " Analyzing " ~ relation_to_vacuum) }}
           {% do run_query("ANALYZE " ~ relation_to_vacuum) %}
           {% set end=modules.datetime.datetime.now() %}
           {% set total_seconds = (end - start).total_seconds() | round(2)  %}
           {{ dbt_utils.log_info(message_prefix ~ " Finished " ~ relation_to_vacuum ~ " in " ~ total_seconds ~ "s") }}
       {% else %}
           {{ dbt_utils.log_info(message_prefix ~ ' Skipping relation "' ~ row.values() | join ('"."') ~ '" as it does not exist') }}
       {% endif %}
 
   {% endfor %}
 
{% endmacro %}

ഡിബിടി ക്ലൗഡ്

DBT ഒരു സേവനമായി ഉപയോഗിക്കാൻ കഴിയും (മാനേജ്ഡ് സർവീസ്). ഉൾപ്പെടുത്തിയത്:

• പ്രോജക്റ്റുകളും മോഡലുകളും വികസിപ്പിക്കുന്നതിനുള്ള വെബ് ഐഡിഇ
• ജോലി കോൺഫിഗറേഷനും ഷെഡ്യൂളിംഗും
• ലോഗുകളിലേക്കുള്ള ലളിതവും സൗകര്യപ്രദവുമായ ആക്സസ്
• നിങ്ങളുടെ പ്രോജക്റ്റിന്റെ ഡോക്യുമെന്റേഷൻ ഉള്ള വെബ്സൈറ്റ്
• ബന്ധിപ്പിക്കുന്ന CI (തുടർച്ചയുള്ള സംയോജനം)

തീരുമാനം

DWH തയ്യാറാക്കുന്നതും കഴിക്കുന്നതും ഒരു സ്മൂത്തി കുടിക്കുന്നത് പോലെ ആസ്വാദ്യകരവും പ്രയോജനകരവുമാണ്. ഡിബിടിയിൽ ജിഞ്ച, ഉപയോക്തൃ വിപുലീകരണങ്ങൾ (മൊഡ്യൂളുകൾ), ഒരു കംപൈലർ, ഒരു എക്സിക്യൂട്ടർ, ഒരു പാക്കേജ് മാനേജർ എന്നിവ ഉൾപ്പെടുന്നു. ഈ ഘടകങ്ങൾ ഒരുമിച്ച് ചേർക്കുന്നതിലൂടെ, നിങ്ങളുടെ ഡാറ്റ വെയർഹൗസിന് പൂർണ്ണമായ പ്രവർത്തന അന്തരീക്ഷം ലഭിക്കും. ഇന്ന് DWH-നുള്ളിൽ പരിവർത്തനം നിയന്ത്രിക്കാൻ ഇതിലും മികച്ച മാർഗമില്ല.

ഡിബിടിയുടെ ഡെവലപ്പർമാർ പിന്തുടരുന്ന വിശ്വാസങ്ങൾ ഇനിപ്പറയുന്ന രീതിയിൽ രൂപപ്പെടുത്തിയിരിക്കുന്നു:

• കോഡ്, GUI അല്ല, സങ്കീർണ്ണമായ അനലിറ്റിക്കൽ ലോജിക് പ്രകടിപ്പിക്കുന്നതിനുള്ള മികച്ച സംഗ്രഹമാണ്
• ഡാറ്റയ്‌ക്കൊപ്പം പ്രവർത്തിക്കുന്നത് സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയറിംഗിലെ (സോഫ്‌റ്റ്‌വെയർ എഞ്ചിനീയറിംഗ്) മികച്ച രീതികൾ സ്വീകരിക്കണം.

• നിർണ്ണായക ഡാറ്റ ഇൻഫ്രാസ്ട്രക്ചർ ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയറായി ഉപയോക്തൃ സമൂഹം നിയന്ത്രിക്കണം
• അനലിറ്റിക്‌സ് ടൂളുകൾ മാത്രമല്ല, കോഡും ഓപ്പൺ സോഴ്‌സ് കമ്മ്യൂണിറ്റിയുടെ സ്വത്തായി മാറും

ഈ അടിസ്ഥാന വിശ്വാസങ്ങൾ ഇന്ന് 850-ലധികം കമ്പനികൾ ഉപയോഗിക്കുന്ന ഒരു ഉൽപ്പന്നം സൃഷ്ടിച്ചു, ഭാവിയിൽ സൃഷ്ടിക്കപ്പെടാൻ പോകുന്ന നിരവധി ആവേശകരമായ വിപുലീകരണങ്ങളുടെ അടിസ്ഥാനം അവയാണ്.

താൽപ്പര്യമുള്ളവർക്കായി, OTUS-ലെ ഒരു തുറന്ന പാഠത്തിന്റെ ഭാഗമായി കുറച്ച് മാസങ്ങൾക്ക് മുമ്പ് ഞാൻ നൽകിയ തുറന്ന പാഠത്തിന്റെ ഒരു വീഡിയോ ഉണ്ട് - ആമസോൺ റെഡ്ഷിഫ്റ്റ് സ്റ്റോറേജിനുള്ള ഡാറ്റ ബിൽഡ് ടൂൾ.

OTUS പ്ലാറ്റ്‌ഫോമിലെ ഡാറ്റാ എഞ്ചിനീയർ കോഴ്‌സിന്റെ ഭാഗമായി DBT, ഡാറ്റ വെയർഹൗസിംഗ് എന്നിവയ്‌ക്ക് പുറമേ, ഞാനും എന്റെ സഹപ്രവർത്തകരും പ്രസക്തവും ആധുനികവുമായ നിരവധി വിഷയങ്ങളിൽ ക്ലാസുകൾ പഠിപ്പിക്കുന്നു:

• ബിഗ് ഡാറ്റ ആപ്ലിക്കേഷനുകൾക്കുള്ള വാസ്തുവിദ്യാ ആശയങ്ങൾ
• സ്പാർക്ക്, സ്പാർക്ക് സ്ട്രീമിംഗ് എന്നിവ ഉപയോഗിച്ച് പരിശീലിക്കുക
• ഡാറ്റ ഉറവിടങ്ങൾ ലോഡുചെയ്യുന്നതിനുള്ള രീതികളും ഉപകരണങ്ങളും പര്യവേക്ഷണം ചെയ്യുന്നു
• DWH-ൽ അനലിറ്റിക്കൽ ഷോകേസുകൾ നിർമ്മിക്കുന്നു
• NoSQL ആശയങ്ങൾ: HBase, Cassandra, ElasticSearch
• നിരീക്ഷണത്തിന്റെയും ഓർക്കസ്ട്രേഷന്റെയും തത്വങ്ങൾ 
• അന്തിമ പ്രോജക്റ്റ്: മെന്ററിംഗ് പിന്തുണയുടെ കീഴിൽ എല്ലാ കഴിവുകളും ഒരുമിച്ച് ചേർക്കുന്നു

റെഫറൻസുകൾ:

1. DBT ഡോക്യുമെന്റേഷൻ - ആമുഖം - ഔദ്യോഗിക ഡോക്യുമെന്റേഷൻ
2. എന്താണ്, കൃത്യമായി, dbt? - ഡിബിടിയുടെ രചയിതാക്കളിൽ ഒരാളുടെ അവലോകന ലേഖനം 
3. ആമസോൺ റെഡ്ഷിഫ്റ്റ് സ്റ്റോറേജിനുള്ള ഡാറ്റ ബിൽഡ് ടൂൾ - YouTube, ഒരു OTUS തുറന്ന പാഠത്തിന്റെ റെക്കോർഡിംഗ്
4. ഗ്രീൻപ്ലമിനെ പരിചയപ്പെടുന്നു — അടുത്ത തുറന്ന പാഠം മെയ് 15, 2020 ആണ്
5. ഡാറ്റ എഞ്ചിനീയറിംഗ് കോഴ്സ് -OTUS
6. ഒരു മുതിർന്ന അനലിറ്റിക്സ് വർക്ക്ഫ്ലോ നിർമ്മിക്കുന്നു — ഡാറ്റയുടെയും അനലിറ്റിക്സിന്റെയും ഭാവിയിലേക്കുള്ള ഒരു നോട്ടം
7. ഓപ്പൺ സോഴ്‌സ് അനലിറ്റിക്‌സിന്റെ സമയമാണിത് - അനലിറ്റിക്സിന്റെ പരിണാമവും ഓപ്പൺ സോഴ്സിന്റെ സ്വാധീനവും
8. dbtCloud ഉപയോഗിച്ച് തുടർച്ചയായ സംയോജനവും ഓട്ടോമേറ്റഡ് ബിൽഡ് ടെസ്റ്റിംഗും - DBT ഉപയോഗിച്ച് CI നിർമ്മിക്കുന്നതിനുള്ള തത്വങ്ങൾ
9. DBT ട്യൂട്ടോറിയൽ ഉപയോഗിച്ച് ആരംഭിക്കുന്നു - പ്രാക്ടീസ്, സ്വതന്ത്ര ജോലിക്കുള്ള ഘട്ടം ഘട്ടമായുള്ള നിർദ്ദേശങ്ങൾ
10. ജാഫിൾ ഷോപ്പ് - Github DBT ട്യൂട്ടോറിയൽ - Github, വിദ്യാഭ്യാസ പദ്ധതി കോഡ്

കോഴ്സിനെക്കുറിച്ച് കൂടുതലറിയുക.

അവലംബം: www.habr.com