စံပြ Data Warehouse ကို မည်သည့်အခြေခံမူများဖြင့် တည်ဆောက်သနည်း။

boilerplate code မပါရှိဘဲ လုပ်ငန်းတန်ဖိုးနှင့် ခွဲခြမ်းစိတ်ဖြာချက်များကို အာရုံစိုက်ပါ။ DWH ကို codebase အဖြစ် စီမံခန့်ခွဲခြင်း- ဗားရှင်းထုတ်ခြင်း၊ ပြန်လည်သုံးသပ်ခြင်း၊ အလိုအလျောက် စမ်းသပ်ခြင်းနှင့် CI။ Modular၊ တိုးချဲ့နိုင်သော၊ open source နှင့် အသိုင်းအဝိုင်း။ အသုံးပြုရလွယ်ကူသော စာရွက်စာတမ်းများနှင့် မှီခိုမှုမြင်ယောင်ခြင်း (Data Lineage)။

ဤအရာအားလုံးအကြောင်းနှင့် Big Data & Analytics ဂေဟစနစ်တွင် DBT အခန်းကဏ္ဍအကြောင်း - cat မှကြိုဆိုပါတယ်။

မင်္ဂလာပါလူတိုင်းအတွက်

Artemy Kozyr က ဆက်သွယ်နေပါတယ်။ ကျွန်ုပ်သည် ဒေတာသိုလှောင်ရုံများ၊ ETL/ELT တည်ဆောက်ခြင်း၊ ဒေတာခွဲခြမ်းစိတ်ဖြာခြင်းနှင့် စိတ်ကူးပုံဖော်ခြင်းတို့ကို 5 နှစ်ကျော်ကြာ လုပ်ဆောင်ခဲ့သည်။ ကျွန်တော်လက်ရှိအလုပ်လုပ်နေပါတယ်။ ညည်းတွားသင်တန်းမှာ OTUS မှာ သင်ပေးတယ်။ ဒေတာများကိုအင်ဂျင်နီယာချုပ်၊ ဒီနေ့တော့ စပြီးမျှော်လင့်ချက်နဲ့ ရေးထားတဲ့ ဆောင်းပါးတစ်ပုဒ်ကို မျှဝေချင်ပါတယ်။ သင်တန်းအတွက် စာရင်းပေးသွင်းမှုအသစ်.

အနှစ်ချုပ်

DBT မူဘောင်သည် ELT (Extract - Transform - Load) အတိုကောက်ရှိ T နှင့် ပတ်သက်သည်။

BigQuery၊ Redshift၊ Snowflake ကဲ့သို့ ဖြစ်ထွန်းပြီး အရွယ်တင်နိုင်သော ခွဲခြမ်းစိတ်ဖြာနိုင်သော ဒေတာဘေ့စ်များ ထွန်းကားလာသဖြင့် Data Warehouse အပြင်ဘက်တွင် အသွင်ပြောင်းမှုများ ပြုလုပ်ရန် ကိစ္စမရှိပါ။ 

DBT သည် ရင်းမြစ်များမှ ဒေတာကို ဒေါင်းလုဒ်မလုပ်သော်လည်း Storage (Internal သို့မဟုတ် External Storage) တွင် ထည့်သွင်းပြီးသော ဒေတာနှင့် လုပ်ဆောင်ရန်အတွက် အခွင့်အလမ်းကောင်းများ ပေးပါသည်။

DBT ၏ အဓိကရည်ရွယ်ချက်မှာ ကုဒ်ကိုယူ၍ SQL တွင် စုစည်းကာ၊ Repository ရှိ မှန်ကန်သော အစီအစဥ်ဖြင့် အမိန့်များကို လုပ်ဆောင်ရန်ဖြစ်သည်။

DBT Project Structure

ပရောဂျက်တွင် အမျိုးအစား နှစ်မျိုးသာရှိသော လမ်းညွှန်များနှင့် ဖိုင်များ ပါဝင်သည်-

• မော်ဒယ် (.sql) - SELECT မေးမြန်းမှုဖြင့် ဖော်ပြထားသော အသွင်ပြောင်းယူနစ်တစ်ခု
• ဖွဲ့စည်းမှုဖိုင် (.yml) - ကန့်သတ်ချက်များ၊ ဆက်တင်များ၊ စမ်းသပ်မှုများ၊ စာရွက်စာတမ်းများ

အခြေခံအဆင့်တွင် လုပ်ငန်းကို အောက်ပါအတိုင်း ဖွဲ့စည်းထားပါသည်။

• အသုံးပြုသူသည် အဆင်ပြေသော IDE တွင် မော်ဒယ်ကုဒ်ကို ပြင်ဆင်သည်။
• CLI ကို အသုံးပြု၍ မော်ဒယ်များကို စတင်လိုက်သည်၊ DBT သည် မော်ဒယ်ကုဒ်ကို SQL သို့ စုစည်းသည်။
• စုစည်းထားသော SQL ကုဒ်ကို ပေးထားသော အစီအစဥ် (ဂရပ်) ဖြင့် Storage တွင် လုပ်ဆောင်သည်

ဤသည်မှာ CLI မှ လည်ပတ်နေသည့် ပုံစံဖြစ်နိုင်သည်-

အရာအားလုံးသည် SELECT ဖြစ်သည်။

၎င်းသည် Data Build Tool framework ၏ လူသတ်အင်္ဂါရပ်တစ်ခုဖြစ်သည်။ တစ်နည်းဆိုရသော်၊ DBT သည် သင်၏မေးမြန်းချက်များကို Store တွင် အကောင်အထည်ပေါ်လာစေခြင်းနှင့် ဆက်စပ်နေသော ကုဒ်အားလုံးကို (CREATE၊ INSERT၊ UPDATE၊ DELETE ALTER၊ GRANT၊ ...) ဟူသော ညွှန်ကြားချက်များမှ ပြောင်းလဲမှုများ။

မော်ဒယ်တိုင်းတွင် ရလဒ်ဒေတာအစုံကို သတ်မှတ်သည့် SELECT query တစ်ခုရေးသားခြင်း ပါဝင်ပါသည်။

ဤကိစ္စတွင်၊ အသွင်ပြောင်းခြင်းဆိုင်ရာ ယုတ္တိဗေဒသည် အဆင့်များစွာရှိပြီး အခြားမော်ဒယ်များစွာမှ အချက်အလက်များကို စုစည်းနိုင်သည်။ အမှာစာပြခန်းတစ်ခုတည်ဆောက်မည့် နမူနာပုံစံ (f_orders)

{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

ဤနေရာတွင် အဘယ်စိတ်ဝင်စားဖွယ်အရာများကို ကျွန်ုပ်တို့မြင်နိုင်သနည်း။

ပထမအချက်- CTE (Common Table Expressions) ကို အသုံးပြုထားသည် - အသွင်ပြောင်းမှုများနှင့် လုပ်ငန်းဆိုင်ရာ ယုတ္တိများစွာပါရှိသော ကုဒ်များကို စုစည်းနားလည်စေရန်၊

ဒုတိယ- မော်ဒယ်ကုဒ်သည် SQL နှင့် ဘာသာစကား ရောနှောထားသည်။ Jinja (ပုံသွင်းဘာသာစကား)။

ဥပမာသည် loop ကိုအသုံးပြုသည်။ ဘို့ စကားရပ်တွင် သတ်မှတ်ထားသော ငွေပေးချေမှုနည်းလမ်းတစ်ခုစီအတွက် ပမာဏကို ထုတ်လုပ်ရန် အစုံ. Function ကိုလည်း အသုံးပြုထားပါတယ်။ ref — ကုဒ်အတွင်း အခြားမော်ဒယ်များကို ကိုးကားနိုင်မှု-

• စုစည်းနေစဉ် ref ပစ်မှတ်ညွှန်ပြချက်ကို ဇယားတစ်ခုသို့ သို့မဟုတ် သိုလှောင်မှုတွင် ကြည့်ရှုမှုအဖြစ်သို့ ပြောင်းလဲမည်ဖြစ်သည်။
• ref model dependency graph ကိုတည်ဆောက်နိုင်စေတယ်။

အမည်ရ Jinja DBT တွင် အကန့်အသတ်မရှိ ဖြစ်နိုင်ခြေများကို ပေါင်းထည့်သည်။ အသုံးအများဆုံးအရာများမှာ-

• If / else statements - ဌာနခွဲထုတ်ပြန်ချက်များ
• loops - သံသရာအတွက်
• ကိန်းရှင်များ
• Macro - မက်ခရိုဖန်တီးခြင်း။

ရုပ်ထွက်ပစ္စည်း- ဇယား၊ မြင်ကွင်း၊ တိုးမြင့်မှု

Materialization နည်းဗျူဟာသည် ထွက်ပေါ်လာသော မော်ဒယ်ဒေတာအစုအဝေးကို Storage တွင် သိမ်းဆည်းထားမည့် ချဉ်းကပ်မှုတစ်ခုဖြစ်သည်။

အခြေခံအားဖြင့်၎င်းသည်-

• ဇယား - သိုလှောင်မှုရှိ ရုပ်ပိုင်းဆိုင်ရာဇယား
• မြင်ကွင်း - မြင်ကွင်း၊ သိုလှောင်မှုရှိ ဇယားအတု

ပိုမိုရှုပ်ထွေးသော ရုပ်လုံးပေါ်လာရေး ဗျူဟာများလည်း ရှိပါသည်။

• တိုးမြင့် - တိုးမြင့်တင်ခြင်း (အမှန်တကယ် ဇယားကြီးများ); လိုင်းအသစ်များထည့်သည်၊ ပြောင်းထားသောလိုင်းများကိုအပ်ဒိတ်လုပ်သည်၊ ဖျက်ထားသောလိုင်းများကိုရှင်းလင်းသည်။ 
• Ephemeral - မော်ဒယ်သည် တိုက်ရိုက် အကောင်အထည်ပေါ်မလာသော်လည်း အခြားမော်ဒယ်များတွင် CTE အဖြစ် ပါဝင်ပါသည်။
• အခြားနည်းဗျူဟာများကို သင်ကိုယ်တိုင်ထည့်နိုင်သည်။

ရုပ်လုံးပေါ်လာခြင်းဆိုင်ရာ ဗျူဟာများအပြင်၊ ဥပမာအားဖြင့်၊ သီးခြားသိုလှောင်မှုများအတွက် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ရန် အခွင့်အလမ်းများ ရှိပါသည်။

• မိုးစ: ယာယီဇယားများ၊ အပြုအမူပေါင်းစည်းခြင်း
• Redshift: Distkey၊ Sortkey (ကြားဖြတ်၊ ပေါင်းစည်းမှု)၊ နှောင်းပိုင်း ချိတ်ဆက်မှု မြင်ကွင်းများ
• BigQuery တွင်: ဇယားခွဲခွဲခြားခြင်းနှင့် အစုလိုက်အပြုံလိုက်၊ ပေါင်းစည်းခြင်းအပြုအမူ၊ KMS ကုဒ်ဝှက်ခြင်း၊ အညွှန်းများနှင့် တဂ်များ
• မီးဖွါး: ဖိုင်ဖော်မတ် (ပါကေး၊ csv၊ json၊ orc၊ မြစ်ဝကျွန်းပေါ်ဒေသ)၊ partition_by၊ clustered_by၊ ပုံးများ၊ incremental_strategy

အောက်ဖော်ပြပါ သိုလှောင်မှုများကို လောလောဆယ် ပံ့ပိုးထားပါသည်။

• နေပြည်တော်
• Redshift
• BigQuery တွင်
• မိုးစ
• Presto (တစ်စိတ်တစ်ပိုင်း)
• မီးပွား (တစ်စိတ်တစ်ပိုင်း)
• Microsoft SQL Server (ကွန်မြူနတီ ဒက်တာ)

ကျွန်ုပ်တို့၏ မော်ဒယ်ကို မြှင့်တင်ကြပါစို့။

• ဖြည့်သွင်းခြင်း (Incremental) လုပ်ကြပါစို့။
• Redshift အတွက် အပိုင်းခွဲခြင်းနှင့် စီခြင်းကီးများ ထည့်ကြပါစို့

-- Конфигурация модели: 
-- Инкрементальное наполнение, уникальный ключ для обновления записей (unique_key)
-- Ключ сегментации (dist), ключ сортировки (sort)
{{
  config(
       materialized='incremental',
       unique_key='order_id',
       dist="customer_id",
       sort="order_date"
   )
}}
 
{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
   where 1=1
   {% if is_incremental() -%}
       -- Этот фильтр будет применен только для инкрементального запуска
       and order_date >= (select max(order_date) from {{ this }})
   {%- endif %} 
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

မော်ဒယ်မှီခိုဂရပ်

မှီခိုမှုသစ်ပင်လည်း ဖြစ်ပါတယ်။ ၎င်းကို DAG (Directed Acyclic Graph) ဟုခေါ်သည်။

DBT သည် ပရောဂျက်မော်ဒယ်များအားလုံး၏ ဖွဲ့စည်းမှုပုံစံအပေါ် အခြေခံ၍ ဂရပ်တစ်ခုကို တည်ဆောက်သည် သို့မဟုတ် ယင်းအစား မော်ဒယ်များအတွင်း ref() လင့်ခ်များကို အခြားမော်ဒယ်များနှင့် ချိတ်ဆက်သည်။ ဂရပ်တစ်ခုရှိခြင်းက သင့်အား အောက်ပါအရာများကို လုပ်ဆောင်နိုင်စေသည်-

• မှန်ကန်သော အစီအစဥ်များဖြင့် လုပ်ဆောင်နေပါသည်။
• ဆိုင်မျက်နှာစာဖွဲ့စည်းခြင်း အပြိုင်
• မထင်သလို အပိုဒ်ခွဲတစ်ခုကို လုပ်ဆောင်ခြင်း။ 

ဂရပ်ဖစ်ပုံဖော်ခြင်း၏ ဥပမာ-

ဂရပ်၏ node တစ်ခုစီသည် မော်ဒယ်တစ်ခုဖြစ်သည်၊ ဂရပ်၏အနားများကို expression ref မှသတ်မှတ်ထားသည်။

ဒေတာအရည်အသွေးနှင့် စာရွက်စာတမ်းများ

မော်ဒယ်များကို ကိုယ်တိုင်ထုတ်လုပ်ခြင်းအပြင်၊ DBT သည် သင့်အား ရရှိလာသော ဒေတာအစုံနှင့်ပတ်သက်သည့် ယူဆချက်များစွာကို စမ်းသပ်ခွင့်ပြုသည်-၊

• Null မဟုတ်ပါ။
• ထူးခြားသော
• Reference Integrity - ကိုးကားမှုဆိုင်ရာ ခိုင်မာမှု (ဥပမာ၊ အမှာစာဇယားရှိ customer_id သည် ဖောက်သည်ဇယားရှိ id နှင့် သက်ဆိုင်သည်)
• လက်ခံနိုင်သောတန်ဖိုးများစာရင်းနှင့် ကိုက်ညီခြင်း။

ဥပမာအားဖြင့်၊ လွန်ခဲ့သည့်တစ်ရက်၊ တစ်ပတ်၊ တစ်လမှ အညွှန်းကိန်းများဖြင့် ဝင်ငွေ၏ % သွေဖည်ခြင်းကဲ့သို့သော သင်၏ကိုယ်ပိုင်စမ်းသပ်မှုများ (စိတ်ကြိုက်ဒေတာစမ်းသပ်မှုများ) ကို ထည့်နိုင်သည်။ SQL query တစ်ခုအဖြစ် ပုံဖော်ထားသည့် မည်သည့်ယူဆချက်မဆို စမ်းသပ်မှုတစ်ခု ဖြစ်လာနိုင်သည်။

ဤနည်းအားဖြင့်၊ သင်သည် ဂိုဒေါင်ပြတင်းပေါက်များရှိ ဒေတာများတွင် မလိုလားအပ်သော သွေဖည်မှုများနှင့် အမှားအယွင်းများကို ဖမ်းယူနိုင်ပါသည်။

စာရွက်စာတမ်းကိစ္စများတွင်၊ DBT သည် မော်ဒယ်နှင့် ရည်ညွှန်းချက်အဆင့်များတွင် မက်တာဒေတာနှင့် မှတ်ချက်များ ဖြန့်ဝေခြင်းအတွက် ယန္တရားများကို ပံ့ပိုးပေးပါသည်။ 

ဤသည်မှာ စမ်းသပ်ချက်များနှင့် စာရွက်စာတမ်းများကို ထည့်သွင်းခြင်း ဖိုင်အဆင့်တွင် မည်သို့သောပုံပေါ်သည်-

 - name: fct_orders
   description: This table has basic information about orders, as well as some derived facts based on payments
   columns:
     - name: order_id
       tests:
         - unique # проверка на уникальность значений
         - not_null # проверка на наличие null
       description: This is a unique identifier for an order
     - name: customer_id
       description: Foreign key to the customers table
       tests:
         - not_null
         - relationships: # проверка ссылочной целостности
             to: ref('dim_customers')
             field: customer_id
     - name: order_date
       description: Date (UTC) that the order was placed
     - name: status
       description: '{{ doc("orders_status") }}'
       tests:
         - accepted_values: # проверка на допустимые значения
             values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']

ဤသည်မှာ ဤစာရွက်စာတမ်းသည် ထုတ်လုပ်ထားသော ဝဘ်ဆိုက်တွင် မည်သို့သောပုံစံဖြစ်သည်-

Macros နှင့် Modules

DBT ၏ရည်ရွယ်ချက်မှာ SQL scripts အစုအဝေးတစ်ခုဖြစ်လာစေရန်မှာ များစွာမဟုတ်သော်လည်း အသုံးပြုသူများအား ၎င်းတို့၏ကိုယ်ပိုင်အသွင်ပြောင်းမှုများတည်ဆောက်ခြင်းနှင့် ဤ modules များကိုဖြန့်ဝေခြင်းအတွက် အစွမ်းထက်ပြီး စွမ်းဆောင်မှုကြွယ်ဝသောနည်းလမ်းများကို ပေးဆောင်ရန်ဖြစ်သည်။

Macros သည် မော်ဒယ်များအတွင်း လုပ်ဆောင်ချက်များအဖြစ် ခေါ်ဆိုနိုင်သော တည်ဆောက်ပုံများနှင့် အသုံးအနှုန်းများ အစုအဝေးများဖြစ်သည်။ Macros သည် သင့်အား DRY (Don't Repeat Yourself) အင်ဂျင်နီယာနိယာမအရ မော်ဒယ်များနှင့် ပရောဂျက်များကြား SQL ကို ပြန်လည်အသုံးပြုခွင့်ပေးသည်။

Macro ဥပမာ-

{% macro rename_category(column_name) %}
case
 when {{ column_name }} ilike  '%osx%' then 'osx'
 when {{ column_name }} ilike  '%android%' then 'android'
 when {{ column_name }} ilike  '%ios%' then 'ios'
 else 'other'
end as renamed_product
{% endmacro %}

၎င်း၏အသုံးပြုမှု-

{% set column_name = 'product' %}
select
 product,
 {{ rename_category(column_name) }} -- вызов макроса
from my_table

DBT သည် အသုံးပြုသူများအား တစ်ဦးချင်း မော်ဂျူးများနှင့် မက်ခရိုများကို ထုတ်ဝေပြီး ပြန်လည်အသုံးပြုခွင့်ပြုသည့် ပက်ကေ့ဂျ်မန်နေဂျာပါရှိသည်။

ဆိုလိုသည်မှာ- ကဲ့သို့သော စာကြည့်တိုက်များကို တင်၍ အသုံးပြုနိုင်ခြင်း၊

• dbt_utilsရက်စွဲ/အချိန်၊ Surrogate Keys၊ Schema စမ်းသပ်မှုများ၊ Pivot/Unpivot နှင့် အခြားအရာများဖြင့် အလုပ်လုပ်သည်
• အစရှိသော ဝန်ဆောင်မှုများအတွက် အဆင်သင့်လုပ်ထားသော ပြပွဲပုံစံများ ဆီးနှင်း и အစင်း 
• သတ်မှတ်ထားသော ဒေတာအရောင်းဆိုင်များအတွက် စာကြည့်တိုက်များ၊ ဥပမာ။ Redshift 
• သစ်ထုတ်လုပ်ရေး - DBT လုပ်ဆောင်ချက်ကို မှတ်တမ်းတင်ရန်အတွက် မော်ဂျူး

ပက်ကေ့ဂျ်များစာရင်း အပြည့်အစုံကို တွင် ကြည့်ရှုနိုင်ပါသည်။ dbt hub.

ပိုလို့တောင် စွမ်းဆောင်နိုင်ပါသေးတယ်။

ဤတွင် ကျွန်ုပ်နှင့်အဖွဲ့သည် Data Warehouse တည်ဆောက်ရာတွင် အသုံးပြုသည့် အခြားစိတ်ဝင်စားဖွယ်လုပ်ဆောင်ချက်များနှင့် အကောင်အထည်ဖော်မှုများကို ဖော်ပြပါမည်။ ညည်းတွား.

Runtime ပတ်၀န်းကျင်များကို ခွဲခြားခြင်း DEV - TEST - PROD

တူညီသော DWH အစုအဝေးအတွင်း၌ပင် (ကွဲပြားခြားနားသော အစီအစဉ်များအတွင်း)။ ဥပမာအားဖြင့်၊ အောက်ပါအသုံးအနှုန်းကိုအသုံးပြုသည်-

with source as (
 
   select * from {{ source('salesforce', 'users') }}
   where 1=1
   {%- if target.name in ['dev', 'test', 'ci'] -%}           
       where timestamp >= dateadd(day, -3, current_date)   
   {%- endif -%}
 
)

ဤကုဒ်သည် စာသားအတိုင်းပြောသည်- ပတ်ဝန်းကျင်အတွက် dev၊ စမ်းသပ်၊ ci ပြီးခဲ့သော 3 ရက်အတွက်သာ ဒေတာကို မယူတော့ပါ။ ဆိုလိုသည်မှာ၊ ဤပတ်ဝန်းကျင်များတွင် လည်ပတ်ခြင်းသည် ပိုမိုမြန်ဆန်မည်ဖြစ်ပြီး အရင်းအမြစ်အနည်းငယ် လိုအပ်ပါသည်။ ပတ်ဝန်းကျင်ကို လည်ပတ်နေချိန် ရော့ စစ်ထုတ်မှုအခြေအနေအား လျစ်လျူရှုပါမည်။

အလှည့်ကျ ကော်လံ ကုဒ်ဖြင့် ပုံဖော်ခြင်း။

Redshift သည် ကော်လံတစ်ခုစီအတွက် data compression algorithms များကို သတ်မှတ်ခွင့်ပြုသည့် columnar DBMS တစ်ခုဖြစ်သည်။ အကောင်းဆုံး algorithms ကိုရွေးချယ်ခြင်းသည် disk space ကို 20-50% လျှော့ချနိုင်သည်။

မက္ကရို redshift.compress_table ANALYZE COMPRESSION အမိန့်ကို လုပ်ဆောင်မည်ဖြစ်ပြီး၊ အကြံပြုထားသော ကော်လံကုဒ်သွင်းသည့် အယ်လဂိုရီသမ်များ၊ သတ်မှတ်ထားသော အပိုင်းခွဲခြင်းကီးများ (dist_key) နှင့် စီရန်သော့များ (sort_key) တို့ကို ဒေတာလွှဲပြောင်းပေးမည်ဖြစ်ပြီး လိုအပ်ပါက ကော်ပီအဟောင်းကို ဖျက်ပါ။

Macro လက်မှတ်-

{{ compress_table(schema, table,
                 drop_backup=False,
                 comprows=none|Integer,
                 sort_style=none|compound|interleaved,
                 sort_keys=none|List<String>,
                 dist_style=none|all|even,
                 dist_key=none|String) }}

မှတ်တမ်းပုံစံ လည်ပတ်နေသည်။

စတင်ခြင်းမပြုမီ သို့မဟုတ် မော်ဒယ်ဖန်တီးမှုပြီးစီးပြီးနောက် ချက်ချင်းလုပ်ဆောင်မည့် မော်ဒယ်၏လုပ်ဆောင်မှုတစ်ခုစီတွင် ချိတ်များကို သင် ပူးတွဲလုပ်ဆောင်နိုင်သည်-

   pre-hook: "{{ logging.log_model_start_event() }}"
   post-hook: "{{ logging.log_model_end_event() }}"

loggging module သည် သင့်အား လိုအပ်သော metadata အားလုံးကို သီးခြားဇယားတစ်ခုတွင် မှတ်တမ်းတင်နိုင်စေမည်ဖြစ်ပြီး နောက်ပိုင်းတွင် ပိတ်ဆို့မှုများကို စစ်ဆေးခြင်းနှင့် ခွဲခြမ်းစိတ်ဖြာရန် အသုံးပြုနိုင်သည်။

Looker ရှိ မှတ်တမ်းဒေတာအပေါ် အခြေခံ၍ ဒက်ရှ်ဘုတ်သည် ပုံသဏ္ဌာန်တူသည်-

သိုလှောင်မှုထိန်းသိမ်းခြင်း၏ အလိုအလျောက်လုပ်ဆောင်ခြင်း။

အကယ်၍ သင်သည် UDF (User Defined Functions) ကဲ့သို့သော အသုံးပြုထားသော Repository ၏ တိုးချဲ့မှုအချို့ကို အသုံးပြုပါက၊ ဤလုပ်ဆောင်ချက်များကို ဗားရှင်းပြုလုပ်ခြင်း၊ ဝင်ရောက်ထိန်းချုပ်ခြင်းနှင့် အသစ်ထွက်ရှိထားသော အလိုအလျောက်ထုတ်ခြင်းများကို DBT တွင် လုပ်ဆောင်ရန် အလွန်အဆင်ပြေပါသည်။

ကျွန်ုပ်တို့သည် ဟက်ဂ်များ၊ အီးမေးလ်ဒိုမိန်းများနှင့် bitmask ကုဒ်ကို တွက်ချက်ရန် Python တွင် UDF ကို အသုံးပြုသည်။

မည်သည့် execution ပတ်၀န်းကျင်တွင်မဆို UDF ကိုဖန်တီးပေးသည့် macro ၏ဥပမာတစ်ခု။

{% macro create_udf() -%}
 
 {% set sql %}
       CREATE OR REPLACE FUNCTION {{ target.schema }}.f_sha256(mes "varchar")
           RETURNS varchar
           LANGUAGE plpythonu
           STABLE
       AS $$  
           import hashlib
           return hashlib.sha256(mes).hexdigest()
       $$
       ;
 {% endset %}
  
 {% set table = run_query(sql) %}
 
{%- endmacro %}

Wheely တွင် PostgreSQL ကိုအခြေခံသည့် Amazon Redshift ကိုအသုံးပြုသည်။ Redshift အတွက်၊ ဇယားများပေါ်ရှိ စာရင်းဇယားများကို ပုံမှန်စုဆောင်းရန်နှင့် disk space - ANALYZE နှင့် VACUUM commands အသီးသီးရှိရန် အရေးကြီးပါသည်။

ဒါကိုလုပ်ဖို့၊ redshift_maintenance macro ထဲက command တွေကို ညတိုင်း လုပ်ဆောင်ပါတယ်။

{% macro redshift_maintenance() %}
 
   {% set vacuumable_tables=run_query(vacuumable_tables_sql) %}
 
   {% for row in vacuumable_tables %}
       {% set message_prefix=loop.index ~ " of " ~ loop.length %}
 
       {%- set relation_to_vacuum = adapter.get_relation(
                                               database=row['table_database'],
                                               schema=row['table_schema'],
                                               identifier=row['table_name']
                                   ) -%}
       {% do run_query("commit") %}
 
       {% if relation_to_vacuum %}
           {% set start=modules.datetime.datetime.now() %}
           {{ dbt_utils.log_info(message_prefix ~ " Vacuuming " ~ relation_to_vacuum) }}
           {% do run_query("VACUUM " ~ relation_to_vacuum ~ " BOOST") %}
           {{ dbt_utils.log_info(message_prefix ~ " Analyzing " ~ relation_to_vacuum) }}
           {% do run_query("ANALYZE " ~ relation_to_vacuum) %}
           {% set end=modules.datetime.datetime.now() %}
           {% set total_seconds = (end - start).total_seconds() | round(2)  %}
           {{ dbt_utils.log_info(message_prefix ~ " Finished " ~ relation_to_vacuum ~ " in " ~ total_seconds ~ "s") }}
       {% else %}
           {{ dbt_utils.log_info(message_prefix ~ ' Skipping relation "' ~ row.values() | join ('"."') ~ '" as it does not exist') }}
       {% endif %}
 
   {% endfor %}
 
{% endmacro %}

DBT တိမ်တိုက်

DBT ကို ဝန်ဆောင်မှု (Managed Service) အဖြစ် အသုံးပြုနိုင်သည်။ ပါဝင်သည်-

• ပရောဂျက်များနှင့် မော်ဒယ်များကို တီထွင်ရန်အတွက် Web IDE
• အလုပ်ဖွဲ့စည်းပုံနှင့် အချိန်ဇယားဆွဲခြင်း။
• မှတ်တမ်းများကို ရိုးရှင်းပြီး အဆင်ပြေစွာ အသုံးပြုနိုင်သည်။
• သင့်ပရောဂျက်ကို စာရွက်စာတမ်းများဖြင့် ဝဘ်ဆိုဒ်
• CI ချိတ်ဆက်ခြင်း (စဉ်ဆက်မပြတ်ပေါင်းစည်းခြင်း)

ကောက်ချက်

DWH ကို ပြင်ဆင်ခြင်းနှင့် စားသုံးခြင်းသည် ဖျော်ရည်ဖျော်ရည်သောက်ခြင်းကဲ့သို့ပင် ပျော်စရာကောင်းပြီး အကျိုးရှိစေပါသည်။ DBT တွင် Jinja၊ အသုံးပြုသူ တိုးချဲ့မှုများ (modules)၊ compiler၊ executor နှင့် package manager တို့ ပါဝင်သည်။ ဤအရာများကို ပေါင်းစည်းခြင်းဖြင့် သင်သည် သင်၏ Data Warehouse အတွက် ပြီးပြည့်စုံသော လုပ်ငန်းခွင်ပတ်ဝန်းကျင်ကို ရရှိမည်ဖြစ်သည်။ ယနေ့ခေတ် DWH အတွင်း အသွင်ပြောင်းခြင်းကို စီမံခန့်ခွဲရန် ပိုမိုကောင်းမွန်သော နည်းလမ်းမရှိပေ။

DBT ၏ developer များ၏နောက်လိုက်ယုံကြည်ချက်များကို အောက်ပါအတိုင်း ပုံဖော်ထားပါသည်။

• ကုဒ်သည် GUI မဟုတ်ဘဲ ရှုပ်ထွေးသော ခွဲခြမ်းစိတ်ဖြာမှုဆိုင်ရာ ယုတ္တိဗေဒကို ဖော်ပြခြင်းအတွက် အကောင်းဆုံးသော စိတ်ကူးသက်သက်ဖြစ်သည်။
• ဒေတာနှင့်အလုပ်လုပ်ခြင်းသည် ဆော့ဖ်ဝဲလ်အင်ဂျင်နီယာ (Software Engineering) တွင် အကောင်းဆုံးအလေ့အကျင့်များကို လိုက်လျောညီထွေရှိသင့်သည်။

• အရေးကြီးသောဒေတာအခြေခံအဆောက်အအုံကို အသုံးပြုသူအသိုင်းအဝိုင်းက ပွင့်လင်းအရင်းအမြစ်ဆော့ဖ်ဝဲအဖြစ် ထိန်းချုပ်သင့်သည်။
• ခွဲခြမ်းစိတ်ဖြာမှုဆိုင်ရာ ကိရိယာများသာမက ကုဒ်သည်လည်း Open Source အသိုင်းအဝိုင်း၏ ပိုင်ဆိုင်မှုဖြစ်လာမည်ဖြစ်သည်။

ဤအခြေခံယုံကြည်ချက်များသည် ယနေ့ ကုမ္ပဏီပေါင်း 850 ကျော်က အသုံးပြုနေသည့် ထုတ်ကုန်တစ်ခုကို ပေါက်ဖွားလာခဲ့ပြီး ၎င်းတို့သည် အနာဂတ်တွင် ဖန်တီးမည့် စိတ်လှုပ်ရှားဖွယ်ရာ တိုးချဲ့မှုများ၏ အခြေခံဖြစ်လာသည်။

စိတ်ဝင်စားသူများအတွက် OTUS တွင် အဖွင့်သင်ခန်းစာ၏ တစ်စိတ်တစ်ပိုင်းအနေဖြင့် လွန်ခဲ့သောလအနည်းငယ်က ကျွန်တော်ပေးခဲ့သော အဖွင့်သင်ခန်းစာ ဗီဒီယိုတစ်ခုရှိပါသည်။ Amazon Redshift Storage အတွက် Data Build Tool.

DBT နှင့် Data Warehousing အပြင် OTUS ပလပ်ဖောင်းရှိ Data Engineer သင်တန်း၏ တစ်စိတ်တစ်ပိုင်းအနေဖြင့်၊ ကျွန်ုပ်နှင့် ကျွန်ုပ်သည် အခြားသက်ဆိုင်ရာနှင့် ခေတ်မီသော အကြောင်းအရာများစွာအတွက် အတန်းများကို သင်ကြားပေးသည်-

• Big Data Applications အတွက် ဗိသုကာဆိုင်ရာ အယူအဆများ
• Spark နှင့် Spark Streaming ဖြင့်လေ့ကျင့်ပါ။
• ဒေတာရင်းမြစ်များကို တင်ခြင်းအတွက် နည်းလမ်းများနှင့် ကိရိယာများကို ရှာဖွေခြင်း။
• DWH တွင် ခွဲခြမ်းစိတ်ဖြာမှုဆိုင်ရာ ပြခန်းများ တည်ဆောက်ခြင်း။
• NoSQL သဘောတရားများ- HBase၊ Cassandra၊ ElasticSearch
• စောင့်ကြည့်ခြင်းနှင့် ကြိုးကိုင်ခြင်းဆိုင်ရာ အခြေခံမူများ 
• နောက်ဆုံးပရောဂျက်- ကျွမ်းကျင်မှုအားလုံးကို လမ်းညွှန်ပံ့ပိုးမှုအောက်တွင် အတူတကွ ထားရှိခြင်း။

လင့်ခ်များ

1. DBT စာရွက်စာတမ်း - နိဒါန်း - တရားဝင်စာရွက်စာတမ်း
2. အတိအကျ dbt ဆိုတာဘာလဲ။ — DBT ၏ရေးသားသူတစ်ဦးမှသုံးသပ်ချက်ဆောင်းပါး 
3. Amazon Redshift Storage အတွက် Data Build Tool — YouTube၊ OTUS အဖွင့်သင်ခန်းစာကို မှတ်တမ်းတင်ခြင်း။
4. Greenplum အကြောင်းကို သိလာစေရန် - နောက်ဖွင့်မည့်သင်ခန်းစာမှာ မေလ 15 ရက် 2020 ဖြစ်ပါသည်။
5. Data Engineering သင်တန်း —OTUS
6. အရွယ်ရောက်သော ပိုင်းခြားစိတ်ဖြာမှုလုပ်ငန်းအသွားအလာကို တည်ဆောက်ခြင်း။ - ဒေတာနှင့် ခွဲခြမ်းစိတ်ဖြာမှု၏ အနာဂတ်ကို ကြည့်ပါ။
7. open source ခွဲခြမ်းစိတ်ဖြာမှုအတွက် အချိန်ရောက်ပါပြီ။ - ခွဲခြမ်းစိတ်ဖြာမှု၏ဆင့်ကဲဖြစ်စဉ်နှင့် Open Source ၏လွှမ်းမိုးမှု
8. dbtCloud ဖြင့် စဉ်ဆက်မပြတ် ပေါင်းစပ်ခြင်းနှင့် အလိုအလျောက် တည်ဆောက်ခြင်း စမ်းသပ်ခြင်း။ - DBT ကိုအသုံးပြု၍ CI တည်ဆောက်ခြင်းဆိုင်ရာမူများ
9. DBT သင်ခန်းစာကို စတင်လိုက်ပါ။ - အမှီအခိုကင်းသော အလုပ်အတွက် လေ့ကျင့်ပါ၊ အဆင့်ဆင့် လမ်းညွှန်ပါ။
10. Jaffle ဆိုင် — Github DBT ကျူတိုရီရယ် - Github၊ ပညာရေးပရောဂျက်ကုဒ်

သင်တန်းအကြောင်းပိုမိုလေ့လာပါ။

source: www.habr.com