ਇੱਕ ਆਦਰਸ਼ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਕਿਹੜੇ ਸਿਧਾਂਤਾਂ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਹੈ?

ਬਾਇਲਰਪਲੇਟ ਕੋਡ ਦੀ ਅਣਹੋਂਦ ਵਿੱਚ ਵਪਾਰਕ ਮੁੱਲ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਤ ਕਰੋ। ਕੋਡਬੇਸ ਦੇ ਤੌਰ 'ਤੇ DWH ਦਾ ਪ੍ਰਬੰਧਨ: ਸੰਸਕਰਣ, ਸਮੀਖਿਆ, ਆਟੋਮੇਟਿਡ ਟੈਸਟਿੰਗ ਅਤੇ CI. ਮਾਡਿਊਲਰ, ਐਕਸਟੈਂਸੀਬਲ, ਓਪਨ ਸੋਰਸ ਅਤੇ ਕਮਿਊਨਿਟੀ। ਉਪਭੋਗਤਾ-ਅਨੁਕੂਲ ਦਸਤਾਵੇਜ਼ ਅਤੇ ਨਿਰਭਰਤਾ ਦ੍ਰਿਸ਼ਟੀਕੋਣ (ਡੇਟਾ ਲਾਈਨੇਜ)।

ਇਸ ਸਭ ਬਾਰੇ ਅਤੇ ਵੱਡੇ ਡੇਟਾ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਈਕੋਸਿਸਟਮ ਵਿੱਚ DBT ਦੀ ਭੂਮਿਕਾ ਬਾਰੇ ਹੋਰ - cat to welcome.

ਸਭ ਨੂੰ ਹੈਲੋ

ਆਰਟਮੀ ਕੋਜ਼ੀਰ ਸੰਪਰਕ ਵਿੱਚ ਹੈ। 5 ਸਾਲਾਂ ਤੋਂ ਵੱਧ ਸਮੇਂ ਤੋਂ ਮੈਂ ਡਾਟਾ ਵੇਅਰਹਾਊਸ, ETL/ELT ਬਣਾਉਣ ਦੇ ਨਾਲ-ਨਾਲ ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹਾਂ। ਮੈਂ ਇਸ ਸਮੇਂ ਵਿੱਚ ਕੰਮ ਕਰ ਰਿਹਾ ਹਾਂ ਵ੍ਹੀਲੀ, ਮੈਂ ਇੱਕ ਕੋਰਸ 'ਤੇ OTUS ਵਿੱਚ ਪੜ੍ਹਾਉਂਦਾ ਹਾਂ ਡਾਟਾ ਇੰਜੀਨੀਅਰ, ਅਤੇ ਅੱਜ ਮੈਂ ਤੁਹਾਡੇ ਨਾਲ ਇੱਕ ਲੇਖ ਸਾਂਝਾ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹਾਂ ਜੋ ਮੈਂ ਸ਼ੁਰੂਆਤ ਦੀ ਉਮੀਦ ਵਿੱਚ ਲਿਖਿਆ ਸੀ ਕੋਰਸ ਲਈ ਨਵਾਂ ਦਾਖਲਾ.

ਛੋਟੀ ਸਮੀਖਿਆ

DBT ਫਰੇਮਵਰਕ ELT (ਐਕਸਟਰੈਕਟ - ਟ੍ਰਾਂਸਫਾਰਮ - ਲੋਡ) ਸੰਖੇਪ ਰੂਪ ਵਿੱਚ ਟੀ ਬਾਰੇ ਹੈ।

BigQuery, Redshift, Snowflake ਵਰਗੇ ਉਤਪਾਦਕ ਅਤੇ ਸਕੇਲੇਬਲ ਵਿਸ਼ਲੇਸ਼ਣ ਡੇਟਾਬੇਸ ਦੇ ਆਗਮਨ ਦੇ ਨਾਲ, ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦੇ ਬਾਹਰ ਪਰਿਵਰਤਨ ਕਰਨ ਦਾ ਕੋਈ ਮਤਲਬ ਨਹੀਂ ਸੀ. 

DBT ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਡਾਊਨਲੋਡ ਨਹੀਂ ਕਰਦਾ ਹੈ, ਪਰ ਸਟੋਰੇਜ਼ (ਅੰਦਰੂਨੀ ਜਾਂ ਬਾਹਰੀ ਸਟੋਰੇਜ ਵਿੱਚ) ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਲੋਡ ਕੀਤੇ ਗਏ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਵਧੀਆ ਮੌਕੇ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

DBT ਦਾ ਮੁੱਖ ਉਦੇਸ਼ ਕੋਡ ਲੈਣਾ, ਇਸਨੂੰ SQL ਵਿੱਚ ਕੰਪਾਇਲ ਕਰਨਾ, ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸਹੀ ਕ੍ਰਮ ਵਿੱਚ ਕਮਾਂਡਾਂ ਨੂੰ ਚਲਾਉਣਾ ਹੈ।

DBT ਪ੍ਰੋਜੈਕਟ ਢਾਂਚਾ

ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਸਿਰਫ 2 ਕਿਸਮਾਂ ਦੀਆਂ ਡਾਇਰੈਕਟਰੀਆਂ ਅਤੇ ਫਾਈਲਾਂ ਹਨ:

• ਮਾਡਲ (.sql) - ਇੱਕ SELECT ਪੁੱਛਗਿੱਛ ਦੁਆਰਾ ਪ੍ਰਗਟ ਕੀਤੀ ਤਬਦੀਲੀ ਦੀ ਇਕਾਈ
• ਸੰਰਚਨਾ ਫਾਇਲ (.yml) - ਪੈਰਾਮੀਟਰ, ਸੈਟਿੰਗ, ਟੈਸਟ, ਦਸਤਾਵੇਜ਼

ਇੱਕ ਬੁਨਿਆਦੀ ਪੱਧਰ 'ਤੇ, ਕੰਮ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਬਣਾਇਆ ਗਿਆ ਹੈ:

• ਉਪਭੋਗਤਾ ਕਿਸੇ ਵੀ ਸੁਵਿਧਾਜਨਕ IDE ਵਿੱਚ ਮਾਡਲ ਕੋਡ ਤਿਆਰ ਕਰਦਾ ਹੈ
• CLI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਮਾਡਲ ਲਾਂਚ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, DBT ਮਾਡਲ ਕੋਡ ਨੂੰ SQL ਵਿੱਚ ਕੰਪਾਇਲ ਕਰਦਾ ਹੈ
• ਕੰਪਾਇਲ ਕੀਤਾ SQL ਕੋਡ ਇੱਕ ਦਿੱਤੇ ਕ੍ਰਮ (ਗ੍ਰਾਫ) ਵਿੱਚ ਸਟੋਰੇਜ਼ ਵਿੱਚ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ

CLI ਤੋਂ ਚੱਲਣਾ ਇਸ ਤਰ੍ਹਾਂ ਦਾ ਦਿਖਾਈ ਦੇ ਸਕਦਾ ਹੈ:

ਸਭ ਕੁਝ SELECT ਹੈ

ਇਹ ਡਾਟਾ ਬਿਲਡ ਟੂਲ ਫਰੇਮਵਰਕ ਦੀ ਇੱਕ ਕਾਤਲ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, DBT ਸਟੋਰ ਵਿੱਚ ਤੁਹਾਡੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਨੂੰ ਸਾਕਾਰ ਕਰਨ ਨਾਲ ਜੁੜੇ ਸਾਰੇ ਕੋਡਾਂ ਨੂੰ ਐਬਸਟਰੈਕਟ ਕਰਦਾ ਹੈ (CREATE, INSERT, UPDATE, DELETE ALTER, GRANT, ...) ਕਮਾਂਡਾਂ ਤੋਂ ਭਿੰਨਤਾਵਾਂ।

ਕਿਸੇ ਵੀ ਮਾਡਲ ਵਿੱਚ ਇੱਕ SELECT ਪੁੱਛਗਿੱਛ ਲਿਖਣਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਜੋ ਨਤੀਜੇ ਵਜੋਂ ਡਾਟਾ ਸੈੱਟ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ।

ਇਸ ਕੇਸ ਵਿੱਚ, ਪਰਿਵਰਤਨ ਤਰਕ ਬਹੁ-ਪੱਧਰੀ ਹੋ ਸਕਦਾ ਹੈ ਅਤੇ ਕਈ ਹੋਰ ਮਾਡਲਾਂ ਤੋਂ ਡਾਟਾ ਇਕੱਠਾ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਮਾਡਲ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਜੋ ਇੱਕ ਆਰਡਰ ਸ਼ੋਅਕੇਸ (f_orders):

{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

ਅਸੀਂ ਇੱਥੇ ਕਿਹੜੀਆਂ ਦਿਲਚਸਪ ਚੀਜ਼ਾਂ ਦੇਖ ਸਕਦੇ ਹਾਂ?

ਪਹਿਲਾ: CTE (ਆਮ ਸਾਰਣੀ ਸਮੀਕਰਨ) ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ - ਕੋਡ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਅਤੇ ਸਮਝਣ ਲਈ ਜਿਸ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਪਰਿਵਰਤਨ ਅਤੇ ਵਪਾਰਕ ਤਰਕ ਸ਼ਾਮਲ ਹਨ

ਦੂਜਾ: ਮਾਡਲ ਕੋਡ SQL ਅਤੇ ਭਾਸ਼ਾ ਦਾ ਮਿਸ਼ਰਣ ਹੈ ਜਿੰਜਾ (ਟੈਂਪਲੇਟਿੰਗ ਭਾਸ਼ਾ)।

ਉਦਾਹਰਨ ਇੱਕ ਲੂਪ ਵਰਤਦਾ ਹੈ ਲਈ ਸਮੀਕਰਨ ਵਿੱਚ ਦਰਸਾਏ ਹਰੇਕ ਭੁਗਤਾਨ ਵਿਧੀ ਲਈ ਰਕਮ ਬਣਾਉਣ ਲਈ ਸੈੱਟ. ਫੰਕਸ਼ਨ ਵੀ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਹਵਾਲਾ - ਕੋਡ ਦੇ ਅੰਦਰ ਹੋਰ ਮਾਡਲਾਂ ਦਾ ਹਵਾਲਾ ਦੇਣ ਦੀ ਯੋਗਤਾ:

• ਸੰਕਲਨ ਦੌਰਾਨ ਹਵਾਲਾ ਸਟੋਰੇਜ਼ ਵਿੱਚ ਇੱਕ ਟੇਬਲ ਜਾਂ ਦ੍ਰਿਸ਼ ਨੂੰ ਇੱਕ ਟਾਰਗੇਟ ਪੁਆਇੰਟਰ ਵਿੱਚ ਬਦਲਿਆ ਜਾਵੇਗਾ
• ਹਵਾਲਾ ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਡਲ ਨਿਰਭਰਤਾ ਗ੍ਰਾਫ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ

ਬਿਲਕੁਲ ਜਿੰਜਾ DBT ਵਿੱਚ ਲਗਭਗ ਅਸੀਮਤ ਸੰਭਾਵਨਾਵਾਂ ਜੋੜਦਾ ਹੈ। ਸਭ ਤੋਂ ਵੱਧ ਵਰਤੇ ਜਾਂਦੇ ਹਨ:

• If / else ਸਟੇਟਮੈਂਟਸ - ਬ੍ਰਾਂਚ ਸਟੇਟਮੈਂਟਸ
• ਲੂਪਸ ਲਈ
• ਵੇਰੀਏਬਲ
• ਮੈਕਰੋ - ਮੈਕਰੋ ਬਣਾਉਣਾ

ਪਦਾਰਥੀਕਰਨ: ਸਾਰਣੀ, ਦ੍ਰਿਸ਼, ਵਾਧਾ

ਮੈਟੀਰੀਅਲਾਈਜ਼ੇਸ਼ਨ ਰਣਨੀਤੀ ਇੱਕ ਪਹੁੰਚ ਹੈ ਜਿਸ ਦੇ ਅਨੁਸਾਰ ਮਾਡਲ ਡੇਟਾ ਦਾ ਨਤੀਜਾ ਸੈੱਟ ਸਟੋਰੇਜ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਵੇਗਾ।

ਮੂਲ ਰੂਪ ਵਿੱਚ ਇਹ ਹੈ:

• ਟੇਬਲ - ਸਟੋਰੇਜ਼ ਵਿੱਚ ਭੌਤਿਕ ਸਾਰਣੀ
• ਵੇਖੋ - ਵੇਖੋ, ਸਟੋਰੇਜ਼ ਵਿੱਚ ਵਰਚੁਅਲ ਟੇਬਲ

ਹੋਰ ਵੀ ਗੁੰਝਲਦਾਰ ਪਦਾਰਥੀਕਰਨ ਦੀਆਂ ਰਣਨੀਤੀਆਂ ਹਨ:

• ਇਨਕਰੀਮੈਂਟਲ - ਇਨਕਰੀਮੈਂਟਲ ਲੋਡਿੰਗ (ਵੱਡੇ ਤੱਥ ਟੇਬਲ ਦੀ); ਨਵੀਆਂ ਲਾਈਨਾਂ ਜੋੜੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਬਦਲੀਆਂ ਲਾਈਨਾਂ ਨੂੰ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਮਿਟਾਈਆਂ ਗਈਆਂ ਲਾਈਨਾਂ ਸਾਫ਼ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ 
• ਇਫੇਮਰਲ - ਮਾਡਲ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਨਹੀਂ ਬਣਦਾ, ਪਰ ਦੂਜੇ ਮਾਡਲਾਂ ਵਿੱਚ ਇੱਕ CTE ਵਜੋਂ ਹਿੱਸਾ ਲੈਂਦਾ ਹੈ
• ਕੋਈ ਹੋਰ ਰਣਨੀਤੀਆਂ ਜੋ ਤੁਸੀਂ ਆਪਣੇ ਆਪ ਨੂੰ ਜੋੜ ਸਕਦੇ ਹੋ

ਪਦਾਰਥੀਕਰਨ ਦੀਆਂ ਰਣਨੀਤੀਆਂ ਤੋਂ ਇਲਾਵਾ, ਖਾਸ ਸਟੋਰੇਜ਼ਾਂ ਲਈ ਅਨੁਕੂਲਤਾ ਦੇ ਮੌਕੇ ਹਨ, ਉਦਾਹਰਨ ਲਈ:

• snowflake: ਅਸਥਾਈ ਟੇਬਲ, ਰਲੇਵਾਂ ਵਿਹਾਰ, ਟੇਬਲ ਕਲੱਸਟਰਿੰਗ, ਅਨੁਦਾਨਾਂ ਦੀ ਨਕਲ ਕਰਨਾ, ਸੁਰੱਖਿਅਤ ਦ੍ਰਿਸ਼
• Redshift: ਡਿਸਟਕੀ, ਸੋਰਟਕੀ (ਇੰਟਰਲੀਵਡ, ਕੰਪਾਊਂਡ), ਲੇਟ ਬਾਈਡਿੰਗ ਵਿਊਜ਼
• ਬਿਗਕੋਰੀ: ਟੇਬਲ ਵਿਭਾਗੀਕਰਨ ਅਤੇ ਕਲੱਸਟਰਿੰਗ, ਰਲੇਵਾਂ ਵਿਹਾਰ, KMS ਐਨਕ੍ਰਿਪਸ਼ਨ, ਲੇਬਲ ਅਤੇ ਟੈਗਸ
• ਸਪਾਰਕ: ਫਾਈਲ ਫਾਰਮੈਟ (ਪਾਰਕੁਏਟ, csv, json, orc, delta), partition_by, clustered_by, buckets, incremental_strategy

ਨਿਮਨਲਿਖਤ ਸਟੋਰੇਜ ਇਸ ਸਮੇਂ ਸਮਰਥਿਤ ਹਨ:

• ਪੋਸਟਗਰੇਸ
• Redshift
• ਬਿਗਕੋਰੀ
• snowflake
• ਪ੍ਰੀਸਟੋ (ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ)
• ਸਪਾਰਕ (ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ)
• Microsoft SQL ਸਰਵਰ (ਕਮਿਊਨਿਟੀ ਅਡਾਪਟਰ)

ਆਓ ਆਪਣੇ ਮਾਡਲ ਨੂੰ ਸੁਧਾਰੀਏ:

• ਆਉ ਇਸਦੀ ਭਰਾਈ ਨੂੰ ਵਾਧਾ (ਵਧੇ ਹੋਏ) ਕਰੀਏ
• ਆਉ Redshift ਲਈ ਵਿਭਾਜਨ ਅਤੇ ਲੜੀਬੱਧ ਕੁੰਜੀਆਂ ਜੋੜੀਏ

-- Конфигурация модели: 
-- Инкрементальное наполнение, уникальный ключ для обновления записей (unique_key)
-- Ключ сегментации (dist), ключ сортировки (sort)
{{
  config(
       materialized='incremental',
       unique_key='order_id',
       dist="customer_id",
       sort="order_date"
   )
}}
 
{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
   where 1=1
   {% if is_incremental() -%}
       -- Этот фильтр будет применен только для инкрементального запуска
       and order_date >= (select max(order_date) from {{ this }})
   {%- endif %} 
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

ਮਾਡਲ ਨਿਰਭਰਤਾ ਗ੍ਰਾਫ਼

ਇਹ ਇੱਕ ਨਿਰਭਰਤਾ ਦਾ ਰੁੱਖ ਵੀ ਹੈ। ਇਸਨੂੰ ਡੀਏਜੀ (ਡਾਇਰੈਕਟਿਡ ਐਸੀਕਲੀਕ ਗ੍ਰਾਫ) ਵਜੋਂ ਵੀ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ।

DBT ਸਾਰੇ ਪ੍ਰੋਜੈਕਟ ਮਾਡਲਾਂ ਦੀ ਸੰਰਚਨਾ ਦੇ ਅਧਾਰ 'ਤੇ ਇੱਕ ਗ੍ਰਾਫ ਬਣਾਉਂਦਾ ਹੈ, ਜਾਂ ਇਸ ਦੀ ਬਜਾਏ, ਮਾਡਲਾਂ ਦੇ ਅੰਦਰ ਹੋਰ ਮਾਡਲਾਂ ਲਈ ਰੈਫ() ਲਿੰਕਸ। ਗ੍ਰਾਫ਼ ਹੋਣ ਨਾਲ ਤੁਸੀਂ ਹੇਠ ਲਿਖੀਆਂ ਚੀਜ਼ਾਂ ਕਰ ਸਕਦੇ ਹੋ:

• ਸਹੀ ਕ੍ਰਮ ਵਿੱਚ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣਾ
• ਸਟੋਰਫਰੰਟ ਗਠਨ ਦੇ ਸਮਾਨਤਾ
• ਇੱਕ ਆਰਬਿਟਰਰੀ ਸਬਗ੍ਰਾਫ ਚਲਾ ਰਿਹਾ ਹੈ 

ਗ੍ਰਾਫ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਦੀ ਉਦਾਹਰਨ:

ਗ੍ਰਾਫ ਦਾ ਹਰੇਕ ਨੋਡ ਇੱਕ ਮਾਡਲ ਹੁੰਦਾ ਹੈ; ਗ੍ਰਾਫ ਦੇ ਕਿਨਾਰਿਆਂ ਨੂੰ ਸਮੀਕਰਨ ਰੈਫ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਅਤੇ ਦਸਤਾਵੇਜ਼

ਮਾਡਲਾਂ ਨੂੰ ਖੁਦ ਤਿਆਰ ਕਰਨ ਤੋਂ ਇਲਾਵਾ, DBT ਤੁਹਾਨੂੰ ਨਤੀਜੇ ਵਜੋਂ ਡਾਟਾ ਸੈੱਟ ਬਾਰੇ ਕਈ ਧਾਰਨਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ:

• ਨਲ ਨਹੀਂ
• ਵਿਲੱਖਣ
• ਸੰਦਰਭ ਇਕਸਾਰਤਾ - ਸੰਦਰਭ ਇਕਸਾਰਤਾ (ਉਦਾਹਰਨ ਲਈ, ਆਰਡਰ ਟੇਬਲ ਵਿੱਚ ਗਾਹਕ_ਆਈਡੀ ਗਾਹਕ ਸਾਰਣੀ ਵਿੱਚ ਆਈਡੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ)
• ਸਵੀਕਾਰਯੋਗ ਮੁੱਲਾਂ ਦੀ ਸੂਚੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ

ਤੁਹਾਡੇ ਆਪਣੇ ਟੈਸਟਾਂ (ਕਸਟਮ ਡੇਟਾ ਟੈਸਟ) ਨੂੰ ਜੋੜਨਾ ਸੰਭਵ ਹੈ, ਜਿਵੇਂ ਕਿ, ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਦਿਨ, ਇੱਕ ਹਫ਼ਤੇ, ਇੱਕ ਮਹੀਨਾ ਪਹਿਲਾਂ ਦੇ ਸੂਚਕਾਂ ਦੇ ਨਾਲ ਮਾਲੀਏ ਦਾ % ਵਿਵਹਾਰ। ਇੱਕ SQL ਪੁੱਛਗਿੱਛ ਦੇ ਰੂਪ ਵਿੱਚ ਤਿਆਰ ਕੀਤੀ ਗਈ ਕੋਈ ਵੀ ਧਾਰਨਾ ਇੱਕ ਟੈਸਟ ਬਣ ਸਕਦੀ ਹੈ।

ਇਸ ਤਰ੍ਹਾਂ, ਤੁਸੀਂ ਵੇਅਰਹਾਊਸ ਵਿੰਡੋਜ਼ ਵਿੱਚ ਡੇਟਾ ਵਿੱਚ ਅਣਚਾਹੇ ਭਟਕਣ ਅਤੇ ਤਰੁੱਟੀਆਂ ਨੂੰ ਫੜ ਸਕਦੇ ਹੋ।

ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਰੂਪ ਵਿੱਚ, ਡੀਬੀਟੀ ਮਾਡਲ ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਵਿਸ਼ੇਸ਼ਤਾ ਪੱਧਰਾਂ 'ਤੇ ਮੈਟਾਡੇਟਾ ਅਤੇ ਟਿੱਪਣੀਆਂ ਨੂੰ ਜੋੜਨ, ਸੰਸਕਰਣ ਬਣਾਉਣ ਅਤੇ ਵੰਡਣ ਲਈ ਵਿਧੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। 

ਸੰਰਚਨਾ ਫਾਈਲ ਪੱਧਰ 'ਤੇ ਟੈਸਟਾਂ ਅਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਜੋੜਨਾ ਇਸ ਤਰ੍ਹਾਂ ਦਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

 - name: fct_orders
   description: This table has basic information about orders, as well as some derived facts based on payments
   columns:
     - name: order_id
       tests:
         - unique # проверка на уникальность значений
         - not_null # проверка на наличие null
       description: This is a unique identifier for an order
     - name: customer_id
       description: Foreign key to the customers table
       tests:
         - not_null
         - relationships: # проверка ссылочной целостности
             to: ref('dim_customers')
             field: customer_id
     - name: order_date
       description: Date (UTC) that the order was placed
     - name: status
       description: '{{ doc("orders_status") }}'
       tests:
         - accepted_values: # проверка на допустимые значения
             values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']

ਅਤੇ ਇੱਥੇ ਇਹ ਹੈ ਕਿ ਇਹ ਦਸਤਾਵੇਜ਼ ਤਿਆਰ ਕੀਤੀ ਵੈਬਸਾਈਟ 'ਤੇ ਕਿਵੇਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

ਮੈਕਰੋ ਅਤੇ ਮੋਡੀਊਲ

ਡੀਬੀਟੀ ਦਾ ਉਦੇਸ਼ SQL ਸਕ੍ਰਿਪਟਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਬਣਨਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਹੀਂ ਹੈ, ਪਰ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਆਪਣੇ ਪਰਿਵਰਤਨ ਬਣਾਉਣ ਅਤੇ ਇਹਨਾਂ ਮੋਡਿਊਲਾਂ ਨੂੰ ਵੰਡਣ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ-ਅਮੀਰ ਸਾਧਨ ਪ੍ਰਦਾਨ ਕਰਨਾ ਹੈ।

ਮੈਕਰੋਜ਼ ਰਚਨਾਵਾਂ ਅਤੇ ਸਮੀਕਰਨਾਂ ਦੇ ਸੈੱਟ ਹੁੰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਮਾਡਲਾਂ ਦੇ ਅੰਦਰ ਫੰਕਸ਼ਨ ਕਿਹਾ ਜਾ ਸਕਦਾ ਹੈ। ਮੈਕਰੋਜ਼ ਤੁਹਾਨੂੰ DRY (ਆਪਣੇ ਆਪ ਨੂੰ ਦੁਹਰਾਓ ਨਾ) ਇੰਜੀਨੀਅਰਿੰਗ ਸਿਧਾਂਤ ਦੇ ਅਨੁਸਾਰ ਮਾਡਲਾਂ ਅਤੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿਚਕਾਰ SQL ਦੀ ਮੁੜ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਮੈਕਰੋ ਉਦਾਹਰਨ:

{% macro rename_category(column_name) %}
case
 when {{ column_name }} ilike  '%osx%' then 'osx'
 when {{ column_name }} ilike  '%android%' then 'android'
 when {{ column_name }} ilike  '%ios%' then 'ios'
 else 'other'
end as renamed_product
{% endmacro %}

ਅਤੇ ਇਸਦੀ ਵਰਤੋਂ:

{% set column_name = 'product' %}
select
 product,
 {{ rename_category(column_name) }} -- вызов макроса
from my_table

DBT ਇੱਕ ਪੈਕੇਜ ਮੈਨੇਜਰ ਦੇ ਨਾਲ ਆਉਂਦਾ ਹੈ ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਵਿਅਕਤੀਗਤ ਮੈਡਿਊਲਾਂ ਅਤੇ ਮੈਕਰੋ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਅਤੇ ਦੁਬਾਰਾ ਵਰਤਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਲਾਇਬ੍ਰੇਰੀਆਂ ਨੂੰ ਲੋਡ ਕਰਨ ਅਤੇ ਵਰਤਣ ਦੇ ਯੋਗ ਹੋਣਾ ਜਿਵੇਂ ਕਿ:

• dbt_utils: ਮਿਤੀ/ਸਮਾਂ, ਸਰੋਗੇਟ ਕੁੰਜੀਆਂ, ਸਕੀਮਾ ਟੈਸਟ, ਪੀਵੋਟ/ਅਨਪੀਵੋਟ ਅਤੇ ਹੋਰਾਂ ਨਾਲ ਕੰਮ ਕਰਨਾ
• ਜਿਵੇਂ ਕਿ ਸੇਵਾਵਾਂ ਲਈ ਤਿਆਰ ਕੀਤੇ ਸ਼ੋਕੇਸ ਟੈਂਪਲੇਟਸ ਬਰਫਬਾਰੀ и ਸਟਰਿਪ 
• ਖਾਸ ਡਾਟਾ ਸਟੋਰਾਂ ਲਈ ਲਾਇਬ੍ਰੇਰੀਆਂ, ਉਦਾਹਰਨ ਲਈ Redshift 
• ਲਾਗ - DBT ਕਾਰਵਾਈ ਨੂੰ ਲੌਗ ਕਰਨ ਲਈ ਮੋਡੀਊਲ

ਪੈਕੇਜਾਂ ਦੀ ਪੂਰੀ ਸੂਚੀ ਇੱਥੇ ਲੱਭੀ ਜਾ ਸਕਦੀ ਹੈ dbt ਹੱਬ.

ਹੋਰ ਵੀ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ

ਇੱਥੇ ਮੈਂ ਕੁਝ ਹੋਰ ਦਿਲਚਸਪ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਲਾਗੂਕਰਨਾਂ ਦਾ ਵਰਣਨ ਕਰਾਂਗਾ ਜੋ ਟੀਮ ਅਤੇ ਮੈਂ ਇੱਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਬਣਾਉਣ ਲਈ ਵਰਤਦੇ ਹਾਂ। ਵ੍ਹੀਲੀ.

ਰਨਟਾਈਮ ਵਾਤਾਵਰਨ ਨੂੰ ਵੱਖ ਕਰਨਾ DEV - TEST - PROD

ਇੱਥੋਂ ਤੱਕ ਕਿ ਉਸੇ DWH ਕਲੱਸਟਰ ਦੇ ਅੰਦਰ (ਵੱਖ-ਵੱਖ ਸਕੀਮਾਂ ਦੇ ਅੰਦਰ)। ਉਦਾਹਰਨ ਲਈ, ਹੇਠ ਦਿੱਤੇ ਸਮੀਕਰਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ:

with source as (
 
   select * from {{ source('salesforce', 'users') }}
   where 1=1
   {%- if target.name in ['dev', 'test', 'ci'] -%}           
       where timestamp >= dateadd(day, -3, current_date)   
   {%- endif -%}
 
)

ਇਹ ਕੋਡ ਸ਼ਾਬਦਿਕ ਤੌਰ 'ਤੇ ਕਹਿੰਦਾ ਹੈ: ਵਾਤਾਵਰਣ ਲਈ dev, test, ci ਸਿਰਫ਼ ਪਿਛਲੇ 3 ਦਿਨਾਂ ਲਈ ਡੇਟਾ ਲਓ ਅਤੇ ਹੋਰ ਨਹੀਂ। ਯਾਨੀ, ਇਹਨਾਂ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਚੱਲਣਾ ਬਹੁਤ ਤੇਜ਼ ਹੋਵੇਗਾ ਅਤੇ ਘੱਟ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਜਦੋਂ ਵਾਤਾਵਰਣ 'ਤੇ ਚੱਲਦਾ ਹੈ ਪੇਸ਼ੇ ਫਿਲਟਰ ਸਥਿਤੀ ਨੂੰ ਅਣਡਿੱਠ ਕੀਤਾ ਜਾਵੇਗਾ।

ਵਿਕਲਪਿਕ ਕਾਲਮ ਏਨਕੋਡਿੰਗ ਦੇ ਨਾਲ ਪਦਾਰਥੀਕਰਨ

Redshift ਇੱਕ ਕਾਲਮ DBMS ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਹਰੇਕ ਵਿਅਕਤੀਗਤ ਕਾਲਮ ਲਈ ਡਾਟਾ ਕੰਪਰੈਸ਼ਨ ਐਲਗੋਰਿਦਮ ਸੈੱਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਅਨੁਕੂਲ ਐਲਗੋਰਿਦਮ ਦੀ ਚੋਣ ਕਰਨ ਨਾਲ ਡਿਸਕ ਸਪੇਸ ਨੂੰ 20-50% ਤੱਕ ਘਟਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।

ਮੈਕਰੋ redshift.compress_table ANALYZE COMPRESSION ਕਮਾਂਡ ਨੂੰ ਚਲਾਏਗਾ, ਸਿਫ਼ਾਰਿਸ਼ ਕੀਤੇ ਕਾਲਮ ਏਨਕੋਡਿੰਗ ਐਲਗੋਰਿਦਮ, ਨਿਸ਼ਚਿਤ ਸੈਗਮੈਂਟੇਸ਼ਨ ਕੁੰਜੀਆਂ (dist_key) ਅਤੇ ਛਾਂਟਣ ਵਾਲੀਆਂ ਕੁੰਜੀਆਂ (sort_key) ਦੇ ਨਾਲ ਇੱਕ ਨਵੀਂ ਸਾਰਣੀ ਬਣਾਏਗਾ, ਇਸ ਵਿੱਚ ਡੇਟਾ ਟ੍ਰਾਂਸਫਰ ਕਰੇਗਾ, ਅਤੇ, ਜੇਕਰ ਲੋੜ ਹੋਵੇ, ਤਾਂ ਪੁਰਾਣੀ ਕਾਪੀ ਨੂੰ ਮਿਟਾਓ।

ਮੈਕਰੋ ਦਸਤਖਤ:

{{ compress_table(schema, table,
                 drop_backup=False,
                 comprows=none|Integer,
                 sort_style=none|compound|interleaved,
                 sort_keys=none|List<String>,
                 dist_style=none|all|even,
                 dist_key=none|String) }}

ਲੌਗਿੰਗ ਮਾਡਲ ਚੱਲਦਾ ਹੈ

ਤੁਸੀਂ ਮਾਡਲ ਦੇ ਹਰੇਕ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਲਈ ਹੁੱਕਾਂ ਨੂੰ ਜੋੜ ਸਕਦੇ ਹੋ, ਜੋ ਲਾਂਚ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂ ਮਾਡਲ ਦੀ ਰਚਨਾ ਪੂਰੀ ਹੋਣ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਲਾਗੂ ਕੀਤਾ ਜਾਵੇਗਾ:

   pre-hook: "{{ logging.log_model_start_event() }}"
   post-hook: "{{ logging.log_model_end_event() }}"

ਲੌਗਿੰਗ ਮੋਡੀਊਲ ਤੁਹਾਨੂੰ ਸਾਰੇ ਲੋੜੀਂਦੇ ਮੈਟਾਡੇਟਾ ਨੂੰ ਇੱਕ ਵੱਖਰੀ ਸਾਰਣੀ ਵਿੱਚ ਰਿਕਾਰਡ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗਾ, ਜਿਸਦੀ ਵਰਤੋਂ ਬਾਅਦ ਵਿੱਚ ਔਡਿਟ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।

ਲੁੱਕਰ ਵਿੱਚ ਲੌਗਿੰਗ ਡੇਟਾ ਦੇ ਅਧਾਰ ਤੇ ਡੈਸ਼ਬੋਰਡ ਅਜਿਹਾ ਦਿਸਦਾ ਹੈ:

ਸਟੋਰੇਜ਼ ਮੇਨਟੇਨੈਂਸ ਦਾ ਆਟੋਮੇਸ਼ਨ

ਜੇਕਰ ਤੁਸੀਂ ਵਰਤੇ ਗਏ ਰਿਪੋਜ਼ਟਰੀ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦੇ ਕੁਝ ਐਕਸਟੈਂਸ਼ਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ UDF (ਉਪਭੋਗਤਾ ਪਰਿਭਾਸ਼ਿਤ ਫੰਕਸ਼ਨ), ਤਾਂ ਇਹਨਾਂ ਫੰਕਸ਼ਨਾਂ ਦਾ ਸੰਸਕਰਣ, ਪਹੁੰਚ ਨਿਯੰਤਰਣ, ਅਤੇ ਨਵੇਂ ਰੀਲੀਜ਼ਾਂ ਦੀ ਸਵੈਚਲਿਤ ਰੋਲਿੰਗ ਡੀਬੀਟੀ ਵਿੱਚ ਕਰਨਾ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਹੈ।

ਅਸੀਂ ਹੈਸ਼ਾਂ, ਈਮੇਲ ਡੋਮੇਨਾਂ, ਅਤੇ ਬਿੱਟਮਾਸਕ ਡੀਕੋਡਿੰਗ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਪਾਈਥਨ ਵਿੱਚ UDF ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ।

ਇੱਕ ਮੈਕਰੋ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਜੋ ਕਿਸੇ ਵੀ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਵਾਤਾਵਰਨ (dev, test, prod) 'ਤੇ ਇੱਕ UDF ਬਣਾਉਂਦਾ ਹੈ:

{% macro create_udf() -%}
 
 {% set sql %}
       CREATE OR REPLACE FUNCTION {{ target.schema }}.f_sha256(mes "varchar")
           RETURNS varchar
           LANGUAGE plpythonu
           STABLE
       AS $$  
           import hashlib
           return hashlib.sha256(mes).hexdigest()
       $$
       ;
 {% endset %}
  
 {% set table = run_query(sql) %}
 
{%- endmacro %}

Wheely ਵਿਖੇ ਅਸੀਂ Amazon Redshift ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ, ਜੋ ਕਿ PostgreSQL 'ਤੇ ਆਧਾਰਿਤ ਹੈ। ਰੈੱਡਸ਼ਿਫਟ ਲਈ, ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਟੇਬਲਾਂ 'ਤੇ ਅੰਕੜੇ ਇਕੱਠੇ ਕਰਨਾ ਅਤੇ ਡਿਸਕ ਸਪੇਸ ਖਾਲੀ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ - ਕ੍ਰਮਵਾਰ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਵੈਕਿਊਮ ਕਮਾਂਡਾਂ।

ਅਜਿਹਾ ਕਰਨ ਲਈ, redshift_maintenance ਮੈਕਰੋ ਦੀਆਂ ਕਮਾਂਡਾਂ ਹਰ ਰਾਤ ਚਲਾਈਆਂ ਜਾਂਦੀਆਂ ਹਨ:

{% macro redshift_maintenance() %}
 
   {% set vacuumable_tables=run_query(vacuumable_tables_sql) %}
 
   {% for row in vacuumable_tables %}
       {% set message_prefix=loop.index ~ " of " ~ loop.length %}
 
       {%- set relation_to_vacuum = adapter.get_relation(
                                               database=row['table_database'],
                                               schema=row['table_schema'],
                                               identifier=row['table_name']
                                   ) -%}
       {% do run_query("commit") %}
 
       {% if relation_to_vacuum %}
           {% set start=modules.datetime.datetime.now() %}
           {{ dbt_utils.log_info(message_prefix ~ " Vacuuming " ~ relation_to_vacuum) }}
           {% do run_query("VACUUM " ~ relation_to_vacuum ~ " BOOST") %}
           {{ dbt_utils.log_info(message_prefix ~ " Analyzing " ~ relation_to_vacuum) }}
           {% do run_query("ANALYZE " ~ relation_to_vacuum) %}
           {% set end=modules.datetime.datetime.now() %}
           {% set total_seconds = (end - start).total_seconds() | round(2)  %}
           {{ dbt_utils.log_info(message_prefix ~ " Finished " ~ relation_to_vacuum ~ " in " ~ total_seconds ~ "s") }}
       {% else %}
           {{ dbt_utils.log_info(message_prefix ~ ' Skipping relation "' ~ row.values() | join ('"."') ~ '" as it does not exist') }}
       {% endif %}
 
   {% endfor %}
 
{% endmacro %}

DBT ਕਲਾਊਡ

DBT ਨੂੰ ਇੱਕ ਸੇਵਾ (ਪ੍ਰਬੰਧਿਤ ਸੇਵਾ) ਵਜੋਂ ਵਰਤਣਾ ਸੰਭਵ ਹੈ। ਸ਼ਾਮਲ:

• ਪ੍ਰੋਜੈਕਟਾਂ ਅਤੇ ਮਾਡਲਾਂ ਦੇ ਵਿਕਾਸ ਲਈ ਵੈੱਬ IDE
• ਨੌਕਰੀ ਦੀ ਸੰਰਚਨਾ ਅਤੇ ਸਮਾਂ-ਸਾਰਣੀ
• ਲੌਗਸ ਤੱਕ ਸਰਲ ਅਤੇ ਸੁਵਿਧਾਜਨਕ ਪਹੁੰਚ
• ਤੁਹਾਡੇ ਪ੍ਰੋਜੈਕਟ ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਾਲੀ ਵੈੱਬਸਾਈਟ
• ਕਨੈਕਟਿੰਗ CI (ਨਿਰੰਤਰ ਏਕੀਕਰਣ)

ਸਿੱਟਾ

DWH ਨੂੰ ਤਿਆਰ ਕਰਨਾ ਅਤੇ ਸੇਵਨ ਕਰਨਾ ਇੱਕ ਸਮੂਦੀ ਪੀਣ ਜਿੰਨਾ ਮਜ਼ੇਦਾਰ ਅਤੇ ਲਾਭਕਾਰੀ ਬਣ ਜਾਂਦਾ ਹੈ। DBT ਵਿੱਚ ਜਿੰਜਾ, ਉਪਭੋਗਤਾ ਐਕਸਟੈਂਸ਼ਨ (ਮੌਡਿਊਲ), ਇੱਕ ਕੰਪਾਈਲਰ, ਇੱਕ ਐਗਜ਼ੀਕਿਊਟਰ, ਅਤੇ ਇੱਕ ਪੈਕੇਜ ਮੈਨੇਜਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। ਇਹਨਾਂ ਤੱਤਾਂ ਨੂੰ ਇਕੱਠੇ ਰੱਖ ਕੇ ਤੁਸੀਂ ਆਪਣੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਲਈ ਇੱਕ ਸੰਪੂਰਨ ਕੰਮ ਕਰਨ ਵਾਲਾ ਵਾਤਾਵਰਣ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋ। ਅੱਜ DWH ਦੇ ਅੰਦਰ ਪਰਿਵਰਤਨ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਦਾ ਸ਼ਾਇਦ ਹੀ ਕੋਈ ਵਧੀਆ ਤਰੀਕਾ ਹੈ।

DBT ਦੇ ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਅਪਣਾਏ ਵਿਸ਼ਵਾਸਾਂ ਨੂੰ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ:

• ਕੋਡ, GUI ਨਹੀਂ, ਗੁੰਝਲਦਾਰ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਤਰਕ ਨੂੰ ਪ੍ਰਗਟ ਕਰਨ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਐਬਸਟਰੈਕਸ਼ਨ ਹੈ
• ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ (ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ) ਵਿੱਚ ਸਭ ਤੋਂ ਵਧੀਆ ਅਭਿਆਸਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ

• ਨਾਜ਼ੁਕ ਡੇਟਾ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਉਪਭੋਗਤਾ ਭਾਈਚਾਰੇ ਦੁਆਰਾ ਓਪਨ ਸੋਰਸ ਸੌਫਟਵੇਅਰ ਵਜੋਂ ਨਿਯੰਤਰਿਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ
• ਸਿਰਫ਼ ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਕੋਡ ਵੀ ਵੱਧ ਤੋਂ ਵੱਧ ਓਪਨ ਸੋਰਸ ਕਮਿਊਨਿਟੀ ਦੀ ਸੰਪਤੀ ਬਣ ਜਾਣਗੇ

ਇਹਨਾਂ ਮੂਲ ਵਿਸ਼ਵਾਸਾਂ ਨੇ ਇੱਕ ਉਤਪਾਦ ਪੈਦਾ ਕੀਤਾ ਹੈ ਜੋ ਅੱਜ 850 ਤੋਂ ਵੱਧ ਕੰਪਨੀਆਂ ਦੁਆਰਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਉਹ ਬਹੁਤ ਸਾਰੇ ਦਿਲਚਸਪ ਐਕਸਟੈਂਸ਼ਨਾਂ ਦਾ ਆਧਾਰ ਬਣਾਉਂਦੇ ਹਨ ਜੋ ਭਵਿੱਖ ਵਿੱਚ ਬਣਾਏ ਜਾਣਗੇ।

ਦਿਲਚਸਪੀ ਰੱਖਣ ਵਾਲਿਆਂ ਲਈ, ਇੱਕ ਓਪਨ ਸਬਕ ਦਾ ਇੱਕ ਵੀਡੀਓ ਹੈ ਜੋ ਮੈਂ ਕੁਝ ਮਹੀਨੇ ਪਹਿਲਾਂ OTUS ਵਿਖੇ ਇੱਕ ਖੁੱਲੇ ਪਾਠ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਦਿੱਤਾ ਸੀ - ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਸਟੋਰੇਜ ਲਈ ਡਾਟਾ ਬਿਲਡ ਟੂਲ.

DBT ਅਤੇ ਡਾਟਾ ਵੇਅਰਹਾਊਸਿੰਗ ਤੋਂ ਇਲਾਵਾ, OTUS ਪਲੇਟਫਾਰਮ 'ਤੇ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਕੋਰਸ ਦੇ ਹਿੱਸੇ ਵਜੋਂ, ਮੈਂ ਅਤੇ ਮੇਰੇ ਸਹਿਯੋਗੀ ਕਈ ਹੋਰ ਸੰਬੰਧਿਤ ਅਤੇ ਆਧੁਨਿਕ ਵਿਸ਼ਿਆਂ 'ਤੇ ਕਲਾਸਾਂ ਪੜ੍ਹਾਉਂਦੇ ਹਾਂ:

• ਵੱਡੇ ਡੇਟਾ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਆਰਕੀਟੈਕਚਰਲ ਧਾਰਨਾਵਾਂ
• ਸਪਾਰਕ ਅਤੇ ਸਪਾਰਕ ਸਟ੍ਰੀਮਿੰਗ ਨਾਲ ਅਭਿਆਸ ਕਰੋ
• ਡਾਟਾ ਸਰੋਤਾਂ ਨੂੰ ਲੋਡ ਕਰਨ ਲਈ ਢੰਗਾਂ ਅਤੇ ਸਾਧਨਾਂ ਦੀ ਪੜਚੋਲ ਕਰਨਾ
• DWH ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਸ਼ੋਅਕੇਸ ਬਣਾਉਣਾ
• NoSQL ਸੰਕਲਪ: HBase, Cassandra, ElasticSearch
• ਨਿਗਰਾਨੀ ਅਤੇ ਆਰਕੈਸਟੇਸ਼ਨ ਦੇ ਸਿਧਾਂਤ 
• ਅੰਤਮ ਪ੍ਰੋਜੈਕਟ: ਸਲਾਹਕਾਰ ਸਹਾਇਤਾ ਦੇ ਅਧੀਨ ਸਾਰੇ ਹੁਨਰਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨਾ

ਲਿੰਕ:

1. DBT ਦਸਤਾਵੇਜ਼ - ਜਾਣ-ਪਛਾਣ - ਅਧਿਕਾਰਤ ਦਸਤਾਵੇਜ਼
2. ਕੀ, ਅਸਲ ਵਿੱਚ, ਡੀਬੀਟੀ ਹੈ? — DBT ਦੇ ਲੇਖਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਦੁਆਰਾ ਲੇਖ ਦੀ ਸਮੀਖਿਆ ਕਰੋ 
3. ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਸਟੋਰੇਜ ਲਈ ਡਾਟਾ ਬਿਲਡ ਟੂਲ — YouTube, ਇੱਕ OTUS ਖੁੱਲੇ ਪਾਠ ਦੀ ਰਿਕਾਰਡਿੰਗ
4. ਗ੍ਰੀਨਪਲਮ ਨੂੰ ਜਾਣਨਾ - ਅਗਲਾ ਖੁੱਲਾ ਪਾਠ 15 ਮਈ, 2020 ਹੈ
5. ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਕੋਰਸ -ਓਟਸ
6. ਇੱਕ ਪਰਿਪੱਕ ਵਿਸ਼ਲੇਸ਼ਣ ਵਰਕਫਲੋ ਬਣਾਉਣਾ - ਡੇਟਾ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਭਵਿੱਖ 'ਤੇ ਇੱਕ ਨਜ਼ਰ
7. ਇਹ ਓਪਨ ਸੋਰਸ ਵਿਸ਼ਲੇਸ਼ਣ ਦਾ ਸਮਾਂ ਹੈ - ਵਿਸ਼ਲੇਸ਼ਣ ਦਾ ਵਿਕਾਸ ਅਤੇ ਓਪਨ ਸੋਰਸ ਦਾ ਪ੍ਰਭਾਵ
8. dbtCloud ਨਾਲ ਨਿਰੰਤਰ ਏਕੀਕਰਣ ਅਤੇ ਆਟੋਮੇਟਿਡ ਬਿਲਡ ਟੈਸਟਿੰਗ - DBT ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ CI ਬਣਾਉਣ ਦੇ ਸਿਧਾਂਤ
9. DBT ਟਿਊਟੋਰਿਅਲ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰਨਾ - ਸੁਤੰਤਰ ਕੰਮ ਲਈ ਅਭਿਆਸ, ਕਦਮ-ਦਰ-ਕਦਮ ਨਿਰਦੇਸ਼
10. ਜਾਫਲ ਦੀ ਦੁਕਾਨ - ਗਿਥਬ ਡੀਬੀਟੀ ਟਿਊਟੋਰਿਅਲ - ਗਿਥਬ, ਵਿਦਿਅਕ ਪ੍ਰੋਜੈਕਟ ਕੋਡ

ਕੋਰਸ ਬਾਰੇ ਹੋਰ ਜਾਣੋ।

ਸਰੋਤ: www.habr.com