কোন নীতির ভিত্তিতে একটি আদর্শ ডেটা গুদাম তৈরি করা হয়?

বয়লারপ্লেট কোডের অনুপস্থিতিতে ব্যবসায়িক মূল্য এবং বিশ্লেষণের উপর ফোকাস করুন। কোডবেস হিসাবে DWH পরিচালনা: সংস্করণ, পর্যালোচনা, স্বয়ংক্রিয় পরীক্ষা এবং CI। মডুলারিটি, এক্সটেনসিবিলিটি, ওপেন সোর্স এবং কমিউনিটি। বন্ধুত্বপূর্ণ ব্যবহারকারী ডকুমেন্টেশন এবং নির্ভরতা ভিজ্যুয়ালাইজেশন (ডেটা লাইনেজ)।

এই সব সম্পর্কে আরও বিস্তারিতভাবে এবং বিগ ডেটা এবং অ্যানালিটিক্স ইকোসিস্টেমে DBT-এর ভূমিকা সম্পর্কে - ক্যাটের অধীনে স্বাগতম।

সবাই হ্যালো

আর্টেমি কোজির যোগাযোগে আছেন। 5 বছরেরও বেশি সময় ধরে আমি ডেটা গুদামগুলির সাথে কাজ করছি, ETL/ELT তৈরি করছি, সেইসাথে ডেটা বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশন। আমি বর্তমানে কাজ করছি হুইলি, আমি কোর্সে OTUS এ পড়াই ডেটা ইঞ্জিনিয়ার, এবং আজ আমি আপনার সাথে একটি নিবন্ধ শেয়ার করতে চাই যা আমি লঞ্চের প্রাক্কালে লিখেছিলাম কোর্সের জন্য নতুন তালিকাভুক্তি.

সংক্ষিপ্তসার

DBT ফ্রেমওয়ার্ক হল আদ্যক্ষর ELT (Extract - Transform - Load) এর T অক্ষর সম্পর্কে।

BigQuery, Redshift, Snowflake-এর মতো উৎপাদনশীল এবং স্কেলযোগ্য বিশ্লেষণাত্মক ডেটাবেসগুলির আবির্ভাবের সাথে, ডেটা ওয়ারহাউসের বাইরে রূপান্তর করার কোনও মানে নেই৷

DBT উৎস থেকে ডেটা আপলোড করে না, তবে ইতিমধ্যেই স্টোরেজে (অভ্যন্তরীণ বা বাহ্যিক সঞ্চয়স্থান) আপলোড করা ডেটা নিয়ে কাজ করার জন্য দুর্দান্ত সুযোগ প্রদান করে।

ডিবিটি-র মূল উদ্দেশ্য হল কোডটি নেওয়া, এটিকে এসকিউএল-এ কম্পাইল করা, রিপোজিটরিতে সঠিক ক্রম অনুসারে কমান্ডগুলি চালানো।

ডিবিটি প্রকল্প কাঠামো

প্রকল্পে শুধুমাত্র 2 ধরনের ডিরেক্টরি এবং ফাইল রয়েছে:

মডেল (.sql) - একটি SELECT ক্যোয়ারী দ্বারা প্রকাশ করা রূপান্তরের একক
কনফিগারেশন ফাইল (.yml) - পরামিতি, সেটিংস, পরীক্ষা, ডকুমেন্টেশন

মৌলিক স্তরে, কাজটি নিম্নরূপ নির্মিত হয়:

ব্যবহারকারী যেকোনো সুবিধাজনক IDE-তে মডেল কোড প্রস্তুত করে
CLI ব্যবহার করে, মডেলগুলির প্রবর্তন বলা হয়, DBT মডেলগুলির কোড এসকিউএল-এ কম্পাইল করে
সংকলিত এসকিউএল কোড নির্দিষ্ট ক্রমানুসারে (গ্রাফ) স্টোরেজে কার্যকর করা হয়

CLI থেকে লঞ্চ করা দেখতে এরকম হতে পারে:

সবকিছু SELECT

এটি ডেটা বিল্ড টুল ফ্রেমওয়ার্কের একটি হত্যাকারী বৈশিষ্ট্য। অন্য কথায়, ডিবিটি রিপোজিটরিতে আপনার প্রশ্নগুলিকে বাস্তবায়িত করার সাথে সম্পর্কিত সমস্ত কোডকে বিমূর্ত করে দেয় (তৈরি, ঢোকানো, আপডেট, মুছুন পরিবর্তন, গ্রান্ট, ... কমান্ড থেকে ভিন্নতা)।

যে কোনো মডেল একটি একক সিলেক্ট কোয়েরি লিখতে বোঝায় যা ফলাফলকৃত ডেটা সেটকে সংজ্ঞায়িত করে।

একই সময়ে, রূপান্তর যুক্তি মাল্টি-লেভেল হতে পারে এবং অন্যান্য বেশ কয়েকটি মডেল থেকে ডেটা একত্রিত করতে পারে। একটি মডেলের উদাহরণ যা অর্ডারের একটি শোকেস তৈরি করবে (f_orders):

{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

আমরা এখানে কি আকর্ষণীয় জিনিস দেখতে পারি?

প্রথম: ব্যবহৃত CTE (সাধারণ টেবিল এক্সপ্রেশন) - কোডটি সংগঠিত করতে এবং বোঝার জন্য, যেটিতে প্রচুর রূপান্তর এবং ব্যবসায়িক যুক্তি রয়েছে

দ্বিতীয়: মডেল কোড SQL এবং ভাষার মিশ্রণ Jinja (টেমপ্লেটিং ভাষা)।

উদাহরণ একটি লুপ ব্যবহার করে উন্নত এক্সপ্রেশনে নির্দিষ্ট করা প্রতিটি অর্থপ্রদানের পদ্ধতির জন্য পরিমাণ তৈরি করতে সেট. ফাংশনটিও ব্যবহার করা হয় সুত্র - কোডের ভিতরে অন্যান্য মডেলে উল্লেখ করার ক্ষমতা:

কম্পাইল সময়ে সুত্র একটি টার্গেট পয়েন্টারে রূপান্তরিত করা হবে একটি টেবিল বা স্টোরেজের ভিউতে
সুত্র আপনাকে মডেলগুলির একটি নির্ভরতা গ্রাফ তৈরি করতে দেয়

এটা ছিল Jinja DBT-তে প্রায় সীমাহীন সম্ভাবনা যোগ করে। সবচেয়ে বেশি ব্যবহৃত হয়:

If / else স্টেটমেন্ট - শাখা বিবৃতি
loops - loops জন্য
ভেরিয়েবল
ম্যাক্রো - ম্যাক্রো তৈরি করা

উপাদানীকরণ: টেবিল, ভিউ, ইনক্রিমেন্টাল

মেটেরিয়ালাইজেশন স্ট্র্যাটেজি হল একটি পন্থা যার ফলে মডেল ডেটার সেট স্টোরেজে সংরক্ষণ করা হবে।

মৌলিক পদে, এটি হল:

টেবিল - স্টোরেজের একটি শারীরিক টেবিল
ভিউ - ভিউ, স্টোরেজের ভার্চুয়াল টেবিল

আরও জটিল বস্তুগতীকরণ কৌশল রয়েছে:

ইনক্রিমেন্টাল - ইনক্রিমেন্টাল লোডিং (বড় ফ্যাক্ট টেবিল); নতুন লাইন যোগ করা হয়, পরিবর্তিতগুলি আপডেট করা হয়, মুছে ফেলাগুলি সাফ করা হয়
ক্ষণস্থায়ী - মডেলটি সরাসরি বাস্তবায়িত হয় না, তবে অন্যান্য মডেলগুলিতে CTE হিসাবে অংশগ্রহণ করে
অন্য কোন কৌশল আপনি নিজেকে যোগ করতে পারেন

বস্তুগতীকরণ কৌশল ছাড়াও, নির্দিষ্ট ভল্টের জন্য অপ্টিমাইজেশনের সুযোগ রয়েছে, উদাহরণস্বরূপ:

তুষারকণা: ক্ষণস্থায়ী টেবিল, আচরণ মার্জ করা, টেবিল ক্লাস্টারিং, অনুদান অনুলিপি করা, সুরক্ষিত দৃশ্য
লোহিত সরণ: ডিস্টকি, সর্টকি (ইন্টারলিভড, কম্পাউন্ড), লেট বাইন্ডিং ভিউ
BigQuery- তে: টেবিল পার্টিশন এবং ক্লাস্টারিং, মার্জ আচরণ, KMS এনক্রিপশন, লেবেল এবং ট্যাগ
স্ফুলিঙ্গ: ফাইল বিন্যাস (parquet, csv, json, orc, delta), partition_by, clustered_by, buckets, incremental_strategy

নিম্নলিখিত সংগ্রহস্থলগুলি বর্তমানে সমর্থিত:

পোস্টগ্রিস
লোহিত সরণ
BigQuery- তে
তুষারকণা
প্রেস্টো (আংশিকভাবে)
স্পার্ক (আংশিক)
মাইক্রোসফট এসকিউএল সার্ভার (কমিউনিটি অ্যাডাপ্টার)

আমাদের মডেল উন্নত করা যাক:

এর ফিলিং ইনক্রিমেন্টাল করা যাক (বৃদ্ধিমূলক)
রেডশিফ্টের জন্য সেগমেন্টেশন এবং বাছাই কী যোগ করুন

-- Конфигурация модели: 
-- Инкрементальное наполнение, уникальный ключ для обновления записей (unique_key)
-- Ключ сегментации (dist), ключ сортировки (sort)
{{
  config(
       materialized='incremental',
       unique_key='order_id',
       dist="customer_id",
       sort="order_date"
   )
}}
 
{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
   where 1=1
   {% if is_incremental() -%}
       -- Этот фильтр будет применен только для инкрементального запуска
       and order_date >= (select max(order_date) from {{ this }})
   {%- endif %} 
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

মডেল নির্ভরতা গ্রাফ

এটি একটি নির্ভরতা গাছ। এটিও ডিএজি (নির্দেশিত অ্যাসাইক্লিক গ্রাফ - নির্দেশিত অ্যাসাইক্লিক গ্রাফ)।

ডিবিটি সমস্ত প্রজেক্ট মডেলের কনফিগারেশনের উপর ভিত্তি করে একটি গ্রাফ তৈরি করে, অথবা বরং রেফ() মডেলের ভিতরে অন্যান্য মডেলের সাথে লিঙ্ক করে। একটি গ্রাফ থাকা আপনাকে নিম্নলিখিত জিনিসগুলি করতে দেয়:

সঠিক ক্রম মডেল চলমান
শোকেস গঠন সমান্তরালকরণ
একটি নির্বিচারে সাবগ্রাফ চলছে৷

গ্রাফ ভিজ্যুয়ালাইজেশন উদাহরণ:

গ্রাফের প্রতিটি নোড একটি মডেল, গ্রাফের প্রান্তগুলি এক্সপ্রেশন রেফ দ্বারা দেওয়া হয়।

ডেটা গুণমান এবং ডকুমেন্টেশন

নিজেরাই মডেলগুলি গঠনের পাশাপাশি, DBT আপনাকে ফলাফলকৃত ডেটা সেট সম্পর্কে অনেকগুলি অনুমান (অনুমান) পরীক্ষা করার অনুমতি দেয়, যেমন:

নাল না
অনন্য
রেফারেন্স ইন্টিগ্রিটি - রেফারেন্সিয়াল ইন্টিগ্রিটি (উদাহরণস্বরূপ, অর্ডার টেবিলে গ্রাহক_আইডি গ্রাহকদের টেবিলের আইডির সাথে মিলে যায়)
বৈধ মানগুলির একটি তালিকার সাথে মিলে যাওয়া৷

আপনার নিজের পরীক্ষাগুলি (কাস্টম ডেটা পরীক্ষা) যোগ করা সম্ভব, যেমন, উদাহরণস্বরূপ, এক দিন, এক সপ্তাহ, এক মাস আগের সূচকগুলির সাথে রাজস্বের % বিচ্যুতি। এসকিউএল কোয়েরি হিসাবে প্রণয়ন করা যেকোন অনুমান একটি পরীক্ষা হয়ে উঠতে পারে।

এইভাবে, অবাঞ্ছিত বিচ্যুতি এবং ডেটাতে ত্রুটিগুলি গুদামের স্টোরফ্রন্টে ধরা যেতে পারে।

ডকুমেন্টেশনের পরিপ্রেক্ষিতে, ডিবিটি মডেল এবং এমনকি অ্যাট্রিবিউট লেভেলে মেটাডেটা এবং মন্তব্য যোগ, সংস্করণ এবং বিতরণের জন্য প্রক্রিয়া সরবরাহ করে।

কনফিগারেশন ফাইল স্তরে পরীক্ষা এবং ডকুমেন্টেশন যোগ করা এইরকম দেখাচ্ছে:

 - name: fct_orders
   description: This table has basic information about orders, as well as some derived facts based on payments
   columns:
     - name: order_id
       tests:
         - unique # проверка на уникальность значений
         - not_null # проверка на наличие null
       description: This is a unique identifier for an order
     - name: customer_id
       description: Foreign key to the customers table
       tests:
         - not_null
         - relationships: # проверка ссылочной целостности
             to: ref('dim_customers')
             field: customer_id
     - name: order_date
       description: Date (UTC) that the order was placed
     - name: status
       description: '{{ doc("orders_status") }}'
       tests:
         - accepted_values: # проверка на допустимые значения
             values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']

এবং এখানে এই ডকুমেন্টেশনটি ইতিমধ্যে তৈরি করা ওয়েবসাইটে কেমন দেখাচ্ছে:

ম্যাক্রো এবং মডিউল

DBT-এর উদ্দেশ্য এসকিউএল স্ক্রিপ্টের একটি সেট হওয়া নয়, বরং ব্যবহারকারীদের তাদের নিজস্ব রূপান্তর তৈরি করতে এবং এই মডিউলগুলি বিতরণ করার জন্য একটি শক্তিশালী এবং বৈশিষ্ট্য-সমৃদ্ধ উপায় সরবরাহ করা।

ম্যাক্রো হল গঠন এবং অভিব্যক্তির সংগ্রহ যাকে মডেলের মধ্যে ফাংশন বলা যেতে পারে। ম্যাক্রো আপনাকে DRY (নিজের পুনরাবৃত্তি করবেন না) ইঞ্জিনিয়ারিং নীতি অনুসারে মডেল এবং প্রকল্পগুলির মধ্যে SQL পুনরায় ব্যবহার করার অনুমতি দেয়।

ম্যাক্রো উদাহরণ:

{% macro rename_category(column_name) %}
case
 when {{ column_name }} ilike  '%osx%' then 'osx'
 when {{ column_name }} ilike  '%android%' then 'android'
 when {{ column_name }} ilike  '%ios%' then 'ios'
 else 'other'
end as renamed_product
{% endmacro %}

এবং এর ব্যবহার:

{% set column_name = 'product' %}
select
 product,
 {{ rename_category(column_name) }} -- вызов макроса
from my_table

ডিবিটি একটি প্যাকেজ ম্যানেজার নিয়ে আসে যা ব্যবহারকারীদের পৃথক মডিউল এবং ম্যাক্রো প্রকাশ এবং পুনঃব্যবহারের অনুমতি দেয়।

এর অর্থ হল লাইব্রেরি ডাউনলোড এবং ব্যবহার করার ক্ষমতা যেমন:

dbt_utils: তারিখ/সময়, সারোগেট কী, স্কিমা পরীক্ষা, পিভট/আনপিভট এবং অন্যান্যদের সাথে কাজ করুন
যেমন পরিষেবার জন্য প্রস্তুত শোকেস টেমপ্লেট Snowplow и ডোরা
উদাহরণস্বরূপ, নির্দিষ্ট ডেটা স্টোরের জন্য লাইব্রেরি লোহিত সরণ
লগিং - DBT কাজ লগ করার জন্য মডিউল

প্যাকেজের একটি সম্পূর্ণ তালিকা এখানে পাওয়া যাবে ডিবিটি হাব.

এমনকি আরো বৈশিষ্ট্য

এখানে আমি আরও কয়েকটি আকর্ষণীয় বৈশিষ্ট্য এবং বাস্তবায়ন বর্ণনা করব যা আমি এবং দল ডেটা গুদাম তৈরি করতে ব্যবহার করি হুইলি.

এক্সিকিউশন এনভায়রনমেন্টের বিচ্ছেদ DEV - TEST - PROD

এমনকি একই DWH ক্লাস্টারের মধ্যে (বিভিন্ন স্কিমের অধীনে)। উদাহরণস্বরূপ, নিম্নলিখিত অভিব্যক্তি সহ:

with source as (
 
   select * from {{ source('salesforce', 'users') }}
   where 1=1
   {%- if target.name in ['dev', 'test', 'ci'] -%}           
       where timestamp >= dateadd(day, -3, current_date)   
   {%- endif -%}
 
)

এই কোডটি আক্ষরিকভাবে বলে: পরিবেশের জন্য dev, test, ci শুধুমাত্র গত 3 দিনের জন্য ডেটা নিন এবং এর বেশি নয়। অর্থাৎ, এই পরিবেশে দৌড়ানো অনেক দ্রুত হবে এবং কম সম্পদের প্রয়োজন হবে। পরিবেশের উপর চালানো হলে শঙ্কু ফিল্টার শর্ত উপেক্ষা করা হবে.

বিকল্প কলাম এনকোডিং সহ উপাদানীকরণ

Redshift হল একটি কলামার DBMS যা আপনাকে প্রতিটি পৃথক কলামের জন্য ডেটা কম্প্রেশন অ্যালগরিদম সেট করতে দেয়। সর্বোত্তম অ্যালগরিদমগুলির পছন্দ 20-50% দ্বারা দখলকৃত ডিস্কের স্থান হ্রাস করতে পারে।

ম্যাক্রো redshift.compress_table ANALYZE কম্প্রেশন কমান্ড কার্যকর করবে, প্রস্তাবিত কলাম এনকোডিং অ্যালগরিদম, নির্দিষ্ট সেগমেন্টেশন (dist_key) এবং বাছাই (sort_key) কী সহ একটি নতুন টেবিল তৈরি করবে, এতে ডেটা স্থানান্তর করবে এবং, প্রয়োজন হলে, পুরানো অনুলিপি মুছে ফেলবে।

ম্যাক্রো স্বাক্ষর:

{{ compress_table(schema, table,
                 drop_backup=False,
                 comprows=none|Integer,
                 sort_style=none|compound|interleaved,
                 sort_keys=none|List<String>,
                 dist_style=none|all|even,
                 dist_key=none|String) }}

মডেল রান লগিং

মডেলটির প্রতিটি সম্পাদনের জন্য, আপনি হুকগুলি (হুক) ঝুলিয়ে রাখতে পারেন যা লঞ্চের আগে বা মডেলটি তৈরি হওয়ার সাথে সাথেই কার্যকর করা হবে:

   pre-hook: "{{ logging.log_model_start_event() }}"
   post-hook: "{{ logging.log_model_end_event() }}"

লগিং মডিউল আপনাকে একটি পৃথক সারণীতে সমস্ত প্রয়োজনীয় মেটাডেটা লিখতে অনুমতি দেবে, যে অনুসারে আপনি পরে অডিট করতে পারবেন এবং সমস্যা ক্ষেত্রগুলি (বাটলনেক) বিশ্লেষণ করতে পারবেন।

লুকারে লগিং ডেটাতে ড্যাশবোর্ডটি কেমন দেখায় তা এখানে:

স্টোরেজ অটোমেশন

আপনি যদি ব্যবহৃত স্টোরেজের কার্যকারিতার কিছু এক্সটেনশন ব্যবহার করেন, যেমন UDF (ইউজার ডিফাইন্ড ফাংশন), তাহলে এই ফাংশনগুলির সংস্করণ, অ্যাক্সেস নিয়ন্ত্রণ, এবং নতুন রিলিজের স্বয়ংক্রিয় রোলআউট DBT-তে করা খুবই সুবিধাজনক।

আমরা পাইথন ইউডিএফ ব্যবহার করি হ্যাশ মান, মেল ঠিকানা ডোমেন, বিটমাস্ক ডিকোডিং গণনা করতে।

একটি ম্যাক্রোর একটি উদাহরণ যা যেকোনো রানটাইম পরিবেশে একটি UDF তৈরি করে (dev, test, prod):

{% macro create_udf() -%}
 
 {% set sql %}
       CREATE OR REPLACE FUNCTION {{ target.schema }}.f_sha256(mes "varchar")
           RETURNS varchar
           LANGUAGE plpythonu
           STABLE
       AS $$  
           import hashlib
           return hashlib.sha256(mes).hexdigest()
       $$
       ;
 {% endset %}
  
 {% set table = run_query(sql) %}
 
{%- endmacro %}

হুইলিতে আমরা Amazon Redshift ব্যবহার করি যা PostgreSQL এর উপর ভিত্তি করে। রেডশিফ্টের জন্য নিয়মিতভাবে টেবিলে পরিসংখ্যান সংগ্রহ করা এবং ডিস্কের স্থান খালি করা গুরুত্বপূর্ণ - যথাক্রমে বিশ্লেষণ এবং ভ্যাকুয়াম কমান্ড।

এটি করার জন্য, redshift_maintenance ম্যাক্রো থেকে কমান্ডগুলি প্রতি রাতে কার্যকর করা হয়:

{% macro redshift_maintenance() %}
 
   {% set vacuumable_tables=run_query(vacuumable_tables_sql) %}
 
   {% for row in vacuumable_tables %}
       {% set message_prefix=loop.index ~ " of " ~ loop.length %}
 
       {%- set relation_to_vacuum = adapter.get_relation(
                                               database=row['table_database'],
                                               schema=row['table_schema'],
                                               identifier=row['table_name']
                                   ) -%}
       {% do run_query("commit") %}
 
       {% if relation_to_vacuum %}
           {% set start=modules.datetime.datetime.now() %}
           {{ dbt_utils.log_info(message_prefix ~ " Vacuuming " ~ relation_to_vacuum) }}
           {% do run_query("VACUUM " ~ relation_to_vacuum ~ " BOOST") %}
           {{ dbt_utils.log_info(message_prefix ~ " Analyzing " ~ relation_to_vacuum) }}
           {% do run_query("ANALYZE " ~ relation_to_vacuum) %}
           {% set end=modules.datetime.datetime.now() %}
           {% set total_seconds = (end - start).total_seconds() | round(2)  %}
           {{ dbt_utils.log_info(message_prefix ~ " Finished " ~ relation_to_vacuum ~ " in " ~ total_seconds ~ "s") }}
       {% else %}
           {{ dbt_utils.log_info(message_prefix ~ ' Skipping relation "' ~ row.values() | join ('"."') ~ '" as it does not exist') }}
       {% endif %}
 
   {% endfor %}
 
{% endmacro %}

ডিবিটি ক্লাউড

এটি একটি পরিষেবা (পরিচালিত পরিষেবা) হিসাবে DBT ব্যবহার করা সম্ভব। অন্তর্ভুক্ত:

প্রকল্প এবং মডেল উন্নয়নের জন্য ওয়েব IDE
কাজের কনফিগারেশন এবং সময়সূচী সেটিং
লগগুলিতে সহজ এবং সুবিধাজনক অ্যাক্সেস
আপনার প্রকল্পের ডকুমেন্টেশন সহ ওয়েব সাইট
কানেক্টিং সিআই (কন্টিনিউয়াস ইন্টিগ্রেশন)

উপসংহার

DWH প্রস্তুত করা এবং সেবন করা স্মুদি পান করার মতোই মনোরম এবং স্বাস্থ্যকর হয়ে ওঠে। ডিবিটি জিনজা, কাস্টম এক্সটেনশন (মডিউল), কম্পাইলার, ইঞ্জিন (নির্বাহক) এবং প্যাকেজ ম্যানেজার নিয়ে গঠিত। এই উপাদানগুলিকে একত্রিত করার মাধ্যমে, আপনি আপনার ডেটা গুদামের জন্য একটি সম্পূর্ণ কাজের পরিবেশ পান৷ আজ DWH-এর মধ্যে রূপান্তরগুলি পরিচালনা করার জন্য এর চেয়ে ভাল উপায় নেই।

DBT বিকাশকারীদের দ্বারা অনুসরণ করা বিশ্বাসগুলি নিম্নরূপ প্রণয়ন করা হয়েছে:

কোড, GUI নয়, জটিল বিশ্লেষণাত্মক যুক্তি প্রকাশের জন্য সর্বোত্তম বিমূর্ততা
ডেটা নিয়ে কাজ করা সফটওয়্যার ইঞ্জিনিয়ারিং (সফ্টওয়্যার ইঞ্জিনিয়ারিং) এর সর্বোত্তম অনুশীলনগুলিকে মানিয়ে নেওয়া উচিত

ওপেন সোর্স সফ্টওয়্যার হিসাবে ব্যবহারকারী সম্প্রদায়ের দ্বারা সমালোচনামূলক ডেটা অবকাঠামো নিয়ন্ত্রণ করা আবশ্যক
শুধুমাত্র বিশ্লেষণ সরঞ্জাম নয়, কোডটিও ক্রমবর্ধমানভাবে ওপেন সোর্স সম্প্রদায়ের সম্পত্তি হয়ে উঠবে

এই মূল বিশ্বাসগুলি এমন একটি পণ্যের জন্ম দিয়েছে যা আজ 850 টিরও বেশি কোম্পানি দ্বারা ব্যবহৃত হয় এবং তারা ভবিষ্যতে তৈরি করা অনেক উত্তেজনাপূর্ণ এক্সটেনশনের ভিত্তি তৈরি করে।

যারা আগ্রহী তাদের জন্য, একটি উন্মুক্ত পাঠের একটি ভিডিও রেকর্ডিং রয়েছে যা আমি কয়েক মাস আগে OTUS-এর একটি উন্মুক্ত পাঠের অংশ হিসাবে পরিচালনা করেছি - অ্যামাজন রেডশিফ্ট স্টোরেজের জন্য ডেটা বিল্ড টুল.

DBT এবং ডেটা গুদামগুলি ছাড়াও, OTUS প্ল্যাটফর্মে ডেটা ইঞ্জিনিয়ার কোর্সের অংশ হিসাবে, আমার সহকর্মীরা এবং আমি অন্যান্য প্রাসঙ্গিক এবং আধুনিক বিষয়গুলির উপর ক্লাস পরিচালনা করি:

বিগ ডেটা অ্যাপ্লিকেশনের জন্য আর্কিটেকচারাল ধারণা
স্পার্ক এবং স্পার্ক স্ট্রিমিংয়ের সাথে অনুশীলন করুন
ডেটা উত্স লোড করার উপায় এবং সরঞ্জামগুলি শেখা৷
DWH-এ বিশ্লেষণাত্মক স্টোরফ্রন্ট তৈরি করা
NoSQL ধারণা: HBase, Cassandra, ElasticSearch
মনিটরিং এবং অর্কেস্ট্রেশন সংগঠনের নীতি
চূড়ান্ত প্রকল্প: পরামর্শ সহায়তার অধীনে সমস্ত দক্ষতা একসাথে রাখা

রেফারেন্স:

ডিবিটি ডকুমেন্টেশন - অফিসিয়াল ডকুমেন্টেশন
ডিবিটি আসলে কি? — DBT লেখকদের একজনের নিবন্ধ পর্যালোচনা করুন
অ্যামাজন রেডশিফ্ট স্টোরেজের জন্য ডেটা বিল্ড টুল — YouTube, OTUS ওপেন লেসন রেকর্ডিং
Greenplum পরিচিতি — নিকটতম খোলা পাঠ হল 15 মে, 2020
ডেটা ইঞ্জিনিয়ারিং কোর্স —ওটুস
একটি পরিপক্ক বিশ্লেষণ কর্মপ্রবাহ নির্মাণ - ডেটা এবং বিশ্লেষণের ভবিষ্যত দেখুন
এটা ওপেন সোর্স বিশ্লেষণের জন্য সময় — বিশ্লেষণের বিবর্তন এবং ওপেন সোর্সের প্রভাব
dbtCloud এর সাথে ক্রমাগত ইন্টিগ্রেশন এবং স্বয়ংক্রিয় বিল্ড টেস্টিং — DBT ব্যবহার করে CI তৈরির নীতি
DBT টিউটোরিয়াল দিয়ে শুরু করা — অনুশীলন, স্ব-অধ্যয়নের জন্য ধাপে ধাপে নির্দেশাবলী
jaffle shop - Github DBT টিউটোরিয়াল — Github, টিউটোরিয়াল প্রকল্পের জন্য কোড

কোর্স সম্পর্কে আরও জানুন.

উত্স: www.habr.com

ডেটা বিল্ড টুল বা ডেটা ওয়্যারহাউস এবং স্মুদির মধ্যে কী সাধারণ