एक आदर्श डेटा वेयरहाउस किन सिद्धांतों पर बनाया गया है?

बॉयलरप्लेट कोड के अभाव में व्यावसायिक मूल्य और विश्लेषण पर ध्यान दें। DWH को कोडबेस के रूप में प्रबंधित करना: संस्करण, समीक्षा, स्वचालित परीक्षण और CI। मॉड्यूलर, एक्स्टेंसिबल, खुला स्रोत और समुदाय। उपयोगकर्ता के अनुकूल दस्तावेज़ीकरण और निर्भरता विज़ुअलाइज़ेशन (डेटा वंशावली)।

इस सब के बारे में और बिग डेटा और एनालिटिक्स इकोसिस्टम में डीबीटी की भूमिका के बारे में - कैट में आपका स्वागत है।

सभी को नमस्कार

आर्टेमी कोज़ीर संपर्क में हैं। 5 वर्षों से अधिक समय से मैं डेटा वेयरहाउस, ईटीएल/ईएलटी के निर्माण के साथ-साथ डेटा एनालिटिक्स और विज़ुअलाइज़ेशन के साथ काम कर रहा हूं। मैं वर्तमान में काम कर रहा हूँ Wheely, मैं OTUS में एक पाठ्यक्रम पर पढ़ाता हूँ डाटा अभियंता, और आज मैं आपके साथ एक लेख साझा करना चाहता हूं जो मैंने शुरुआत की प्रत्याशा में लिखा था पाठ्यक्रम के लिए नया नामांकन.

सार

डीबीटी ढांचा ईएलटी (एक्सट्रैक्ट - ट्रांसफॉर्म - लोड) के संक्षिप्त नाम टी के बारे में है।

BigQuery, Redshift, स्नोफ्लेक जैसे उत्पादक और स्केलेबल विश्लेषणात्मक डेटाबेस के आगमन के साथ, डेटा वेयरहाउस के बाहर परिवर्तन करने का कोई मतलब नहीं था।

डीबीटी स्रोतों से डेटा डाउनलोड नहीं करता है, लेकिन उस डेटा के साथ काम करने के लिए बेहतरीन अवसर प्रदान करता है जो पहले ही स्टोरेज (आंतरिक या बाहरी स्टोरेज में) में लोड किया जा चुका है।

DBT का मुख्य उद्देश्य कोड लेना, उसे SQL में संकलित करना, रिपॉजिटरी में कमांड को सही क्रम में निष्पादित करना है।

डीबीटी परियोजना संरचना

प्रोजेक्ट में केवल 2 प्रकार की निर्देशिकाएँ और फ़ाइलें शामिल हैं:

मॉडल (.sql) - SELECT क्वेरी द्वारा व्यक्त परिवर्तन की एक इकाई
कॉन्फ़िगरेशन फ़ाइल (.yml) - पैरामीटर, सेटिंग्स, परीक्षण, दस्तावेज़ीकरण

बुनियादी स्तर पर, कार्य इस प्रकार संरचित है:

उपयोगकर्ता किसी भी सुविधाजनक IDE में मॉडल कोड तैयार करता है
सीएलआई का उपयोग करके, मॉडल लॉन्च किए जाते हैं, डीबीटी मॉडल कोड को एसक्यूएल में संकलित करता है
संकलित SQL कोड को स्टोरेज में दिए गए अनुक्रम (ग्राफ़) में निष्पादित किया जाता है

यहां बताया गया है कि सीएलआई से रनिंग कैसी दिख सकती है:

सब कुछ चयन है

यह डेटा बिल्ड टूल फ्रेमवर्क की एक शानदार विशेषता है। दूसरे शब्दों में, डीबीटी स्टोर में आपके प्रश्नों को अमल में लाने से जुड़े सभी कोड को हटा देता है (क्रिएट, इंसर्ट, अपडेट, डिलीट अल्टर, ग्रांट, ... कमांड से भिन्न)।

किसी भी मॉडल में एक SELECT क्वेरी लिखना शामिल होता है जो परिणामी डेटा सेट को परिभाषित करता है।

इस मामले में, परिवर्तन तर्क बहु-स्तरीय हो सकता है और कई अन्य मॉडलों से डेटा को समेकित कर सकता है। एक मॉडल का एक उदाहरण जो ऑर्डर शोकेस बनाएगा (f_orders):

{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

हम यहां कौन सी दिलचस्प चीजें देख सकते हैं?

पहला: प्रयुक्त सीटीई (कॉमन टेबल एक्सप्रेशन) - कोड को व्यवस्थित करने और समझने के लिए जिसमें बहुत सारे परिवर्तन और व्यावसायिक तर्क शामिल हैं

दूसरा: मॉडल कोड SQL और भाषा का मिश्रण है Jinja (साँचा बनाने वाली भाषा)।

उदाहरण एक लूप का उपयोग करता है एसटी अभिव्यक्ति में निर्दिष्ट प्रत्येक भुगतान विधि के लिए राशि उत्पन्न करने के लिए सेट. फ़ंक्शन का भी उपयोग किया जाता है रेफरी - कोड के भीतर अन्य मॉडलों को संदर्भित करने की क्षमता:

संकलन के दौरान रेफरी संग्रहण में किसी तालिका या दृश्य में लक्ष्य सूचक में परिवर्तित किया जाएगा
रेफरी आपको एक मॉडल निर्भरता ग्राफ़ बनाने की अनुमति देता है

अर्थात् Jinja डीबीटी में लगभग असीमित संभावनाएं जुड़ती हैं। सबसे अधिक उपयोग किये जाने वाले ये हैं:

यदि/अन्यथा कथन - शाखा विवरण
लूप के लिए - चक्र
चर
मैक्रो - मैक्रोज़ बनाना

भौतिकीकरण: तालिका, दृश्य, वृद्धिशील

भौतिकीकरण रणनीति एक दृष्टिकोण है जिसके अनुसार मॉडल डेटा का परिणामी सेट स्टोरेज में संग्रहीत किया जाएगा।

बुनियादी शब्दों में यह है:

तालिका - भंडारण में भौतिक तालिका
देखें - देखें, स्टोरेज में वर्चुअल टेबल

अधिक जटिल भौतिककरण रणनीतियाँ भी हैं:

वृद्धिशील - वृद्धिशील लोडिंग (बड़ी तथ्य तालिकाओं की); नई पंक्तियाँ जोड़ी जाती हैं, परिवर्तित पंक्तियाँ अद्यतन की जाती हैं, हटाई गई पंक्तियाँ साफ़ की जाती हैं
अल्पकालिक - मॉडल सीधे तौर पर साकार नहीं होता है, लेकिन अन्य मॉडलों में सीटीई के रूप में भाग लेता है
कोई अन्य रणनीतियाँ आप स्वयं जोड़ सकते हैं

भौतिककरण रणनीतियों के अलावा, विशिष्ट भंडारण के लिए अनुकूलन के अवसर भी हैं, उदाहरण के लिए:

हिमपात का एक खंड: क्षणिक तालिकाएँ, मर्ज व्यवहार, तालिका क्लस्टरिंग, अनुदान की प्रतिलिपि बनाना, सुरक्षित दृश्य
लाल विचलन: डिस्टकी, सॉर्टकी (इंटरलीव्ड, कंपाउंड), लेट बाइंडिंग व्यू
BigQuery: टेबल विभाजन और क्लस्टरिंग, मर्ज व्यवहार, केएमएस एन्क्रिप्शन, लेबल और टैग
स्पार्क: फ़ाइल प्रारूप (पैरक्वेट, सीएसवी, जेसन, ओआरसी, डेल्टा), पार्टीशन_बाय, क्लस्टर्ड_बाय, बकेट, इंक्रीमेंटल_स्ट्रैटेजी

निम्नलिखित संग्रहण वर्तमान में समर्थित हैं:

postgres
लाल विचलन
BigQuery
हिमपात का एक खंड
प्रेस्टो (आंशिक रूप से)
स्पार्क (आंशिक रूप से)
माइक्रोसॉफ्ट एसक्यूएल सर्वर (सामुदायिक एडाप्टर)

आइए अपने मॉडल में सुधार करें:

आइए इसकी फिलिंग को इंक्रीमेंटल (वृद्धिशील) बनाएं
आइए Redshift के लिए विभाजन और सॉर्टिंग कुंजियाँ जोड़ें

-- Конфигурация модели: 
-- Инкрементальное наполнение, уникальный ключ для обновления записей (unique_key)
-- Ключ сегментации (dist), ключ сортировки (sort)
{{
  config(
       materialized='incremental',
       unique_key='order_id',
       dist="customer_id",
       sort="order_date"
   )
}}
 
{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
   where 1=1
   {% if is_incremental() -%}
       -- Этот фильтр будет применен только для инкрементального запуска
       and order_date >= (select max(order_date) from {{ this }})
   {%- endif %} 
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

मॉडल निर्भरता ग्राफ

यह एक निर्भरता वृक्ष भी है। इसे DAG (डायरेक्टेड एसाइक्लिक ग्राफ़) के नाम से भी जाना जाता है।

डीबीटी सभी प्रोजेक्ट मॉडलों के कॉन्फ़िगरेशन के आधार पर एक ग्राफ़ बनाता है, या बल्कि, मॉडल के भीतर अन्य मॉडलों के रेफरी() लिंक के आधार पर। ग्राफ़ होने से आप निम्नलिखित कार्य कर सकते हैं:

मॉडलों को सही क्रम में चलाना
स्टोरफ्रंट गठन का समानांतरकरण
एक मनमाना सबग्राफ चलाना

ग्राफ विज़ुअलाइज़ेशन का उदाहरण:

ग्राफ़ का प्रत्येक नोड एक मॉडल है; ग्राफ़ के किनारों को अभिव्यक्ति रेफरी द्वारा निर्दिष्ट किया गया है।

डेटा गुणवत्ता और दस्तावेज़ीकरण

स्वयं मॉडल तैयार करने के अलावा, डीबीटी आपको परिणामी डेटा सेट के बारे में कई मान्यताओं का परीक्षण करने की अनुमति देता है, जैसे:

अशक्त नहीं
अद्वितीय
संदर्भ अखंडता - संदर्भात्मक अखंडता (उदाहरण के लिए, ऑर्डर तालिका में customer_id ग्राहक तालिका में आईडी से मेल खाती है)
स्वीकार्य मूल्यों की सूची का मिलान

अपने स्वयं के परीक्षण (कस्टम डेटा परीक्षण) जोड़ना संभव है, जैसे, उदाहरण के लिए, एक दिन, एक सप्ताह, एक महीने पहले के संकेतकों के साथ राजस्व का% विचलन। SQL क्वेरी के रूप में तैयार की गई कोई भी धारणा एक परीक्षण बन सकती है।

इस तरह, आप वेयरहाउस विंडो में डेटा में अवांछित विचलन और त्रुटियों को पकड़ सकते हैं।

दस्तावेज़ीकरण के संदर्भ में, डीबीटी मॉडल और यहां तक कि विशेषता स्तरों पर मेटाडेटा और टिप्पणियों को जोड़ने, संस्करण बनाने और वितरित करने के लिए तंत्र प्रदान करता है।

कॉन्फ़िगरेशन फ़ाइल स्तर पर परीक्षण और दस्तावेज़ जोड़ना इस प्रकार दिखता है:

 - name: fct_orders
   description: This table has basic information about orders, as well as some derived facts based on payments
   columns:
     - name: order_id
       tests:
         - unique # проверка на уникальность значений
         - not_null # проверка на наличие null
       description: This is a unique identifier for an order
     - name: customer_id
       description: Foreign key to the customers table
       tests:
         - not_null
         - relationships: # проверка ссылочной целостности
             to: ref('dim_customers')
             field: customer_id
     - name: order_date
       description: Date (UTC) that the order was placed
     - name: status
       description: '{{ doc("orders_status") }}'
       tests:
         - accepted_values: # проверка на допустимые значения
             values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']

और जेनरेट की गई वेबसाइट पर यह दस्तावेज़ इस प्रकार दिखता है:

मैक्रोज़ और मॉड्यूल

डीबीटी का उद्देश्य एसक्यूएल स्क्रिप्ट का एक सेट बनना नहीं है, बल्कि उपयोगकर्ताओं को अपने स्वयं के परिवर्तनों के निर्माण और इन मॉड्यूल को वितरित करने के लिए एक शक्तिशाली और सुविधा संपन्न साधन प्रदान करना है।

मैक्रोज़ निर्माणों और अभिव्यक्तियों के सेट हैं जिन्हें मॉडल के भीतर फ़ंक्शन कहा जा सकता है। मैक्रोज़ आपको DRY (डोंट रिपीट योरसेल्फ) इंजीनियरिंग सिद्धांत के अनुसार मॉडल और प्रोजेक्ट के बीच SQL का पुन: उपयोग करने की अनुमति देते हैं।

मैक्रो उदाहरण:

{% macro rename_category(column_name) %}
case
 when {{ column_name }} ilike  '%osx%' then 'osx'
 when {{ column_name }} ilike  '%android%' then 'android'
 when {{ column_name }} ilike  '%ios%' then 'ios'
 else 'other'
end as renamed_product
{% endmacro %}

और इसका उपयोग:

{% set column_name = 'product' %}
select
 product,
 {{ rename_category(column_name) }} -- вызов макроса
from my_table

डीबीटी एक पैकेज मैनेजर के साथ आता है जो उपयोगकर्ताओं को व्यक्तिगत मॉड्यूल और मैक्रोज़ को प्रकाशित और पुन: उपयोग करने की अनुमति देता है।

इसका मतलब है पुस्तकालयों को लोड करने और उपयोग करने में सक्षम होना जैसे:

डीबीटी_यूटिल्स: दिनांक/समय, सरोगेट कुंजी, स्कीमा परीक्षण, पिवोट/अनपिवोट और अन्य के साथ काम करना
जैसी सेवाओं के लिए तैयार शोकेस टेम्पलेट बर्फ हल и Stripe
विशिष्ट डेटा स्टोर के लिए लाइब्रेरी, उदा. लाल विचलन
लॉगिंग - डीबीटी ऑपरेशन लॉगिंग के लिए मॉड्यूल

पैकेजों की पूरी सूची यहां पाई जा सकती है डीबीटी हब.

और भी अधिक सुविधाएँ

यहां मैं कुछ अन्य दिलचस्प विशेषताओं और कार्यान्वयनों का वर्णन करूंगा जिनका उपयोग टीम और मैं डेटा वेयरहाउस बनाने के लिए करते हैं Wheely.

रनटाइम परिवेशों का पृथक्करण DEV - परीक्षण - PROD

यहां तक कि एक ही DWH क्लस्टर के भीतर भी (विभिन्न योजनाओं के भीतर)। उदाहरण के लिए, निम्नलिखित अभिव्यक्ति का उपयोग करें:

with source as (
 
   select * from {{ source('salesforce', 'users') }}
   where 1=1
   {%- if target.name in ['dev', 'test', 'ci'] -%}           
       where timestamp >= dateadd(day, -3, current_date)   
   {%- endif -%}
 
)

यह कोड शाब्दिक रूप से कहता है: पर्यावरण के लिए देव, परीक्षण, सीआई केवल पिछले 3 दिनों का डेटा लें, इससे अधिक नहीं। यानी, इन वातावरणों में दौड़ना बहुत तेज़ होगा और कम संसाधनों की आवश्यकता होगी। पर्यावरण पर चलते समय ठेस फ़िल्टर स्थिति पर ध्यान नहीं दिया जाएगा.

वैकल्पिक कॉलम एन्कोडिंग के साथ भौतिकीकरण

रेडशिफ्ट एक स्तंभ DBMS है जो आपको प्रत्येक व्यक्तिगत कॉलम के लिए डेटा संपीड़न एल्गोरिदम सेट करने की अनुमति देता है। इष्टतम एल्गोरिदम का चयन करने से डिस्क स्थान को 20-50% तक कम किया जा सकता है।

मैक्रो redshift.compress_table विश्लेषण संपीड़न कमांड निष्पादित करेगा, अनुशंसित कॉलम एन्कोडिंग एल्गोरिदम, निर्दिष्ट सेगमेंटेशन कुंजी (डिस्ट_की) और सॉर्टिंग कुंजी (सॉर्ट_की) के साथ एक नई तालिका बनाएगा, इसमें डेटा स्थानांतरित करेगा, और यदि आवश्यक हो, तो पुरानी प्रतिलिपि हटा दें।

मैक्रो हस्ताक्षर:

{{ compress_table(schema, table,
                 drop_backup=False,
                 comprows=none|Integer,
                 sort_style=none|compound|interleaved,
                 sort_keys=none|List<String>,
                 dist_style=none|all|even,
                 dist_key=none|String) }}

लॉगिंग मॉडल चलता है

आप मॉडल के प्रत्येक निष्पादन में हुक संलग्न कर सकते हैं, जिसे लॉन्च से पहले या मॉडल का निर्माण पूरा होने के तुरंत बाद निष्पादित किया जाएगा:

   pre-hook: "{{ logging.log_model_start_event() }}"
   post-hook: "{{ logging.log_model_end_event() }}"

लॉगिंग मॉड्यूल आपको सभी आवश्यक मेटाडेटा को एक अलग तालिका में रिकॉर्ड करने की अनुमति देगा, जिसका उपयोग बाद में बाधाओं का ऑडिट और विश्लेषण करने के लिए किया जा सकता है।

लुकर में लॉगिंग डेटा के आधार पर डैशबोर्ड इस तरह दिखता है:

भंडारण रखरखाव का स्वचालन

यदि आप उपयोग की गई रिपॉजिटरी की कार्यक्षमता के कुछ एक्सटेंशन, जैसे यूडीएफ (यूजर डिफाइंड फ़ंक्शंस) का उपयोग करते हैं, तो इन फ़ंक्शंस का वर्जनिंग, एक्सेस कंट्रोल और नई रिलीज़ को स्वचालित रूप से रोल आउट करना डीबीटी में करना बहुत सुविधाजनक है।

हम हैश, ईमेल डोमेन और बिटमास्क डिकोडिंग की गणना करने के लिए पायथन में यूडीएफ का उपयोग करते हैं।

मैक्रो का एक उदाहरण जो किसी भी निष्पादन वातावरण (डेव, टेस्ट, प्रोड) पर यूडीएफ बनाता है:

{% macro create_udf() -%}
 
 {% set sql %}
       CREATE OR REPLACE FUNCTION {{ target.schema }}.f_sha256(mes "varchar")
           RETURNS varchar
           LANGUAGE plpythonu
           STABLE
       AS $$  
           import hashlib
           return hashlib.sha256(mes).hexdigest()
       $$
       ;
 {% endset %}
  
 {% set table = run_query(sql) %}
 
{%- endmacro %}

व्हीली में हम Amazon Redshift का उपयोग करते हैं, जो PostgreSQL पर आधारित है। रेडशिफ्ट के लिए, नियमित रूप से तालिकाओं पर आंकड़े एकत्र करना और डिस्क स्थान खाली करना महत्वपूर्ण है - क्रमशः विश्लेषण और वैक्यूम कमांड।

ऐसा करने के लिए, redshift_maintenance मैक्रो से आदेश हर रात निष्पादित किए जाते हैं:

{% macro redshift_maintenance() %}
 
   {% set vacuumable_tables=run_query(vacuumable_tables_sql) %}
 
   {% for row in vacuumable_tables %}
       {% set message_prefix=loop.index ~ " of " ~ loop.length %}
 
       {%- set relation_to_vacuum = adapter.get_relation(
                                               database=row['table_database'],
                                               schema=row['table_schema'],
                                               identifier=row['table_name']
                                   ) -%}
       {% do run_query("commit") %}
 
       {% if relation_to_vacuum %}
           {% set start=modules.datetime.datetime.now() %}
           {{ dbt_utils.log_info(message_prefix ~ " Vacuuming " ~ relation_to_vacuum) }}
           {% do run_query("VACUUM " ~ relation_to_vacuum ~ " BOOST") %}
           {{ dbt_utils.log_info(message_prefix ~ " Analyzing " ~ relation_to_vacuum) }}
           {% do run_query("ANALYZE " ~ relation_to_vacuum) %}
           {% set end=modules.datetime.datetime.now() %}
           {% set total_seconds = (end - start).total_seconds() | round(2)  %}
           {{ dbt_utils.log_info(message_prefix ~ " Finished " ~ relation_to_vacuum ~ " in " ~ total_seconds ~ "s") }}
       {% else %}
           {{ dbt_utils.log_info(message_prefix ~ ' Skipping relation "' ~ row.values() | join ('"."') ~ '" as it does not exist') }}
       {% endif %}
 
   {% endfor %}
 
{% endmacro %}

डीबीटी क्लाउड

डीबीटी को एक सेवा (प्रबंधित सेवा) के रूप में उपयोग करना संभव है। सम्मिलित:

परियोजनाओं और मॉडलों के विकास के लिए वेब आईडीई
कार्य विन्यास और शेड्यूलिंग
लॉग तक सरल और सुविधाजनक पहुंच
आपके प्रोजेक्ट के दस्तावेज़ीकरण वाली वेबसाइट
कनेक्टिंग सीआई (सतत एकीकरण)

निष्कर्ष

DWH को बनाना और सेवन करना स्मूदी पीने जितना ही आनंददायक और फायदेमंद हो जाता है। डीबीटी में जिंजा, उपयोगकर्ता एक्सटेंशन (मॉड्यूल), एक कंपाइलर, एक निष्पादक और एक पैकेज मैनेजर शामिल हैं। इन तत्वों को एक साथ रखने से आपको अपने डेटा वेयरहाउस के लिए एक संपूर्ण कार्य वातावरण मिलता है। आज DWH के भीतर परिवर्तन को प्रबंधित करने का इससे बेहतर तरीका शायद ही कोई हो।

डीबीटी के डेवलपर्स द्वारा अपनाई गई मान्यताएँ इस प्रकार तैयार की गई हैं:

कोड, जीयूआई नहीं, जटिल विश्लेषणात्मक तर्क को व्यक्त करने के लिए सबसे अच्छा अमूर्त है
डेटा के साथ काम करने के लिए सॉफ़्टवेयर इंजीनियरिंग (सॉफ़्टवेयर इंजीनियरिंग) में सर्वोत्तम प्रथाओं को अपनाना चाहिए

महत्वपूर्ण डेटा अवसंरचना को उपयोगकर्ता समुदाय द्वारा ओपन सोर्स सॉफ़्टवेयर के रूप में नियंत्रित किया जाना चाहिए
न केवल एनालिटिक्स टूल, बल्कि कोड भी तेजी से ओपन सोर्स समुदाय की संपत्ति बन जाएगा

इन मूल मान्यताओं ने एक ऐसे उत्पाद को जन्म दिया है जिसका उपयोग आज 850 से अधिक कंपनियों द्वारा किया जाता है, और वे भविष्य में बनाए जाने वाले कई रोमांचक एक्सटेंशन का आधार बनते हैं।

रुचि रखने वालों के लिए, एक खुले पाठ का एक वीडियो है जो मैंने कुछ महीने पहले OTUS में एक खुले पाठ के भाग के रूप में दिया था - अमेज़ॅन रेडशिफ्ट स्टोरेज के लिए डेटा बिल्ड टूल.

डीबीटी और डेटा वेयरहाउसिंग के अलावा, ओटीयूएस प्लेटफॉर्म पर डेटा इंजीनियर कोर्स के हिस्से के रूप में, मैं और मेरे सहकर्मी कई अन्य प्रासंगिक और आधुनिक विषयों पर कक्षाएं पढ़ाते हैं:

बड़े डेटा अनुप्रयोगों के लिए वास्तुशिल्प अवधारणाएँ
स्पार्क और स्पार्क स्ट्रीमिंग के साथ अभ्यास करें
डेटा स्रोतों को लोड करने के तरीकों और उपकरणों की खोज करना
DWH में विश्लेषणात्मक शोकेस का निर्माण
NoSQL अवधारणाएँ: HBase, Cassandra, ElasticSearch
निगरानी और आयोजन के सिद्धांत
अंतिम परियोजना: मार्गदर्शन समर्थन के तहत सभी कौशलों को एक साथ रखना

कड़ियाँ:

डीबीटी दस्तावेज़ीकरण - परिचय - आधिकारिक दस्तावेज
वास्तव में डीबीटी क्या है? - डीबीटी के लेखकों में से एक द्वारा समीक्षा लेख
अमेज़ॅन रेडशिफ्ट स्टोरेज के लिए डेटा बिल्ड टूल - यूट्यूब, एक ओटीयूएस ओपन पाठ की रिकॉर्डिंग
ग्रीनप्लम को जानना - अगला खुला पाठ 15 मई, 2020 है
डेटा इंजीनियरिंग कोर्स -OTUS
एक परिपक्व एनालिटिक्स वर्कफ़्लो का निर्माण - डेटा और एनालिटिक्स के भविष्य पर एक नज़र
यह ओपन सोर्स एनालिटिक्स का समय है - एनालिटिक्स का विकास और ओपन सोर्स का प्रभाव
dbtCloud के साथ सतत एकीकरण और स्वचालित बिल्ड परीक्षण - डीबीटी का उपयोग करके सीआई के निर्माण के सिद्धांत
डीबीटी ट्यूटोरियल के साथ शुरुआत करना — अभ्यास, स्वतंत्र कार्य के लिए चरण-दर-चरण निर्देश
जाफ़ल शॉप - जीथब डीबीटी ट्यूटोरियल - जीथब, शैक्षिक परियोजना कोड

पाठ्यक्रम के बारे में और जानें.

स्रोत: www.habr.com

डेटा बिल्ड टूल या डेटा वेयरहाउस और स्मूथी के बीच क्या सामान्य है