ਸਾਡੇ ਓਪਨ ਸੋਰਸ ਦਾ ਇਤਿਹਾਸ: ਅਸੀਂ Go ਵਿੱਚ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਣ ਸੇਵਾ ਕਿਵੇਂ ਬਣਾਈ ਅਤੇ ਇਸਨੂੰ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਕਰਵਾਇਆ

ਵਰਤਮਾਨ ਵਿੱਚ, ਦੁਨੀਆ ਦੀ ਲਗਭਗ ਹਰ ਕੰਪਨੀ ਇੱਕ ਵੈੱਬ ਸਰੋਤ 'ਤੇ ਉਪਭੋਗਤਾ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਬਾਰੇ ਅੰਕੜੇ ਇਕੱਤਰ ਕਰਦੀ ਹੈ। ਪ੍ਰੇਰਣਾ ਸਪੱਸ਼ਟ ਹੈ - ਕੰਪਨੀਆਂ ਇਹ ਜਾਣਨਾ ਚਾਹੁੰਦੀਆਂ ਹਨ ਕਿ ਉਹਨਾਂ ਦੇ ਉਤਪਾਦ/ਵੈਬਸਾਈਟ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ ਅਤੇ ਉਹਨਾਂ ਦੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਬਿਹਤਰ ਸਮਝਣਾ ਹੈ। ਬੇਸ਼ੱਕ, ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਮਾਰਕੀਟ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਸਾਧਨ ਹਨ - ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀਆਂ ਤੋਂ ਜੋ ਡੈਸ਼ਬੋਰਡਾਂ ਅਤੇ ਗ੍ਰਾਫਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਡੇਟਾ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ (ਉਦਾਹਰਨ ਲਈ, ਗੂਗਲ ਵਿਸ਼ਲੇਸ਼ਣ) ਨੂੰ ਗਾਹਕ ਡੇਟਾ ਪਲੇਟਫਾਰਮ, ਜੋ ਤੁਹਾਨੂੰ ਕਿਸੇ ਵੀ ਸਟੋਰੇਜ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨ ਅਤੇ ਇਕੱਤਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਖੰਡ).

ਪਰ ਸਾਨੂੰ ਇੱਕ ਸਮੱਸਿਆ ਮਿਲੀ ਹੈ ਜੋ ਅਜੇ ਤੱਕ ਹੱਲ ਨਹੀਂ ਹੋਈ ਹੈ। ਇਸ ਲਈ ਪੈਦਾ ਹੋਇਆ ਇਵੈਂਟਨੈਟਿਵ - ਓਪਨ-ਸੋਰਸ ਵਿਸ਼ਲੇਸ਼ਣ ਸੇਵਾ। ਇਸ ਬਾਰੇ ਕਿ ਅਸੀਂ ਆਪਣੀ ਸੇਵਾ ਵਿਕਸਿਤ ਕਰਨ ਲਈ ਕਿਉਂ ਗਏ, ਇਸ ਨੇ ਸਾਨੂੰ ਕੀ ਦਿੱਤਾ ਅਤੇ ਅੰਤ ਵਿੱਚ ਕੀ ਹੋਇਆ (ਕੋਡ ਦੇ ਟੁਕੜਿਆਂ ਨਾਲ), ਕੱਟ ਦੇ ਹੇਠਾਂ ਪੜ੍ਹੋ।

ਸਾਨੂੰ ਆਪਣੀ ਸੇਵਾ ਦਾ ਵਿਕਾਸ ਕਿਉਂ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?

ਇਹ ਨੱਬੇ ਦਾ ਦਹਾਕਾ ਸੀ, ਅਸੀਂ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਬਚ ਗਏ। 2019, ਅਸੀਂ ਪਹਿਲਾ ਗਾਹਕ ਡੇਟਾ ਪਲੇਟਫਾਰਮ API ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ kSense, ਜਿਸ ਨੇ ਵਧੇਰੇ ਸੁਵਿਧਾਜਨਕ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ, ਨਿਰਭਰਤਾ ਦੀ ਪਛਾਣ ਕਰਨ ਆਦਿ ਲਈ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ (ਫੇਸਬੁੱਕ ਵਿਗਿਆਪਨ, ਸਟ੍ਰਾਈਪ, ਸੇਲਸਫੋਰਸ, ਗੂਗਲ ਪਲੇ, ਗੂਗਲ ਵਿਸ਼ਲੇਸ਼ਣ, ਆਦਿ) ਤੋਂ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ। ਅਸੀਂ ਦੇਖਿਆ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰੇ ਉਪਭੋਗਤਾ ਸਾਡੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਪਲੇਟਫਾਰਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਖਾਸ ਤੌਰ 'ਤੇ ਗੂਗਲ ਵਿਸ਼ਲੇਸ਼ਣ (ਇਸ ਤੋਂ ਬਾਅਦ GA ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ)। ਅਸੀਂ ਕੁਝ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲ ਗੱਲ ਕੀਤੀ ਅਤੇ ਪਤਾ ਲਗਾਇਆ ਕਿ ਉਹਨਾਂ ਨੂੰ ਆਪਣੇ ਉਤਪਾਦ ਵਿਸ਼ਲੇਸ਼ਣ ਡੇਟਾ ਦੀ ਲੋੜ ਹੈ, ਜੋ ਉਹ GA ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ, ਪਰ ਗੂਗਲ ਨਮੂਨੇ ਡਾਟਾ ਅਤੇ ਬਹੁਤ ਸਾਰੇ GA ਉਪਭੋਗਤਾ ਇੰਟਰਫੇਸ ਲਈ ਸੁਵਿਧਾ ਦਾ ਮਿਆਰ ਨਹੀਂ ਹੈ। ਅਸੀਂ ਆਪਣੇ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲ ਕਾਫ਼ੀ ਗੱਲਬਾਤ ਕੀਤੀ ਅਤੇ ਮਹਿਸੂਸ ਕੀਤਾ ਕਿ ਬਹੁਤ ਸਾਰੇ ਸੈਗਮੈਂਟ ਪਲੇਟਫਾਰਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ (ਜੋ ਕਿ, ਵੈਸੇ, ਕੁਝ ਦਿਨ ਪਹਿਲਾਂ ਸੀ 3.2 ਬਿਲੀਅਨ ਡਾਲਰ ਵਿੱਚ ਵੇਚਿਆ ਗਿਆ).

ਉਹਨਾਂ ਨੇ ਆਪਣੇ ਵੈਬ ਸਰੋਤ ਤੇ ਇੱਕ ਖੰਡ ਜਾਵਾਸਕ੍ਰਿਪਟ ਪਿਕਸਲ ਸਥਾਪਿਤ ਕੀਤਾ ਅਤੇ ਉਹਨਾਂ ਦਾ ਉਪਭੋਗਤਾ ਵਿਵਹਾਰ ਡੇਟਾ ਇੱਕ ਨਿਸ਼ਚਿਤ ਡੇਟਾਬੇਸ ਵਿੱਚ ਲੋਡ ਕੀਤਾ ਗਿਆ ਸੀ (ਜਿਵੇਂ ਕਿ ਪੋਸਟਗ੍ਰੇਸ)। ਪਰ ਖੰਡ ਦਾ ਵੀ ਇਸਦਾ ਘਟਾਓ ਹੈ - ਕੀਮਤ. ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਇੱਕ ਵੈਬ ਸਰੋਤ ਵਿੱਚ 90,000 MTU (ਮਾਸਿਕ ਟ੍ਰੈਕ ਕੀਤੇ ਉਪਭੋਗਤਾ) ਹਨ, ਤਾਂ ਤੁਹਾਨੂੰ ਕੈਸ਼ੀਅਰ ਨੂੰ ਪ੍ਰਤੀ ਮਹੀਨਾ $ 1,000 ਦਾ ਭੁਗਤਾਨ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇੱਕ ਤੀਜੀ ਸਮੱਸਿਆ ਵੀ ਸੀ - ਕੁਝ ਬ੍ਰਾਊਜ਼ਰ ਐਕਸਟੈਂਸ਼ਨਾਂ (ਜਿਵੇਂ ਕਿ ਐਡਬਲਾਕ) ਨੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਸੰਗ੍ਰਹਿ ਨੂੰ ਬਲੌਕ ਕੀਤਾ। ਬ੍ਰਾਊਜ਼ਰ ਤੋਂ http ਬੇਨਤੀਆਂ GA ਅਤੇ ਖੰਡ ਡੋਮੇਨਾਂ ਨੂੰ ਭੇਜੀਆਂ ਗਈਆਂ ਸਨ। ਸਾਡੇ ਗਾਹਕਾਂ ਦੀਆਂ ਇੱਛਾਵਾਂ ਦੇ ਆਧਾਰ 'ਤੇ, ਅਸੀਂ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਣ ਸੇਵਾ ਬਣਾਈ ਹੈ ਜੋ ਡੇਟਾ ਦਾ ਇੱਕ ਪੂਰਾ ਸਮੂਹ (ਬਿਨਾਂ ਨਮੂਨੇ ਦੇ), ਮੁਫ਼ਤ ਵਿੱਚ ਇਕੱਠਾ ਕਰਦੀ ਹੈ ਅਤੇ ਸਾਡੇ ਆਪਣੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ 'ਤੇ ਚੱਲ ਸਕਦੀ ਹੈ।

ਸੇਵਾ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ

ਸੇਵਾ ਦੇ ਤਿੰਨ ਹਿੱਸੇ ਹੁੰਦੇ ਹਨ: ਇੱਕ ਜਾਵਾਸਕ੍ਰਿਪਟ ਪਿਕਸਲ (ਜਿਸ ਨੂੰ ਅਸੀਂ ਬਾਅਦ ਵਿੱਚ ਟਾਈਪਸਕ੍ਰਿਪਟ ਵਿੱਚ ਦੁਬਾਰਾ ਲਿਖਿਆ), ਇੱਕ ਸਰਵਰ ਹਿੱਸਾ GO ਭਾਸ਼ਾ ਵਿੱਚ ਲਾਗੂ ਕੀਤਾ ਗਿਆ, ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਅੰਦਰੂਨੀ ਡੇਟਾਬੇਸ ਵਜੋਂ Redshift ਅਤੇ BigQuery ਨੂੰ ਵਰਤਣ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਗਈ ਸੀ (ਬਾਅਦ ਵਿੱਚ ਉਹਨਾਂ ਨੇ Postgres ਲਈ ਸਮਰਥਨ ਜੋੜਿਆ। , ਕਲਿਕਹਾਊਸ ਅਤੇ ਸਨੋਫਲੇਕ)।

ਈਵੈਂਟਸ GA ਅਤੇ ਖੰਡ ਦੀ ਬਣਤਰ ਨੇ ਬਿਨਾਂ ਕਿਸੇ ਬਦਲਾਅ ਦੇ ਛੱਡਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। ਜਿਸਦੀ ਲੋੜ ਸੀ ਉਹ ਵੈੱਬ ਸਰੋਤ ਤੋਂ ਸਾਰੇ ਇਵੈਂਟਾਂ ਦੀ ਡੁਪਲੀਕੇਟ ਕਰਨ ਦੀ ਸੀ ਜਿੱਥੇ ਪਿਕਸਲ ਸਾਡੇ ਬੈਕਐਂਡ ਤੇ ਸਥਾਪਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਿਵੇਂ ਕਿ ਇਹ ਪਤਾ ਚਲਦਾ ਹੈ, ਇਹ ਕਰਨਾ ਆਸਾਨ ਹੈ. JavaScript ਪਿਕਸਲ ਨੇ ਮੂਲ GA ਲਾਇਬ੍ਰੇਰੀ ਵਿਧੀ ਨੂੰ ਇੱਕ ਨਵੇਂ ਨਾਲ ਓਵਰਰਾਈਡ ਕੀਤਾ ਹੈ ਜੋ ਸਾਡੇ ਸਿਸਟਮ ਵਿੱਚ ਇਵੈਂਟ ਦੀ ਡੁਪਲੀਕੇਟ ਹੈ।

//'ga' - стандартное название переменной Google Analytics
if (window.ga) {
    ga(tracker => {
        var originalSendHitTask = tracker.get('sendHitTask');
        tracker.set('sendHitTask', (model) => {
            var payLoad = model.get('hitPayload');
            //отправка оригинального события в GA
            originalSendHitTask(model);
            let jsonPayload = this.parseQuery(payLoad);
            //отправка события в наш сервис
            this.send3p('ga', jsonPayload);
        });
    });
}

ਸੈਗਮੈਂਟ ਪਿਕਸਲ ਦੇ ਨਾਲ, ਸਭ ਕੁਝ ਸਰਲ ਹੈ, ਇਸ ਵਿੱਚ ਮਿਡਲਵੇਅਰ ਵਿਧੀਆਂ ਹਨ, ਅਤੇ ਅਸੀਂ ਉਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ।

//'analytics' - стандартное название переменной Segment
if (window.analytics) {
    if (window.analytics.addSourceMiddleware) {
        window.analytics.addSourceMiddleware(chain => {
            try {
		//дублирование события в наш сервис
                this.send3p('ajs', chain.payload);
            } catch (e) {
                LOG.warn('Failed to send an event', e)
            }
	    //отправка оригинального события в Segment
            chain.next(chain.payload);
        });
    } else {
        LOG.warn("Invalid interceptor state. Analytics js initialized, but not completely");
    }
} else {
    LOG.warn('Analytics.js listener is not set.');
}

ਇਵੈਂਟਾਂ ਦੀ ਨਕਲ ਕਰਨ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਆਰਬਿਟਰੇਰੀ json ਭੇਜਣ ਦੀ ਯੋਗਤਾ ਸ਼ਾਮਲ ਕੀਤੀ ਹੈ:

//Отправка событий с произвольным json объектом
eventN.track('product_page_view', {
    product_id: '1e48fb70-ef12-4ea9-ab10-fd0b910c49ce',
    product_price: 399.99,
    price_currency: 'USD'
    product_release_start: '2020-09-25T12:38:27.763000Z'
});

ਅੱਗੇ, ਆਓ ਸਰਵਰ ਸਾਈਡ ਬਾਰੇ ਗੱਲ ਕਰੀਏ. ਬੈਕਐਂਡ ਨੂੰ http ਬੇਨਤੀਆਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਵਾਧੂ ਜਾਣਕਾਰੀ ਨਾਲ ਭਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਜੀਓਡਾਟਾ (ਧੰਨਵਾਦ ਅਧਿਕਤਮ ਦਿਮਾਗ ਇਸਦੇ ਲਈ) ਅਤੇ ਡੇਟਾਬੇਸ ਨੂੰ ਲਿਖੋ। ਅਸੀਂ ਸੇਵਾ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਸੁਵਿਧਾਜਨਕ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਸੀ ਤਾਂ ਜੋ ਇਸਦੀ ਵਰਤੋਂ ਘੱਟੋ-ਘੱਟ ਸੰਰਚਨਾ ਨਾਲ ਕੀਤੀ ਜਾ ਸਕੇ। ਅਸੀਂ ਇਨਕਮਿੰਗ ਈਵੈਂਟ json ਦੀ ਬਣਤਰ ਦੇ ਅਧਾਰ ਤੇ ਡੇਟਾ ਸਕੀਮਾ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਹੈ। ਡੇਟਾ ਕਿਸਮਾਂ ਨੂੰ ਮੁੱਲਾਂ ਦੁਆਰਾ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਨੇਸਟਡ ਵਸਤੂਆਂ ਨੂੰ ਕੰਪੋਜ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸਮਤਲ ਬਣਤਰ ਵਿੱਚ ਘਟਾਇਆ ਜਾਂਦਾ ਹੈ:

//входящий json
{
  "field_1":  {
    "sub_field_1": "text1",
    "sub_field_2": 100
  },
  "field_2": "text2",
  "field_3": {
    "sub_field_1": {
      "sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
    }
  }
}

//результат
{
  "field_1_sub_field_1":  "text1",
  "field_1_sub_field_2":  100,
  "field_2": "text2",
  "field_3_sub_field_1_sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
}

ਹਾਲਾਂਕਿ, ਐਰੇ ਨੂੰ ਵਰਤਮਾਨ ਵਿੱਚ ਸਤਰ ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ। ਸਾਰੇ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ ਦੁਹਰਾਉਣ ਵਾਲੇ ਖੇਤਰਾਂ ਦਾ ਸਮਰਥਨ ਨਹੀਂ ਕਰਦੇ ਹਨ। ਵਿਕਲਪਿਕ ਮੈਪਿੰਗ ਨਿਯਮਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਖੇਤਰ ਦੇ ਨਾਮ ਬਦਲਣਾ ਜਾਂ ਉਹਨਾਂ ਨੂੰ ਹਟਾਉਣਾ ਵੀ ਸੰਭਵ ਹੈ। ਉਹ ਤੁਹਾਨੂੰ ਡਾਟਾ ਸਕੀਮਾ ਨੂੰ ਬਦਲਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ, ਜੇ ਲੋੜ ਹੋਵੇ, ਜਾਂ ਇੱਕ ਡਾਟਾ ਕਿਸਮ ਨੂੰ ਦੂਜੇ ਵਿੱਚ ਕਾਸਟ ਕਰੋ। ਉਦਾਹਰਨ ਲਈ, ਜੇ json ਖੇਤਰ ਵਿੱਚ ਟਾਈਮਸਟੈਂਪ ਵਾਲੀ ਇੱਕ ਸਤਰ ਹੈ (ਖੇਤਰ_3_sub_field_1_sub_sub_field_1 ਉਪਰੋਕਤ ਉਦਾਹਰਨ ਤੋਂ), ਫਿਰ ਟਾਈਮਸਟੈਂਪ ਕਿਸਮ ਦੇ ਨਾਲ ਡੇਟਾਬੇਸ ਵਿੱਚ ਇੱਕ ਖੇਤਰ ਬਣਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ ਸੰਰਚਨਾ ਵਿੱਚ ਇੱਕ ਮੈਪਿੰਗ ਨਿਯਮ ਲਿਖਣ ਦੀ ਲੋੜ ਹੈ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਫੀਲਡ ਦੀ ਡੇਟਾ ਕਿਸਮ ਪਹਿਲਾਂ json ਮੁੱਲ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਫਿਰ ਕਿਸਮ ਕਾਸਟਿੰਗ ਨਿਯਮ (ਜੇਕਰ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ ਹੈ) ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਅਸੀਂ 4 ਮੁੱਖ ਡਾਟਾ ਕਿਸਮਾਂ ਦੀ ਪਛਾਣ ਕੀਤੀ ਹੈ: STRING, FLOAT64, INT64 ਅਤੇ TIMESTAMP। ਮੈਪਿੰਗ ਅਤੇ ਕਾਸਟਿੰਗ ਨਿਯਮ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ:

rules:
  - "/field_1/subfield_1 -> " #правило удаления поля
  - "/field_2/subfield_1 -> /field_10/subfield_1" #правило переноса поля
  - "/field_3/subfield_1/subsubfield_1 -> (timestamp) /field_20" #правило переноса поля и приведения типа

ਡਾਟਾ ਕਿਸਮ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਐਲਗੋਰਿਦਮ:

• json struct ਨੂੰ ਫਲੈਟ struct ਵਿੱਚ ਬਦਲੋ
• ਮੁੱਲਾਂ ਦੁਆਰਾ ਖੇਤਰਾਂ ਦੀ ਡਾਟਾ ਕਿਸਮ ਦਾ ਨਿਰਧਾਰਨ ਕਰਨਾ
• ਮੈਪਿੰਗ ਅਤੇ ਟਾਈਪ ਕਾਸਟਿੰਗ ਨਿਯਮਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨਾ

ਫਿਰ ਆਉਣ ਵਾਲੇ json ਢਾਂਚੇ ਤੋਂ:

{
    "product_id":  "1e48fb70-ef12-4ea9-ab10-fd0b910c49ce",
    "product_price": 399.99,
    "price_currency": "USD",
    "product_type": "supplies",
    "product_release_start": "2020-09-25T12:38:27.763000Z",
    "images": {
      "main": "picture1",
      "sub":  "picture2"
    }
}

ਡਾਟਾ ਸਕੀਮਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਵੇਗਾ:

"product_id" character varying,
"product_price" numeric (38,18),
"price_currency" character varying,
"product_type" character varying,
"product_release_start" timestamp,
"images_main" character varying,
"images_sub" character varying

ਅਸੀਂ ਇਹ ਵੀ ਸੋਚਿਆ ਕਿ ਉਪਭੋਗਤਾ ਨੂੰ ਹੋਰ ਮਾਪਦੰਡਾਂ ਦੇ ਅਨੁਸਾਰ ਡੇਟਾਬੇਸ ਵਿੱਚ ਵਿਭਾਗੀਕਰਨ ਜਾਂ ਸਪਲਿਟ ਡੇਟਾ ਸਥਾਪਤ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਸਾਰਣੀ ਦੇ ਨਾਮ ਨੂੰ ਸਥਿਰ ਵਜੋਂ ਸੈੱਟ ਕਰਨ ਦੀ ਯੋਗਤਾ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਜਾਂ ਸਮੀਕਰਨ ਸੰਰਚਨਾ ਵਿੱਚ. ਹੇਠਾਂ ਦਿੱਤੀ ਉਦਾਹਰਨ ਵਿੱਚ, ਇਵੈਂਟ ਨੂੰ ਉਤਪਾਦ_ਕਿਸਮ ਅਤੇ _ਟਾਈਮਸਟੈਂਪ ਖੇਤਰਾਂ (ਉਦਾਹਰਣ ਲਈ ਸਪਲਾਈ_2020_10):

tableName: '{{.product_type}}_{{._timestamp.Format "2006_01"}}'

ਹਾਲਾਂਕਿ, ਆਉਣ ਵਾਲੀਆਂ ਘਟਨਾਵਾਂ ਦੀ ਬਣਤਰ ਰਨਟਾਈਮ 'ਤੇ ਬਦਲ ਸਕਦੀ ਹੈ। ਅਸੀਂ ਮੌਜੂਦਾ ਟੇਬਲ ਦੀ ਬਣਤਰ ਅਤੇ ਆਉਣ ਵਾਲੀ ਘਟਨਾ ਦੀ ਬਣਤਰ ਵਿੱਚ ਅੰਤਰ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇੱਕ ਐਲਗੋਰਿਦਮ ਲਾਗੂ ਕੀਤਾ ਹੈ। ਜੇਕਰ ਕੋਈ ਅੰਤਰ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਸਾਰਣੀ ਨੂੰ ਨਵੇਂ ਖੇਤਰਾਂ ਨਾਲ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾਵੇਗਾ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਪੈਚ SQL ਪੁੱਛਗਿੱਛ ਦੀ ਵਰਤੋਂ ਕਰੋ:

#Пример для Postgres
ALTER TABLE "schema"."table" ADD COLUMN new_column character varying

ਆਰਕੀਟੈਕਚਰ

ਤੁਹਾਨੂੰ ਫਾਈਲ ਸਿਸਟਮ ਤੇ ਇਵੈਂਟਸ ਲਿਖਣ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਿੱਧੇ ਡੇਟਾਬੇਸ ਵਿੱਚ ਲਿਖਣ ਦੀ ਨਹੀਂ? ਡਾਟਾਬੇਸ ਹਮੇਸ਼ਾ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਸੰਮਿਲਨਾਂ ਦੇ ਨਾਲ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਨਹੀਂ ਦਿਖਾਉਂਦੇ (postgres ਸਿਫਾਰਸ਼ਾਂ). ਅਜਿਹਾ ਕਰਨ ਲਈ, ਲੌਗਰ ਇੱਕ ਫਾਈਲ ਵਿੱਚ ਆਉਣ ਵਾਲੀਆਂ ਘਟਨਾਵਾਂ ਨੂੰ ਲਿਖਦਾ ਹੈ ਅਤੇ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਵੱਖਰੇ ਗੋਰਟੀਨ (ਥ੍ਰੈਡ) ਵਿੱਚ ਫਾਈਲ ਰੀਡਰ ਫਾਈਲ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ, ਫਿਰ ਡੇਟਾ ਸਕੀਮ ਦੀ ਪਰਿਵਰਤਨ ਅਤੇ ਪਰਿਭਾਸ਼ਾ ਹੁੰਦੀ ਹੈ। ਟੇਬਲ ਮੈਨੇਜਰ ਦੁਆਰਾ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਤੋਂ ਬਾਅਦ ਕਿ ਟੇਬਲ ਸਕੀਮਾ ਅੱਪ-ਟੂ-ਡੇਟ ਹੈ, ਡੇਟਾ ਨੂੰ ਇੱਕ ਬੈਚ ਵਿੱਚ ਡੇਟਾਬੇਸ ਵਿੱਚ ਲਿਖਿਆ ਜਾਵੇਗਾ। ਇਸ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਡੇਟਾਬੇਸ ਵਿੱਚ ਸਿੱਧਾ ਡੇਟਾ ਲਿਖਣ ਦੀ ਯੋਗਤਾ ਨੂੰ ਜੋੜਿਆ, ਪਰ ਅਸੀਂ ਇਸ ਮੋਡ ਦੀ ਵਰਤੋਂ ਉਹਨਾਂ ਘਟਨਾਵਾਂ ਲਈ ਕਰਦੇ ਹਾਂ ਜੋ ਬਹੁਤੀਆਂ ਨਹੀਂ ਹਨ - ਉਦਾਹਰਨ ਲਈ, ਪਰਿਵਰਤਨ।

ਓਪਨ ਸੋਰਸ ਅਤੇ ਭਵਿੱਖ ਦੀਆਂ ਯੋਜਨਾਵਾਂ

ਕਿਸੇ ਸਮੇਂ, ਸੇਵਾ ਇੱਕ ਪੂਰੇ ਉਤਪਾਦ ਦੀ ਤਰ੍ਹਾਂ ਬਣ ਗਈ ਅਤੇ ਅਸੀਂ ਇਸਨੂੰ ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਰੱਖਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। ਇਸ ਸਮੇਂ, Postgres, ClickHouse, BigQuery, Redshift, S3, Snowflake ਨਾਲ ਏਕੀਕਰਣ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਹੈ। ਸਾਰੇ ਏਕੀਕਰਣ ਬੈਚ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾ ਲੋਡਿੰਗ ਮੋਡ ਦੋਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ। API ਦੁਆਰਾ ਬੇਨਤੀਆਂ ਲਈ ਸਮਰਥਨ ਜੋੜਿਆ ਗਿਆ।

ਮੌਜੂਦਾ ਏਕੀਕਰਣ ਸਕੀਮ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

ਹਾਲਾਂਕਿ ਸੇਵਾ ਨੂੰ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਡੌਕਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ), ਸਾਡੇ ਕੋਲ ਵੀ ਹੈ ਹੋਸਟ ਕੀਤਾ ਸੰਸਕਰਣ, ਜਿੱਥੇ ਤੁਸੀਂ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦੇ ਨਾਲ ਏਕੀਕਰਣ ਸੈਟ ਅਪ ਕਰ ਸਕਦੇ ਹੋ, ਆਪਣੇ ਡੋਮੇਨ ਵਿੱਚ ਇੱਕ CNAME ਜੋੜ ਸਕਦੇ ਹੋ, ਅਤੇ ਇਵੈਂਟਾਂ ਦੀ ਸੰਖਿਆ 'ਤੇ ਅੰਕੜੇ ਦੇਖ ਸਕਦੇ ਹੋ। ਸਾਡੀਆਂ ਤਤਕਾਲ ਯੋਜਨਾਵਾਂ ਵੈੱਬ ਸਰੋਤਾਂ ਤੋਂ ਨਾ ਸਿਰਫ਼ ਅੰਕੜਿਆਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਜੋੜਨ ਦੀਆਂ ਹਨ, ਸਗੋਂ ਬਾਹਰੀ ਡੇਟਾ ਸਰੋਤਾਂ ਤੋਂ ਵੀ ਡੇਟਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਆਪਣੀ ਪਸੰਦ ਦੇ ਕਿਸੇ ਵੀ ਸਟੋਰੇਜ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਜੋੜਨਾ ਹੈ!

→ GitHub
→ ਦਸਤਾਵੇਜ਼
→ ਢਿੱਲ

ਸਾਨੂੰ ਖੁਸ਼ੀ ਹੋਵੇਗੀ ਜੇਕਰ EventNative ਤੁਹਾਡੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਤੁਹਾਡੀ ਮਦਦ ਕਰੇਗਾ!

ਸਿਰਫ਼ ਰਜਿਸਟਰਡ ਉਪਭੋਗਤਾ ਹੀ ਸਰਵੇਖਣ ਵਿੱਚ ਹਿੱਸਾ ਲੈ ਸਕਦੇ ਹਨ। ਸਾਈਨ - ਇਨ, ਤੁਹਾਡਾ ਸੁਆਗਤ ਹੈ.

ਤੁਹਾਡੀ ਕੰਪਨੀ ਵਿੱਚ ਕਿਹੜਾ ਅੰਕੜਾ ਸੰਗ੍ਰਹਿ ਪ੍ਰਣਾਲੀ ਵਰਤੀ ਜਾਂਦੀ ਹੈ

• 48,0%ਗੂਗਲ ਵਿਸ਼ਲੇਸ਼ਣ 12

• 4,0%ਖੰਡ 1

• 16,0%ਹੋਰ (ਟਿੱਪਣੀਆਂ ਵਿੱਚ ਲਿਖੋ) 4

• 32,0%ਤੁਹਾਡੀ ਸੇਵਾ ਨੂੰ ਲਾਗੂ ਕੀਤਾ 8

25 ਉਪਭੋਗਤਾਵਾਂ ਨੇ ਵੋਟ ਕੀਤਾ। 6 ਉਪਭੋਗਤਾ ਬਚੇ ਹੋਏ ਹਨ।

ਸਰੋਤ: www.habr.com