ကျွန်ုပ်တို့၏ open source ၏သမိုင်း- Go တွင် ခွဲခြမ်းစိတ်ဖြာခြင်းဝန်ဆောင်မှုကို ကျွန်ုပ်တို့ မည်သို့ပြုလုပ်ပြီး ၎င်းကို လူသိရှင်ကြားအသုံးပြုနိုင်အောင် ပြုလုပ်ထားပုံ

လက်ရှိတွင်၊ ကမ္ဘာပေါ်ရှိ ကုမ္ပဏီတိုင်းနီးပါးသည် ဝဘ်အရင်းအမြစ်တစ်ခုပေါ်တွင် သုံးစွဲသူလုပ်ဆောင်မှုများနှင့်ပတ်သက်သည့် စာရင်းဇယားများကို စုဆောင်းလျက်ရှိသည်။ စေ့ဆော်မှုမှာ ရှင်းရှင်းလင်းလင်းဖြစ်သည် – ကုမ္ပဏီများသည် ၎င်းတို့၏ ထုတ်ကုန်/ဝဘ်ဆိုက်ကို မည်သို့အသုံးပြုနေသည်ကို သိလိုပြီး ၎င်းတို့၏အသုံးပြုသူများကို ပိုမိုနားလည်သဘောပေါက်ရန် လိုအပ်ပါသည်။ ဟုတ်ပါတယ်၊ ဒီပြဿနာကိုဖြေရှင်းဖို့ စျေးကွက်မှာ ကိရိယာအများအပြားရှိပါတယ် - ဒက်ရှ်ဘုတ်များနှင့် ဂရပ်ပုံစံဖြင့် ဒေတာကိုပေးဆောင်သည့် ခွဲခြမ်းစိတ်ဖြာမှုစနစ်များမှ (ဥပမာ၊ Google Analytics) မည်သည့်သိုလှောင်မှုတွင်မဆို မတူညီသောရင်းမြစ်များမှ ဒေတာများကို စုဆောင်းပြီး စုစည်းခွင့်ပြုသည့် Customer Data Platform သို့ (ဥပမာ၊ အပိုင်းအစိတ်).

ဒါပေမယ့် မဖြေရှင်းရသေးတဲ့ ပြဿနာတစ်ခုကို ကျွန်တော်တို့ တွေ့ရှိခဲ့ပါတယ်။ ဒီတော့ မွေးတယ်။ EventNative — open-source ခွဲခြမ်းစိတ်ဖြာခြင်းဝန်ဆောင်မှု။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်ဝန်ဆောင်မှုကို ဖော်ဆောင်ရန် အဘယ်ကြောင့်သွားခဲ့ရသနည်း၊ ၎င်းသည် ကျွန်ုပ်တို့အား ပေးဆောင်ခဲ့သည့်အရာများနှင့် အဆုံးတွင် (ကုဒ်အပိုင်းအစများဖြင့်) ဖြစ်ပျက်ခဲ့ပုံအကြောင်း ဖြတ်တောက်မှုအောက်တွင် ဖတ်ပါ။

ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်ဝန်ဆောင်မှုကို အဘယ်ကြောင့် တီထွင်သင့်သနည်း။

အဲဒါက ကိုးဆယ်ကျော်၊ ငါတို့ အတတ်နိုင်ဆုံး ရှင်သန်ခဲ့တယ်။ 2019 ခုနှစ်တွင် ကျွန်ုပ်တို့သည် ပထမဆုံး Customer Data Platform API ကို တီထွင်ခဲ့သည်။ kSenseပိုမိုအဆင်ပြေသောဒေတာခွဲခြမ်းစိတ်ဖြာမှု၊ အသုံးပြုသူများစွာသည် ကျွန်ုပ်တို့၏ဒေတာခွဲခြမ်းစိတ်ဖြာမှုပလက်ဖောင်းကို အထူးသဖြင့် Google Analytics (နောင်တွင် GA ဟုရည်ညွှန်းသည်) ကိုအသုံးပြုသည်ကို ကျွန်ုပ်တို့သတိပြုမိပါသည်။ သုံးစွဲသူအချို့နှင့် စကားပြောခဲ့ပြီး ၎င်းတို့သည် GA ကို အသုံးပြု၍ ရရှိသည့် ၎င်းတို့၏ ထုတ်ကုန်ဆိုင်ရာ ခွဲခြမ်းစိတ်ဖြာမှုဒေတာ လိုအပ်ကြောင်း သိရှိခဲ့ရသော်လည်း၊ Google က နမူနာဒေတာ GA User Interface အများအပြားအတွက် အဆင်ပြေမှုစံနှုန်းတစ်ခုမဟုတ်ပါ။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏အသုံးပြုသူများနှင့် လုံလောက်သောစကားပြောဆိုမှုများရှိခဲ့ပြီး အများအပြားသည် Segment ပလပ်ဖောင်းကိုလည်း အသုံးပြုကြောင်း သဘောပေါက်ခဲ့သည် (ထိုနည်းအားဖြင့် လွန်ခဲ့သည့်ရက်အနည်းငယ်ကပင်၊ ဒေါ်လာ ၃.၂ ဘီလီယံဖြင့် ရောင်းချခဲ့သည်။).

၎င်းတို့သည် ၎င်းတို့၏ ဝဘ်ရင်းမြစ်တွင် အပိုင်း javascript pixel တစ်ခုကို ထည့်သွင်းပြီး ၎င်းတို့၏ အသုံးပြုသူ အပြုအမူဒေတာကို သတ်မှတ်ထားသည့် ဒေတာဘေ့စ် (ဥပမာ Postgres) အတွင်းသို့ တင်ဆောင်သွားခဲ့သည်။ ဒါပေမယ့် Segment မှာလည်း အနုတ်လက္ခဏာဆောင်တဲ့ စျေးနှုန်းရှိပါတယ်။ ဥပမာအားဖြင့်၊ ဝဘ်အရင်းအမြစ်တစ်ခုတွင် 90,000 MTU (လစဉ်ခြေရာခံအသုံးပြုသူများ) ရှိပါက ငွေကိုင်သူထံသို့ တစ်လလျှင် ~ $1,000 ပေးဆောင်ရန် လိုအပ်ပါသည်။ တတိယပြဿနာလည်းရှိပါသည် - အချို့သောဘရောက်ဆာ extension များ (ဥပမာ AdBlock) သည် ခွဲခြမ်းစိတ်ဖြာမှုစုဆောင်းမှုကို ပိတ်ဆို့ထားသည်။ browser မှ http တောင်းဆိုချက်များကို GA နှင့် Segment domains များသို့ ပေးပို့ခဲ့သည်။ ကျွန်ုပ်တို့၏ဖောက်သည်များ၏ဆန္ဒအပေါ်အခြေခံ၍ ကျွန်ုပ်တို့သည် ဒေတာအစုံအလင်ကို (နမူနာမပါဘဲ) အခမဲ့စုဆောင်းပြီး ကျွန်ုပ်တို့၏ကိုယ်ပိုင်အခြေခံအဆောက်အအုံအတွက် လုပ်ဆောင်နိုင်သည့် ခွဲခြမ်းစိတ်ဖြာမှုဝန်ဆောင်မှုကို ဖန်တီးထားပါသည်။

ဝန်ဆောင်မှုဘယ်လိုအလုပ်လုပ်လဲ။

ဝန်ဆောင်မှုတွင် အပိုင်းသုံးပိုင်းပါဝင်သည်- javascript pixel (နောက်ပိုင်းတွင် ကျွန်ုပ်တို့ စာစီစာရိုက်သို့ ပြန်လည်ရေးသားခဲ့သည်)၊ GO ဘာသာစကားဖြင့် လုပ်ဆောင်ခဲ့သော ဆာဗာအစိတ်အပိုင်းတစ်ခု၊ ၎င်းသည် Redshift နှင့် BigQuery ကို အိမ်တွင်းဒေတာဘေ့စ်အဖြစ် အသုံးပြုရန် စီစဉ်ထားခဲ့သည် (နောက်ပိုင်းတွင် ၎င်းတို့သည် Postgres အတွက် ပံ့ပိုးမှု ထပ်လောင်းထည့်သွင်းခဲ့သည်။ , ClickHouse နှင့် Snowflake ) ။

GA နှင့် Segment ဖြစ်ရပ်များ၏ ဖွဲ့စည်းပုံသည် မပြောင်းလဲဘဲ ထွက်ခွာရန် ဆုံးဖြတ်ခဲ့သည်။ လိုအပ်သမျှအရာအားလုံးသည် ကျွန်ုပ်တို့၏နောက်ကွယ်တွင် pixel ကိုထည့်သွင်းထားသည့် ဝဘ်အရင်းအမြစ်မှဖြစ်ရပ်အားလုံးကို မိတ္တူပွားရန်ဖြစ်သည်။ ထွက်လာတဲ့အတိုင်း၊ ဒါကလုပ်ဖို့လွယ်တယ်။ Javascript pixel သည် မူရင်း GA စာကြည့်တိုက်နည်းလမ်းကို ကျွန်ုပ်တို့၏စနစ်ရှိ အဖြစ်အပျက်ကို ထပ်ပွားစေသော အသစ်တစ်ခုဖြင့် လွှမ်းမိုးထားသည်။

//'ga' - стандартное название переменной Google Analytics
if (window.ga) {
    ga(tracker => {
        var originalSendHitTask = tracker.get('sendHitTask');
        tracker.set('sendHitTask', (model) => {
            var payLoad = model.get('hitPayload');
            //отправка оригинального события в GA
            originalSendHitTask(model);
            let jsonPayload = this.parseQuery(payLoad);
            //отправка события в наш сервис
            this.send3p('ga', jsonPayload);
        });
    });
}

Segment pixel ဖြင့်၊ အရာအားလုံးပိုမိုရိုးရှင်းသည်၊ ၎င်းတွင် အလယ်တန်းဆော့ဖ်ဝဲနည်းလမ်းများရှိပြီး ၎င်းတို့ထဲမှတစ်ခုကို ကျွန်ုပ်တို့အသုံးပြုခဲ့သည်။

//'analytics' - стандартное название переменной Segment
if (window.analytics) {
    if (window.analytics.addSourceMiddleware) {
        window.analytics.addSourceMiddleware(chain => {
            try {
		//дублирование события в наш сервис
                this.send3p('ajs', chain.payload);
            } catch (e) {
                LOG.warn('Failed to send an event', e)
            }
	    //отправка оригинального события в Segment
            chain.next(chain.payload);
        });
    } else {
        LOG.warn("Invalid interceptor state. Analytics js initialized, but not completely");
    }
} else {
    LOG.warn('Analytics.js listener is not set.');
}

အဖြစ်အပျက်များကို ကူးယူခြင်းအပြင်၊ ကျွန်ုပ်တို့သည် မထင်သလို json ပေးပို့နိုင်သည့် စွမ်းရည်ကို ထည့်သွင်းထားသည်-

//Отправка событий с произвольным json объектом
eventN.track('product_page_view', {
    product_id: '1e48fb70-ef12-4ea9-ab10-fd0b910c49ce',
    product_price: 399.99,
    price_currency: 'USD'
    product_release_start: '2020-09-25T12:38:27.763000Z'
});

နောက်တစ်ခု၊ server side အကြောင်းပြောကြည့်ရအောင်။ နောက်ခံလူသည် http တောင်းဆိုမှုများကို လက်ခံသင့်သည်၊ ၎င်းတို့အား အပိုအချက်အလက်များ၊ ဥပမာ၊ geodata (ကျေးဇူးတင်ပါသည်။ အမြင့်ဆုံးစိတ် အဲဒါအတွက်) ဒေတာဘေ့စကိုရေးပါ။ အနည်းငယ်မျှသာ ဖွဲ့စည်းမှုဖြင့် အသုံးပြုနိုင်ရန် ဝန်ဆောင်မှုကို တတ်နိုင်သမျှ အဆင်ပြေအောင် ပြုလုပ်ပေးလိုပါသည်။ ဝင်လာသည့်ဖြစ်ရပ် json ၏ဖွဲ့စည်းပုံအပေါ် အခြေခံ၍ ဒေတာအစီအစဉ်ကို ဆုံးဖြတ်ခြင်း၏ လုပ်ဆောင်နိုင်စွမ်းကို ကျွန်ုပ်တို့ အကောင်အထည်ဖော်ခဲ့သည်။ ဒေတာအမျိုးအစားများကို တန်ဖိုးများဖြင့် သတ်မှတ်သည်။ မြှုပ်ထားသော အရာဝတ္ထုများကို ပြိုကွဲပျက်စီးပြီး ပြားချပ်ချပ်ဖွဲ့စည်းပုံအဖြစ် လျှော့ချသည်-

//входящий json
{
  "field_1":  {
    "sub_field_1": "text1",
    "sub_field_2": 100
  },
  "field_2": "text2",
  "field_3": {
    "sub_field_1": {
      "sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
    }
  }
}

//результат
{
  "field_1_sub_field_1":  "text1",
  "field_1_sub_field_2":  100,
  "field_2": "text2",
  "field_3_sub_field_1_sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
}

သို့သော်၊ array များသည် လောလောဆယ်တွင် ရိုးရိုးတန်းတန်းများအဖြစ်သို့ ပြောင်းလဲပါသည်။ ဆက်စပ်ဒေတာဘေ့စ်အားလုံးသည် ထပ်ခါတလဲလဲ အကွက်များကို မပံ့ပိုးပါ။ စိတ်ကြိုက်မြေပုံဆွဲခြင်းစည်းမျဉ်းများကို အသုံးပြု၍ အကွက်အမည်များကို ပြောင်းလဲနိုင်သည် သို့မဟုတ် ၎င်းတို့ကို ဖယ်ရှားနိုင်သည်။ ၎င်းတို့သည် သင့်အား လိုအပ်ပါက data schema ကိုပြောင်းလဲရန် သို့မဟုတ် data type တစ်ခုကို အခြားတစ်ခုသို့ ကာစ်လုပ်ခွင့်ပြုသည်။ ဥပမာ၊ json အကွက်တွင် timestamp ပါသော စာကြောင်းတစ်ခုပါရှိလျှင် (field_3_sub_field_1_sub_sub_field_1 အထက်ဖော်ပြပါ ဥပမာမှ) ထို့နောက် အချိန်တံဆိပ်ရိုက်နှိပ်ထားသော ဒေတာဘေ့စ်တွင် အကွက်တစ်ခုကို ဖန်တီးရန်အတွက်၊ ဖွဲ့စည်းမှုပုံစံတွင် မြေပုံရေးဆွဲခြင်းဆိုင်ရာ စည်းကမ်းချက်တစ်ခုကို ရေးရန် လိုအပ်သည်။ တစ်နည်းဆိုရသော်၊ အကွက်၏ ဒေတာအမျိုးအစားကို json တန်ဖိုးဖြင့် ဦးစွာဆုံးဖြတ်ပြီး၊ ထို့နောက် ကာစ်တ်ပုံစံစည်းမျဉ်း (ပြင်ဆင်သတ်မှတ်ထားလျှင်) ကို အသုံးပြုပါသည်။ ကျွန်ုပ်တို့သည် အဓိကဒေတာအမျိုးအစား 4 ခုကို ရှာဖွေတွေ့ရှိခဲ့သည်- STRING၊ FLOAT64၊ INT64 နှင့် TIMESTAMP။ မြေပုံဆွဲခြင်းနှင့် Casting စည်းမျဉ်းများသည် ဤကဲ့သို့ဖြစ်သည်-

rules:
  - "/field_1/subfield_1 -> " #правило удаления поля
  - "/field_2/subfield_1 -> /field_10/subfield_1" #правило переноса поля
  - "/field_3/subfield_1/subsubfield_1 -> (timestamp) /field_20" #правило переноса поля и приведения типа

ဒေတာအမျိုးအစားကို ဆုံးဖြတ်ရန်အတွက် အယ်လဂိုရီသမ်-

• json struct ကို flat struct သို့ပြောင်းပါ။
• ဒေတာအမျိုးအစားကို တန်ဖိုးများဖြင့် သတ်မှတ်ခြင်း။
• မြေပုံဆွဲခြင်းနှင့် ရိုက်သွင်းခြင်း စည်းမျဉ်းများကို အသုံးပြုခြင်း။

ထို့နောက် ဝင်လာသော json ဖွဲ့စည်းပုံမှ၊

{
    "product_id":  "1e48fb70-ef12-4ea9-ab10-fd0b910c49ce",
    "product_price": 399.99,
    "price_currency": "USD",
    "product_type": "supplies",
    "product_release_start": "2020-09-25T12:38:27.763000Z",
    "images": {
      "main": "picture1",
      "sub":  "picture2"
    }
}

data schema ကို ရရှိလိမ့်မည်-

"product_id" character varying,
"product_price" numeric (38,18),
"price_currency" character varying,
"product_type" character varying,
"product_release_start" timestamp,
"images_main" character varying,
"images_sub" character varying

အသုံးပြုသူသည် အခြားသတ်မှတ်ချက်များနှင့်အညီ ဒေတာဘေ့စ်တွင် အပိုင်းခွဲခြင်း သို့မဟုတ် ခွဲခြမ်းခြင်းတို့ကို သတ်မှတ်နိုင်သင့်ပြီး ဇယားအမည်ကို ကိန်းသေအဖြစ် သတ်မှတ်နိုင်စွမ်းကို အကောင်အထည်ဖော်နိုင်သည်ဟုလည်း ကျွန်ုပ်တို့ ယူဆပါသည်။ အသုံးအနှုန်း configuration တွင်။ အောက်ဖော်ပြပါ ဥပမာတွင်၊ product_type နှင့် _timestamp အကွက်များ၏ တန်ဖိုးများအပေါ် အခြေခံ၍ တွက်ချက်ထားသော အမည်တစ်ခုရှိသော ဇယားတစ်ခုတွင် အဖြစ်အပျက်ကို သိမ်းဆည်းသွားလိမ့်မည် (ဥပမာ၊ ထောက်ပံ့ပစ္စည်းများ_2020_10):

tableName: '{{.product_type}}_{{._timestamp.Format "2006_01"}}'

သို့သော်၊ ဝင်လာသောဖြစ်ရပ်များ၏ဖွဲ့စည်းပုံသည် runtime တွင်ပြောင်းလဲနိုင်သည်။ ရှိပြီးသားဇယားတစ်ခု၏ဖွဲ့စည်းပုံနှင့် အဝင်ဖြစ်ရပ်တစ်ခု၏ဖွဲ့စည်းပုံအကြား ခြားနားချက်ကို စစ်ဆေးရန်အတွက် အယ်လဂိုရီသမ်တစ်ခုကို ကျွန်ုပ်တို့အကောင်အထည်ဖော်ဆောင်ရွက်ထားပါသည်။ ကွဲပြားမှုကို တွေ့ရှိပါက ဇယားကို အကွက်အသစ်များဖြင့် အပ်ဒိတ်လုပ်မည်ဖြစ်သည်။ ဒါကိုလုပ်ဖို့၊ patch SQL query ကိုသုံးပါ။

#Пример для Postgres
ALTER TABLE "schema"."table" ADD COLUMN new_column character varying

ဗိသုကာအတတ်ပညာ

ဒေတာဘေ့စ်သို့ တိုက်ရိုက်ရေးရုံသာမကဘဲ ဖိုင်စနစ်တွင် အဖြစ်အပျက်များကို အဘယ်ကြောင့် ရေးသားရန် လိုအပ်သနည်း။ ထည့်သွင်းမှုများစွာဖြင့် ဒေတာဘေ့စ်များသည် မြင့်မားသောစွမ်းဆောင်ရည်ကို အမြဲပြသလေ့မရှိပါ (postgres အကြံပြုချက်များ) ထိုသို့လုပ်ဆောင်ရန်၊ Logger သည် ဖိုင်တစ်ခုသို့ ဝင်လာသည့်ဖြစ်ရပ်များကိုရေးပြီး သီးခြား goroutine (thread) ဖိုင်ဖတ်သူသည် ဖိုင်ကိုဖတ်သည်၊ ထို့နောက် data schema ၏ အသွင်ကူးပြောင်းမှုနှင့် အဓိပ္ပါယ်ဖွင့်ဆိုမှုတို့ကို လုပ်ဆောင်သည်။ Table manager သည် table schema ကို up-to-date ဖြစ်စေရန် သေချာပြီးနောက်၊ data များကို batch တစ်ခုတွင် database သို့ စာရေးပါမည်။ နောက်ပိုင်းတွင်၊ ကျွန်ုပ်တို့သည် ဒေတာဘေ့စ်သို့ တိုက်ရိုက် ဒေတာရေးနိုင်စွမ်းကို ပေါင်းထည့်လိုက်သော်လည်း၊ ဥပမာအားဖြင့် စကားများသော ဖြစ်ရပ်များအတွက် ဤမုဒ်ကို ကျွန်ုပ်တို့ အသုံးပြုပါသည်။

Open Source နှင့် အနာဂတ်အစီအစဉ်များ

တစ်ချိန်ချိန်တွင်၊ ဝန်ဆောင်မှုသည် ပြီးပြည့်စုံသော ထုတ်ကုန်တစ်ခုကဲ့သို့ ဖြစ်လာပြီး ၎င်းကို Open Source တွင် ထည့်ရန် ဆုံးဖြတ်ခဲ့သည်။ လောလောဆယ်တွင်၊ Postgres၊ ClickHouse၊ BigQuery၊ Redshift၊ S3၊ Snowflake တို့နှင့် ပေါင်းစည်းမှုကို အကောင်အထည် ဖော်ထားသည်။ ပေါင်းစည်းမှုအားလုံးသည် အသုတ်လိုက်နှင့် ဒေတာလွှင့်တင်ခြင်းမုဒ်နှစ်ခုလုံးကို ပံ့ပိုးပေးသည်။ API မှတစ်ဆင့် တောင်းဆိုမှုများအတွက် ပံ့ပိုးမှု ပေါင်းထည့်ထားသည်။

လက်ရှိပေါင်းစည်းမှုအစီအစဥ်သည် ဤကဲ့သို့ဖြစ်သည်-

ဝန်ဆောင်မှုကို အမှီအခိုကင်းစွာအသုံးပြုနိုင်သော်လည်း (ဥပမာ၊ Docker ကိုအသုံးပြုခြင်း) ကျွန်ုပ်တို့လည်းရှိသည်။ လက်ခံထားသောဗားရှင်းဒေတာဂိုဒေါင်နှင့် ပေါင်းစည်းခြင်းအား သင်ထည့်သွင်းနိုင်ပြီး၊ သင့်ဒိုမိန်းသို့ CNAME တစ်ခုထည့်ကာ ဖြစ်ရပ်အရေအတွက်အပေါ် စာရင်းဇယားများကို ကြည့်ရှုနိုင်သည့်နေရာ၊ ကျွန်ုပ်တို့၏ လတ်တလော အစီအစဉ်များသည် ဝဘ်ရင်းမြစ်တစ်ခုမှ စာရင်းအင်းများသာမက ပြင်ပဒေတာရင်းမြစ်များမှ ဒေတာများကိုပါ စုစည်းနိုင်ပြီး ၎င်းတို့ကို သင်နှစ်သက်ရာ သိုလှောင်မှုနေရာတွင် သိမ်းဆည်းရန်ဖြစ်သည်။

→ GitHub
→ စာရွက်စာတမ်းများ
→ ပျင်းရိ

EventNative သည် သင့်ပြဿနာများကို ကူညီဖြေရှင်းပေးမည်ဆိုပါက ဝမ်းမြောက်မိပါသည်။

စာရင်းသွင်းအသုံးပြုသူများသာ စစ်တမ်းတွင် ပါဝင်နိုင်ပါသည်။ ဆိုင်းအင်လုပ်ခြင်း, ကျေးဇူးပြု။

သင့်ကုမ္ပဏီတွင် မည်သည့်စာရင်းအင်း စုဆောင်းမှုစနစ်ကို အသုံးပြုသနည်း။

• 48,0%Google Analytics ၁၂

• 4,0%အပိုင်း ၁

• 16,0%အခြား (မှတ်ချက်များတွင်ရေးပါ) ၄

• 32,0%သင်၏ဝန်ဆောင်မှုကို အကောင်အထည်ဖော်ပါ ၈

အသုံးပြုသူ 25 ဦး မဲပေးခဲ့သည်။ အသုံးပြုသူ 6 ရှောင်နေခဲ့ပါတယ်။

source: www.habr.com