ប្រវត្តិនៃប្រភពបើកចំហរបស់យើង៖ របៀបដែលយើងបង្កើតសេវាកម្មវិភាគនៅក្នុង Go និងធ្វើឱ្យវាមានជាសាធារណៈ

បច្ចុប្បន្ននេះស្ទើរតែគ្រប់ក្រុមហ៊ុនទាំងអស់នៅលើពិភពលោកប្រមូលស្ថិតិអំពីសកម្មភាពរបស់អ្នកប្រើប្រាស់នៅលើធនធានគេហទំព័រ។ ការលើកទឹកចិត្តគឺច្បាស់ណាស់ - ក្រុមហ៊ុនចង់ដឹងពីរបៀបដែលផលិតផល/គេហទំព័ររបស់ពួកគេត្រូវបានប្រើប្រាស់ និងយល់កាន់តែច្បាស់អំពីអ្នកប្រើប្រាស់របស់ពួកគេ។ ជាការពិតណាស់ មានឧបករណ៍មួយចំនួនធំនៅលើទីផ្សារដើម្បីដោះស្រាយបញ្ហានេះ - ពីប្រព័ន្ធវិភាគដែលផ្តល់ទិន្នន័យក្នុងទម្រង់ជាផ្ទាំងគ្រប់គ្រង និងក្រាហ្វ (ឧទាហរណ៍ google បានវិភាគ) ទៅកាន់វេទិកាទិន្នន័យអតិថិជន ដែលអនុញ្ញាតឱ្យអ្នកប្រមូល និងប្រមូលផ្តុំទិន្នន័យពីប្រភពផ្សេងៗគ្នានៅក្នុងឃ្លាំងណាមួយ (ឧទាហរណ៍ ចម្រៀក).

ប៉ុន្តែ​យើង​បាន​រក​ឃើញ​បញ្ហា​ដែល​មិន​ទាន់​ត្រូវ​បាន​ដោះស្រាយ​នៅ​ឡើយ​ទេ។ ដូច្នេះកើតមក ព្រឹត្តិការណ៍ដើម - សេវាវិភាគប្រភពបើកចំហ។ សូមអានអំពីមូលហេតុដែលយើងសម្រេចចិត្តអភិវឌ្ឍសេវាកម្មផ្ទាល់ខ្លួនរបស់យើង អ្វីដែលវាផ្តល់ឱ្យយើង និងអ្វីដែលជាលទ្ធផលចុងក្រោយ (ជាមួយនឹងបំណែកនៃកូដ)។

ហេតុអ្វីយើងគួរអភិវឌ្ឍសេវាកម្មផ្ទាល់ខ្លួន?

វាជាទសវត្សរ៍ទី 2019 យើងបានរស់រានមានជីវិតល្អបំផុតដែលយើងអាចធ្វើបាន។ ឆ្នាំ XNUMX យើងបានបង្កើត API First Customer Data Platform kSenseដែលធ្វើឱ្យវាអាចប្រមូលផ្តុំទិន្នន័យពីប្រភពផ្សេងៗគ្នា (ការផ្សាយពាណិជ្ជកម្មតាម Facebook, Stripe, Salesforce, Google Play, Google Analytics ។ល។) សម្រាប់ការវិភាគទិន្នន័យកាន់តែងាយស្រួល ការកំណត់អត្តសញ្ញាណភាពអាស្រ័យ។ល។ យើងបានកត់សម្គាល់ឃើញថាអ្នកប្រើប្រាស់ជាច្រើនប្រើវេទិការបស់យើងសម្រាប់ការវិភាគទិន្នន័យជាពិសេស Google Analytics (តទៅនេះ GA) ។ យើងបាននិយាយទៅកាន់អ្នកប្រើប្រាស់មួយចំនួន ហើយបានរកឃើញថាពួកគេត្រូវការទិន្នន័យវិភាគសម្រាប់ផលិតផលរបស់ពួកគេដែលពួកគេទទួលបានដោយប្រើ GA ប៉ុន្តែ ទិន្នន័យគំរូរបស់ Google ហើយសម្រាប់មនុស្សជាច្រើន ចំណុចប្រទាក់អ្នកប្រើ GA មិនមែនជាស្តង់ដារនៃភាពងាយស្រួលនោះទេ។ យើងមានការសន្ទនាគ្រប់គ្រាន់ជាមួយអ្នកប្រើប្រាស់របស់យើង ហើយបានដឹងថាមនុស្សជាច្រើនក៏កំពុងប្រើប្រាស់វេទិកា Segment (ដែលតាមវិធីនេះ គឺទើបតែថ្ងៃមុន លក់ក្នុងតម្លៃ 3.2 ពាន់លានដុល្លារ).

ពួកគេបានដំឡើង Segment javascript pixel នៅលើធនធានគេហទំព័ររបស់ពួកគេ ហើយទិន្នន័យអំពីអាកប្បកិរិយារបស់អ្នកប្រើរបស់ពួកគេត្រូវបានផ្ទុកទៅក្នុងមូលដ្ឋានទិន្នន័យដែលបានបញ្ជាក់ (ឧទាហរណ៍ Postgres) ។ ប៉ុន្តែ Segment ក៏មានគុណវិបត្តិរបស់វាផងដែរ - តម្លៃ។ ឧទាហរណ៍ ប្រសិនបើធនធានគេហទំព័រមាន 90,000 MTU (អ្នកប្រើប្រាស់ដែលបានតាមដានប្រចាំខែ) នោះអ្នកត្រូវបង់ប្រាក់ ~ 1,000 ដុល្លារក្នុងមួយខែទៅឱ្យអ្នកគិតលុយ។ វាក៏មានបញ្ហាទីបីផងដែរ - ផ្នែកបន្ថែមកម្មវិធីរុករកមួយចំនួន (ដូចជា AdBlock) បានរារាំងការប្រមូលផ្តុំនៃការវិភាគដោយសារតែ ... សំណើ http ពីកម្មវិធីរុករកត្រូវបានផ្ញើទៅដែន GA និង Segment ។ ដោយផ្អែកលើបំណងប្រាថ្នារបស់អតិថិជនរបស់យើង យើងបានបង្កើតសេវាកម្មវិភាគដែលប្រមូលទិន្នន័យពេញលេញមួយ (ដោយគ្មានគំរូ) គឺឥតគិតថ្លៃ និងអាចដំណើរការលើហេដ្ឋារចនាសម្ព័ន្ធរបស់យើងផ្ទាល់។

របៀបដែលសេវាកម្មដំណើរការ

សេវាកម្មនេះមានបីផ្នែក៖ javascript pixel (ដែលក្រោយមកយើងសរសេរឡើងវិញជា typescript) ផ្នែក server ត្រូវបានអនុវត្តជាភាសា GO ហើយវាត្រូវបានគ្រោងប្រើ Redshift និង BigQuery ជាមូលដ្ឋានទិន្នន័យក្នុងផ្ទះ (ក្រោយមកពួកគេបានបន្ថែមការគាំទ្រសម្រាប់ Postgres, ClickHouse និង Snowflake) ។

វាត្រូវបានសម្រេចចិត្តចាកចេញពីរចនាសម្ព័ន្ធនៃព្រឹត្តិការណ៍ GA និង Segment មិនផ្លាស់ប្តូរ។ អ្វីទាំងអស់ដែលត្រូវការគឺចម្លងព្រឹត្តិការណ៍ទាំងអស់ពីធនធានគេហទំព័រដែលភីកសែលត្រូវបានដំឡើងទៅផ្នែកខាងក្រោយរបស់យើង។ ដូចដែលវាប្រែចេញនេះមិនពិបាកធ្វើទេ។ ភីកសែល Javascript បដិសេធវិធីសាស្ត្របណ្ណាល័យ GA ដើមជាមួយនឹងវិធីថ្មីមួយ ដែលចម្លងព្រឹត្តិការណ៍ទៅក្នុងប្រព័ន្ធរបស់យើង។

//'ga' - стандартное название переменной Google Analytics
if (window.ga) {
    ga(tracker => {
        var originalSendHitTask = tracker.get('sendHitTask');
        tracker.set('sendHitTask', (model) => {
            var payLoad = model.get('hitPayload');
            //отправка оригинального события в GA
            originalSendHitTask(model);
            let jsonPayload = this.parseQuery(payLoad);
            //отправка события в наш сервис
            this.send3p('ga', jsonPayload);
        });
    });
}

ជាមួយនឹង Segment pixel អ្វីគ្រប់យ៉ាងគឺសាមញ្ញជាង វាមានវិធីសាស្រ្ត Middleware មួយដែលយើងធ្លាប់ប្រើ។

//'analytics' - стандартное название переменной Segment
if (window.analytics) {
    if (window.analytics.addSourceMiddleware) {
        window.analytics.addSourceMiddleware(chain => {
            try {
		//дублирование события в наш сервис
                this.send3p('ajs', chain.payload);
            } catch (e) {
                LOG.warn('Failed to send an event', e)
            }
	    //отправка оригинального события в Segment
            chain.next(chain.payload);
        });
    } else {
        LOG.warn("Invalid interceptor state. Analytics js initialized, but not completely");
    }
} else {
    LOG.warn('Analytics.js listener is not set.');
}

បន្ថែមពីលើការចម្លងព្រឹត្តិការណ៍ យើងបានបន្ថែមសមត្ថភាពក្នុងការផ្ញើ json បំពាន៖

//Отправка событий с произвольным json объектом
eventN.track('product_page_view', {
    product_id: '1e48fb70-ef12-4ea9-ab10-fd0b910c49ce',
    product_price: 399.99,
    price_currency: 'USD'
    product_release_start: '2020-09-25T12:38:27.763000Z'
});

បន្ទាប់សូមនិយាយអំពីផ្នែកម៉ាស៊ីនមេ។ ផ្នែកខាងក្រោយគួរតែទទួលយកសំណើ http បំពេញពួកវាជាមួយព័ត៌មានបន្ថែម ឧទាហរណ៍ ទិន្នន័យភូមិសាស្ត្រ (សូមអរគុណ ចិត្តអតិបរមា សម្រាប់រឿងនេះ) ហើយកត់ត្រាវានៅក្នុងមូលដ្ឋានទិន្នន័យ។ យើងចង់ធ្វើឱ្យសេវាកម្មមានភាពងាយស្រួលតាមដែលអាចធ្វើទៅបាន ដើម្បីឱ្យវាអាចប្រើបានជាមួយនឹងការកំណត់រចនាសម្ព័ន្ធតិចតួចបំផុត។ យើងបានអនុវត្តមុខងារនៃការកំណត់គ្រោងការណ៍ទិន្នន័យដោយផ្អែកលើរចនាសម្ព័ន្ធនៃព្រឹត្តិការណ៍ json ចូល។ ប្រភេទទិន្នន័យត្រូវបានកំណត់ដោយតម្លៃ។ វត្ថុ​ដែល​នៅ​ជាប់​នឹង​ត្រូវ​បាន​បំបែក​ហើយ​កាត់​ជា​រចនាសម្ព័ន្ធ​សំប៉ែត៖

//входящий json
{
  "field_1":  {
    "sub_field_1": "text1",
    "sub_field_2": 100
  },
  "field_2": "text2",
  "field_3": {
    "sub_field_1": {
      "sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
    }
  }
}

//результат
{
  "field_1_sub_field_1":  "text1",
  "field_1_sub_field_2":  100,
  "field_2": "text2",
  "field_3_sub_field_1_sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
}

ទោះជាយ៉ាងណាក៏ដោយ អារេបច្ចុប្បន្នត្រូវបានបំប្លែងទៅជាខ្សែអក្សរ ដោយសារតែ មិនមែនមូលដ្ឋានទិន្នន័យទំនាក់ទំនងទាំងអស់គាំទ្រវាលដដែលៗទេ។ វាក៏អាចធ្វើទៅបានដើម្បីផ្លាស់ប្តូរឈ្មោះវាល ឬលុបពួកវាដោយប្រើច្បាប់កំណត់ផែនទីស្រេចចិត្ត។ ពួកគេអនុញ្ញាតឱ្យអ្នកផ្លាស់ប្តូរគ្រោងការណ៍ទិន្នន័យប្រសិនបើចាំបាច់ឬបម្លែងប្រភេទទិន្នន័យមួយទៅប្រភេទផ្សេងទៀត។ ឧទាហរណ៍ ប្រសិនបើវាល json មានខ្សែអក្សរដែលមានត្រាពេលវេលា (field_3_sub_field_1_sub_sub_field_1 ពីឧទាហរណ៍ខាងលើ) បន្ទាប់មកដើម្បីបង្កើតវាលមួយនៅក្នុងមូលដ្ឋានទិន្នន័យជាមួយនឹងប្រភេទពេលវេលា អ្នកត្រូវសរសេរច្បាប់ផែនទីក្នុងការកំណត់រចនាសម្ព័ន្ធ។ ម្យ៉ាងវិញទៀត ប្រភេទទិន្នន័យនៃវាលត្រូវបានកំណត់ជាមុនដោយតម្លៃ json ហើយបន្ទាប់មក ច្បាប់ដេញប្រភេទ (ប្រសិនបើបានកំណត់រចនាសម្ព័ន្ធ) ត្រូវបានអនុវត្ត។ យើងបានកំណត់ប្រភេទទិន្នន័យសំខាន់ៗចំនួន 4៖ STRING, FLOAT64, INT64 និង TIMESTAMP។ ច្បាប់នៃការដាក់ផែនទី និងប្រភេទមើលទៅដូចនេះ៖

rules:
  - "/field_1/subfield_1 -> " #правило удаления поля
  - "/field_2/subfield_1 -> /field_10/subfield_1" #правило переноса поля
  - "/field_3/subfield_1/subsubfield_1 -> (timestamp) /field_20" #правило переноса поля и приведения типа

ក្បួនដោះស្រាយសម្រាប់កំណត់ប្រភេទទិន្នន័យ៖

• បំលែងរចនាសម្ព័ន្ធ json ទៅជារចនាសម្ព័ន្ធរាបស្មើ
• កំណត់ប្រភេទទិន្នន័យនៃវាលដោយតម្លៃ
• ការ​អនុវត្ត​ការ​គូស​ផែនទី និង​ប្រភេទ​ច្បាប់​ការ​បោះផ្សាយ

បន្ទាប់មកពីរចនាសម្ព័ន្ធ json ចូល៖

{
    "product_id":  "1e48fb70-ef12-4ea9-ab10-fd0b910c49ce",
    "product_price": 399.99,
    "price_currency": "USD",
    "product_type": "supplies",
    "product_release_start": "2020-09-25T12:38:27.763000Z",
    "images": {
      "main": "picture1",
      "sub":  "picture2"
    }
}

គ្រោងការណ៍ទិន្នន័យនឹងទទួលបាន៖

"product_id" character varying,
"product_price" numeric (38,18),
"price_currency" character varying,
"product_type" character varying,
"product_release_start" timestamp,
"images_main" character varying,
"images_sub" character varying

យើងក៏បានគិតផងដែរថា អ្នកប្រើប្រាស់គួរតែអាចកំណត់រចនាសម្ព័ន្ធការបែងចែក ឬបែងចែកទិន្នន័យនៅក្នុងមូលដ្ឋានទិន្នន័យដោយយោងទៅតាមលក្ខណៈវិនិច្ឆ័យផ្សេងទៀត ហើយបានអនុវត្តសមត្ថភាពក្នុងការកំណត់ឈ្មោះតារាងដោយថេរ ឬ កន្សោម នៅក្នុងការកំណត់រចនាសម្ព័ន្ធ។ ក្នុងឧទាហរណ៍ខាងក្រោម ព្រឹត្តិការណ៍នឹងត្រូវបានរក្សាទុកទៅក្នុងតារាងដែលមានឈ្មោះគណនាដោយផ្អែកលើតម្លៃនៃវាល product_type និង _timestamp (ឧទាហរណ៍ ការផ្គត់ផ្គង់_2020_10):

tableName: '{{.product_type}}_{{._timestamp.Format "2006_01"}}'

ទោះយ៉ាងណាក៏ដោយ រចនាសម្ព័ន្ធនៃព្រឹត្តិការណ៍ចូលអាចផ្លាស់ប្តូរនៅពេលដំណើរការ។ យើងបានអនុវត្តក្បួនដោះស្រាយដើម្បីពិនិត្យមើលភាពខុសគ្នារវាងរចនាសម្ព័ន្ធនៃតារាងដែលមានស្រាប់ និងរចនាសម្ព័ន្ធនៃព្រឹត្តិការណ៍ចូល។ ប្រសិនបើរកឃើញភាពខុសគ្នា តារាងនឹងត្រូវបានអាប់ដេតជាមួយនឹងវាលថ្មី។ ដើម្បីធ្វើដូចនេះសូមប្រើ patch SQL query៖

#Пример для Postgres
ALTER TABLE "schema"."table" ADD COLUMN new_column character varying

ស្ថាបត្យកម្ម

ហេតុអ្វីបានជាអ្នកត្រូវការសរសេរព្រឹត្តិការណ៍ទៅកាន់ប្រព័ន្ធឯកសារ ហើយមិនត្រឹមតែសរសេរវាដោយផ្ទាល់ទៅមូលដ្ឋានទិន្នន័យទេ? មូលដ្ឋានទិន្នន័យមិនតែងតែដំណើរការល្អទេនៅពេលដោះស្រាយជាមួយចំនួនច្រើននៃការបញ្ចូល (អនុសាសន៍ Postgres) ដើម្បីធ្វើដូចនេះ Logger សរសេរព្រឹត្តិការណ៍ចូលទៅកាន់ឯកសារមួយ ហើយនៅក្នុង goroutine ដាច់ដោយឡែក (thread) File reader អានឯកសារ បន្ទាប់មកទិន្នន័យត្រូវបានបំប្លែង និងកំណត់។ បន្ទាប់ពីអ្នកគ្រប់គ្រងតារាងធ្វើឱ្យប្រាកដថាគ្រោងការណ៍តារាងមានភាពទាន់សម័យ ទិន្នន័យនឹងត្រូវបានសរសេរទៅកាន់មូលដ្ឋានទិន្នន័យក្នុងមួយបាច់។ ជាបន្តបន្ទាប់ យើងបានបន្ថែមសមត្ថភាពក្នុងការសរសេរទិន្នន័យដោយផ្ទាល់ទៅមូលដ្ឋានទិន្នន័យ ប៉ុន្តែយើងប្រើរបៀបនេះសម្រាប់ព្រឹត្តិការណ៍ដែលមិនមានច្រើន - ឧទាហរណ៍ ការបម្លែង។

ប្រភពបើកចំហ និងផែនការសម្រាប់អនាគត

នៅចំណុចខ្លះ សេវាកម្មចាប់ផ្តើមមើលទៅដូចជាផលិតផលពេញលេញ ហើយយើងបានសម្រេចចិត្តបញ្ចេញវាទៅជាប្រភពបើកចំហ។ បច្ចុប្បន្ន ការរួមបញ្ចូលជាមួយ Postgres, ClickHouse, BigQuery, Redshift, S3, Snowflake ត្រូវបានអនុវត្ត។ ការរួមបញ្ចូលទាំងអស់គាំទ្រទាំងរបៀបបណ្តុំ និងការស្ទ្រីមនៃការផ្ទុកទិន្នន័យ។ បានបន្ថែមការគាំទ្រសម្រាប់សំណើតាមរយៈ API ។

គ្រោងការណ៍រួមបញ្ចូលបច្ចុប្បន្នមើលទៅដូចនេះ:

ទោះបីជាសេវាកម្មអាចត្រូវបានប្រើដោយឯករាជ្យ (ឧទាហរណ៍ការប្រើ Docker) យើងក៏មានផងដែរ។ កំណែបង្ហោះដែលអ្នកអាចរៀបចំការរួមបញ្ចូលជាមួយឃ្លាំងទិន្នន័យ បន្ថែម CNAME ទៅកាន់ដែនរបស់អ្នក និងមើលស្ថិតិអំពីចំនួនព្រឹត្តិការណ៍។ ផែនការបន្ទាន់របស់យើងគឺបន្ថែមសមត្ថភាពក្នុងការប្រមូលផ្តុំមិនត្រឹមតែស្ថិតិពីធនធានគេហទំព័រប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងទិន្នន័យពីប្រភពទិន្នន័យខាងក្រៅ ហើយរក្សាទុកពួកវាទៅក្នុងកន្លែងផ្ទុកណាមួយនៃជម្រើសរបស់អ្នក!

→ GitHub
→ ឯកសារ
→ slack

យើងនឹងរីករាយប្រសិនបើ EventNative ជួយដោះស្រាយបញ្ហារបស់អ្នក!

មានតែអ្នកប្រើប្រាស់ដែលបានចុះឈ្មោះប៉ុណ្ណោះដែលអាចចូលរួមក្នុងការស្ទង់មតិនេះ។ ចូលសូម។

តើ​ប្រព័ន្ធ​ប្រមូល​ស្ថិតិ​អ្វី​ដែល​ត្រូវ​បាន​ប្រើ​ក្នុង​ក្រុមហ៊ុន​របស់​អ្នក?

• 48,0%Google Analytics ១២

• 4,0%ផ្នែកទី 1

• 16,0%មួយទៀត (សរសេរក្នុងមតិយោបល់) ៤

• 32,0%អនុវត្តសេវាកម្មរបស់អ្នក ៨

អ្នកប្រើប្រាស់ 25 នាក់បានបោះឆ្នោត។ អ្នកប្រើប្រាស់ ១៤ នាក់ត្រូវបានហាមឃាត់។

ប្រភព: www.habr.com