আমাদের ওপেন সোর্সের ইতিহাস: আমরা কীভাবে Go-তে একটি বিশ্লেষণ পরিষেবা তৈরি করেছি এবং এটি সর্বজনীনভাবে উপলব্ধ করেছি

বর্তমানে, বিশ্বের প্রায় প্রতিটি কোম্পানিই একটি ওয়েব রিসোর্সে ব্যবহারকারীর কর্মের পরিসংখ্যান সংগ্রহ করে। অনুপ্রেরণাটি স্পষ্ট - কোম্পানিগুলি তাদের পণ্য/ওয়েবসাইট কীভাবে ব্যবহার করা হয় তা জানতে চায় এবং তাদের ব্যবহারকারীদের আরও ভালভাবে বুঝতে চায়। অবশ্যই, এই সমস্যাটি সমাধানের জন্য বাজারে প্রচুর সংখ্যক সরঞ্জাম রয়েছে - বিশ্লেষণ সিস্টেমগুলি থেকে যা ড্যাশবোর্ড এবং গ্রাফ আকারে ডেটা সরবরাহ করে (উদাহরণস্বরূপ Google Analytics) গ্রাহক ডেটা প্ল্যাটফর্মে, যা আপনাকে যেকোনো গুদামের বিভিন্ন উত্স থেকে ডেটা সংগ্রহ এবং একত্রিত করতে দেয় (উদাহরণস্বরূপ রেখাংশ).

কিন্তু আমরা একটি সমস্যা খুঁজে পেয়েছি যা এখনও সমাধান করা হয়নি। এভাবেই জন্ম হলো ইভেন্টনেটিভ — ওপেন সোর্স অ্যানালিটিক্স সার্ভিস। কেন আমরা আমাদের নিজস্ব পরিষেবা বিকাশ করার সিদ্ধান্ত নিয়েছি, এটি আমাদের কী দিয়েছে এবং শেষ ফলাফল কী ছিল সে সম্পর্কে পড়ুন (কোডের টুকরো সহ)।

কেন আমরা আমাদের নিজস্ব সেবা বিকাশ করা উচিত?

এটা ছিল নব্বইয়ের দশক, আমরা যতটা সম্ভব বেঁচে গিয়েছিলাম। 2019, আমরা API প্রথম গ্রাহক ডেটা প্ল্যাটফর্ম তৈরি করেছি kSense, যা আরও সুবিধাজনক ডেটা বিশ্লেষণ, নির্ভরতা সনাক্তকরণ ইত্যাদির জন্য বিভিন্ন উত্স (ফেসবুক বিজ্ঞাপন, স্ট্রাইপ, সেলসফোর্স, গুগল প্লে, গুগল অ্যানালিটিক্স, ইত্যাদি) থেকে ডেটা একত্রিত করা সম্ভব করেছে। আমরা লক্ষ্য করেছি যে অনেক ব্যবহারকারী ডেটা বিশ্লেষণের জন্য আমাদের প্ল্যাটফর্ম ব্যবহার করে বিশেষ করে Google Analytics (এর পরে GA)। আমরা কিছু ব্যবহারকারীর সাথে কথা বলেছি এবং জানতে পেরেছি যে তাদের তাদের পণ্যের জন্য বিশ্লেষণ ডেটা প্রয়োজন যা তারা GA ব্যবহার করে পায়, কিন্তু গুগল নমুনা তথ্য এবং অনেকের জন্য, GA ইউজার ইন্টারফেস সুবিধার মান নয়। আমরা আমাদের ব্যবহারকারীদের সাথে যথেষ্ট কথোপকথন করেছি এবং বুঝতে পেরেছি যে অনেকে সেগমেন্ট প্ল্যাটফর্মও ব্যবহার করছে (যা, যাইহোক, অন্য দিন ছিল 3.2 বিলিয়ন ডলারে বিক্রি হয়েছে).

তারা তাদের ওয়েব রিসোর্সে একটি সেগমেন্ট জাভাস্ক্রিপ্ট পিক্সেল ইনস্টল করেছে এবং তাদের ব্যবহারকারীদের আচরণ সম্পর্কে ডেটা নির্দিষ্ট ডাটাবেসে লোড করা হয়েছে (উদাহরণস্বরূপ পোস্টগ্রেস)। কিন্তু সেগমেন্ট এর নেতিবাচক দিক আছে - দাম। উদাহরণস্বরূপ, যদি একটি ওয়েব রিসোর্সে 90,000 MTU (মাসিক ট্র্যাক করা ব্যবহারকারী) থাকে, তাহলে আপনাকে ক্যাশিয়ারকে প্রতি মাসে $1,000 দিতে হবে। একটি তৃতীয় সমস্যাও ছিল - কিছু ব্রাউজার এক্সটেনশন (যেমন অ্যাডব্লক) বিশ্লেষণের সংগ্রহ ব্লক করেছে কারণ... ব্রাউজার থেকে http অনুরোধগুলি GA এবং সেগমেন্ট ডোমেনে পাঠানো হয়েছিল। আমাদের ক্লায়েন্টদের ইচ্ছার উপর ভিত্তি করে, আমরা একটি বিশ্লেষণ পরিষেবা তৈরি করেছি যা সম্পূর্ণ ডেটা সংগ্রহ করে (নমুনা ছাড়া), বিনামূল্যে এবং আমাদের নিজস্ব পরিকাঠামোতে কাজ করতে পারে।

কিভাবে সেবা কাজ করে

পরিষেবাটি তিনটি অংশ নিয়ে গঠিত: একটি জাভাস্ক্রিপ্ট পিক্সেল (যা আমরা পরে টাইপস্ক্রিপ্টে পুনঃলিখন করেছি), সার্ভারের অংশটি GO ভাষায় প্রয়োগ করা হয়েছে এবং এটি একটি ইন-হাউস ডাটাবেস হিসাবে Redshift এবং BigQuery ব্যবহার করার পরিকল্পনা করা হয়েছিল (পরে তারা এর জন্য সমর্থন যোগ করেছে পোস্টগ্রেস, ক্লিকহাউস এবং স্নোফ্লেক)।

GA এবং সেগমেন্ট ইভেন্টের কাঠামো অপরিবর্তিত রাখার সিদ্ধান্ত নেওয়া হয়েছিল। আমাদের ব্যাকএন্ডে পিক্সেল ইনস্টল করা ওয়েব সংস্থান থেকে সমস্ত ইভেন্টের নকল করার জন্য যা প্রয়োজন ছিল। এটি সক্রিয় হিসাবে, এটি করা কঠিন নয়। জাভাস্ক্রিপ্ট পিক্সেল মূল GA লাইব্রেরি পদ্ধতিটিকে একটি নতুন দিয়ে ওভাররাইড করেছে, যা আমাদের সিস্টেমে ইভেন্টটিকে নকল করেছে৷

//'ga' - стандартное название переменной Google Analytics
if (window.ga) {
    ga(tracker => {
        var originalSendHitTask = tracker.get('sendHitTask');
        tracker.set('sendHitTask', (model) => {
            var payLoad = model.get('hitPayload');
            //отправка оригинального события в GA
            originalSendHitTask(model);
            let jsonPayload = this.parseQuery(payLoad);
            //отправка события в наш сервис
            this.send3p('ga', jsonPayload);
        });
    });
}

সেগমেন্ট পিক্সেলের সাথে সবকিছু সহজ; এতে মিডলওয়্যার পদ্ধতি রয়েছে, যার মধ্যে একটি আমরা ব্যবহার করেছি।

//'analytics' - стандартное название переменной Segment
if (window.analytics) {
    if (window.analytics.addSourceMiddleware) {
        window.analytics.addSourceMiddleware(chain => {
            try {
		//дублирование события в наш сервис
                this.send3p('ajs', chain.payload);
            } catch (e) {
                LOG.warn('Failed to send an event', e)
            }
	    //отправка оригинального события в Segment
            chain.next(chain.payload);
        });
    } else {
        LOG.warn("Invalid interceptor state. Analytics js initialized, but not completely");
    }
} else {
    LOG.warn('Analytics.js listener is not set.');
}

ইভেন্টগুলি অনুলিপি করার পাশাপাশি, আমরা নির্বিচারে json পাঠানোর ক্ষমতা যুক্ত করেছি:

//Отправка событий с произвольным json объектом
eventN.track('product_page_view', {
    product_id: '1e48fb70-ef12-4ea9-ab10-fd0b910c49ce',
    product_price: 399.99,
    price_currency: 'USD'
    product_release_start: '2020-09-25T12:38:27.763000Z'
});

পরবর্তী, সার্ভার অংশ সম্পর্কে কথা বলা যাক. ব্যাকএন্ডের HTTP অনুরোধগুলি গ্রহণ করা উচিত, অতিরিক্ত তথ্য দিয়ে সেগুলি পূরণ করা উচিত, উদাহরণস্বরূপ, জিও ডেটা (ধন্যবাদ maxmind এর জন্য) এবং এটি ডাটাবেসে রেকর্ড করুন। আমরা পরিষেবাটিকে যতটা সম্ভব সুবিধাজনক করতে চেয়েছিলাম যাতে এটি ন্যূনতম কনফিগারেশনের সাথে ব্যবহার করা যায়। আমরা ইনকামিং json ইভেন্টের কাঠামোর উপর ভিত্তি করে ডেটা স্কিমা নির্ধারণের কার্যকারিতা প্রয়োগ করেছি। ডেটা প্রকারগুলি মান দ্বারা সংজ্ঞায়িত করা হয়। নেস্টেড বস্তুগুলি পচে যায় এবং একটি সমতল কাঠামোতে হ্রাস পায়:

//входящий json
{
  "field_1":  {
    "sub_field_1": "text1",
    "sub_field_2": 100
  },
  "field_2": "text2",
  "field_3": {
    "sub_field_1": {
      "sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
    }
  }
}

//результат
{
  "field_1_sub_field_1":  "text1",
  "field_1_sub_field_2":  100,
  "field_2": "text2",
  "field_3_sub_field_1_sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
}

যাইহোক, অ্যারেগুলি বর্তমানে কেবল স্ট্রিংগুলিতে রূপান্তরিত হয় কারণ সমস্ত রিলেশনাল ডাটাবেস পুনরাবৃত্তি ক্ষেত্র সমর্থন করে না। ঐচ্ছিক ম্যাপিং নিয়ম ব্যবহার করে ক্ষেত্রের নাম পরিবর্তন করা বা মুছে ফেলাও সম্ভব। তারা আপনাকে প্রয়োজনে ডেটা স্কিমা পরিবর্তন করতে বা একটি ডেটা টাইপকে অন্যটিতে রূপান্তর করার অনুমতি দেয়। উদাহরণস্বরূপ, যদি একটি json ফিল্ডে টাইমস্ট্যাম্প সহ একটি স্ট্রিং থাকে (field_3_sub_field_1_sub_sub_field_1 উপরের উদাহরণ থেকে), তারপর টাইমস্ট্যাম্প টাইপ সহ ডাটাবেসে একটি ক্ষেত্র তৈরি করতে, আপনাকে কনফিগারেশনে একটি ম্যাপিং নিয়ম লিখতে হবে। অন্য কথায়, ক্ষেত্রের ডেটা টাইপ প্রথমে json মান দ্বারা নির্ধারিত হয় এবং তারপর টাইপ কাস্টিং নিয়ম (যদি কনফিগার করা হয়) প্রয়োগ করা হয়। আমরা 4টি প্রধান ডেটা প্রকার চিহ্নিত করেছি: STRING, FLOAT64, INT64 এবং TIMESTAMP৷ ম্যাপিং এবং টাইপ কাস্টিং নিয়মগুলি দেখতে এইরকম:

rules:
  - "/field_1/subfield_1 -> " #правило удаления поля
  - "/field_2/subfield_1 -> /field_10/subfield_1" #правило переноса поля
  - "/field_3/subfield_1/subsubfield_1 -> (timestamp) /field_20" #правило переноса поля и приведения типа

ডেটা টাইপ নির্ধারণের জন্য অ্যালগরিদম:

• json গঠনকে সমতল কাঠামোতে রূপান্তর করুন
• মান দ্বারা ক্ষেত্র তথ্য প্রকার নির্ধারণ
• ম্যাপিং এবং টাইপ কাস্টিং নিয়ম প্রয়োগ করা

তারপর ইনকামিং json গঠন থেকে:

{
    "product_id":  "1e48fb70-ef12-4ea9-ab10-fd0b910c49ce",
    "product_price": 399.99,
    "price_currency": "USD",
    "product_type": "supplies",
    "product_release_start": "2020-09-25T12:38:27.763000Z",
    "images": {
      "main": "picture1",
      "sub":  "picture2"
    }
}

ডেটা স্কিমা প্রাপ্ত করা হবে:

"product_id" character varying,
"product_price" numeric (38,18),
"price_currency" character varying,
"product_type" character varying,
"product_release_start" timestamp,
"images_main" character varying,
"images_sub" character varying

আমরা আরও ভেবেছিলাম যে ব্যবহারকারীকে অন্যান্য মানদণ্ড অনুসারে পার্টিশনিং কনফিগার করতে বা ডেটাবেসে ডেটা ভাগ করতে সক্ষম হওয়া উচিত এবং একটি ধ্রুবক বা ধ্রুবক দিয়ে টেবিলের নাম সেট করার ক্ষমতা প্রয়োগ করা উচিত। অভিব্যক্তি কনফিগারেশনে নীচের উদাহরণে, পণ্য_টাইপ এবং _টাইমস্ট্যাম্প ক্ষেত্রের মানগুলির উপর ভিত্তি করে গণনা করা একটি নাম সহ ইভেন্টটি একটি টেবিলে সংরক্ষণ করা হবে (উদাহরণস্বরূপ সরবরাহ_2020_10):

tableName: '{{.product_type}}_{{._timestamp.Format "2006_01"}}'

যাইহোক, ইনকামিং ইভেন্টের গঠন রানটাইমে পরিবর্তন হতে পারে। আমরা একটি বিদ্যমান টেবিলের গঠন এবং একটি আগত ইভেন্টের কাঠামোর মধ্যে পার্থক্য পরীক্ষা করার জন্য একটি অ্যালগরিদম প্রয়োগ করেছি। যদি একটি পার্থক্য পাওয়া যায়, টেবিলটি নতুন ক্ষেত্রগুলির সাথে আপডেট করা হবে। এটি করতে, প্যাচ SQL ক্যোয়ারী ব্যবহার করুন:

#Пример для Postgres
ALTER TABLE "schema"."table" ADD COLUMN new_column character varying

স্থাপত্য

কেন আপনাকে ফাইল সিস্টেমে ইভেন্টগুলি লিখতে হবে, এবং কেবল ডাটাবেসে সরাসরি লিখতে হবে না? বিপুল সংখ্যক সন্নিবেশের সাথে কাজ করার সময় ডেটাবেসগুলি সর্বদা ভাল কাজ করে না (পোস্টগ্রেস সুপারিশ) এটি করার জন্য, লগার একটি ফাইলে ইনকামিং ইভেন্টগুলি লেখে এবং একটি পৃথক গোরুটিনে (থ্রেড) ফাইল রিডার ফাইলটি পড়ে, তারপর ডেটা রূপান্তরিত এবং নির্ধারিত হয়। টেবিল ম্যানেজার টেবিল স্কিমা আপ টু ডেট কিনা তা নিশ্চিত করার পরে, ডেটা একটি ব্যাচে ডাটাবেসে লেখা হবে। পরবর্তীকালে, আমরা ডাটাবেসে সরাসরি ডেটা লেখার ক্ষমতা যুক্ত করেছি, তবে আমরা এই মোডটি এমন ইভেন্টগুলির জন্য ব্যবহার করি যা অসংখ্য নয় - উদাহরণস্বরূপ, রূপান্তর।

ওপেন সোর্স এবং ভবিষ্যতের জন্য পরিকল্পনা

কিছু সময়ে, পরিষেবাটি একটি সম্পূর্ণ পণ্যের মতো দেখতে শুরু করে এবং আমরা এটিকে ওপেন সোর্সে প্রকাশ করার সিদ্ধান্ত নিয়েছি। বর্তমানে, Postgres, ClickHouse, BigQuery, Redshift, S3, Snowflake এর সাথে ইন্টিগ্রেশন প্রয়োগ করা হয়েছে। সমস্ত ইন্টিগ্রেশন ডেটা লোডিংয়ের ব্যাচ এবং স্ট্রিমিং মোড উভয়কেই সমর্থন করে। API এর মাধ্যমে অনুরোধের জন্য সমর্থন যোগ করা হয়েছে।

বর্তমান ইন্টিগ্রেশন স্কিম এই মত দেখায়:

যদিও পরিষেবাটি স্বাধীনভাবে ব্যবহার করা যেতে পারে (উদাহরণস্বরূপ ডকার ব্যবহার করে), আমাদেরও আছে হোস্ট করা সংস্করণ, যেখানে আপনি একটি ডেটা গুদামের সাথে ইন্টিগ্রেশন সেট আপ করতে পারেন, আপনার ডোমেনে একটি CNAME যোগ করতে পারেন এবং ইভেন্টের সংখ্যার পরিসংখ্যান দেখতে পারেন৷ আমাদের তাৎক্ষণিক পরিকল্পনা হল ওয়েব রিসোর্স থেকে শুধুমাত্র পরিসংখ্যানই নয়, বাহ্যিক ডেটা সোর্স থেকে ডেটাও একত্রিত করার ক্ষমতা যোগ করা এবং আপনার পছন্দের যেকোনো স্টোরেজে সেভ করা!

→ GitHub
→ Документация
→ ঢিলা

EventNative আপনার সমস্যার সমাধান করতে সাহায্য করলে আমরা খুশি হব!

শুধুমাত্র নিবন্ধিত ব্যবহারকারীরা জরিপে অংশগ্রহণ করতে পারবেন। সাইন ইন করুনকরুন।

আপনার কোম্পানিতে কোন পরিসংখ্যান সংগ্রহ ব্যবস্থা ব্যবহার করা হয়?

• 48,0%Google Analytics12

• 4,0%সেগমেন্ট ১

• 16,0%আরেকটি (মন্তব্যে লিখুন) 4

• 32,0%আপনার সেবা বাস্তবায়ন করা হয়েছে8

25 জন ব্যবহারকারী ভোট দিয়েছেন। 6 জন ব্যবহারকারী বিরত ছিলেন।

উত্স: www.habr.com