અમારા ઓપન સોર્સનો ઇતિહાસ: અમે કેવી રીતે Go માં એનાલિટિક્સ સેવા બનાવી અને તેને સાર્વજનિક રીતે ઉપલબ્ધ કરાવી

હાલમાં, વિશ્વની લગભગ દરેક કંપની વેબ સંસાધન પર વપરાશકર્તાની ક્રિયાઓ વિશે આંકડા એકત્રિત કરે છે. પ્રેરણા સ્પષ્ટ છે - કંપનીઓ તેમના ઉત્પાદન/વેબસાઇટનો ઉપયોગ કેવી રીતે થાય છે તે જાણવા માંગે છે અને તેમના વપરાશકર્તાઓને વધુ સારી રીતે સમજવા માંગે છે. અલબત્ત, આ સમસ્યાને ઉકેલવા માટે બજારમાં મોટી સંખ્યામાં સાધનો છે - એનાલિટિક્સ સિસ્ટમ્સમાંથી જે ડેશબોર્ડ અને ગ્રાફના સ્વરૂપમાં ડેટા પ્રદાન કરે છે (ઉદાહરણ તરીકે ગૂગલ ઍનલિટિક્સ) ગ્રાહક ડેટા પ્લેટફોર્મ પર, જે તમને કોઈપણ વેરહાઉસમાં વિવિધ સ્ત્રોતોમાંથી ડેટા એકત્રિત અને એકત્ર કરવાની મંજૂરી આપે છે (ઉદાહરણ તરીકે સેગમેન્ટમાં).

પરંતુ અમને એક સમસ્યા મળી જે હજુ સુધી ઉકેલાઈ નથી. આમ થયો હતો ઇવેન્ટનેટિવ - ઓપન સોર્સ એનાલિટિક્સ સેવા. અમે શા માટે અમારી પોતાની સેવા વિકસાવવાનું નક્કી કર્યું, તેનાથી અમને શું મળ્યું અને અંતિમ પરિણામ શું આવ્યું તે વિશે વાંચો (કોડના ટુકડા સાથે).

શા માટે આપણે આપણી પોતાની સેવા વિકસાવવી જોઈએ?

તે નેવુંના દાયકાની વાત હતી, અમે શક્ય તેટલું શ્રેષ્ઠ બચી ગયા. 2019, અમે API પ્રથમ ગ્રાહક ડેટા પ્લેટફોર્મ વિકસાવ્યું kSense, જેણે વધુ અનુકૂળ ડેટા વિશ્લેષણ, અવલંબન ઓળખવા વગેરે માટે વિવિધ સ્ત્રોતો (ફેસબુક જાહેરાતો, સ્ટ્રાઇપ, સેલ્સફોર્સ, ગૂગલ પ્લે, ગૂગલ એનાલિટિક્સ, વગેરે) માંથી ડેટા એકત્રિત કરવાનું શક્ય બનાવ્યું. અમે નોંધ્યું છે કે ઘણા વપરાશકર્તાઓ ખાસ કરીને Google Analytics (ત્યારબાદ GA) ડેટા વિશ્લેષણ માટે અમારા પ્લેટફોર્મનો ઉપયોગ કરે છે. અમે કેટલાક વપરાશકર્તાઓ સાથે વાત કરી અને જાણવા મળ્યું કે તેઓને તેમના ઉત્પાદન માટે એનાલિટિક્સ ડેટાની જરૂર છે જે તેઓ GA નો ઉપયોગ કરીને મેળવે છે, પરંતુ Google નમૂના ડેટા અને ઘણા લોકો માટે, GA વપરાશકર્તા ઈન્ટરફેસ સગવડતાનું ધોરણ નથી. અમે અમારા વપરાશકર્તાઓ સાથે પૂરતી વાતચીત કરી અને સમજાયું કે ઘણા લોકો સેગમેન્ટ પ્લેટફોર્મનો પણ ઉપયોગ કરી રહ્યાં છે (જે, માર્ગ દ્વારા, બીજા દિવસે જ $3.2 બિલિયનમાં વેચાય છે).

તેઓએ તેમના વેબ સંસાધન પર સેગમેન્ટ જાવાસ્ક્રિપ્ટ પિક્સેલ ઇન્સ્ટોલ કર્યું અને તેમના વપરાશકર્તાઓના વર્તન વિશેનો ડેટા ઉલ્લેખિત ડેટાબેઝમાં લોડ કરવામાં આવ્યો (ઉદાહરણ તરીકે પોસ્ટગ્રેસ). પરંતુ સેગમેન્ટમાં તેની નકારાત્મક બાજુ પણ છે - કિંમત. ઉદાહરણ તરીકે, જો વેબ રિસોર્સમાં 90,000 MTU (માસિક ટ્રૅક કરાયેલા વપરાશકર્તાઓ) હોય, તો તમારે કૅશિયરને દર મહિને ~1,000 $ ચૂકવવાની જરૂર છે. ત્રીજી સમસ્યા પણ હતી - કેટલાક બ્રાઉઝર એક્સ્ટેન્શન્સ (જેમ કે એડબ્લોક) એ એનાલિટિક્સનો સંગ્રહ અવરોધિત કર્યો કારણ કે... બ્રાઉઝર તરફથી HTTP વિનંતીઓ GA અને સેગમેન્ટ ડોમેન્સ પર મોકલવામાં આવી હતી. અમારા ગ્રાહકોની ઈચ્છાઓના આધારે, અમે એક એનાલિટિક્સ સેવા બનાવી છે જે ડેટાનો સંપૂર્ણ સેટ (સેમ્પલિંગ વિના) ભેગો કરે છે, જે મફત છે અને અમારા પોતાના ઈન્ફ્રાસ્ટ્રક્ચર પર કામ કરી શકે છે.

સેવા કેવી રીતે કાર્ય કરે છે

સેવામાં ત્રણ ભાગોનો સમાવેશ થાય છે: જાવાસ્ક્રિપ્ટ પિક્સેલ (જેને અમે પાછળથી ટાઇપસ્ક્રિપ્ટમાં ફરીથી લખ્યા), સર્વરનો ભાગ GO ભાષામાં લાગુ કરવામાં આવ્યો છે, અને તે Redshift અને BigQuery નો ઇન-હાઉસ ડેટાબેઝ તરીકે ઉપયોગ કરવાનું આયોજન હતું (બાદમાં તેઓએ તેના માટે સપોર્ટ ઉમેર્યો. પોસ્ટગ્રેસ, ક્લિકહાઉસ અને સ્નોવફ્લેક).

GA અને સેગમેન્ટ ઇવેન્ટ્સનું માળખું યથાવત રાખવાનું નક્કી કરવામાં આવ્યું હતું. જે જરૂરી હતું તે વેબ સંસાધનમાંથી બધી ઇવેન્ટ્સની નકલ કરવાની હતી જ્યાં પિક્સેલ અમારા બેકએન્ડ પર ઇન્સ્ટોલ કરેલું છે. જેમ તે તારણ આપે છે, આ કરવું મુશ્કેલ નથી. Javascript પિક્સેલે મૂળ GA લાઇબ્રેરી પદ્ધતિને નવી સાથે ઓવરરાઇડ કરી છે, જેણે અમારી સિસ્ટમમાં ઇવેન્ટનું ડુપ્લિકેટ કર્યું છે.

//'ga' - стандартное название переменной Google Analytics
if (window.ga) {
    ga(tracker => {
        var originalSendHitTask = tracker.get('sendHitTask');
        tracker.set('sendHitTask', (model) => {
            var payLoad = model.get('hitPayload');
            //отправка оригинального события в GA
            originalSendHitTask(model);
            let jsonPayload = this.parseQuery(payLoad);
            //отправка события в наш сервис
            this.send3p('ga', jsonPayload);
        });
    });
}

સેગમેન્ટ પિક્સેલ સાથે બધું સરળ છે; તેમાં મિડલવેર પદ્ધતિઓ છે, જેમાંથી એક અમે ઉપયોગ કર્યો છે.

//'analytics' - стандартное название переменной Segment
if (window.analytics) {
    if (window.analytics.addSourceMiddleware) {
        window.analytics.addSourceMiddleware(chain => {
            try {
		//дублирование события в наш сервис
                this.send3p('ajs', chain.payload);
            } catch (e) {
                LOG.warn('Failed to send an event', e)
            }
	    //отправка оригинального события в Segment
            chain.next(chain.payload);
        });
    } else {
        LOG.warn("Invalid interceptor state. Analytics js initialized, but not completely");
    }
} else {
    LOG.warn('Analytics.js listener is not set.');
}

ઇવેન્ટની નકલ કરવા ઉપરાંત, અમે મનસ્વી json મોકલવાની ક્ષમતા ઉમેરી છે:

//Отправка событий с произвольным json объектом
eventN.track('product_page_view', {
    product_id: '1e48fb70-ef12-4ea9-ab10-fd0b910c49ce',
    product_price: 399.99,
    price_currency: 'USD'
    product_release_start: '2020-09-25T12:38:27.763000Z'
});

આગળ, ચાલો સર્વર ભાગ વિશે વાત કરીએ. બેકએન્ડે HTTP વિનંતીઓ સ્વીકારવી જોઈએ, તેમને વધારાની માહિતી ભરવી જોઈએ, ઉદાહરણ તરીકે, જીઓ ડેટા (આભાર મહત્તમ માઇન્ડ આ માટે) અને તેને ડેટાબેઝમાં રેકોર્ડ કરો. અમે સેવાને શક્ય તેટલી અનુકૂળ બનાવવા માગીએ છીએ જેથી તેનો ઉપયોગ ન્યૂનતમ ગોઠવણી સાથે થઈ શકે. અમે ઇનકમિંગ json ઇવેન્ટના માળખાના આધારે ડેટા સ્કીમા નક્કી કરવાની કાર્યક્ષમતા લાગુ કરી છે. ડેટા પ્રકારો મૂલ્યો દ્વારા વ્યાખ્યાયિત કરવામાં આવે છે. નેસ્ટેડ ઑબ્જેક્ટ્સ વિઘટિત થાય છે અને સપાટ માળખામાં ઘટાડો થાય છે:

//входящий json
{
  "field_1":  {
    "sub_field_1": "text1",
    "sub_field_2": 100
  },
  "field_2": "text2",
  "field_3": {
    "sub_field_1": {
      "sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
    }
  }
}

//результат
{
  "field_1_sub_field_1":  "text1",
  "field_1_sub_field_2":  100,
  "field_2": "text2",
  "field_3_sub_field_1_sub_sub_field_1": "2020-09-25T12:38:27.763000Z"
}

જો કે, એરે હાલમાં ફક્ત શબ્દમાળાઓમાં રૂપાંતરિત થાય છે કારણ કે બધા રિલેશનલ ડેટાબેઝ પુનરાવર્તિત ક્ષેત્રોને સમર્થન આપતા નથી. વૈકલ્પિક મેપિંગ નિયમોનો ઉપયોગ કરીને ક્ષેત્રના નામ બદલવા અથવા તેને કાઢી નાખવાનું પણ શક્ય છે. જો જરૂરી હોય તો તેઓ તમને ડેટા સ્કીમા બદલવા અથવા એક ડેટા પ્રકારને બીજામાં કન્વર્ટ કરવાની મંજૂરી આપે છે. ઉદાહરણ તરીકે, જો json ફીલ્ડમાં ટાઇમસ્ટેમ્પ (ક્ષેત્ર_3_સબ_ક્ષેત્ર_1_સબ_સબ_ક્ષેત્ર_1 ઉપરના ઉદાહરણમાંથી), પછી ટાઇમસ્ટેમ્પ પ્રકાર સાથે ડેટાબેઝમાં એક ક્ષેત્ર બનાવવા માટે, તમારે રૂપરેખાંકનમાં મેપિંગ નિયમ લખવાની જરૂર છે. બીજા શબ્દોમાં કહીએ તો, ફીલ્ડનો ડેટા પ્રકાર પ્રથમ json મૂલ્ય દ્વારા નક્કી કરવામાં આવે છે, અને પછી પ્રકાર કાસ્ટિંગ નિયમ (જો ગોઠવેલ હોય તો) લાગુ કરવામાં આવે છે. અમે 4 મુખ્ય ડેટા પ્રકારો ઓળખ્યા છે: STRING, FLOAT64, INT64 અને TIMESTAMP. મેપિંગ અને ટાઇપ કાસ્ટિંગ નિયમો આના જેવા દેખાય છે:

rules:
  - "/field_1/subfield_1 -> " #правило удаления поля
  - "/field_2/subfield_1 -> /field_10/subfield_1" #правило переноса поля
  - "/field_3/subfield_1/subsubfield_1 -> (timestamp) /field_20" #правило переноса поля и приведения типа

ડેટા પ્રકાર નક્કી કરવા માટે અલ્ગોરિધમ:

• json સ્ટ્રક્ચરને ફ્લેટ સ્ટ્રક્ચરમાં કન્વર્ટ કરો
• મૂલ્યો દ્વારા ફીલ્ડ્સના ડેટા પ્રકારનું નિર્ધારણ
• મેપિંગ અને ટાઇપ કાસ્ટિંગ નિયમો લાગુ કરવા

પછી આવનારા જેસન સ્ટ્રક્ચરમાંથી:

{
    "product_id":  "1e48fb70-ef12-4ea9-ab10-fd0b910c49ce",
    "product_price": 399.99,
    "price_currency": "USD",
    "product_type": "supplies",
    "product_release_start": "2020-09-25T12:38:27.763000Z",
    "images": {
      "main": "picture1",
      "sub":  "picture2"
    }
}

ડેટા સ્કીમા મેળવવામાં આવશે:

"product_id" character varying,
"product_price" numeric (38,18),
"price_currency" character varying,
"product_type" character varying,
"product_release_start" timestamp,
"images_main" character varying,
"images_sub" character varying

અમે એ પણ વિચાર્યું કે વપરાશકર્તા અન્ય માપદંડો અનુસાર ડેટાબેઝમાં પાર્ટીશનને ગોઠવવા અથવા વિભાજિત કરવા સક્ષમ હોવા જોઈએ અને ટેબલ નામને સતત અથવા અભિવ્યક્તિ રૂપરેખાંકનમાં. નીચેના ઉદાહરણમાં, પ્રોડક્ટ_ટાઇપ અને _ટાઇમસ્ટેમ્પ ફીલ્ડના મૂલ્યોના આધારે ગણતરી કરેલ નામ સાથે ઇવેન્ટને કોષ્ટકમાં સાચવવામાં આવશે (ઉદાહરણ તરીકે પુરવઠો_2020_10):

tableName: '{{.product_type}}_{{._timestamp.Format "2006_01"}}'

જો કે, ઇનકમિંગ ઇવેન્ટ્સનું માળખું રનટાઇમ પર બદલાઈ શકે છે. હાલના કોષ્ટકની રચના અને આવનારી ઘટનાની રચના વચ્ચેના તફાવતને ચકાસવા માટે અમે એક અલ્ગોરિધમનો અમલ કર્યો છે. જો કોઈ તફાવત જોવા મળે છે, તો કોષ્ટકને નવા ફીલ્ડ્સ સાથે અપડેટ કરવામાં આવશે. આ કરવા માટે, પેચ SQL ક્વેરીનો ઉપયોગ કરો:

#Пример для Postgres
ALTER TABLE "schema"."table" ADD COLUMN new_column character varying

સ્થાપત્ય

તમારે શા માટે ફાઇલ સિસ્ટમ પર ઇવેન્ટ્સ લખવાની જરૂર છે, અને ફક્ત તેને ડેટાબેઝ પર જ લખવાની જરૂર નથી? મોટી સંખ્યામાં ઇન્સર્ટ્સ સાથે કામ કરતી વખતે ડેટાબેઝ હંમેશા સારું પ્રદર્શન કરતા નથી (પોસ્ટગ્રેસ ભલામણો). આ કરવા માટે, લોગર ઇનકમિંગ ઇવેન્ટ્સ ફાઇલમાં લખે છે અને અલગ ગોરોટીન (થ્રેડ) ફાઇલ રીડર ફાઇલ વાંચે છે, પછી ડેટા કન્વર્ટ થાય છે અને નક્કી થાય છે. ટેબલ મેનેજર એ સુનિશ્ચિત કરે કે ટેબલ સ્કીમા અપ-ટૂ-ડેટ છે, ડેટા એક બેચમાં ડેટાબેઝમાં લખવામાં આવશે. ત્યારબાદ, અમે ડેટાબેઝમાં સીધો ડેટા લખવાની ક્ષમતા ઉમેરી, પરંતુ અમે આ મોડનો ઉપયોગ એવી ઘટનાઓ માટે કરીએ છીએ જે અસંખ્ય નથી - ઉદાહરણ તરીકે, રૂપાંતરણ.

ઓપન સોર્સ અને ભવિષ્ય માટેની યોજનાઓ

અમુક સમયે, સેવા સંપૂર્ણ ઉત્પાદન જેવી દેખાવા લાગી અને અમે તેને ઓપન સોર્સ પર રિલીઝ કરવાનું નક્કી કર્યું. હાલમાં, Postgres, ClickHouse, BigQuery, Redshift, S3, Snowflake સાથે એકીકરણ લાગુ કરવામાં આવ્યું છે. બધા એકીકરણ ડેટા લોડિંગના બેચ અને સ્ટ્રીમિંગ મોડને સપોર્ટ કરે છે. API મારફતે વિનંતીઓ માટે ઉમેરાયેલ આધાર.

વર્તમાન એકીકરણ યોજના આના જેવી દેખાય છે:

જો કે સેવાનો સ્વતંત્ર રીતે ઉપયોગ કરી શકાય છે (ઉદાહરણ તરીકે ડોકરનો ઉપયોગ કરીને), અમારી પાસે પણ છે હોસ્ટ કરેલ સંસ્કરણ, જેમાં તમે ડેટા વેરહાઉસ સાથે એકીકરણ સેટ કરી શકો છો, તમારા ડોમેનમાં CNAME ઉમેરી શકો છો અને ઇવેન્ટ્સની સંખ્યા પર આંકડા જોઈ શકો છો. અમારી તાત્કાલિક યોજનાઓ વેબ સંસાધનમાંથી માત્ર આંકડાઓ જ નહીં, પણ બાહ્ય ડેટા સ્ત્રોતોમાંથી ડેટાને પણ એકત્ર કરવાની ક્ષમતા ઉમેરવાની છે અને તેને તમારી પસંદગીના કોઈપણ સ્ટોરેજમાં સાચવવાની છે!

→ GitHub
→ Документация
→ સ્લેક

જો EventNative તમારી સમસ્યાઓ ઉકેલવામાં મદદ કરે તો અમને આનંદ થશે!

ફક્ત નોંધાયેલા વપરાશકર્તાઓ જ સર્વેમાં ભાગ લઈ શકે છે. સાઇન ઇન કરો, મહેરબાની કરીને.

તમારી કંપનીમાં કઈ આંકડા સંગ્રહ પ્રણાલીનો ઉપયોગ થાય છે?

• 48,0%ગૂગલ ticsનલિટિક્સએક્સયુમ

• 4,0%સેગમેન્ટ 1

• 16,0%અન્ય (કોમેન્ટમાં લખો)4

• 32,0%તમારી સેવાનો અમલ કર્યો8

25 વપરાશકર્તાઓએ મતદાન કર્યું. 6 વપરાશકર્તાઓ દૂર રહ્યા.

સોર્સ: www.habr.com