ટેરન્ટૂલ ડેટા ગ્રીડનું આર્કિટેક્ચર અને ક્ષમતાઓ

2017 માં, અમે આલ્ફા-બેંકના રોકાણ વ્યવસાયના ટ્રાન્ઝેક્શનલ કોર વિકસાવવા માટે એક સ્પર્ધા જીતી અને કામ શરૂ કર્યું (HighLoad++ 2018 ખાતે રોકાણ વ્યવસાયના મુખ્ય અહેવાલ સાથે કર્યું વ્લાદિમીર ડ્રીનકિન, આલ્ફા બેંકના રોકાણ વ્યવસાયના ટ્રાન્ઝેક્શનલ કોરના વડા). આ સિસ્ટમ વિવિધ સ્ત્રોતોમાંથી વિવિધ ફોર્મેટમાં ટ્રાન્ઝેક્શન ડેટાને એકત્રિત કરવા, ડેટાને એકીકૃત સ્વરૂપમાં લાવવા, તેને સંગ્રહિત કરવા અને તેની ઍક્સેસ પ્રદાન કરવાની હતી.

વિકાસ પ્રક્રિયા દરમિયાન, સિસ્ટમ વિકસિત થઈ અને કાર્યક્ષમતા પ્રાપ્ત કરી, અને અમુક સમયે અમને સમજાયું કે અમે કાર્યોની સખત રીતે વ્યાખ્યાયિત શ્રેણીને ઉકેલવા માટે બનાવેલ એપ્લિકેશન સોફ્ટવેર કરતાં વધુ કંઈક સ્ફટિકીકરણ કરી રહ્યા છીએ: અમે સફળ થયા. સતત સ્ટોરેજ સાથે વિતરિત એપ્લિકેશનો બનાવવા માટેની સિસ્ટમ. અમે જે અનુભવ મેળવ્યો તે નવા ઉત્પાદનનો આધાર બન્યો - ટેરન્ટૂલ ડેટા ગ્રીડ (TDG).

હું TDG આર્કિટેક્ચર વિશે વાત કરવા માંગુ છું અને વિકાસ પ્રક્રિયા દરમિયાન અમે જે ઉકેલો આવ્યા હતા, તે તમને મુખ્ય કાર્યક્ષમતા સાથે પરિચય કરાવવા માંગુ છું અને બતાવું છું કે કેવી રીતે અમારું ઉત્પાદન સંપૂર્ણ ઉકેલો બનાવવા માટેનો આધાર બની શકે છે.

આર્કિટેક્ચરલી, અમે સિસ્ટમને અલગમાં વિભાજિત કરી છે ભૂમિકાઓ, જેમાંથી દરેક ચોક્કસ શ્રેણીની સમસ્યાઓના ઉકેલ માટે જવાબદાર છે. એક ચાલી રહેલ એપ્લિકેશન દાખલા એક અથવા વધુ ભૂમિકા પ્રકારો લાગુ કરે છે. ક્લસ્ટરમાં સમાન પ્રકારની ઘણી ભૂમિકાઓ હોઈ શકે છે:

કનેક્ટર

કનેક્ટર બાહ્ય વિશ્વ સાથે સંચાર માટે જવાબદાર છે; તેનું કાર્ય વિનંતી સ્વીકારવાનું, તેનું વિશ્લેષણ કરવાનું છે અને જો આ સફળ થાય, તો પછી ઇનપુટ પ્રોસેસરને પ્રોસેસિંગ માટે ડેટા મોકલો. અમે HTTP, SOAP, Kafka, FIX ફોર્મેટને સપોર્ટ કરીએ છીએ. આર્કિટેક્ચર તમને નવા ફોર્મેટ માટે સપોર્ટ ઉમેરવાની મંજૂરી આપે છે, IBM MQ માટે સપોર્ટ ટૂંક સમયમાં આવી રહ્યો છે. જો વિનંતિનું વિશ્લેષણ નિષ્ફળ થયું, તો કનેક્ટર ભૂલ આપશે; અન્યથા, તે જવાબ આપશે કે વિનંતી પર સફળતાપૂર્વક પ્રક્રિયા કરવામાં આવી હતી, પછી ભલે તેની આગળની પ્રક્રિયા દરમિયાન કોઈ ભૂલ આવી હોય. આ ખાસ કરીને એવી સિસ્ટમો સાથે કામ કરવા માટે કરવામાં આવ્યું હતું કે જે વિનંતીઓનું પુનરાવર્તન કેવી રીતે કરવું તે જાણતી નથી - અથવા, તેનાથી વિપરીત, તે ખૂબ જ સતત કરો. ડેટા ન ગુમાવવા માટે, રિપેર કતારનો ઉપયોગ કરવામાં આવે છે: ઑબ્જેક્ટ પ્રથમ તેમાં પ્રવેશ કરે છે અને સફળ પ્રક્રિયા પછી જ તેમાંથી દૂર કરવામાં આવે છે. એડમિનિસ્ટ્રેટર રિપેર કતારમાં બાકી રહેલા ઑબ્જેક્ટ્સ વિશે ચેતવણીઓ પ્રાપ્ત કરી શકે છે, અને સૉફ્ટવેર ભૂલ અથવા હાર્ડવેર નિષ્ફળતાને દૂર કર્યા પછી, ફરીથી પ્રયાસ કરો.

ઇનપુટ પ્રોસેસર

ઇનપુટ પ્રોસેસર પ્રાપ્ત ડેટાને લાક્ષણિક લક્ષણો અનુસાર વર્ગીકૃત કરે છે અને યોગ્ય પ્રોસેસર્સને કૉલ કરે છે. હેન્ડલર્સ એ લુઆ કોડ છે જે સેન્ડબોક્સમાં ચાલે છે, તેથી તેઓ સિસ્ટમની કામગીરીને અસર કરી શકતા નથી. આ તબક્કે, ડેટાને જરૂરી ફોર્મમાં ઘટાડી શકાય છે, અને, જો જરૂરી હોય તો, જરૂરી તર્કને અમલમાં મૂકી શકે તેવા કાર્યોની મનસ્વી સંખ્યા શરૂ કરી શકાય છે. ઉદાહરણ તરીકે, ટેરન્ટૂલ ડેટા ગ્રીડ પર બનેલ MDM (માસ્ટર ડેટા મેનેજમેન્ટ) પ્રોડક્ટમાં, જ્યારે નવા વપરાશકર્તાને ઉમેરવામાં આવે છે, ત્યારે વિનંતીની પ્રક્રિયાને ધીમું ન કરવા માટે, અમે એક અલગ કાર્ય તરીકે સુવર્ણ રેકોર્ડની રચના શરૂ કરીએ છીએ. સેન્ડબોક્સ ડેટા વાંચવા, બદલવા અને ઉમેરવા માટેની વિનંતીઓને સમર્થન આપે છે, તમને સ્ટોરેજ પ્રકાર અને પરિણામના એકત્રીકરણ (નકશો/ઘટાડો)ની બધી ભૂમિકાઓ પર અમુક કાર્ય કરવા દે છે.

હેન્ડલર્સને ફાઇલોમાં વર્ણવી શકાય છે:

sum.lua

local x, y = unpack(...)
return x + y

અને પછી, રૂપરેખાંકનમાં જાહેર કર્યું:

functions:
  sum: { __file: sum.lua }

શા માટે લુઆ? લુઆ ખૂબ જ સરળ ભાષા છે. અમારા અનુભવના આધારે, તે જાણ્યાના થોડા કલાકો પછી, લોકો કોડ લખવાનું શરૂ કરે છે જે તેમની સમસ્યા હલ કરે છે. અને આ માત્ર વ્યાવસાયિક વિકાસકર્તાઓ નથી, પરંતુ, ઉદાહરણ તરીકે, વિશ્લેષકો. વધુમાં, જીત કમ્પાઇલરનો આભાર, લુઆ ખૂબ જ ઝડપથી ચાલે છે.

સંગ્રહ

સ્ટોરેજ સતત ડેટા સ્ટોર કરે છે. સાચવતા પહેલા, ડેટા સ્કીમા સામે માન્ય કરવામાં આવે છે. સર્કિટનું વર્ણન કરવા માટે અમે વિસ્તૃત ફોર્મેટનો ઉપયોગ કરીએ છીએ અપાચે એવરો. ઉદાહરણ:

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

આ વર્ણનના આધારે, DDL (ડેટા ડેફિનેશન લેંગ્વેજ) ટેરેન્ટુલા DBMS માટે આપમેળે જનરેટ થાય છે અને ગ્રાફક્યુએલ ડેટા એક્સેસ માટે સ્કીમા.

અસુમેળ ડેટા પ્રતિકૃતિ સમર્થિત છે (સિંક્રનસ ઉમેરવાની યોજના છે).

આઉટપુટ પ્રોસેસર

કેટલીકવાર નવા ડેટાના આગમન વિશે બાહ્ય ગ્રાહકોને સૂચિત કરવું જરૂરી છે; આ હેતુ માટે, આઉટપુટ પ્રોસેસરની ભૂમિકા છે. ડેટા સાચવ્યા પછી, તે સંબંધિત હેન્ડલરને પસાર કરી શકાય છે (ઉદાહરણ તરીકે, તેને ઉપભોક્તા દ્વારા જરૂરી ફોર્મમાં લાવવા માટે) - અને પછી મોકલવા માટે કનેક્ટરને પસાર કરી શકાય છે. સમારકામ કતારનો પણ અહીં ઉપયોગ થાય છે: જો કોઈએ ઑબ્જેક્ટ સ્વીકાર્યું ન હોય, તો વ્યવસ્થાપક પછીથી ફરી પ્રયાસ કરી શકે છે.

સ્કેલિંગ

કનેક્ટર, ઇનપુટ પ્રોસેસર અને આઉટપુટ પ્રોસેસરની ભૂમિકાઓ સ્ટેટલેસ છે, જે અમને ઇચ્છિત ભૂમિકા પ્રકાર સક્ષમ સાથે નવા એપ્લિકેશન દાખલાઓ ઉમેરીને સિસ્ટમને આડી રીતે સ્કેલ કરવાની મંજૂરી આપે છે. સ્ટોરેજનો ઉપયોગ આડી સ્કેલિંગ માટે થાય છે અભિગમ વર્ચ્યુઅલ બકેટનો ઉપયોગ કરીને ક્લસ્ટર ગોઠવવા માટે. નવું સર્વર ઉમેર્યા પછી, જૂના સર્વરમાંથી કેટલીક ડોલ પૃષ્ઠભૂમિમાં નવા સર્વર પર ખસેડવામાં આવે છે; આ વપરાશકર્તાઓ માટે પારદર્શક રીતે થાય છે અને સમગ્ર સિસ્ટમના સંચાલનને અસર કરતું નથી.

ડેટા પ્રોપર્ટીઝ

ઑબ્જેક્ટ્સ ખૂબ મોટા હોઈ શકે છે અને અન્ય ઑબ્જેક્ટ્સ સમાવી શકે છે. અમે એક વર્ચ્યુઅલ બકેટમાં તમામ અવલંબન સાથે ઑબ્જેક્ટ સ્ટોર કરીને ડેટા ઉમેરવા અને અપડેટ કરવાની પરમાણુતાને સુનિશ્ચિત કરીએ છીએ. આ ઑબ્જેક્ટને ઘણા ભૌતિક સર્વર્સ પર "ફેલાતા" થવાથી અટકાવે છે.

વર્ઝનિંગ સપોર્ટેડ છે: ઑબ્જેક્ટનું દરેક અપડેટ નવું વર્ઝન બનાવે છે, અને અમે હંમેશા સમયનો ટુકડો લઈ શકીએ છીએ અને જોઈ શકીએ છીએ કે તે સમયે દુનિયા કેવી દેખાતી હતી. લાંબા ઇતિહાસની જરૂર ન હોય તેવા ડેટા માટે, અમે સંસ્કરણોની સંખ્યાને મર્યાદિત કરી શકીએ છીએ અથવા ફક્ત એક જ સંગ્રહિત કરી શકીએ છીએ - નવીનતમ - એટલે કે, ચોક્કસ પ્રકાર માટે આવશ્યકપણે સંસ્કરણને અક્ષમ કરો. તમે સમય દ્વારા ઇતિહાસને મર્યાદિત પણ કરી શકો છો: ઉદાહરણ તરીકે, 1 વર્ષથી જૂની ચોક્કસ પ્રકારની તમામ વસ્તુઓ કાઢી નાખો. આર્કાઇવિંગ પણ સપોર્ટેડ છે: અમે ક્લસ્ટરમાં જગ્યા ખાલી કરીને, ઉલ્લેખિત સમય કરતાં જૂની વસ્તુઓને અનલોડ કરી શકીએ છીએ.

કાર્યો

રસપ્રદ સુવિધાઓમાં, શેડ્યૂલ પર, વપરાશકર્તાની વિનંતી પર અથવા સેન્ડબોક્સમાંથી પ્રોગ્રામેટિક રીતે કાર્યો શરૂ કરવાની ક્ષમતાને ધ્યાનમાં લેવી યોગ્ય છે:

અહીં આપણે બીજી ભૂમિકા જોઈએ છીએ - દોડવીર. આ ભૂમિકા સ્ટેટલેસ છે, અને આ ભૂમિકા સાથેના વધારાના એપ્લિકેશન ઉદાહરણો ક્લસ્ટરમાં જરૂર મુજબ ઉમેરી શકાય છે. દોડવીરની જવાબદારી કાર્યોને પૂર્ણ કરવાની છે. ઉલ્લેખ કર્યો છે તેમ, સેન્ડબોક્સમાંથી નવા કાર્યો જનરેટ કરવાનું શક્ય છે; તેઓ સ્ટોરેજ પર કતારમાં સાચવવામાં આવે છે અને પછી રનર પર ચલાવવામાં આવે છે. આ પ્રકારના કાર્યને જોબ કહેવામાં આવે છે. અમારી પાસે ટાસ્ક નામનો કાર્ય પ્રકાર પણ છે - આ વપરાશકર્તા-નિર્ધારિત કાર્યો છે જે શેડ્યૂલ પર ચાલે છે (ક્રોન સિન્ટેક્સનો ઉપયોગ કરીને) અથવા માંગ પર. આવા કાર્યોને શરૂ કરવા અને ટ્રૅક કરવા માટે, અમારી પાસે અનુકૂળ કાર્ય વ્યવસ્થાપક છે. આ કાર્યક્ષમતા ઉપલબ્ધ થવા માટે, તમારે શેડ્યૂલરની ભૂમિકાને સક્ષમ કરવી આવશ્યક છે; આ ભૂમિકાની એક સ્થિતિ છે, તેથી તે સ્કેલ કરતું નથી, જે, જો કે, જરૂરી નથી; તે જ સમયે, અન્ય તમામ ભૂમિકાઓની જેમ, તેમાં એક પ્રતિકૃતિ હોઈ શકે છે જે કામ કરવાનું શરૂ કરે છે જો માસ્ટર અચાનક ઇનકાર કરે છે.

લોગર

બીજી ભૂમિકાને લોગર કહેવામાં આવે છે. તે ક્લસ્ટરના તમામ સભ્યો પાસેથી લોગ એકત્રિત કરે છે અને તેને વેબ ઈન્ટરફેસ દ્વારા અપલોડ કરવા અને જોવા માટે ઈન્ટરફેસ પ્રદાન કરે છે.

સેવાઓ

ઉલ્લેખનીય છે કે સિસ્ટમ સેવાઓ બનાવવાનું સરળ બનાવે છે. રૂપરેખાંકન ફાઇલમાં, તમે સ્પષ્ટ કરી શકો છો કે સેન્ડબોક્સમાં ચાલતા વપરાશકર્તા-લેખિત હેન્ડલરને કઈ વિનંતીઓ મોકલવામાં આવે છે. આ હેન્ડલરમાં, તમે, ઉદાહરણ તરીકે, અમુક પ્રકારની વિશ્લેષણાત્મક ક્વેરી ચલાવી શકો છો અને પરિણામ પરત કરી શકો છો.

સેવા રૂપરેખાંકન ફાઇલમાં વર્ણવેલ છે:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API આપમેળે જનરેટ થાય છે અને સેવા કૉલ કરવા માટે ઉપલબ્ધ બને છે:

query {
   sum(x: 1, y: 2) 
}

આ હેન્ડલરને કૉલ કરશે sumજે પરિણામ આપશે:

3

ક્વેરી પ્રોફાઇલિંગ અને મેટ્રિક્સ

સિસ્ટમની કામગીરી અને પ્રોફાઇલિંગ વિનંતીઓને સમજવા માટે, અમે OpenTracing પ્રોટોકોલ માટે સમર્થન લાગુ કર્યું છે. સિસ્ટમ આ પ્રોટોકોલને સપોર્ટ કરતા સાધનોને માંગ પરની માહિતી મોકલી શકે છે, જેમ કે ઝિપકીન, જે તમને વિનંતી કેવી રીતે ચલાવવામાં આવી તે સમજવાની મંજૂરી આપશે:

સ્વાભાવિક રીતે, સિસ્ટમ આંતરિક મેટ્રિક્સ પ્રદાન કરે છે જે પ્રોમિથિયસનો ઉપયોગ કરીને એકત્રિત કરી શકાય છે અને ગ્રાફનાનો ઉપયોગ કરીને વિઝ્યુઅલાઈઝ કરી શકાય છે.

જમાવટ કરો

Tarantool ડેટા ગ્રીડને RPM પેકેજો અથવા આર્કાઇવમાંથી તૈનાત કરી શકાય છે, વિતરણ અથવા Ansibleમાંથી યુટિલિટીનો ઉપયોગ કરીને, કુબરનેટ્સ માટે સપોર્ટ પણ છે (ટેરન્ટૂલ કુબરનેટ્સ ઓપરેટર).

એપ્લીકેશન કે જે બિઝનેસ લોજીક (રૂપરેખાંકન, હેન્ડલર્સ) ને અમલમાં મૂકે છે તે તૈનાત ટેરન્ટૂલ ડેટા ગ્રીડ ક્લસ્ટરમાં UI દ્વારા આર્કાઇવના રૂપમાં અથવા અમારા દ્વારા પ્રદાન કરવામાં આવેલ API મારફતે સ્ક્રિપ્ટનો ઉપયોગ કરીને લોડ કરવામાં આવે છે.

નમૂના કાર્યક્રમો

ટેરન્ટૂલ ડેટા ગ્રીડનો ઉપયોગ કરીને કઈ એપ્લિકેશનો બનાવી શકાય છે? વાસ્તવમાં, મોટાભાગના વ્યવસાયિક કાર્યો કોઈક રીતે ડેટા ફ્લોની પ્રક્રિયા, સંગ્રહ અને ઍક્સેસ સાથે સંબંધિત છે. તેથી, જો તમારી પાસે ડેટાની મોટી સ્ટ્રીમ્સ હોય જેને સુરક્ષિત રીતે સંગ્રહિત અને ઍક્સેસ કરવાની જરૂર હોય, તો અમારું ઉત્પાદન તમારો વિકાસનો ઘણો સમય બચાવી શકે છે અને તમારા વ્યવસાયના તર્ક પર ધ્યાન કેન્દ્રિત કરી શકે છે.

ઉદાહરણ તરીકે, અમે રિયલ એસ્ટેટ માર્કેટ વિશે માહિતી એકત્રિત કરવા માંગીએ છીએ, જેથી ભવિષ્યમાં, ઉદાહરણ તરીકે, અમારી પાસે શ્રેષ્ઠ ઑફર્સ વિશેની માહિતી હશે. આ કિસ્સામાં, અમે નીચેના કાર્યોને પ્રકાશિત કરીશું:

1. ખુલ્લા સ્ત્રોતોમાંથી માહિતી એકત્રિત કરતા રોબોટ્સ અમારા ડેટા સ્ત્રોત હશે. તમે તૈયાર સોલ્યુશન્સનો ઉપયોગ કરીને અથવા કોઈપણ ભાષામાં કોડ લખીને આ સમસ્યા હલ કરી શકો છો.
2. આગળ, Tarantool ડેટા ગ્રીડ ડેટા સ્વીકારશે અને સાચવશે. જો વિવિધ સ્રોતોમાંથી ડેટા ફોર્મેટ અલગ હોય, તો તમે લુઆમાં કોડ લખી શકો છો જે એક જ ફોર્મેટમાં રૂપાંતરણ કરશે. પ્રી-પ્રોસેસિંગ સ્ટેજ પર, તમે પણ સક્ષમ હશો, ઉદાહરણ તરીકે, ડુપ્લિકેટ ઑફર્સને ફિલ્ટર કરવા અથવા વધુમાં ડેટાબેઝમાં માર્કેટમાં કામ કરતા એજન્ટો વિશેની માહિતી અપડેટ કરી શકશો.
3. હવે તમારી પાસે પહેલેથી જ ક્લસ્ટરમાં સ્કેલેબલ સોલ્યુશન છે જે ડેટાથી ભરી શકાય છે અને ડેટાની પસંદગી કરી શકે છે. પછી તમે નવી કાર્યક્ષમતાને અમલમાં મૂકી શકો છો, ઉદાહરણ તરીકે, એક સેવા લખો જે ડેટા માટે વિનંતી કરશે અને દરરોજ સૌથી વધુ ફાયદાકારક ઑફર આપશે - આ માટે રૂપરેખાંકન ફાઇલમાં થોડી લીટીઓ અને થોડો લુઆ કોડની જરૂર પડશે.

શું આગામી છે?

અમારી પ્રાથમિકતા વિકાસની સરળતાનો ઉપયોગ કરીને સુધારવાની છે ટેરન્ટૂલ ડેટા ગ્રીડ. ઉદાહરણ તરીકે, આ એક IDE છે જે સેન્ડબોક્સમાં ચાલતા હેન્ડલર્સ પ્રોફાઇલિંગ અને ડીબગીંગ માટે સપોર્ટ સાથે છે.

અમે સલામતીના મુદ્દાઓ પર પણ ખૂબ ધ્યાન આપીએ છીએ. અત્યારે અમે ઉચ્ચ સ્તરની સુરક્ષાની પુષ્ટિ કરવા અને વ્યક્તિગત ડેટા માહિતી પ્રણાલીઓ અને સરકારી માહિતી પ્રણાલીઓમાં ઉપયોગમાં લેવાતા સોફ્ટવેર ઉત્પાદનોના પ્રમાણપત્ર માટેની આવશ્યકતાઓને પૂર્ણ કરવા માટે રશિયાના FSTEC દ્વારા પ્રમાણપત્રમાંથી પસાર થઈ રહ્યા છીએ.

સોર્સ: www.habr.com