Tarantool ഡാറ്റ ഗ്രിഡിന്റെ വാസ്തുവിദ്യയും കഴിവുകളും

2017-ൽ, Alfa-Bank-ന്റെ നിക്ഷേപ ബിസിനസിന്റെ ട്രാൻസാഷണൽ കോർ വികസിപ്പിക്കുന്നതിനുള്ള ഒരു മത്സരത്തിൽ ഞങ്ങൾ വിജയിക്കുകയും, നിക്ഷേപ ബിസിനസിന്റെ കാതലായ റിപ്പോർട്ടുമായി ഹൈലോഡ്++ 2018-ൽ പ്രവർത്തനം ആരംഭിക്കുകയും ചെയ്തു. നിർവഹിച്ചു ആൽഫ ബാങ്കിന്റെ നിക്ഷേപ ബിസിനസിന്റെ ട്രാൻസാക്ഷൻ കോറിന്റെ തലവൻ വ്‌ളാഡിമിർ ഡ്രിങ്കിൻ). ഈ സംവിധാനം വിവിധ സ്രോതസ്സുകളിൽ നിന്നുള്ള ഇടപാട് ഡാറ്റ വിവിധ ഫോർമാറ്റുകളിൽ സംഗ്രഹിക്കുകയും ഡാറ്റയെ ഒരു ഏകീകൃത രൂപത്തിലേക്ക് കൊണ്ടുവരുകയും സംഭരിക്കുകയും അതിലേക്ക് ആക്സസ് നൽകുകയും ചെയ്യേണ്ടതായിരുന്നു.

വികസന പ്രക്രിയയിൽ, സിസ്റ്റം വികസിക്കുകയും പ്രവർത്തനക്ഷമത നേടുകയും ചെയ്തു, കർശനമായി നിർവചിക്കപ്പെട്ടിട്ടുള്ള ടാസ്‌ക്കുകൾ പരിഹരിക്കുന്നതിനായി സൃഷ്‌ടിച്ച ആപ്ലിക്കേഷൻ സോഫ്‌റ്റ്‌വെയറേക്കാൾ കൂടുതൽ എന്തെങ്കിലും ഞങ്ങൾ ക്രിസ്റ്റലൈസ് ചെയ്യുകയാണെന്ന് ചില ഘട്ടങ്ങളിൽ ഞങ്ങൾ മനസ്സിലാക്കി: ഞങ്ങൾ വിജയിച്ചു. സ്ഥിരമായ സംഭരണത്തോടെ വിതരണം ചെയ്ത ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുന്നതിനുള്ള സംവിധാനം. ഞങ്ങൾ നേടിയ അനുഭവം ഒരു പുതിയ ഉൽപ്പന്നത്തിന്റെ അടിസ്ഥാനമായി - Tarantool ഡാറ്റ ഗ്രിഡ് (ടിഡിജി).

TDG വാസ്തുവിദ്യയെക്കുറിച്ചും വികസന പ്രക്രിയയിൽ ഞങ്ങൾ കണ്ടെത്തിയ പരിഹാരങ്ങളെക്കുറിച്ചും സംസാരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു, പ്രധാന പ്രവർത്തനത്തിലേക്ക് നിങ്ങളെ പരിചയപ്പെടുത്തുകയും ഞങ്ങളുടെ ഉൽപ്പന്നം പൂർണ്ണമായ പരിഹാരങ്ങൾ നിർമ്മിക്കുന്നതിനുള്ള അടിസ്ഥാനമാകുന്നത് എങ്ങനെയെന്ന് കാണിക്കുകയും ചെയ്യുന്നു.

വാസ്തുശാസ്ത്രപരമായി, ഞങ്ങൾ സിസ്റ്റത്തെ പ്രത്യേകമായി വിഭജിച്ചു വേഷങ്ങൾ, ഓരോന്നും ഒരു നിശ്ചിത പരിധിയിലുള്ള പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ഉത്തരവാദികളാണ്. ഒരൊറ്റ റണ്ണിംഗ് ആപ്ലിക്കേഷൻ ഇൻസ്‌റ്റൻസ് ഒന്നോ അതിലധികമോ റോൾ തരങ്ങൾ നടപ്പിലാക്കുന്നു. ഒരു ക്ലസ്റ്ററിൽ ഒരേ തരത്തിലുള്ള നിരവധി റോളുകൾ ഉണ്ടാകാം:

കണക്റ്റർ

പുറം ലോകവുമായുള്ള ആശയവിനിമയത്തിന് കണക്റ്റർ ഉത്തരവാദിയാണ്; അഭ്യർത്ഥന സ്വീകരിക്കുക, പാഴ്‌സ് ചെയ്യുക, ഇത് വിജയിക്കുകയാണെങ്കിൽ, ഇൻപുട്ട് പ്രോസസറിലേക്ക് പ്രോസസ്സിംഗിനായി ഡാറ്റ അയയ്ക്കുക എന്നതാണ് ഇതിന്റെ ചുമതല. ഞങ്ങൾ HTTP, SOAP, Kafka, FIX ഫോർമാറ്റുകളെ പിന്തുണയ്ക്കുന്നു. പുതിയ ഫോർമാറ്റുകൾക്കുള്ള പിന്തുണ ചേർക്കാൻ ആർക്കിടെക്ചർ നിങ്ങളെ അനുവദിക്കുന്നു, IBM MQ-നുള്ള പിന്തുണ ഉടൻ വരുന്നു. അഭ്യർത്ഥന പാഴ്‌സ് ചെയ്യുന്നത് പരാജയപ്പെട്ടാൽ, കണക്റ്റർ ഒരു പിശക് നൽകും; അല്ലെങ്കിൽ, അഭ്യർത്ഥന വിജയകരമായി പ്രോസസ്സ് ചെയ്തുവെന്ന് അത് പ്രതികരിക്കും, അതിന്റെ തുടർന്നുള്ള പ്രോസസ്സിംഗ് സമയത്ത് ഒരു പിശക് സംഭവിച്ചാലും. അഭ്യർത്ഥനകൾ എങ്ങനെ ആവർത്തിക്കണമെന്ന് അറിയാത്ത സിസ്റ്റങ്ങളുമായി പ്രവർത്തിക്കുന്നതിനാണ് ഇത് പ്രത്യേകമായി ചെയ്തത് - അല്ലെങ്കിൽ, നേരെമറിച്ച്, ഇത് വളരെ സ്ഥിരമായി ചെയ്യുക. ഡാറ്റ നഷ്‌ടപ്പെടാതിരിക്കാൻ, ഒരു റിപ്പയർ ക്യൂ ഉപയോഗിക്കുന്നു: ഒബ്‌ജക്റ്റ് ആദ്യം അതിൽ പ്രവേശിക്കുന്നു, വിജയകരമായ പ്രോസസ്സിംഗ് അതിൽ നിന്ന് നീക്കം ചെയ്‌തതിനുശേഷം മാത്രം. അഡ്‌മിനിസ്‌ട്രേറ്റർക്ക് റിപ്പയർ ക്യൂവിൽ ശേഷിക്കുന്ന ഒബ്‌ജക്‌റ്റുകളെക്കുറിച്ചുള്ള അലേർട്ടുകൾ സ്വീകരിക്കാൻ കഴിയും, ഒരു സോഫ്റ്റ്‌വെയർ പിശകോ ഹാർഡ്‌വെയർ പരാജയമോ ഇല്ലാതാക്കിയ ശേഷം, വീണ്ടും ശ്രമിക്കുക.

ഇൻപുട്ട് പ്രോസസർ

ഇൻപുട്ട് പ്രോസസർ സ്വീകരിച്ച ഡാറ്റയെ സ്വഭാവ സവിശേഷതകളനുസരിച്ച് തരംതിരിക്കുകയും ഉചിതമായ പ്രോസസ്സറുകളെ വിളിക്കുകയും ചെയ്യുന്നു. ഹാൻഡ്‌ലറുകൾ ഒരു സാൻഡ്‌ബോക്‌സിൽ പ്രവർത്തിക്കുന്ന ലുവാ കോഡാണ്, അതിനാൽ അവ സിസ്റ്റത്തിന്റെ പ്രവർത്തനത്തെ ബാധിക്കില്ല. ഈ ഘട്ടത്തിൽ, ആവശ്യമായ ഫോമിലേക്ക് ഡാറ്റ കുറയ്ക്കാൻ കഴിയും, ആവശ്യമെങ്കിൽ, ആവശ്യമായ യുക്തി നടപ്പിലാക്കാൻ കഴിയുന്ന ഒരു അനിയന്ത്രിതമായ ടാസ്ക്കുകൾ സമാരംഭിക്കാൻ കഴിയും. ഉദാഹരണത്തിന്, Tarantool ഡാറ്റ ഗ്രിഡിൽ നിർമ്മിച്ച MDM (മാസ്റ്റർ ഡാറ്റാ മാനേജ്മെന്റ്) ഉൽപ്പന്നത്തിൽ, ഒരു പുതിയ ഉപയോക്താവിനെ ചേർക്കുമ്പോൾ, അഭ്യർത്ഥനയുടെ പ്രോസസ്സിംഗ് മന്ദഗതിയിലാക്കാതിരിക്കാൻ, ഞങ്ങൾ ഒരു പ്രത്യേക ടാസ്ക്കായി ഒരു ഗോൾഡൻ റെക്കോർഡ് സൃഷ്ടിക്കുന്നത് സമാരംഭിക്കുന്നു. ഡാറ്റ റീഡുചെയ്യുന്നതിനും മാറ്റുന്നതിനും ചേർക്കുന്നതിനുമുള്ള അഭ്യർത്ഥനകളെ സാൻഡ്‌ബോക്‌സ് പിന്തുണയ്‌ക്കുന്നു, സ്‌റ്റോറേജ് തരത്തിന്റെ എല്ലാ റോളുകളിലും ഫലത്തിന്റെ സമാഹരണത്തിലും ചില പ്രവർത്തനങ്ങൾ നടത്താൻ നിങ്ങളെ അനുവദിക്കുന്നു (മാപ്പ്/കുറയ്ക്കുക).

ഹാൻഡ്‌ലറുകൾ ഫയലുകളിൽ വിവരിക്കാം:

sum.lua

local x, y = unpack(...)
return x + y

തുടർന്ന്, കോൺഫിഗറേഷനിൽ പ്രഖ്യാപിച്ചു:

functions:
  sum: { __file: sum.lua }

എന്തുകൊണ്ട് ലുവാ? ലുവാ വളരെ ലളിതമായ ഭാഷയാണ്. ഞങ്ങളുടെ അനുഭവത്തെ അടിസ്ഥാനമാക്കി, അത് അറിഞ്ഞ് കുറച്ച് മണിക്കൂറുകൾക്ക് ശേഷം, ആളുകൾ അവരുടെ പ്രശ്നം പരിഹരിക്കുന്ന കോഡ് എഴുതാൻ തുടങ്ങുന്നു. ഇവർ പ്രൊഫഷണൽ ഡവലപ്പർമാർ മാത്രമല്ല, ഉദാഹരണത്തിന്, വിശകലന വിദഗ്ധർ. കൂടാതെ, ജിറ്റ് കംപൈലറിന് നന്ദി, ലുവ വളരെ വേഗത്തിൽ പ്രവർത്തിക്കുന്നു.

ശേഖരണം

സംഭരണം സ്ഥിരമായ ഡാറ്റ സംഭരിക്കുന്നു. സംരക്ഷിക്കുന്നതിന് മുമ്പ്, ഡാറ്റ സ്‌കീമയ്‌ക്കെതിരെ ഡാറ്റ സാധൂകരിക്കുന്നു. സർക്യൂട്ട് വിവരിക്കാൻ ഞങ്ങൾ ഒരു വിപുലീകൃത ഫോർമാറ്റ് ഉപയോഗിക്കുന്നു അപ്പാച്ചെ അവ്രൊ. ഉദാഹരണം:

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

ഈ വിവരണത്തെ അടിസ്ഥാനമാക്കി, ടരാന്റുല ഡിബിഎംഎസിനായി ഡിഡിഎൽ (ഡാറ്റ ഡെഫനിഷൻ ലാംഗ്വേജ്) സ്വയമേവ ജനറേറ്റുചെയ്യുന്നു. ഗ്രാഫിക് ഡാറ്റ ആക്സസ് ചെയ്യുന്നതിനുള്ള സ്കീമ.

അസിൻക്രണസ് ഡാറ്റ റെപ്ലിക്കേഷൻ പിന്തുണയ്ക്കുന്നു (സിൻക്രണസ് ഒന്ന് ചേർക്കാൻ പദ്ധതിയുണ്ട്).

ഔട്ട്പുട്ട് പ്രൊസസർ

ചിലപ്പോൾ പുതിയ ഡാറ്റയുടെ വരവിനെക്കുറിച്ച് ബാഹ്യ ഉപഭോക്താക്കളെ അറിയിക്കേണ്ടത് ആവശ്യമാണ്; ഈ ആവശ്യത്തിനായി, ഔട്ട്പുട്ട് പ്രോസസർ റോൾ ഉണ്ട്. ഡാറ്റ സംരക്ഷിച്ചതിന് ശേഷം, അത് അനുബന്ധ ഹാൻഡ്‌ലറിന് കൈമാറാൻ കഴിയും (ഉദാഹരണത്തിന്, ഉപഭോക്താവിന് ആവശ്യമായ ഫോമിലേക്ക് ഇത് കൊണ്ടുവരാൻ) - തുടർന്ന് അയയ്‌ക്കുന്നതിനായി കണക്റ്ററിലേക്ക് കൈമാറുക. ഒരു റിപ്പയർ ക്യൂവും ഇവിടെ ഉപയോഗിക്കുന്നു: ആരും ഒബ്ജക്റ്റ് സ്വീകരിച്ചില്ലെങ്കിൽ, അഡ്മിനിസ്ട്രേറ്റർക്ക് പിന്നീട് വീണ്ടും ശ്രമിക്കാവുന്നതാണ്.

സ്കെയിലിംഗ്

കണക്ടർ, ഇൻപുട്ട് പ്രോസസർ, ഔട്ട്‌പുട്ട് പ്രോസസർ റോളുകൾ എന്നിവ സ്‌റ്റേറ്റ്‌ലെസ് ആണ്, ആവശ്യമുള്ള റോൾ ടൈപ്പ് പ്രവർത്തനക്ഷമമാക്കി പുതിയ ആപ്ലിക്കേഷൻ ഇൻസ്‌റ്റൻസുകൾ ചേർത്ത് സിസ്റ്റം തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. തിരശ്ചീന സ്കെയിലിംഗിനായി സംഭരണം ഉപയോഗിക്കുന്നു സമീപനം വെർച്വൽ ബക്കറ്റുകൾ ഉപയോഗിച്ച് ഒരു ക്ലസ്റ്റർ സംഘടിപ്പിക്കുന്നതിന്. ഒരു പുതിയ സെർവർ ചേർത്ത ശേഷം, പഴയ സെർവറുകളിൽ നിന്നുള്ള ചില ബക്കറ്റുകൾ പശ്ചാത്തലത്തിലുള്ള പുതിയ സെർവറിലേക്ക് നീക്കുന്നു; ഇത് ഉപയോക്താക്കൾക്ക് സുതാര്യമായി സംഭവിക്കുന്നു കൂടാതെ മുഴുവൻ സിസ്റ്റത്തിന്റെയും പ്രവർത്തനത്തെ ബാധിക്കില്ല.

ഡാറ്റ പ്രോപ്പർട്ടികൾ

ഒബ്‌ജക്റ്റുകൾ വളരെ വലുതും മറ്റ് വസ്തുക്കളും അടങ്ങിയിരിക്കാം. ഒരു വെർച്വൽ ബക്കറ്റിൽ എല്ലാ ഡിപൻഡൻസികളുമുള്ള ഒരു ഒബ്‌ജക്‌റ്റ് സംഭരിച്ച് ഡാറ്റ ചേർക്കുന്നതിനും അപ്‌ഡേറ്റ് ചെയ്യുന്നതിനുമുള്ള ആറ്റോമിസിറ്റി ഞങ്ങൾ ഉറപ്പാക്കുന്നു. ഇത് ഒബ്‌ജക്‌റ്റ് നിരവധി ഫിസിക്കൽ സെർവറുകളിലുടനീളം “പരത്തുന്നത്” തടയുന്നു.

വേർഷനിംഗ് പിന്തുണയ്ക്കുന്നു: ഒബ്‌ജക്റ്റിന്റെ ഓരോ അപ്‌ഡേറ്റും ഒരു പുതിയ പതിപ്പ് സൃഷ്‌ടിക്കുന്നു, ഞങ്ങൾക്ക് എല്ലായ്പ്പോഴും ഒരു ടൈം സ്ലൈസ് എടുത്ത് ലോകം അപ്പോൾ എങ്ങനെ കാണപ്പെട്ടുവെന്ന് കാണാൻ കഴിയും. ദൈർഘ്യമേറിയ ചരിത്രം ആവശ്യമില്ലാത്ത ഡാറ്റയ്‌ക്കായി, ഞങ്ങൾക്ക് പതിപ്പുകളുടെ എണ്ണം പരിമിതപ്പെടുത്താം അല്ലെങ്കിൽ ഒരെണ്ണം മാത്രം സംഭരിക്കാം - ഏറ്റവും പുതിയത് - അതായത്, ഒരു പ്രത്യേക തരത്തിനായുള്ള പതിപ്പിംഗ് പ്രവർത്തനരഹിതമാക്കുക. നിങ്ങൾക്ക് സമയം അനുസരിച്ച് ചരിത്രം പരിമിതപ്പെടുത്താനും കഴിയും: ഉദാഹരണത്തിന്, 1 വർഷത്തിൽ കൂടുതൽ പഴക്കമുള്ള ഒരു പ്രത്യേക തരത്തിലുള്ള എല്ലാ വസ്തുക്കളും ഇല്ലാതാക്കുക. ആർക്കൈവിംഗും പിന്തുണയ്‌ക്കുന്നു: ക്ലസ്റ്ററിലെ ഇടം സൃഷ്‌ടിച്ച്, നിശ്ചിത സമയത്തേക്കാൾ പഴയ ഒബ്‌ജക്റ്റുകൾ നമുക്ക് അൺലോഡ് ചെയ്യാൻ കഴിയും.

ചുമതലകൾ

രസകരമായ സവിശേഷതകളിൽ, ഒരു ഷെഡ്യൂളിൽ, ഉപയോക്താവിന്റെ അഭ്യർത്ഥന പ്രകാരം അല്ലെങ്കിൽ സാൻഡ്ബോക്സിൽ നിന്ന് പ്രോഗ്രാമുകൾ ലോഞ്ച് ചെയ്യാനുള്ള കഴിവ് ശ്രദ്ധിക്കേണ്ടതാണ്:

ഇവിടെ നമുക്ക് മറ്റൊരു റോൾ കാണാം - റണ്ണർ. ഈ റോൾ സ്‌റ്റേറ്റ്‌ലെസ് ആണ്, കൂടാതെ ഈ റോളുള്ള അധിക ആപ്ലിക്കേഷൻ ഇൻസ്‌റ്റൻസുകൾ ആവശ്യാനുസരണം ക്ലസ്റ്ററിലേക്ക് ചേർക്കാവുന്നതാണ്. ജോലികൾ പൂർത്തിയാക്കുക എന്നതാണ് റണ്ണറുടെ ഉത്തരവാദിത്തം. സൂചിപ്പിച്ചതുപോലെ, സാൻഡ്ബോക്സിൽ നിന്ന് പുതിയ ടാസ്ക്കുകൾ സൃഷ്ടിക്കുന്നത് സാധ്യമാണ്; അവ സ്റ്റോറേജിൽ ഒരു ക്യൂവിൽ സേവ് ചെയ്യുകയും തുടർന്ന് റണ്ണറിൽ എക്സിക്യൂട്ട് ചെയ്യുകയും ചെയ്യുന്നു. ഇത്തരത്തിലുള്ള ജോലിയെ ജോബ് എന്ന് വിളിക്കുന്നു. ഞങ്ങൾക്ക് ടാസ്‌ക് എന്നൊരു ടാസ്‌ക് തരവും ഉണ്ട് - ഇവ ഒരു ഷെഡ്യൂളിൽ (ക്രോൺ വാക്യഘടന ഉപയോഗിച്ച്) അല്ലെങ്കിൽ ആവശ്യാനുസരണം പ്രവർത്തിക്കുന്ന ഉപയോക്തൃ-നിർവചിച്ച ടാസ്‌ക്കുകളാണ്. അത്തരം ജോലികൾ സമാരംഭിക്കുന്നതിനും ട്രാക്കുചെയ്യുന്നതിനും, ഞങ്ങൾക്ക് സൗകര്യപ്രദമായ ഒരു ടാസ്‌ക് മാനേജർ ഉണ്ട്. ഈ പ്രവർത്തനം ലഭ്യമാകുന്നതിന്, നിങ്ങൾ ഷെഡ്യൂളർ റോൾ പ്രവർത്തനക്ഷമമാക്കണം; ഈ റോളിന് ഒരു അവസ്ഥയുണ്ട്, അതിനാൽ അത് സ്കെയിൽ ചെയ്യുന്നില്ല, എന്നിരുന്നാലും, അത് ആവശ്യമില്ല; അതേ സമയം, മറ്റെല്ലാ വേഷങ്ങളെയും പോലെ, യജമാനൻ പെട്ടെന്ന് നിരസിച്ചാൽ പ്രവർത്തിക്കാൻ തുടങ്ങുന്ന ഒരു പകർപ്പ് ഇതിന് ഉണ്ടായിരിക്കാം.

ലോഗർ

മറ്റൊരു റോളിനെ ലോഗർ എന്ന് വിളിക്കുന്നു. ഇത് ക്ലസ്റ്ററിലെ എല്ലാ അംഗങ്ങളിൽ നിന്നും ലോഗുകൾ ശേഖരിക്കുകയും വെബ് ഇന്റർഫേസിലൂടെ അപ്‌ലോഡ് ചെയ്യുന്നതിനും കാണുന്നതിനുമുള്ള ഒരു ഇന്റർഫേസ് നൽകുന്നു.

സേവനങ്ങൾ

സേവനങ്ങൾ സൃഷ്ടിക്കുന്നത് സിസ്റ്റം എളുപ്പമാക്കുന്നു എന്നത് എടുത്തുപറയേണ്ടതാണ്. കോൺഫിഗറേഷൻ ഫയലിൽ, സാൻഡ്‌ബോക്‌സിൽ പ്രവർത്തിക്കുന്ന ഒരു ഉപയോക്താവ് എഴുതിയ ഹാൻഡ്‌ലറിലേക്ക് ഏതൊക്കെ അഭ്യർത്ഥനകളാണ് അയച്ചതെന്ന് നിങ്ങൾക്ക് വ്യക്തമാക്കാൻ കഴിയും. ഈ ഹാൻഡ്‌ലറിൽ, നിങ്ങൾക്ക് ഒരുതരം അനലിറ്റിക്കൽ അന്വേഷണം പ്രവർത്തിപ്പിച്ച് ഫലം നൽകാം.

കോൺഫിഗറേഷൻ ഫയലിൽ സേവനം വിവരിച്ചിരിക്കുന്നു:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API സ്വയമേവ ജനറേറ്റ് ചെയ്യപ്പെടുകയും സേവനം കോളിംഗിന് ലഭ്യമാകുകയും ചെയ്യും:

query {
   sum(x: 1, y: 2) 
}

ഇത് ഹാൻഡ്ലറെ വിളിക്കും sumഫലം തിരികെ നൽകും:

3

അന്വേഷണ പ്രൊഫൈലിംഗും മെട്രിക്സും

സിസ്റ്റത്തിന്റെ പ്രവർത്തനവും പ്രൊഫൈലിംഗ് അഭ്യർത്ഥനകളും മനസിലാക്കാൻ, ഞങ്ങൾ OpenTracing പ്രോട്ടോക്കോളിനുള്ള പിന്തുണ നടപ്പിലാക്കി. ഈ പ്രോട്ടോക്കോളിനെ പിന്തുണയ്ക്കുന്ന സിപ്കിൻ പോലുള്ള ഉപകരണങ്ങളിലേക്ക് ഡിമാൻഡ് അനുസരിച്ചുള്ള വിവരങ്ങൾ സിസ്റ്റത്തിന് അയയ്‌ക്കാൻ കഴിയും, ഇത് അഭ്യർത്ഥന എങ്ങനെ നടപ്പിലാക്കിയെന്ന് മനസ്സിലാക്കാൻ നിങ്ങളെ അനുവദിക്കും:

സ്വാഭാവികമായും, പ്രോമിത്യൂസ് ഉപയോഗിച്ച് ശേഖരിക്കാനും ഗ്രാഫാന ഉപയോഗിച്ച് ദൃശ്യവൽക്കരിക്കാനും കഴിയുന്ന ആന്തരിക അളവുകൾ സിസ്റ്റം നൽകുന്നു.

വിന്യസിക്കുക

വിതരണത്തിൽ നിന്നോ അൻസിബിളിൽ നിന്നോ ഉള്ള ഒരു യൂട്ടിലിറ്റി ഉപയോഗിച്ച് RPM പാക്കേജുകളിൽ നിന്നോ ഒരു ആർക്കൈവിൽ നിന്നോ Tarantool ഡാറ്റ ഗ്രിഡ് വിന്യസിക്കാൻ കഴിയും, Kubernetes-നുള്ള പിന്തുണയും ഉണ്ട് (Tarantool Kubernetes ഓപ്പറേറ്റർ).

ബിസിനസ്സ് ലോജിക് (കോൺഫിഗറേഷൻ, ഹാൻഡ്‌ലറുകൾ) നടപ്പിലാക്കുന്ന ആപ്ലിക്കേഷൻ, വിന്യസിച്ചിരിക്കുന്ന Tarantool Data Grid ക്ലസ്റ്ററിലേക്ക് UI വഴിയോ ഞങ്ങൾ നൽകിയ API വഴി ഒരു സ്‌ക്രിപ്റ്റ് ഉപയോഗിച്ചോ ഒരു ആർക്കൈവിന്റെ രൂപത്തിൽ ലോഡ് ചെയ്യുന്നു.

സാമ്പിൾ ആപ്ലിക്കേഷനുകൾ

Tarantool ഡാറ്റ ഗ്രിഡ് ഉപയോഗിച്ച് എന്തൊക്കെ ആപ്ലിക്കേഷനുകൾ സൃഷ്ടിക്കാൻ കഴിയും? വാസ്തവത്തിൽ, മിക്ക ബിസിനസ്സ് ജോലികളും എങ്ങനെയെങ്കിലും ഡാറ്റാ ഫ്ലോ പ്രോസസ്സിംഗ്, സംഭരിക്കൽ, ആക്സസ് എന്നിവയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. അതിനാൽ, സുരക്ഷിതമായി സംഭരിക്കുകയും ആക്‌സസ് ചെയ്യുകയും ചെയ്യേണ്ട ഡാറ്റയുടെ വലിയ സ്ട്രീമുകൾ നിങ്ങളുടെ പക്കലുണ്ടെങ്കിൽ, ഞങ്ങളുടെ ഉൽപ്പന്നത്തിന് നിങ്ങൾക്ക് വളരെയധികം വികസന സമയം ലാഭിക്കാനും നിങ്ങളുടെ ബിസിനസ്സ് യുക്തിയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാനും കഴിയും.

ഉദാഹരണത്തിന്, റിയൽ എസ്റ്റേറ്റ് മാർക്കറ്റിനെക്കുറിച്ചുള്ള വിവരങ്ങൾ ശേഖരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു, അതുവഴി ഭാവിയിൽ, ഉദാഹരണത്തിന്, മികച്ച ഓഫറുകളെക്കുറിച്ചുള്ള വിവരങ്ങൾ ഞങ്ങൾക്ക് ലഭിക്കും. ഈ സാഹചര്യത്തിൽ, ഞങ്ങൾ ഇനിപ്പറയുന്ന ജോലികൾ ഹൈലൈറ്റ് ചെയ്യും:

1. ഓപ്പൺ സോഴ്‌സുകളിൽ നിന്ന് വിവരങ്ങൾ ശേഖരിക്കുന്ന റോബോട്ടുകൾ നമ്മുടെ ഡാറ്റാ ഉറവിടങ്ങളായിരിക്കും. ഏത് ഭാഷയിലും റെഡിമെയ്ഡ് സൊല്യൂഷനുകളോ റൈറ്റിംഗ് കോഡോ ഉപയോഗിച്ചോ നിങ്ങൾക്ക് ഈ പ്രശ്നം പരിഹരിക്കാനാകും.
2. അടുത്തതായി, Tarantool ഡാറ്റ ഗ്രിഡ് ഡാറ്റ സ്വീകരിക്കുകയും സംരക്ഷിക്കുകയും ചെയ്യും. വ്യത്യസ്ത ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഫോർമാറ്റ് വ്യത്യസ്തമാണെങ്കിൽ, നിങ്ങൾക്ക് ലുവയിൽ കോഡ് എഴുതാം, അത് ഒരൊറ്റ ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യും. പ്രീ-പ്രോസസ്സിംഗ് ഘട്ടത്തിൽ, നിങ്ങൾക്ക് ഡ്യൂപ്ലിക്കേറ്റ് ഓഫറുകൾ ഫിൽട്ടർ ചെയ്യാനോ ഡാറ്റാബേസിൽ മാർക്കറ്റിൽ പ്രവർത്തിക്കുന്ന ഏജന്റുമാരെക്കുറിച്ചുള്ള വിവരങ്ങൾ അപ്ഡേറ്റ് ചെയ്യാനോ കഴിയും.
3. ഇപ്പോൾ നിങ്ങൾക്ക് ഒരു ക്ലസ്റ്ററിൽ സ്കെയിലബിൾ സൊല്യൂഷൻ ഉണ്ട്, അത് ഡാറ്റ ഉപയോഗിച്ച് പൂരിപ്പിക്കാനും ഡാറ്റ തിരഞ്ഞെടുക്കലുകൾ നടത്താനും കഴിയും. അപ്പോൾ നിങ്ങൾക്ക് പുതിയ പ്രവർത്തനം നടപ്പിലാക്കാൻ കഴിയും, ഉദാഹരണത്തിന്, ഡാറ്റയ്‌ക്കായി ഒരു അഭ്യർത്ഥന നടത്തുകയും പ്രതിദിനം ഏറ്റവും പ്രയോജനകരമായ ഓഫർ നൽകുകയും ചെയ്യുന്ന ഒരു സേവനം എഴുതുക - ഇതിന് കോൺഫിഗറേഷൻ ഫയലിലെ കുറച്ച് വരികളും ഒരു ചെറിയ ലുവാ കോഡും ആവശ്യമാണ്.

അടുത്തത് എന്ത്?

ഉപയോഗത്തിന്റെ എളുപ്പം മെച്ചപ്പെടുത്തുക എന്നതാണ് ഞങ്ങളുടെ മുൻഗണന Tarantool ഡാറ്റ ഗ്രിഡ്. ഉദാഹരണത്തിന്, ഇത് ഒരു സാൻഡ്‌ബോക്‌സിൽ പ്രവർത്തിക്കുന്ന ഹാൻഡ്‌ലറുകൾ പ്രൊഫൈലിംഗിനും ഡീബഗ്ഗിംഗ് ചെയ്യുന്നതിനുമുള്ള പിന്തുണയുള്ള ഒരു IDE ആണ്.

സുരക്ഷാ പ്രശ്‌നങ്ങളിലും ഞങ്ങൾ വളരെയധികം ശ്രദ്ധിക്കുന്നു. ഉയർന്ന നിലവാരത്തിലുള്ള സുരക്ഷ സ്ഥിരീകരിക്കുന്നതിനും വ്യക്തിഗത ഡാറ്റാ വിവര സംവിധാനങ്ങളിലും സർക്കാർ വിവര സംവിധാനങ്ങളിലും ഉപയോഗിക്കുന്ന സോഫ്റ്റ്‌വെയർ ഉൽപ്പന്നങ്ങളുടെ സർട്ടിഫിക്കേഷന്റെ ആവശ്യകതകൾ നിറവേറ്റുന്നതിനുമായി ഞങ്ങൾ ഇപ്പോൾ റഷ്യയിലെ എഫ്‌എസ്‌ടിഇസിയുടെ സർട്ടിഫിക്കേഷന് വിധേയമാണ്.

അവലംബം: www.habr.com