പ്രോസസ്സിംഗ് മാത്രമല്ല: കാഫ്ക സ്ട്രീമിൽ നിന്ന് ഞങ്ങൾ എങ്ങനെ ഒരു വിതരണം ചെയ്ത ഡാറ്റാബേസ് ഉണ്ടാക്കി, അതിൽ എന്താണ് വന്നത്

ഹേ ഹബർ!

എന്നതിനെക്കുറിച്ചുള്ള പുസ്തകം പിന്തുടരുന്നത് ഞങ്ങൾ നിങ്ങളെ ഓർമ്മിപ്പിക്കുന്നു കാഫ്ക ലൈബ്രറിയെ കുറിച്ച് ഞങ്ങൾ സമാനമായ രസകരമായ ഒരു കൃതി പ്രസിദ്ധീകരിച്ചു കാഫ്ക സ്ട്രീംസ് API.

ഇപ്പോൾ, ഈ ശക്തമായ ഉപകരണത്തിന്റെ പരിധികൾ സമൂഹം പഠിക്കുകയാണ്. അതിനാൽ, അടുത്തിടെ ഒരു ലേഖനം പ്രസിദ്ധീകരിച്ചു, അതിന്റെ വിവർത്തനം നിങ്ങളെ പരിചയപ്പെടുത്താൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. സ്വന്തം അനുഭവത്തിൽ നിന്ന്, കാഫ്ക സ്ട്രീമുകൾ എങ്ങനെ ഒരു വിതരണം ചെയ്ത ഡാറ്റ സ്റ്റോറേജാക്കി മാറ്റാമെന്ന് രചയിതാവ് പറയുന്നു. വായന ആസ്വദിക്കൂ!

അപ്പാച്ചെ ലൈബ്രറി കാഫ്ക സ്ട്രീമുകൾ അപ്പാച്ചെ കാഫ്കയുടെ മുകളിൽ വിതരണം ചെയ്ത സ്ട്രീം പ്രോസസ്സിംഗിനായി എന്റർപ്രൈസസിൽ ലോകമെമ്പാടും ഉപയോഗിക്കുന്നു. ത്രെഡ് പ്രോസസ്സിംഗിനെ അടിസ്ഥാനമാക്കി നിർമ്മിച്ച പ്രാദേശിക സംസ്ഥാനങ്ങൾ സംഭരിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു എന്നതാണ് ഈ ചട്ടക്കൂടിന്റെ വിലമതിക്കാത്ത വശങ്ങളിലൊന്ന്.

ഈ ലേഖനത്തിൽ, ക്ലൗഡ് ആപ്ലിക്കേഷൻ സുരക്ഷയ്ക്കായി ഒരു ഉൽപ്പന്നം വികസിപ്പിക്കുമ്പോൾ ഞങ്ങളുടെ കമ്പനി ഈ അവസരം ലാഭകരമായി എങ്ങനെ ഉപയോഗിക്കുമെന്ന് ഞാൻ നിങ്ങളോട് പറയും. കാഫ്ക സ്ട്രീമുകൾ ഉപയോഗിച്ച്, ഞങ്ങൾ പങ്കിട്ട സ്റ്റേറ്റ് മൈക്രോസർവീസുകൾ സൃഷ്ടിച്ചു, അവ ഓരോന്നും സിസ്റ്റത്തിലെ ഒബ്‌ജക്റ്റുകളുടെ അവസ്ഥയെക്കുറിച്ചുള്ള വിശ്വസനീയമായ വിവരങ്ങളുടെ പിഴവ്-സഹിഷ്ണുതയുള്ളതും വളരെ ലഭ്യമായതുമായ ഉറവിടമായി വർത്തിക്കുന്നു. ഞങ്ങളെ സംബന്ധിച്ചിടത്തോളം, ഇത് വിശ്വാസ്യതയുടെയും പിന്തുണയുടെ എളുപ്പത്തിന്റെയും കാര്യത്തിൽ ഒരു മുന്നേറ്റമാണ്.

നിങ്ങളുടെ ഒബ്‌ജക്‌റ്റുകളുടെ ഔപചാരിക അവസ്ഥയെ പിന്തുണയ്‌ക്കുന്നതിന് ഒരൊറ്റ കേന്ദ്ര ഡാറ്റാബേസ് ഉപയോഗിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു ബദൽ സമീപനത്തിൽ നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടെങ്കിൽ, അത് വായിക്കുക, അത് രസകരമായിരിക്കും...

പങ്കിട്ട സംസ്ഥാനവുമായി ഞങ്ങൾ പ്രവർത്തിക്കുന്ന രീതി മാറ്റേണ്ട സമയമാണിതെന്ന് ഞങ്ങൾ കരുതിയത് എന്തുകൊണ്ട്

ഏജന്റ് റിപ്പോർട്ടുകൾ (ഉദാഹരണത്തിന്: സൈറ്റ് ആക്രമണത്തിനിരയായിരുന്നോ) അടിസ്ഥാനമാക്കി വിവിധ ഒബ്‌ജക്‌റ്റുകളുടെ അവസ്ഥ നിലനിർത്തേണ്ടതുണ്ട്. കാഫ്ക സ്ട്രീമുകളിലേക്ക് മൈഗ്രേറ്റ് ചെയ്യുന്നതിന് മുമ്പ്, സംസ്ഥാന മാനേജ്മെന്റിനായി ഞങ്ങൾ പലപ്പോഴും ഒരു കേന്ദ്ര ഡാറ്റാബേസിനെ (+ സേവന API) ആശ്രയിച്ചിരുന്നു. ഈ സമീപനത്തിന് അതിന്റെ പോരായ്മകളുണ്ട്: തീയതി തീവ്രമായ സാഹചര്യങ്ങൾ സ്ഥിരതയും സമന്വയവും നിലനിർത്തുന്നത് ഒരു യഥാർത്ഥ വെല്ലുവിളിയായി മാറുന്നു. ഡാറ്റാബേസ് ഒരു തടസ്സമാകാം അല്ലെങ്കിൽ അവസാനിക്കാം റേസ് അവസ്ഥ പ്രവചനാതീതമായി സഹിക്കുകയും ചെയ്യുന്നു.

ചിത്രം 1: ഇതിലേക്ക് മാറുന്നതിന് മുമ്പ് കണ്ട ഒരു സാധാരണ സ്പ്ലിറ്റ്-സ്റ്റേറ്റ് രംഗം
കാഫ്ക, കാഫ്ക സ്ട്രീമുകൾ: ഏജന്റുമാർ അവരുടെ കാഴ്ചപ്പാടുകൾ API വഴി ആശയവിനിമയം നടത്തുന്നു, ഒരു കേന്ദ്ര ഡാറ്റാബേസ് വഴിയാണ് പുതുക്കിയ നില കണക്കാക്കുന്നത്

പങ്കിട്ട സ്റ്റേറ്റ് മൈക്രോസർവീസുകൾ സൃഷ്‌ടിക്കുന്നത് എളുപ്പമാക്കിക്കൊണ്ട് കാഫ്ക സ്ട്രീമുകളെ പരിചയപ്പെടുക

ഏകദേശം ഒരു വർഷം മുമ്പ്, ഈ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ഞങ്ങളുടെ പങ്കിട്ട സംസ്ഥാന സാഹചര്യങ്ങൾ പരിശോധിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. ഞങ്ങൾ ഉടൻ തന്നെ കാഫ്ക സ്ട്രീമുകൾ പരീക്ഷിക്കാൻ തീരുമാനിച്ചു - അത് എത്രത്തോളം സ്കെയിലബിൾ, ഉയർന്ന ലഭ്യത, തെറ്റ്-സഹിഷ്ണുത എന്നിവയാണെന്ന് ഞങ്ങൾക്കറിയാം, അതിന് എന്ത് സമ്പന്നമായ സ്ട്രീമിംഗ് പ്രവർത്തനമാണുള്ളത് (വ്യത്യസ്‌തമായവ ഉൾപ്പെടെയുള്ള പരിവർത്തനങ്ങൾ). കാഫ്കയിൽ സന്ദേശമയയ്‌ക്കൽ സംവിധാനം എത്രത്തോളം പക്വതയുള്ളതും വിശ്വസനീയവുമാണെന്ന് പരാമർശിക്കേണ്ടതില്ല.

ഞങ്ങൾ സൃഷ്‌ടിച്ച സ്റ്റേറ്റ്‌ഫുൾ മൈക്രോസർവീസുകൾ ഓരോന്നും വളരെ ലളിതമായ ടോപ്പോളജി ഉപയോഗിച്ച് കാഫ്ക സ്ട്രീംസ് ഉദാഹരണത്തിന് മുകളിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്. അതിൽ 1) ഒരു ഉറവിടം 2) സ്ഥിരമായ കീ-മൂല്യം സ്റ്റോർ ഉള്ള ഒരു പ്രോസസ്സർ 3) ഒരു സിങ്ക്:

ചിത്രം 2: സ്റ്റേറ്റ്ഫുൾ മൈക്രോസർവീസുകൾക്കായുള്ള ഞങ്ങളുടെ സ്ട്രീമിംഗ് സംഭവങ്ങളുടെ ഡിഫോൾട്ട് ടോപ്പോളജി. പ്ലാനിംഗ് മെറ്റാഡാറ്റ അടങ്ങുന്ന ഒരു ശേഖരവും ഇവിടെ ഉണ്ടെന്ന് ശ്രദ്ധിക്കുക.

ഈ പുതിയ സമീപനത്തിൽ, ഏജന്റുമാർ ഉറവിട വിഷയത്തിലേക്ക് നൽകുന്ന സന്ദേശങ്ങൾ രചിക്കുന്നു, കൂടാതെ ഉപഭോക്താക്കൾക്ക്-ഒരു മെയിൽ അറിയിപ്പ് സേവനം-സിങ്കിലൂടെ (ഔട്ട്‌പുട്ട് വിഷയം) കംപ്യൂട്ടുചെയ്‌ത പങ്കിട്ട അവസ്ഥ സ്വീകരിക്കുന്നു.

ചിത്രം 3: പങ്കിട്ട മൈക്രോസർവീസുകളുള്ള ഒരു സാഹചര്യത്തിനായുള്ള പുതിയ ഉദാഹരണ ടാസ്‌ക് ഫ്ലോ: 1) കാഫ്ക ഉറവിട വിഷയത്തിൽ എത്തുന്ന ഒരു സന്ദേശം ഏജന്റ് സൃഷ്ടിക്കുന്നു; 2) പങ്കിട്ട അവസ്ഥയുള്ള ഒരു മൈക്രോസർവീസ് (കാഫ്ക സ്ട്രീമുകൾ ഉപയോഗിച്ച്) അത് പ്രോസസ്സ് ചെയ്യുകയും അന്തിമ കാഫ്ക വിഷയത്തിലേക്ക് കണക്കാക്കിയ അവസ്ഥ എഴുതുകയും ചെയ്യുന്നു; അതിനുശേഷം 3) ഉപഭോക്താക്കൾ പുതിയ സംസ്ഥാനം അംഗീകരിക്കുന്നു

ഹേയ്, ഈ ബിൽറ്റ്-ഇൻ കീ-വാല്യൂ സ്റ്റോർ യഥാർത്ഥത്തിൽ വളരെ ഉപയോഗപ്രദമാണ്!

മുകളിൽ സൂചിപ്പിച്ചതുപോലെ, ഞങ്ങളുടെ പങ്കിട്ട സംസ്ഥാന ടോപ്പോളജിയിൽ ഒരു കീ-മൂല്യം സ്റ്റോർ അടങ്ങിയിരിക്കുന്നു. ഇത് ഉപയോഗിക്കുന്നതിന് ഞങ്ങൾ നിരവധി ഓപ്ഷനുകൾ കണ്ടെത്തി, അവയിൽ രണ്ടെണ്ണം ചുവടെ വിവരിച്ചിരിക്കുന്നു.

ഓപ്ഷൻ #1: കണക്കുകൂട്ടലുകൾക്കായി ഒരു കീ-മൂല്യം സ്റ്റോർ ഉപയോഗിക്കുക

ഞങ്ങളുടെ ആദ്യത്തെ കീ-വാല്യൂ സ്റ്റോറിൽ കണക്കുകൂട്ടലുകൾക്ക് ആവശ്യമായ സഹായ ഡാറ്റ അടങ്ങിയിരിക്കുന്നു. ഉദാഹരണത്തിന്, ചില സന്ദർഭങ്ങളിൽ പങ്കിട്ട സംസ്ഥാനം "ഭൂരിപക്ഷ വോട്ടുകൾ" എന്ന തത്വമനുസരിച്ചാണ് നിർണ്ണയിക്കുന്നത്. ചില ഒബ്‌ജക്‌റ്റിന്റെ നിലയെക്കുറിച്ചുള്ള ഏറ്റവും പുതിയ എല്ലാ ഏജന്റ് റിപ്പോർട്ടുകളും ശേഖരത്തിൽ സൂക്ഷിക്കാൻ കഴിയും. തുടർന്ന്, ഒരു ഏജന്റിൽ നിന്നോ മറ്റൊരാളിൽ നിന്നോ ഞങ്ങൾക്ക് ഒരു പുതിയ റിപ്പോർട്ട് ലഭിക്കുമ്പോൾ, ഞങ്ങൾക്ക് അത് സംരക്ഷിക്കാനും സ്റ്റോറിൽ നിന്ന് അതേ വസ്തുവിന്റെ അവസ്ഥയെക്കുറിച്ചുള്ള മറ്റ് എല്ലാ ഏജന്റുമാരിൽ നിന്നും റിപ്പോർട്ടുകൾ വീണ്ടെടുക്കാനും കണക്കുകൂട്ടൽ ആവർത്തിക്കാനും കഴിയും.
പ്രോസസറിന്റെ പ്രോസസ്സിംഗ് രീതിയിലേക്ക് ഞങ്ങൾ കീ/മൂല്യം സ്റ്റോർ എങ്ങനെ തുറന്നുകാട്ടിയെന്ന് ചുവടെയുള്ള ചിത്രം 4 കാണിക്കുന്നു, അതുവഴി പുതിയ സന്ദേശം പ്രോസസ്സ് ചെയ്യാൻ കഴിയും.

ചിത്രീകരണം 4: പ്രോസസറിന്റെ പ്രോസസ്സിംഗ് രീതിക്കായി ഞങ്ങൾ കീ-വാല്യൂ സ്റ്റോറിലേക്ക് ആക്‌സസ് തുറക്കുന്നു (ഇതിന് ശേഷം, പങ്കിട്ട അവസ്ഥയിൽ പ്രവർത്തിക്കുന്ന എല്ലാ സ്‌ക്രിപ്റ്റും ഈ രീതി നടപ്പിലാക്കണം doProcess)

ഓപ്ഷൻ #2: കാഫ്ക സ്ട്രീമുകൾക്ക് മുകളിൽ ഒരു CRUD API സൃഷ്ടിക്കുന്നു

ഞങ്ങളുടെ അടിസ്ഥാന ടാസ്‌ക് ഫ്ലോ സ്ഥാപിച്ച ശേഷം, ഞങ്ങളുടെ പങ്കിട്ട സ്റ്റേറ്റ് മൈക്രോസർവീസുകൾക്കായി ഒരു RESTful CRUD API എഴുതാൻ ഞങ്ങൾ ശ്രമിച്ചു തുടങ്ങി. ചില അല്ലെങ്കിൽ എല്ലാ ഒബ്‌ജക്‌റ്റുകളുടെയും അവസ്ഥ വീണ്ടെടുക്കാനും അതുപോലെ ഒരു ഒബ്‌ജക്‌റ്റിന്റെ അവസ്ഥ (ബാക്കെൻഡ് പിന്തുണയ്‌ക്ക് ഉപയോഗപ്രദം) സജ്ജീകരിക്കുകയോ നീക്കം ചെയ്യുകയോ ചെയ്യാനും ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

എല്ലാ Get State API-കളും പിന്തുണയ്‌ക്കുന്നതിന്, പ്രോസസ്സിംഗ് സമയത്ത് ഞങ്ങൾക്ക് അവസ്ഥ വീണ്ടും കണക്കാക്കേണ്ടിവരുമ്പോഴെല്ലാം, ഞങ്ങൾ അത് ഒരു ബിൽറ്റ്-ഇൻ കീ-വാല്യൂ സ്റ്റോറിൽ വളരെക്കാലം സംഭരിച്ചു. ഈ സാഹചര്യത്തിൽ, ചുവടെയുള്ള ലിസ്റ്റിംഗിൽ കാണിച്ചിരിക്കുന്നതുപോലെ കാഫ്ക സ്ട്രീമുകളുടെ ഒരൊറ്റ ഉദാഹരണം ഉപയോഗിച്ച് അത്തരമൊരു API നടപ്പിലാക്കുന്നത് വളരെ ലളിതമാണ്:

ചിത്രം 5: ഒരു ഒബ്‌ജക്‌റ്റിന്റെ പ്രീ-കംപ്യൂട്ടഡ് അവസ്ഥ ലഭിക്കുന്നതിന് ബിൽറ്റ്-ഇൻ കീ-വാല്യൂ സ്റ്റോർ ഉപയോഗിക്കുന്നു

API വഴി ഒബ്‌ജക്‌റ്റിന്റെ അവസ്ഥ അപ്‌ഡേറ്റ് ചെയ്യുന്നതും നടപ്പിലാക്കാൻ എളുപ്പമാണ്. അടിസ്ഥാനപരമായി, നിങ്ങൾ ചെയ്യേണ്ടത് ഒരു കാഫ്ക നിർമ്മാതാവിനെ സൃഷ്ടിച്ച് പുതിയ സംസ്ഥാനം ഉൾക്കൊള്ളുന്ന ഒരു റെക്കോർഡ് ഉണ്ടാക്കാൻ അത് ഉപയോഗിക്കുക എന്നതാണ്. API വഴി ജനറേറ്റ് ചെയ്യുന്ന എല്ലാ സന്ദേശങ്ങളും മറ്റ് നിർമ്മാതാക്കളിൽ നിന്ന് (ഉദാഹരണത്തിന് ഏജന്റുകൾ) സ്വീകരിച്ചതുപോലെ തന്നെ പ്രോസസ്സ് ചെയ്യപ്പെടുമെന്ന് ഇത് ഉറപ്പാക്കുന്നു.

ചിത്രം 6: കാഫ്ക പ്രൊഡ്യൂസർ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഒരു വസ്തുവിന്റെ അവസ്ഥ സജ്ജമാക്കാൻ കഴിയും

ചെറിയ സങ്കീർണത: കാഫ്കയിൽ നിരവധി പാർട്ടീഷനുകൾ ഉണ്ട്

അടുത്തതായി, ഓരോ സാഹചര്യത്തിലും പങ്കിട്ട-സംസ്ഥാന മൈക്രോസർവീസുകളുടെ ഒരു ക്ലസ്റ്റർ നൽകിക്കൊണ്ട് പ്രോസസ്സിംഗ് ലോഡ് വിതരണം ചെയ്യാനും ലഭ്യത മെച്ചപ്പെടുത്താനും ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. സജ്ജീകരണം ഒരു കാറ്റ് ആയിരുന്നു: ഒരിക്കൽ ഞങ്ങൾ ഒരേ ആപ്ലിക്കേഷൻ ഐഡിയിൽ (ഒപ്പം ഒരേ ബൂട്ട്സ്ട്രാപ്പ് സെർവറുകൾ) പ്രവർത്തിക്കാൻ എല്ലാ സന്ദർഭങ്ങളും കോൺഫിഗർ ചെയ്തുകഴിഞ്ഞാൽ, മറ്റെല്ലാ കാര്യങ്ങളും സ്വയമേവ ചെയ്തു. ഓരോ സോഴ്സ് വിഷയവും നിരവധി പാർട്ടീഷനുകൾ ഉൾക്കൊള്ളുന്നുവെന്നും ഞങ്ങൾ വ്യക്തമാക്കിയിട്ടുണ്ട്, അതിനാൽ ഓരോ ഉദാഹരണത്തിനും അത്തരം പാർട്ടീഷനുകളുടെ ഒരു ഉപവിഭാഗം നൽകാം.

സ്റ്റേറ്റ് സ്റ്റോറിന്റെ ഒരു ബാക്കപ്പ് പകർപ്പ് ഉണ്ടാക്കുന്നത് സാധാരണ രീതിയാണെന്നും ഞാൻ സൂചിപ്പിക്കാം, ഉദാഹരണത്തിന്, ഒരു പരാജയത്തിന് ശേഷം വീണ്ടെടുക്കുന്ന സാഹചര്യത്തിൽ, ഈ പകർപ്പ് മറ്റൊരു സംഭവത്തിലേക്ക് മാറ്റുക. കാഫ്ക സ്ട്രീമുകളിലെ ഓരോ സംസ്ഥാന സ്റ്റോറിനും, ഒരു മാറ്റ ലോഗ് ഉപയോഗിച്ച് ഒരു പകർപ്പുള്ള വിഷയം സൃഷ്ടിക്കപ്പെടുന്നു (ഇത് പ്രാദേശിക അപ്‌ഡേറ്റുകൾ ട്രാക്കുചെയ്യുന്നു). അങ്ങനെ, കാഫ്ക സംസ്ഥാന സ്റ്റോറിനെ നിരന്തരം ബാക്കപ്പ് ചെയ്യുന്നു. അതിനാൽ, ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു കാഫ്ക സ്ട്രീം സംഭവങ്ങളുടെ പരാജയം സംഭവിച്ചാൽ, അനുബന്ധ പാർട്ടീഷനുകൾ പോകുന്ന മറ്റൊരു സന്ദർഭത്തിൽ സ്റ്റേറ്റ് സ്റ്റോർ വേഗത്തിൽ പുനഃസ്ഥാപിക്കാൻ കഴിയും. സ്റ്റോറിൽ ദശലക്ഷക്കണക്കിന് റെക്കോർഡുകൾ ഉണ്ടെങ്കിലും ഇത് നിമിഷങ്ങൾക്കുള്ളിൽ ചെയ്യുമെന്ന് ഞങ്ങളുടെ പരിശോധനകൾ തെളിയിച്ചിട്ടുണ്ട്.

പങ്കിട്ട സ്റ്റേറ്റുള്ള ഒരു മൈക്രോസർവീസിൽ നിന്ന് മൈക്രോസർവീസുകളുടെ ഒരു ക്ലസ്റ്ററിലേക്ക് നീങ്ങുമ്പോൾ, Get State API നടപ്പിലാക്കുന്നത് നിസ്സാരമായി മാറുന്നു. പുതിയ സാഹചര്യത്തിൽ, ഓരോ മൈക്രോസർവീസിന്റെയും സ്റ്റേറ്റ് സ്റ്റോറിൽ മൊത്തത്തിലുള്ള ചിത്രത്തിന്റെ ഒരു ഭാഗം മാത്രമേ അടങ്ങിയിട്ടുള്ളൂ (ഒരു നിർദ്ദിഷ്‌ട പാർട്ടീഷനിലേക്ക് കീകൾ മാപ്പ് ചെയ്‌തിരിക്കുന്ന ഒബ്‌ജക്റ്റുകൾ). ഞങ്ങൾക്ക് ആവശ്യമായ ഒബ്‌ജക്‌റ്റിന്റെ അവസ്ഥ ഏത് സംഭവത്തിലാണ് അടങ്ങിയിരിക്കുന്നതെന്ന് ഞങ്ങൾ നിർണ്ണയിക്കേണ്ടതുണ്ട്, കൂടാതെ ചുവടെ കാണിച്ചിരിക്കുന്നതുപോലെ ത്രെഡ് മെറ്റാഡാറ്റയെ അടിസ്ഥാനമാക്കി ഞങ്ങൾ ഇത് ചെയ്തു:

ചിത്രം 7: സ്ട്രീം മെറ്റാഡാറ്റ ഉപയോഗിച്ച്, ആവശ്യമുള്ള ഒബ്‌ജക്റ്റിന്റെ അവസ്ഥ ഏത് സന്ദർഭത്തിൽ നിന്നാണ് അന്വേഷിക്കേണ്ടതെന്ന് ഞങ്ങൾ നിർണ്ണയിക്കുന്നു; GET ALL API-യിലും സമാനമായ ഒരു സമീപനം ഉപയോഗിച്ചു

പ്രധാന കണ്ടെത്തലുകൾ

കാഫ്ക സ്ട്രീമുകളിലെ സ്റ്റേറ്റ് സ്റ്റോറുകൾക്ക് ഒരു യഥാർത്ഥ വിതരണ ഡാറ്റാബേസ് ആയി പ്രവർത്തിക്കാൻ കഴിയും,

• കാഫ്കയിൽ നിരന്തരം ആവർത്തിക്കുന്നു
• അത്തരമൊരു സിസ്റ്റത്തിന് മുകളിൽ ഒരു CRUD API എളുപ്പത്തിൽ നിർമ്മിക്കാൻ കഴിയും
• ഒന്നിലധികം പാർട്ടീഷനുകൾ കൈകാര്യം ചെയ്യുന്നത് കുറച്ചുകൂടി സങ്കീർണ്ണമാണ്
• ഓക്സിലറി ഡാറ്റ സംഭരിക്കുന്നതിന് സ്ട്രീമിംഗ് ടോപ്പോളജിയിൽ ഒന്നോ അതിലധികമോ സ്റ്റേറ്റ് സ്റ്റോറുകൾ ചേർക്കാനും സാധിക്കും. ഈ ഓപ്ഷൻ ഇതിനായി ഉപയോഗിക്കാം:
• സ്ട്രീം പ്രോസസ്സിംഗ് സമയത്ത് കണക്കുകൂട്ടലുകൾക്ക് ആവശ്യമായ ഡാറ്റയുടെ ദീർഘകാല സംഭരണം
• അടുത്ത തവണ സ്ട്രീമിംഗ് ഇൻസ്‌റ്റൻസ് നൽകുമ്പോൾ ഉപയോഗപ്രദമായേക്കാവുന്ന ഡാറ്റയുടെ ദീർഘകാല സംഭരണം
• കൂടുതൽ...

ഇവയും മറ്റ് ഗുണങ്ങളും കാഫ്ക സ്ട്രീമുകളെ നമ്മുടേത് പോലെയുള്ള ഒരു വിതരണ സംവിധാനത്തിൽ ആഗോള നില നിലനിർത്തുന്നതിന് അനുയോജ്യമാക്കുന്നു. കാഫ്ക സ്ട്രീംസ് ഉൽപ്പാദനത്തിൽ വളരെ വിശ്വസനീയമാണെന്ന് തെളിയിക്കപ്പെട്ടിട്ടുണ്ട് (അത് വിന്യസിച്ചതിന് ശേഷം ഞങ്ങൾക്ക് ഫലത്തിൽ സന്ദേശങ്ങളൊന്നും നഷ്ടമായിട്ടില്ല), അതിന്റെ കഴിവുകൾ അവിടെ അവസാനിക്കില്ലെന്ന് ഞങ്ങൾക്ക് ഉറപ്പുണ്ട്!

അവലംബം: www.habr.com