Apache Storm 2.0 വിതരണം ചെയ്ത കമ്പ്യൂട്ടിംഗ് സിസ്റ്റം ലഭ്യമാണ്

വെളിച്ചം കണ്ടു വിതരണം ചെയ്ത ഇവന്റ് പ്രോസസ്സിംഗ് സിസ്റ്റത്തിന്റെ ഗണ്യമായ റിലീസ് അപ്പാച്ചെ സ്റ്റോം 2.0, മുമ്പ് ഉപയോഗിച്ചിരുന്ന ക്ലോജൂർ ഭാഷയ്ക്ക് പകരം ജാവയിൽ നടപ്പിലാക്കിയ ഒരു പുതിയ ആർക്കിടെക്ചറിലേക്കുള്ള മാറ്റം ശ്രദ്ധേയമാണ്.

വിവിധ ഇവന്റുകളുടെ ഗ്യാരണ്ടീഡ് പ്രോസസ്സിംഗ് തത്സമയം സംഘടിപ്പിക്കാൻ പ്രോജക്റ്റ് നിങ്ങളെ അനുവദിക്കുന്നു. ഉദാഹരണത്തിന്, തത്സമയം ഡാറ്റാ സ്ട്രീമുകൾ വിശകലനം ചെയ്യാനും മെഷീൻ ലേണിംഗ് ജോലികൾ പ്രവർത്തിപ്പിക്കാനും തുടർച്ചയായ കമ്പ്യൂട്ടിംഗ് സംഘടിപ്പിക്കാനും RPC, ETL മുതലായവ നടപ്പിലാക്കാനും സ്റ്റോം ഉപയോഗിക്കാം. സിസ്റ്റം ക്ലസ്റ്ററിംഗിനെ പിന്തുണയ്ക്കുന്നു, തെറ്റ്-സഹിഷ്ണുതയുള്ള കോൺഫിഗറേഷനുകൾ സൃഷ്ടിക്കുന്നു, ഗ്യാരണ്ടീഡ് ഡാറ്റാ പ്രോസസ്സിംഗ് മോഡ് കൂടാതെ ഉയർന്ന പ്രകടനവും ഉണ്ട്, ഒരു ക്ലസ്റ്റർ നോഡിൽ സെക്കൻഡിൽ ഒരു ദശലക്ഷത്തിലധികം അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്യാൻ പര്യാപ്തമാണ്.

വിവിധ ക്യൂ പ്രോസസ്സിംഗ് സിസ്റ്റങ്ങളുമായും ഡാറ്റാബേസ് സാങ്കേതികവിദ്യകളുമായും ഏകീകരണം പിന്തുണയ്ക്കുന്നു. സ്‌റ്റോം ആർക്കിടെക്‌ചർ, കണക്കുകൂട്ടലുകളുടെ വിവിധ ഘട്ടങ്ങൾക്കിടയിൽ വിഭജിക്കാനുള്ള കഴിവുള്ള അനിയന്ത്രിതമായ സങ്കീർണ്ണ പ്രോസസ്സറുകൾ ഉപയോഗിച്ച് ഘടനാരഹിതവും നിരന്തരം അപ്‌ഡേറ്റ് ചെയ്യുന്നതുമായ ഡാറ്റ സ്ട്രീമുകൾ സ്വീകരിക്കുന്നതും പ്രോസസ്സ് ചെയ്യുന്നതും ഉൾപ്പെടുന്നു. ഈ ചട്ടക്കൂട് വികസിപ്പിച്ച ബാക്ക് ടൈപ്പ് എന്ന കമ്പനിയെ ട്വിറ്റർ ഏറ്റെടുത്തതിന് ശേഷം അപ്പാച്ചെ കമ്മ്യൂണിറ്റിക്ക് പ്രോജക്റ്റ് കൈമാറി. പ്രായോഗികമായി, മൈക്രോബ്ലോഗുകളിലെ സംഭവങ്ങളുടെ പ്രതിഫലനം വിശകലനം ചെയ്യാൻ BackType-ൽ Storm ഉപയോഗിച്ചു, പുതിയ ട്വീറ്റുകളും അവയിൽ ഉപയോഗിച്ചിരിക്കുന്ന ലിങ്കുകളും താരതമ്യം ചെയ്തുകൊണ്ട് (ഉദാഹരണത്തിന്, Twitter-ൽ പ്രസിദ്ധീകരിച്ച ബാഹ്യ ലിങ്കുകളോ അറിയിപ്പുകളോ മറ്റ് പങ്കാളികൾ എങ്ങനെ പുനഃസംപ്രേക്ഷണം ചെയ്തുവെന്ന് വിലയിരുത്തപ്പെട്ടു. ).

സ്റ്റോമിന്റെ പ്രവർത്തനക്ഷമതയെ ഹഡൂപ്പ് പ്ലാറ്റ്‌ഫോമുമായി താരതമ്യപ്പെടുത്തുന്നു, പ്രധാന വ്യത്യാസം ഡാറ്റ ഒരു വെയർഹൗസിൽ സംഭരിക്കപ്പെടുന്നില്ല, മറിച്ച് ബാഹ്യമായി ആഗിരണം ചെയ്യുകയും തത്സമയം പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു എന്നതാണ്. സ്റ്റോമിന് ഒരു ബിൽറ്റ്-ഇൻ സ്റ്റോറേജ് ലെയർ ഇല്ല, അത് റദ്ദാക്കുന്നത് വരെ ഇൻകമിംഗ് ഡാറ്റയിലേക്ക് അനലിറ്റിക്കൽ അന്വേഷണം പ്രയോഗിക്കാൻ തുടങ്ങുന്നു (ഫിനിറ്റ്-ടൈം MapReduce ജോലികൾ ഹഡൂപ്പ് ഉപയോഗിക്കുമ്പോൾ, സ്റ്റോം തുടർച്ചയായി "ടോപ്പോളജികൾ" പ്രവർത്തിപ്പിക്കുക എന്ന ആശയം ഉപയോഗിക്കുന്നു). ഹാൻഡ്‌ലറുകളുടെ നിർവ്വഹണം നിരവധി സെർവറുകളിലുടനീളം വിതരണം ചെയ്യാൻ കഴിയും - സ്റ്റോം സ്വയമേവ വ്യത്യസ്ത ക്ലസ്റ്റർ നോഡുകളിലെ ത്രെഡുകളുള്ള ജോലിയെ സമാന്തരമാക്കുന്നു.

ഈ സിസ്റ്റം യഥാർത്ഥത്തിൽ ക്ലോജൂരിൽ എഴുതിയതാണ് കൂടാതെ JVM വെർച്വൽ മെഷീനിൽ പ്രവർത്തിക്കുന്നു. ജാവയിൽ എഴുതിയ ഒരു പുതിയ കേർണലിലേക്ക് സ്റ്റോമിനെ മൈഗ്രേറ്റ് ചെയ്യുന്നതിനുള്ള ഒരു സംരംഭം അപ്പാച്ചെ ഫൗണ്ടേഷൻ ആരംഭിച്ചു, അതിന്റെ ഫലങ്ങൾ അപ്പാച്ചെ സ്റ്റോം 2.0 ന്റെ റിലീസിൽ നിർദ്ദേശിക്കുന്നു. പ്ലാറ്റ്‌ഫോമിന്റെ എല്ലാ അടിസ്ഥാന ഘടകങ്ങളും ജാവയിൽ മാറ്റിയെഴുതിയിരിക്കുന്നു. ക്ലോജൂരിൽ ഹാൻഡ്‌ലറുകൾ എഴുതുന്നതിനുള്ള പിന്തുണ നിലനിർത്തിയിട്ടുണ്ട്, എന്നാൽ ഇപ്പോൾ ബൈൻഡിംഗുകളുടെ രൂപത്തിൽ വാഗ്ദാനം ചെയ്യുന്നു. സ്റ്റോം 2.0.0-ന് ജാവ 8 ആവശ്യമാണ്. മൾട്ടി-ത്രെഡ് പ്രോസസ്സിംഗ് മോഡൽ പൂർണ്ണമായും പുനർരൂപകൽപ്പന ചെയ്‌തു, ഇത് അനുവദിക്കുന്നു നേടിയെടുക്കാൻ പ്രകടനത്തിൽ പ്രകടമായ വർദ്ധനവ് (ചില ടോപ്പോളജികൾക്ക്, കാലതാമസം 50-80% കുറച്ചു).

പുതിയ പതിപ്പ് പുതിയ ടൈപ്പ് ചെയ്‌ത സ്ട്രീംസ് API വാഗ്ദാനം ചെയ്യുന്നു, അത് ഫങ്ഷണൽ പ്രോഗ്രാമിംഗ്-സ്റ്റൈൽ ഓപ്പറേഷനുകൾ ഉപയോഗിച്ച് ഹാൻഡ്‌ലറുകൾ നിർവചിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. സ്റ്റാൻഡേർഡ് ബേസ് എപിഐയുടെ മുകളിലാണ് പുതിയ എപിഐ നടപ്പിലാക്കുന്നത് കൂടാതെ അവയുടെ പ്രോസസ്സിംഗ് ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് പ്രവർത്തനങ്ങളുടെ സ്വയമേവ ലയിപ്പിക്കുന്നതിനെ പിന്തുണയ്ക്കുന്നു. വിൻഡോ ഓപ്പറേഷനുകൾക്കായുള്ള വിൻഡോ എപിഐ ബാക്കെൻഡിൽ നില സംരക്ഷിക്കുന്നതിനും പുനഃസ്ഥാപിക്കുന്നതിനുമുള്ള പിന്തുണ ചേർത്തു.

പരിമിതപ്പെടുത്താതെ തീരുമാനങ്ങൾ എടുക്കുമ്പോൾ അധിക വിഭവങ്ങൾ കണക്കിലെടുക്കുന്നതിനുള്ള പിന്തുണ
നെറ്റ്‌വർക്ക്, ജിപിയു ക്രമീകരണങ്ങൾ പോലുള്ള സിപിയുവും മെമ്മറിയും. പ്ലാറ്റ്‌ഫോമുമായുള്ള സംയോജനം ഉറപ്പാക്കാൻ ധാരാളം മെച്ചപ്പെടുത്തലുകൾ വരുത്തിയിട്ടുണ്ട് കാഫ്ക. അഡ്മിനിസ്ട്രേറ്റർ ഗ്രൂപ്പുകൾ സൃഷ്ടിക്കുന്നതിനും ടോക്കണുകൾ ഡെലിഗേറ്റ് ചെയ്യുന്നതിനുമുള്ള കഴിവ് ഉൾപ്പെടുത്തുന്നതിനായി ആക്സസ് കൺട്രോൾ സിസ്റ്റം വിപുലീകരിച്ചു. SQL, മെട്രിക്സ് പിന്തുണ എന്നിവയുമായി ബന്ധപ്പെട്ട മെച്ചപ്പെടുത്തലുകൾ ചേർത്തു. ക്ലസ്റ്റർ അവസ്ഥ ഡീബഗ്ഗ് ചെയ്യുന്നതിനായി അഡ്മിനിസ്ട്രേറ്റർ ഇന്റർഫേസിൽ പുതിയ കമാൻഡുകൾ പ്രത്യക്ഷപ്പെട്ടു.

കൊടുങ്കാറ്റിനുള്ള അപേക്ഷാ മേഖലകൾ:

• പുതിയ ഡാറ്റയുടെ സ്ട്രീമുകൾ അല്ലെങ്കിൽ ഡാറ്റാബേസ് അപ്ഡേറ്റുകൾ തത്സമയം പ്രോസസ്സ് ചെയ്യുന്നു;
• തുടർച്ചയായ കമ്പ്യൂട്ടിംഗ്: സ്റ്റോമിന് തുടർച്ചയായ അന്വേഷണങ്ങൾ പ്രവർത്തിപ്പിക്കാനും തുടർച്ചയായ സ്ട്രീമുകൾ പ്രോസസ്സ് ചെയ്യാനും, പ്രോസസ്സിംഗ് ഫലങ്ങൾ തത്സമയം ക്ലയന്റിലേക്ക് എത്തിക്കാനും കഴിയും.
• ഡിസ്ട്രിബ്യൂട്ടഡ് റിമോട്ട് പ്രൊസീജർ കോൾ (ആർ‌പി‌സി): റിസോഴ്‌സ്-ഇന്റൻസീവ് അന്വേഷണങ്ങളുടെ സമാന്തര നിർവ്വഹണം നൽകാൻ സ്റ്റോം ഉപയോഗിക്കാം. സ്റ്റോമിലെ ജോലി ("ടോപ്പോളജി") എന്നത് നോഡുകളിലുടനീളം വിതരണം ചെയ്യപ്പെടുന്ന ഒരു ഫംഗ്‌ഷനാണ്, അത് പ്രോസസ്സ് ചെയ്യേണ്ട സന്ദേശങ്ങൾ വരുന്നതുവരെ കാത്തിരിക്കുന്നു. ഒരു സന്ദേശം ലഭിച്ചതിന് ശേഷം, ഫംഗ്ഷൻ അത് പ്രാദേശിക സന്ദർഭത്തിൽ പ്രോസസ്സ് ചെയ്യുകയും ഫലം നൽകുകയും ചെയ്യുന്നു. വിതരണം ചെയ്ത RPC ഉപയോഗിക്കുന്നതിനുള്ള ഒരു ഉദാഹരണം തിരയൽ അന്വേഷണങ്ങൾ സമാന്തരമായി പ്രോസസ്സ് ചെയ്യുക അല്ലെങ്കിൽ ഒരു വലിയ സെറ്റുകളിൽ പ്രവർത്തനങ്ങൾ നടത്തുക.

കൊടുങ്കാറ്റിന്റെ സവിശേഷതകൾ:

• തത്സമയ ഡാറ്റ പ്രോസസ്സിംഗ് വളരെ ലളിതമാക്കുന്ന ഒരു ലളിതമായ പ്രോഗ്രാമിംഗ് മോഡൽ;
• ഏതെങ്കിലും പ്രോഗ്രാമിംഗ് ഭാഷകൾക്കുള്ള പിന്തുണ. ജാവ, റൂബി, പൈത്തൺ എന്നിവയ്‌ക്കായി മൊഡ്യൂളുകൾ ഉണ്ട്, വളരെ ലളിതമായ ആശയവിനിമയ പ്രോട്ടോക്കോൾ കാരണം മറ്റ് ഭാഷകൾക്കായുള്ള പൊരുത്തപ്പെടുത്തൽ ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല, പിന്തുണയ്‌ക്കാൻ ഏകദേശം 100 വരി കോഡ് ആവശ്യമാണ്;
• തെറ്റ് സഹിഷ്ണുത: ഒരു ഡാറ്റ പ്രോസസ്സിംഗ് ജോലി പ്രവർത്തിപ്പിക്കുന്നതിന്, നിങ്ങൾ കോഡ് ഉപയോഗിച്ച് ഒരു ജാർ ഫയൽ സൃഷ്ടിക്കേണ്ടതുണ്ട്. സ്റ്റോം ഈ ജാർ ഫയൽ ക്ലസ്റ്റർ നോഡുകളിലുടനീളം സ്വതന്ത്രമായി വിതരണം ചെയ്യുകയും അതുമായി ബന്ധപ്പെട്ട ഹാൻഡ്‌ലറുകളെ ബന്ധിപ്പിക്കുകയും നിരീക്ഷണം സംഘടിപ്പിക്കുകയും ചെയ്യും. ജോലി പൂർത്തിയാകുമ്പോൾ, എല്ലാ നോഡുകളിലും കോഡ് സ്വയമേവ പ്രവർത്തനരഹിതമാകും;
• തിരശ്ചീന സ്കേലബിളിറ്റി. എല്ലാ കണക്കുകൂട്ടലുകളും സമാന്തര മോഡിൽ നടത്തുന്നു; ലോഡ് വർദ്ധിക്കുന്നതിനനുസരിച്ച്, ക്ലസ്റ്ററിലേക്ക് പുതിയ നോഡുകൾ ബന്ധിപ്പിക്കാൻ ഇത് മതിയാകും;
• വിശ്വാസ്യത. ഓരോ ഇൻകമിംഗ് സന്ദേശവും ഒരു തവണയെങ്കിലും പൂർണ്ണമായി പ്രോസസ്സ് ചെയ്തിട്ടുണ്ടെന്ന് സ്റ്റോം ഉറപ്പാക്കുന്നു. എല്ലാ ഹാൻഡ്‌ലറുകളിലൂടെയും കടന്നുപോകുമ്പോൾ പിശകുകളൊന്നുമില്ലെങ്കിൽ മാത്രമേ സന്ദേശം ഒരു തവണ പ്രോസസ്സ് ചെയ്യൂ; പ്രശ്നങ്ങൾ ഉണ്ടായാൽ, പരാജയപ്പെട്ട പ്രോസസ്സിംഗ് ശ്രമങ്ങൾ ആവർത്തിക്കും.
• വേഗത. സ്റ്റോമിന്റെ കോഡ് ഉയർന്ന പ്രകടനം മനസ്സിൽ വെച്ചാണ് എഴുതിയിരിക്കുന്നത് കൂടാതെ വേഗത്തിലുള്ള അസിൻക്രണസ് സന്ദേശമയയ്‌ക്കലിനായി സിസ്റ്റം ഉപയോഗിക്കുന്നു സീറോഎംക്യു.

അവലംബം: opennet.ru