അപ്പാച്ചെ ഇഗ്നൈറ്റ് സീറോ വിന്യാസം: ശരിക്കും പൂജ്യമാണോ?

ഞങ്ങൾ ഒരു റീട്ടെയിൽ നെറ്റ്‌വർക്കിന്റെ സാങ്കേതിക വികസന വകുപ്പാണ്. ഒരു ദിവസം, MSSQL-നൊപ്പം അപ്പാച്ചെ ഇഗ്നൈറ്റ് ഉപയോഗിച്ച് വലിയ തോതിലുള്ള കണക്കുകൂട്ടലുകൾ വേഗത്തിലാക്കാൻ മാനേജ്മെന്റ് ചുമതലപ്പെടുത്തി, കൂടാതെ ജാവ കോഡിന്റെ മനോഹരമായ ചിത്രീകരണങ്ങളും ഉദാഹരണങ്ങളും ഉള്ള ഒരു വെബ്സൈറ്റ് കാണിച്ചു. ഞാൻ ഉടനെ സൈറ്റ് ഇഷ്ടപ്പെട്ടു സീറോ വിന്യാസം, ഇതിന്റെ വിവരണം അത്ഭുതങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു: ഗ്രിഡിലെ ഓരോ നോഡിലും നിങ്ങളുടെ Java അല്ലെങ്കിൽ Scala കോഡ് സ്വമേധയാ വിന്യസിക്കേണ്ടതില്ല, അത് മാറുമ്പോഴെല്ലാം വീണ്ടും വിന്യസിക്കുക. ജോലി പുരോഗമിക്കുമ്പോൾ, സീറോ ഡിപ്ലോയ്‌മെന്റിന് പ്രത്യേക ഉപയോഗങ്ങളുണ്ടെന്ന് മനസ്സിലായി, അതിന്റെ സവിശേഷതകൾ ഞാൻ പങ്കിടാൻ ആഗ്രഹിക്കുന്നു. കട്ടിന് താഴെ ചിന്തകളും നടപ്പാക്കൽ വിശദാംശങ്ങളും ഉണ്ട്.

1. പ്രശ്നത്തിന്റെ പ്രസ്താവന

പ്രശ്നത്തിന്റെ സാരാംശം ഇപ്രകാരമാണ്. ഒരു SalesPoint സെയിൽസ് പോയിന്റ് ഡയറക്ടറിയും ഒരു Sku (സ്റ്റോക്ക് കീപ്പിംഗ് യൂണിറ്റ്) ഉൽപ്പന്ന ഡയറക്ടറിയും ഉണ്ട്. വിൽപ്പന പോയിന്റിന് "ചെറുത്", "വലുത്" എന്നീ മൂല്യങ്ങളുള്ള ഒരു "സ്റ്റോർ തരം" ആട്രിബ്യൂട്ട് ഉണ്ട്. ഓരോ വിൽപ്പന പോയിന്റുമായി (ഡിബിഎംഎസിൽ നിന്ന് ലോഡുചെയ്‌തത്) ഒരു ശേഖരം (വിപണന പോയിന്റിന്റെ ഉൽപ്പന്നങ്ങളുടെ ലിസ്റ്റ്) ബന്ധിപ്പിച്ചിരിക്കുന്നു, കൂടാതെ നിർദ്ദിഷ്ട തീയതി മുതൽ നിർദ്ദിഷ്ട ഉൽപ്പന്നത്തെക്കുറിച്ചുള്ള വിവരങ്ങൾ നൽകുന്നു.
ശേഖരണത്തിൽ നിന്ന് ഒഴിവാക്കി അല്ലെങ്കിൽ ശേഖരത്തിൽ ചേർത്തു.

വിൽപ്പന പോയിന്റുകളുടെ ഒരു വിഭജിച്ച കാഷെ സംഘടിപ്പിക്കുകയും ബന്ധിപ്പിച്ച ഉൽപ്പന്നങ്ങളെക്കുറിച്ചുള്ള വിവരങ്ങൾ ഒരു മാസത്തേക്ക് അതിൽ സംഭരിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്. കോംബാറ്റ് സിസ്റ്റവുമായുള്ള പൊരുത്തത്തിന്, ഡാറ്റ ലോഡുചെയ്യുന്നതിനും ഫോമിന്റെ മൊത്തം (സ്റ്റോർ തരം, ഉൽപ്പന്ന കോഡ്, ദിവസം, നമ്പർ_of_sales_points) കണക്കാക്കുന്നതിനും DBMS-ലേക്ക് തിരികെ അപ്‌ലോഡ് ചെയ്യുന്നതിനും Ignite ക്ലയന്റ് നോഡ് ആവശ്യമാണ്.

2. സാഹിത്യ പഠനം

എനിക്ക് ഇതുവരെ ഒരു അനുഭവവും ഇല്ല, അതിനാൽ ഞാൻ സ്റ്റൗവിൽ നിന്ന് നൃത്തം ചെയ്യാൻ തുടങ്ങുകയാണ്. അതായത്, പ്രസിദ്ധീകരണങ്ങളുടെ അവലോകനത്തിൽ നിന്ന്.

ആർട്ടിക്കിൾ 2016 അപ്പാച്ചെ ഇഗ്നൈറ്റ് അവതരിപ്പിക്കുന്നു: ആദ്യ ഘട്ടങ്ങൾ അപ്പാച്ചെ ഇഗ്നൈറ്റ് പ്രോജക്റ്റിന്റെ ഡോക്യുമെന്റേഷനിലേക്കുള്ള ഒരു ലിങ്കും അതേ സമയം ഈ ഡോക്യുമെന്റേഷന്റെ അവ്യക്തതയ്ക്കുള്ള ഒരു നിന്ദയും അടങ്ങിയിരിക്കുന്നു. ഒന്നുരണ്ടു തവണ വീണ്ടും വായിച്ചിട്ടും വ്യക്തത വരുന്നില്ല. ഞാൻ ഔദ്യോഗിക ട്യൂട്ടോറിയൽ പരാമർശിക്കുന്നു ആമുഖം, ഏത്
ശുഭാപ്തിവിശ്വാസത്തോടെ "നിങ്ങൾ ഒരു നിമിഷം കൊണ്ട് എഴുന്നേറ്റു പ്രവർത്തിക്കും!" ഞാൻ എൻവയോൺമെന്റ് വേരിയബിൾ ക്രമീകരണങ്ങൾ കണ്ടെത്തുകയാണ്, രണ്ട് അപ്പാച്ചെ ഇഗ്നൈറ്റ് എസൻഷ്യൽസ് വീഡിയോകൾ കാണുന്നു, പക്ഷേ അവ എന്റെ നിർദ്ദിഷ്ട ടാസ്‌ക്കിന് വളരെ ഉപയോഗപ്രദമായിരുന്നില്ല. ആദ്യത്തെ ആപ്ലിക്കേഷൻ നിർമ്മിക്കുന്ന "example-ignite.xml" എന്ന സ്റ്റാൻഡേർഡ് ഫയൽ ഉപയോഗിച്ച് കമാൻഡ് ലൈനിൽ നിന്ന് ഞാൻ Ignite വിജയകരമായി സമാരംഭിക്കുന്നു കമ്പ്യൂട്ട് ആപ്ലിക്കേഷൻ മാവൻ ഉപയോഗിക്കുന്നു. ആപ്ലിക്കേഷൻ പ്രവർത്തിക്കുകയും സീറോ ഡിപ്ലോയ്‌മെന്റ് ഉപയോഗിക്കുകയും ചെയ്യുന്നു, എന്തൊരു ഭംഗി!

ഞാൻ കൂടുതൽ വായിച്ചു, അവിടെ ഉദാഹരണം ഉടനടി affinityKey ഉപയോഗിക്കുന്നു (ഒരു SQL അന്വേഷണത്തിലൂടെ നേരത്തെ സൃഷ്ടിച്ചത്), കൂടാതെ നിഗൂഢമായ BinaryObject പോലും ഉപയോഗിക്കുന്നു:

IgniteCache<BinaryObject, BinaryObject> people 
        = ignite.cache("Person").withKeepBinary(); 

ഞാൻ അത് വായിച്ചു അല്പം: ബൈനറി ഫോർമാറ്റ് - പ്രതിഫലനം പോലെയുള്ള ഒന്ന്, ഒരു വസ്തുവിന്റെ ഫീൽഡുകൾ പേര് ഉപയോഗിച്ച് ആക്സസ് ചെയ്യുന്നു. ഒബ്‌ജക്‌റ്റിനെ പൂർണ്ണമായി മാറ്റാതെ തന്നെ ഒരു ഫീൽഡിന്റെ മൂല്യം വായിക്കാൻ കഴിയും (മെമ്മറി സംരക്ഷിക്കുന്നു). സീറോ ഡിപ്ലോയ്‌മെന്റ് ഉള്ളതിനാൽ വ്യക്തിക്ക് പകരം ബൈനറി ഒബ്‌ജക്റ്റ് ഉപയോഗിക്കുന്നത് എന്തുകൊണ്ട്? എന്തുകൊണ്ട് ഇഗ്നൈറ്റ് കാഷെ IgniteCache-ലേക്ക് മാറ്റി ? ഇതുവരെ വ്യക്തമായിട്ടില്ല.

എന്റെ കേസിന് അനുയോജ്യമായ രീതിയിൽ ഞാൻ കമ്പ്യൂട്ട് ആപ്ലിക്കേഷൻ റീമേക്ക് ചെയ്യുകയാണ്. MSSQL-ലെ വിൽപ്പന പോയിന്റുകളുടെ ഡയറക്‌ടറിയുടെ പ്രാഥമിക കീ നിർവചിച്ചിരിക്കുന്നത് [id] [int] NULL അല്ല, ഞാൻ സാമ്യമനുസരിച്ച് ഒരു കാഷെ സൃഷ്ടിക്കുന്നു

IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")

xml കോൺഫിഗറേഷനിൽ കാഷെ പാർട്ടീഷൻ ചെയ്തതായി ഞാൻ സൂചിപ്പിക്കുന്നു

<bean class="org.apache.ignite.configuration.CacheConfiguration">
    <property name="name" value="spCache"/>
    <property name="cacheMode" value="PARTITIONED"/>
</bean>

പോയിന്റ് ഓഫ് സെയിൽ പ്രകാരം പാർട്ടീഷൻ ചെയ്യുന്നത് ഓരോ ക്ലസ്റ്റർ നോഡിലും ലഭ്യമായ സെയിൽസ്‌പോയിന്റ് കാഷെ റെക്കോർഡുകൾക്കായി ആവശ്യമായ അഗ്രഗേറ്റ് നിർമ്മിക്കുമെന്ന് അനുമാനിക്കുന്നു, അതിനുശേഷം ക്ലയന്റ് നോഡ് അന്തിമ സംഗ്രഹം നിർവഹിക്കും.

ഞാൻ ട്യൂട്ടോറിയൽ വായിക്കുകയാണ് ആദ്യം ഇഗ്‌നൈറ്റ് കമ്പ്യൂട്ട് ആപ്ലിക്കേഷൻ, ഞാൻ അത് സാമ്യം കൊണ്ടാണ് ചെയ്യുന്നത്. ഓരോ ക്ലസ്റ്റർ നോഡിലും ഞാൻ IgniteRunnable(), ഇതുപോലുള്ള ഒന്ന് പ്രവർത്തിപ്പിക്കുന്നു:

  @Override
  public void run() {
    SalesPoint sp=salesPointCache.get(spId);
    sp.calculateSalesPointCount();
    ..
  }

ഞാൻ അഗ്രഗേഷനും അപ്‌ലോഡിംഗ് ലോജിക്കും ചേർത്ത് ഒരു ടെസ്റ്റ് ഡാറ്റ സെറ്റിൽ റൺ ചെയ്യുന്നു. വികസന സെർവറിൽ എല്ലാം പ്രാദേശികമായി പ്രവർത്തിക്കുന്നു.

ഞാൻ രണ്ട് CentOs ടെസ്റ്റ് സെർവറുകൾ സമാരംഭിക്കുന്നു, default-config.xml-ൽ IP വിലാസങ്ങൾ വ്യക്തമാക്കുക, ഓരോന്നിലും എക്സിക്യൂട്ട് ചെയ്യുക

./bin/ignite.sh config/default-config.xml

രണ്ട് ഇഗ്നൈറ്റ് നോഡുകളും പ്രവർത്തിക്കുന്നു, പരസ്പരം കാണാൻ കഴിയും. ക്ലയന്റ് ആപ്ലിക്കേഷന്റെ xml കോൺഫിഗറേഷനിൽ ആവശ്യമായ വിലാസങ്ങൾ ഞാൻ വ്യക്തമാക്കുന്നു, അത് ആരംഭിക്കുന്നു, ടോപ്പോളജിയിലേക്ക് മൂന്നാമത്തെ നോഡ് ചേർക്കുന്നു, ഉടനെ വീണ്ടും രണ്ട് നോഡുകൾ ഉണ്ട്. ലോഗ് ലൈനിൽ "ClassNotFoundException: model.SalesPoint" കാണിക്കുന്നു

SalesPoint sp=salesPointCache.get(spId);

CentOs സെർവറുകളിൽ ഇഷ്‌ടാനുസൃത സെയിൽസ്‌പോയിന്റ് ക്ലാസ് ഇല്ലാത്തതാണ് പിശകിന് കാരണമെന്ന് StackOverflow പറയുന്നു. ഞങ്ങൾ എത്തി. "ഓരോ നോഡിലും നിങ്ങളുടെ ജാവ കോഡ് സ്വമേധയാ വിന്യസിക്കേണ്ടതില്ല" എന്നതും മറ്റും എങ്ങനെ? അതോ "നിങ്ങളുടെ ജാവ കോഡ്" സെയിൽസ് പോയിന്റിനെ കുറിച്ചുള്ളതല്ലേ?

എനിക്ക് എന്തെങ്കിലും നഷ്ടമായിരിക്കാം - ഞാൻ വീണ്ടും തിരയാനും വായിക്കാനും വീണ്ടും തിരയാനും തുടങ്ങുന്നു. കുറച്ചു കഴിഞ്ഞപ്പോൾ, വിഷയത്തിൽ എല്ലാം വായിച്ചു, ഇനി പുതിയതായി ഒന്നുമില്ല എന്ന തോന്നൽ. തിരഞ്ഞപ്പോൾ രസകരമായ ചില കമന്റുകൾ കണ്ടു.

വാലന്റൈൻ കുലിചെങ്കോ, ഗ്രിഡ്‌ഗെയിൻ സിസ്റ്റത്തിലെ ലീഡ് ആർക്കിടെക്റ്റ്, ഉത്തരം StackOverflow-ൽ, ഏപ്രിൽ 2016:

Model classes are not peer deployed, but you can use withKeepBinary() flag
on the cache and query BinaryObjects. This way you will avoid deserialization
on the server side and will not get ClassNotFoundException.

മറ്റൊരു ആധികാരിക അഭിപ്രായം: ഡെനിസ് മഗ്ദ, ഉൽപ്പന്ന മാനേജ്മെന്റ് ഡയറക്ടർ, GridGain സിസ്റ്റംസ്.

ഹബ്രെയെക്കുറിച്ചുള്ള ലേഖനം മൈക്രോസർവീസുകളെക്കുറിച്ച് ഡെനിസ് മഗ്ദയുടെ മൂന്ന് ലേഖനങ്ങൾ പരാമർശിക്കുന്നു: മൈക്രോസർവീസസ് ഭാഗം I, മൈക്രോസർവീസസ് ഭാഗം II, മൈക്രോസർവീസസ് ഭാഗം III 2016-2017. രണ്ടാമത്തെ ലേഖനത്തിൽ, MaintenanceServiceNodeStartup.jar വഴി ഒരു ക്ലസ്റ്റർ നോഡ് ആരംഭിക്കാൻ ഡെനിസ് നിർദ്ദേശിക്കുന്നു. നിങ്ങൾക്ക് xml കോൺഫിഗറേഷനും കമാൻഡ് ലൈനും ഉപയോഗിച്ച് ലോഞ്ച് ഉപയോഗിക്കാം, എന്നാൽ വിന്യസിച്ചിരിക്കുന്ന ഓരോ ക്ലസ്റ്റർ നോഡിലും നിങ്ങൾ സ്വമേധയാ ഇഷ്‌ടാനുസൃത ക്ലാസുകൾ ഇടേണ്ടതുണ്ട്:

That's it. Start (..)  node using MaintenanceServiceNodeStartup file or pass
maintenance-service-node-config.xml to Apache Ignite's ignite.sh/bat scripts.
If you prefer the latter then make sure to build a jar file that will contain
all the classes from java/app/common and java/services/maintenance directories.
The jar has to be added to the classpath of every node where the service
might be deployed.

തീർച്ചയായും, അത്രമാത്രം. ഇവിടെ അത് മാറുന്നു, എന്തുകൊണ്ട്, ഈ നിഗൂഢമായ ബൈനറി ഫോർമാറ്റ്!

3.SingleJar

ഡെനിസ് എന്റെ വ്യക്തിഗത റേറ്റിംഗിൽ ഒന്നാം സ്ഥാനത്തെത്തി, ലഭ്യമായതിൽ വച്ച് ഏറ്റവും ഉപയോഗപ്രദമായ ട്യൂട്ടോറിയൽ IMHO. അവന്റെ മൈക്രോ സർവീസസ് ഉദാഹരണം ക്ലസ്റ്റർ നോഡുകൾ സജ്ജീകരിക്കുന്നതിനുള്ള ഒരു പൂർണ്ണമായ റെഡിമെയ്ഡ് ഉദാഹരണം Github-ൽ അടങ്ങിയിരിക്കുന്നു, അത് അധിക സ്ക്വാറ്റിംഗ് ഇല്ലാതെ കംപൈൽ ചെയ്യുന്നു.

ഞാൻ ഇത് അതേ രീതിയിൽ ചെയ്യുകയും കമാൻഡ് ലൈൻ ആർഗ്യുമെന്റിനെ ആശ്രയിച്ച് “ഡാറ്റ നോഡ്” അല്ലെങ്കിൽ “ക്ലയന്റ് നോഡ്” സമാരംഭിക്കുന്ന ഒരൊറ്റ ജാർ ഫയൽ നേടുകയും ചെയ്യുന്നു. അസംബ്ലി ആരംഭിക്കുകയും പ്രവർത്തിക്കുകയും ചെയ്യുന്നു. സീറോ വിന്യാസം പരാജയപ്പെട്ടു.

മെഗാബൈറ്റ് ടെസ്റ്റ് ഡാറ്റയിൽ നിന്ന് പതിനായിരക്കണക്കിന് ജിഗാബൈറ്റ് കോംബാറ്റ് ഡാറ്റയിലേക്കുള്ള മാറ്റം ഒരു കാരണത്താൽ ബൈനറി ഫോർമാറ്റ് നിലവിലുണ്ടെന്ന് കാണിച്ചു. നോഡുകളിലെ മെമ്മറി ഉപഭോഗം ഒപ്റ്റിമൈസ് ചെയ്യേണ്ടത് ആവശ്യമായിരുന്നു, ഇവിടെയാണ് ബൈനറി ഒബ്ജക്റ്റ് വളരെ ഉപയോഗപ്രദമായത്.

4. നിഗമനങ്ങൾ

അപ്പാച്ചെ ഇഗ്നൈറ്റ് പ്രോജക്റ്റ് ഡോക്യുമെന്റേഷന്റെ അവ്യക്തതയെക്കുറിച്ച് നേരിട്ട ആദ്യ നിന്ദ ന്യായമായിരുന്നു; 2016 മുതൽ കാര്യമായ മാറ്റങ്ങളൊന്നും സംഭവിച്ചിട്ടില്ല. ഒരു വെബ്‌സൈറ്റ് കൂടാതെ/അല്ലെങ്കിൽ റിപ്പോസിറ്ററിയെ അടിസ്ഥാനമാക്കി പ്രവർത്തനക്ഷമമായ ഒരു പ്രോട്ടോടൈപ്പ് കൂട്ടിച്ചേർക്കുന്നത് ഒരു തുടക്കക്കാരന് എളുപ്പമല്ല.

ചെയ്ത ജോലിയുടെ ഫലങ്ങളെ അടിസ്ഥാനമാക്കി, സീറോ ഡിപ്ലോയ്‌മെന്റ് പ്രവർത്തിക്കുന്നു, പക്ഷേ സിസ്റ്റം തലത്തിൽ മാത്രമേ പ്രവർത്തിക്കൂ എന്നായിരുന്നു. ഇതുപോലുള്ള ഒന്ന്: ഇഷ്‌ടാനുസൃത ക്ലാസുകളിൽ പ്രവർത്തിക്കാൻ റിമോട്ട് ക്ലസ്റ്റർ നോഡുകൾ പഠിപ്പിക്കാൻ BinaryObject ഉപയോഗിക്കുന്നു; സീറോ വിന്യാസം - ആന്തരിക സംവിധാനം
അപ്പാച്ചെ ഇഗ്നൈറ്റ് സ്വയം ക്ലസ്റ്ററിലുടനീളം സിസ്റ്റം ഒബ്ജക്റ്റുകൾ വിതരണം ചെയ്യുന്നു.

പുതിയ അപ്പാച്ചെ ഇഗ്നൈറ്റ് ഉപയോക്താക്കൾക്ക് എന്റെ അനുഭവം ഉപയോഗപ്രദമാകുമെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.

അവലംബം: www.habr.com