Apache Storm 2.0 વિતરિત કમ્પ્યુટિંગ સિસ્ટમ ઉપલબ્ધ છે

પ્રકાશ જોયો વિતરિત ઇવેન્ટ પ્રોસેસિંગ સિસ્ટમનું નોંધપાત્ર પ્રકાશન અપાચે સ્ટોર્મ 2.0, અગાઉ ઉપયોગમાં લેવાતી ક્લોઝર ભાષાને બદલે જાવામાં અમલમાં મુકેલ નવા આર્કિટેક્ચરમાં તેના સંક્રમણ માટે નોંધપાત્ર.

પ્રોજેક્ટ તમને વાસ્તવિક સમયમાં વિવિધ ઇવેન્ટ્સની બાંયધરીકૃત પ્રક્રિયા ગોઠવવાની મંજૂરી આપે છે. ઉદાહરણ તરીકે, સ્ટોર્મનો ઉપયોગ વાસ્તવિક સમયમાં ડેટા સ્ટ્રીમ્સનું વિશ્લેષણ કરવા, મશીન લર્નિંગ કાર્યો ચલાવવા, સતત કમ્પ્યુટિંગ ગોઠવવા, RPC, ETL વગેરેનો અમલ કરવા માટે થઈ શકે છે. સિસ્ટમ ક્લસ્ટરિંગને સપોર્ટ કરે છે, ફોલ્ટ-ટોલરન્ટ રૂપરેખાંકનોની રચના, બાંયધરીકૃત ડેટા પ્રોસેસિંગ મોડ અને ઉચ્ચ કાર્યક્ષમતા ધરાવે છે, જે એક ક્લસ્ટર નોડ પર પ્રતિ સેકન્ડ એક મિલિયનથી વધુ વિનંતીઓ પર પ્રક્રિયા કરવા માટે પૂરતું છે.

વિવિધ કતાર પ્રોસેસિંગ સિસ્ટમ્સ અને ડેટાબેઝ તકનીકો સાથે એકીકરણ સપોર્ટેડ છે. સ્ટોર્મ આર્કિટેક્ચરમાં ગણતરીના વિવિધ તબક્કાઓ વચ્ચે વિભાજન કરવાની ક્ષમતા સાથે મનસ્વી જટિલ પ્રોસેસર્સનો ઉપયોગ કરીને અનસ્ટ્રક્ચર્ડ, સતત અપડેટેડ ડેટા સ્ટ્રીમ્સ પ્રાપ્ત અને પ્રક્રિયાનો સમાવેશ થાય છે. ટ્વિટરે બેકટાઈપને હસ્તગત કર્યા પછી પ્રોજેક્ટ અપાચે સમુદાયને સોંપવામાં આવ્યો હતો, જે કંપનીએ મૂળરૂપે ફ્રેમવર્ક વિકસાવ્યું હતું. વ્યવહારમાં, સ્ટ્રોમનો ઉપયોગ બેકટાઈપમાં માઇક્રોબ્લોગ્સમાં ઘટનાઓના પ્રતિબિંબનું વિશ્લેષણ કરવા માટે કરવામાં આવ્યો હતો, ફ્લાય ઓન ફ્લાય નવી ટ્વીટ્સ અને તેમાં વપરાતી લિંક્સની તુલના કરીને (ઉદાહરણ તરીકે, તે મૂલ્યાંકન કરવામાં આવ્યું હતું કે ટ્વિટર પર પ્રકાશિત કરાયેલી બાહ્ય લિંક્સ અથવા ઘોષણાઓ અન્ય સહભાગીઓ દ્વારા કેવી રીતે પુનઃપ્રસારિત કરવામાં આવી હતી. ).

સ્ટોર્મની કાર્યક્ષમતાની સરખામણી Hadoop પ્લેટફોર્મ સાથે કરવામાં આવે છે, જેમાં મુખ્ય તફાવત એ છે કે ડેટા વેરહાઉસમાં સંગ્રહિત થતો નથી, પરંતુ તેને બહારથી ઇન્જેસ્ટ કરવામાં આવે છે અને વાસ્તવિક સમયમાં પ્રક્રિયા કરવામાં આવે છે. સ્ટોર્મમાં બિલ્ટ-ઇન સ્ટોરેજ લેયર હોતું નથી અને જ્યાં સુધી તે રદ ન થાય ત્યાં સુધી વિશ્લેષણાત્મક ક્વેરી ઇનકમિંગ ડેટા પર લાગુ થવાનું શરૂ થાય છે (જ્યારે Hadoop ફિનિટ-ટાઇમ મેપરેડ્યુસ જોબ્સનો ઉપયોગ કરે છે, સ્ટોર્મ "ટોપોલોજીસ" સતત ચલાવવાના વિચારનો ઉપયોગ કરે છે). હેન્ડલર્સનું એક્ઝેક્યુશન વિવિધ સર્વર્સ પર વિતરિત કરી શકાય છે - સ્ટોર્મ વિવિધ ક્લસ્ટર નોડ્સ પર થ્રેડો સાથે કામને આપમેળે સમાંતર બનાવે છે.

સિસ્ટમ મૂળ ક્લોઝરમાં લખવામાં આવી હતી અને JVM વર્ચ્યુઅલ મશીનની અંદર ચાલે છે. અપાચે ફાઉન્ડેશને જાવામાં લખેલા નવા કર્નલમાં સ્ટોર્મને સ્થાનાંતરિત કરવાની પહેલ શરૂ કરી છે, જેના પરિણામો અપાચે સ્ટોર્મ 2.0 ના પ્રકાશનમાં સૂચિત છે. પ્લેટફોર્મના તમામ મૂળભૂત ઘટકો જાવામાં ફરીથી લખવામાં આવે છે. Clojure માં હેન્ડલર લખવા માટેનો આધાર જાળવી રાખવામાં આવ્યો છે, પરંતુ હવે તે બાઈન્ડીંગના રૂપમાં ઓફર કરવામાં આવે છે. સ્ટોર્મ 2.0.0 ને જાવા 8 ની જરૂર છે. મલ્ટિ-થ્રેડેડ પ્રોસેસિંગ મોડલ સંપૂર્ણપણે ફરીથી ડિઝાઇન કરવામાં આવ્યું છે, જે પરવાનગી આપે છે હાંસલ પ્રદર્શનમાં નોંધપાત્ર વધારો (કેટલાક ટોપોલોજી માટે, વિલંબમાં 50-80% ઘટાડો થયો હતો).

નવું સંસ્કરણ નવું ટાઈપ કરેલ સ્ટ્રીમ્સ API પણ પ્રદાન કરે છે જે તમને કાર્યાત્મક પ્રોગ્રામિંગ-શૈલી કામગીરીનો ઉપયોગ કરીને હેન્ડલર્સને વ્યાખ્યાયિત કરવાની મંજૂરી આપે છે. નવું API પ્રમાણભૂત આધાર API ની ટોચ પર લાગુ કરવામાં આવ્યું છે અને તેમની પ્રક્રિયાને ઑપ્ટિમાઇઝ કરવા માટે ઑપરેશનના ઑટોમેટિક મર્જિંગને સપોર્ટ કરે છે. વિન્ડો ઓપરેશન્સ માટે વિન્ડોઇંગ API એ બેકએન્ડમાં સ્થિતિને સાચવવા અને પુનઃસ્થાપિત કરવા માટે સમર્થન ઉમેર્યું છે.

મર્યાદિત ન હોય તેવા નિર્ણયો લેતી વખતે વધારાના સંસાધનો ધ્યાનમાં લેવા માટે સમર્થન
CPU અને મેમરી, જેમ કે નેટવર્ક અને GPU સેટિંગ્સ. પ્લેટફોર્મ સાથે એકીકરણ સુનિશ્ચિત કરવા માટે મોટી સંખ્યામાં સુધારાઓ કરવામાં આવ્યા છે કાફકા. એડમિનિસ્ટ્રેટર ગ્રૂપ બનાવવા અને ટોકન્સ ડેલિગેટ કરવાની ક્ષમતાને સમાવવા માટે એક્સેસ કંટ્રોલ સિસ્ટમનો વિસ્તાર કરવામાં આવ્યો છે. SQL અને મેટ્રિક્સ સપોર્ટ સંબંધિત સુધારાઓ ઉમેર્યા. ક્લસ્ટર સ્થિતિને ડિબગ કરવા માટે એડમિનિસ્ટ્રેટર ઈન્ટરફેસમાં નવા આદેશો દેખાયા છે.

વાવાઝોડા માટે અરજીના ક્ષેત્રો:

• રીઅલ ટાઇમમાં નવા ડેટા અથવા ડેટાબેઝ અપડેટ્સની પ્રક્રિયા કરવી;
• સતત કમ્પ્યુટિંગ: સ્ટોર્મ સતત ક્વેરીઝ ચલાવી શકે છે અને સતત સ્ટ્રીમ્સ પર પ્રક્રિયા કરી શકે છે, ક્લાયંટને વાસ્તવિક સમયમાં પ્રોસેસિંગ પરિણામો પહોંચાડે છે.
• ડિસ્ટ્રિબ્યુટેડ રિમોટ પ્રોસિજર કૉલ (RPC): સ્ટોર્મનો ઉપયોગ સંસાધન-સઘન પ્રશ્નોના સમાંતર અમલ માટે કરી શકાય છે. સ્ટોર્મમાં જોબ ("ટોપોલોજી") એ નોડ્સ પર વિતરિત કાર્ય છે જે સંદેશા આવવાની રાહ જુએ છે જેની પ્રક્રિયા કરવાની જરૂર છે. સંદેશ પ્રાપ્ત કર્યા પછી, કાર્ય સ્થાનિક સંદર્ભમાં તેની પ્રક્રિયા કરે છે અને પરિણામ આપે છે. ડિસ્ટ્રિબ્યુટેડ આરપીસીનો ઉપયોગ કરવાનું ઉદાહરણ સમાંતર શોધ ક્વેરી પર પ્રક્રિયા કરવા અથવા સેટના મોટા સેટ પર કામગીરી કરવા માટે હશે.

વાવાઝોડાની વિશેષતાઓ:

• એક સરળ પ્રોગ્રામિંગ મોડેલ જે રીઅલ-ટાઇમ ડેટા પ્રોસેસિંગને મોટા પ્રમાણમાં સરળ બનાવે છે;
• કોઈપણ પ્રોગ્રામિંગ ભાષાઓ માટે સપોર્ટ. જાવા, રૂબી અને પાયથોન માટે મોડ્યુલો ઉપલબ્ધ છે, અન્ય ભાષાઓ માટે અનુકૂલન ખૂબ જ સરળ કોમ્યુનિકેશન પ્રોટોકોલને કારણે સરળ છે જેને સપોર્ટ કરવા માટે કોડની લગભગ 100 લાઇનની જરૂર છે;
• ફોલ્ટ ટોલરન્સ: ડેટા પ્રોસેસિંગ જોબ ચલાવવા માટે, તમારે કોડ સાથે જાર ફાઇલ જનરેટ કરવાની જરૂર છે. સ્ટોર્મ સ્વતંત્ર રીતે આ જાર ફાઇલને સમગ્ર ક્લસ્ટર નોડ્સમાં વિતરિત કરશે, તેની સાથે સંકળાયેલા હેન્ડલર્સને જોડશે અને મોનિટરિંગનું આયોજન કરશે. જ્યારે કામ પૂર્ણ થાય છે, ત્યારે કોડ તમામ નોડ્સ પર આપમેળે અક્ષમ થઈ જશે;
• આડી માપનીયતા. બધી ગણતરીઓ સમાંતર મોડમાં કરવામાં આવે છે; જેમ જેમ લોડ વધે છે, તે ફક્ત નવા નોડ્સને ક્લસ્ટર સાથે કનેક્ટ કરવા માટે પૂરતું છે;
• વિશ્વસનીયતા. સ્ટોર્મ એ સુનિશ્ચિત કરે છે કે દરેક આવનારા સંદેશને ઓછામાં ઓછા એક વખત સંપૂર્ણપણે પ્રક્રિયા કરવામાં આવે છે. બધા હેન્ડલર્સમાંથી પસાર થતી વખતે કોઈ ભૂલો ન હોય તો જ સંદેશ પર એકવાર પ્રક્રિયા કરવામાં આવશે; જો સમસ્યાઓ ઊભી થાય, તો પ્રક્રિયાના અસફળ પ્રયાસોનું પુનરાવર્તન કરવામાં આવશે.
• ઝડપ. સ્ટોર્મનો કોડ ઉચ્ચ પ્રદર્શનને ધ્યાનમાં રાખીને લખવામાં આવ્યો છે અને ઝડપી અસુમેળ મેસેજિંગ માટે સિસ્ટમનો ઉપયોગ કરે છે ઝીરોએમક્યુ.

સોર્સ: opennet.ru