Apache Storm 2.0 ဖြန့်ဝေထားသော ကွန်ပြူတာစနစ် ရရှိနိုင်ပါသည်။

အလင်းရောင်ကို မြင်တယ်။ ဖြန့်ဝေသည့် ဖြစ်ရပ်လုပ်ဆောင်ခြင်းစနစ်၏ သိသာထင်ရှားသော ထုတ်ဝေမှု Apache Storm 2.0ယခင်က Clojure ဘာသာစကားအစား Java တွင် အကောင်အထည်ဖော်သည့် ဗိသုကာအသစ်သို့ ကူးပြောင်းခြင်းအတွက် မှတ်သားဖွယ်ကောင်းသည်။

ပရောဂျက်သည် သင့်အား အချိန်နှင့်တပြေးညီ အမျိုးမျိုးသော ဖြစ်ရပ်များကို အာမခံချက်ရှိသော လုပ်ဆောင်မှုများကို စုစည်းနိုင်စေပါသည်။ ဥပမာအားဖြင့်၊ Storm သည် ဒေတာစီးကြောင်းများကို အချိန်နှင့်တပြေးညီ ခွဲခြမ်းစိတ်ဖြာရန်၊ စက်သင်ယူခြင်းလုပ်ငန်းဆောင်တာများကို လုပ်ဆောင်ရန်၊ စဉ်ဆက်မပြတ်တွက်ချက်ခြင်းကို စုစည်းခြင်း၊ RPC၊ ETL စသည်တို့ကို အကောင်အထည်ဖော်ရန် အသုံးပြုနိုင်သည်။ စနစ်သည် အစုအဝေးပြုလုပ်ခြင်း၊ အမှားအယွင်းခံနိုင်သော ဖွဲ့စည်းမှုပုံစံများဖန်တီးခြင်း၊ အာမခံချက်ရှိသော ဒေတာလုပ်ဆောင်ခြင်းမုဒ်ကို ပံ့ပိုးပေးပြီး မြင့်မားသောစွမ်းဆောင်ရည်ရှိပြီး အစုအဝေးတစ်ခုတွင် တစ်စက္ကန့်လျှင် တောင်းဆိုချက်ပေါင်း တစ်သန်းကျော်ကို လုပ်ဆောင်ရန် လုံလောက်ပါသည်။

အမျိုးမျိုးသော တန်းစီလုပ်ဆောင်ခြင်းစနစ်များနှင့် ဒေတာဘေ့စ်နည်းပညာများဖြင့် ပေါင်းစပ်မှုကို ပံ့ပိုးထားသည်။ Storm ဗိသုကာတွင် တွက်ချက်မှုအဆင့်များကြားတွင် ပိုင်းခြားနိုင်စွမ်းရှိသော မထင်သလို ရှုပ်ထွေးသော ပရိုဆက်ဆာများကို အသုံးပြုကာ အဆက်မပြတ် မွမ်းမံထားသော ဒေတာစီးကြောင်းများကို လက်ခံခြင်းနှင့် စီမံဆောင်ရွက်ခြင်းတို့ ပါဝင်ပါသည်။ မူလမူဘောင်ကို တီထွင်ခဲ့သည့် ကုမ္ပဏီဖြစ်သော BackType ကို Twitter မှ ဝယ်ယူပြီးနောက် အဆိုပါပရောဂျက်ကို Apache အသိုင်းအဝိုင်းထံ လွှဲပြောင်းပေးအပ်ခဲ့သည်။ လက်တွေ့တွင်၊ microblogs များရှိ အဖြစ်အပျက်များ၏ ရောင်ပြန်ဟပ်မှုကို ခွဲခြမ်းစိတ်ဖြာရန် BackType တွင် Storm ကို အသုံးပြုထားသည် (ဥပမာ၊ အခြားပါဝင်သူများမှ Twitter ပေါ်ရှိ ပြင်ပလင့်ခ်များ သို့မဟုတ် ကြေငြာချက်များကို ပြန်လည်ထုတ်လွှင့်ပုံအား ပြန်လည်ထုတ်လွှင့်ပုံကို နှိုင်းယှဉ်အကဲဖြတ်ခြင်းဖြစ်သည် )

Storm ၏ လုပ်ဆောင်နိုင်စွမ်းသည် Hadoop ပလပ်ဖောင်းနှင့် နှိုင်းယှဉ်ထားပြီး အဓိက ကွာခြားချက်မှာ ဒေတာကို ဂိုဒေါင်တွင် သိမ်းဆည်းမထားသော်လည်း ပြင်ပမှ မျိုချမိပြီး အချိန်နှင့်တပြေးညီ လုပ်ဆောင်နေခြင်း ဖြစ်သည်။ Storm တွင် Built-in သိုလှောင်မှုအလွှာမပါဝင်သဖြင့် ခွဲခြမ်းစိတ်ဖြာမေးမြန်းချက်သည် ဝင်လာသည့်ဒေတာကိုမဖျက်မချင်း စတင်အသုံးပြုသည် ( Hadoop သည် အချိန်အကန့်အသတ်ရှိသော MapReduce အလုပ်များကိုအသုံးပြုနေချိန်တွင် Storm သည် "topologies" ကို စဉ်ဆက်မပြတ်လုပ်ဆောင်နေသည့် စိတ်ကူးကိုအသုံးပြုသည်)။ ကိုင်တွယ်သူ၏ လုပ်ဆောင်မှုကို ဆာဗာအများအပြားတွင် ဖြန့်ဝေနိုင်သည် - Storm သည် မတူညီသော အစုအဝေးများပေါ်ရှိ thread များနှင့် အလိုအလျောက် အပြိုင်လုပ်ဆောင်သည်။

စနစ်သည် မူလက Clojure ဖြင့် ရေးသားခဲ့ပြီး JVM virtual machine အတွင်းတွင် အလုပ်လုပ်ပါသည်။ Apache Foundation သည် Apache Storm 2.0 ထုတ်ဝေမှုတွင် အဆိုပြုထားသည့်ရလဒ်များကို Java တွင်ရေးသားထားသော kernel အသစ်တစ်ခုသို့ Storm ပြောင်းရွှေ့ရန် အစပျိုးလုပ်ဆောင်ခဲ့သည်။ ပလက်ဖောင်း၏ အခြေခံအစိတ်အပိုင်းအားလုံးကို Java တွင် ပြန်လည်ရေးသားထားသည်။ Clojure တွင် စာရေးကိရိယာများအတွက် ပံ့ပိုးမှုကို ဆက်လက်ထိန်းသိမ်းထားသော်လည်း ယခုအခါ ပေါင်းစပ်မှုပုံစံဖြင့် ကမ်းလှမ်းထားသည်။ Storm 2.0.0 သည် Java 8 လိုအပ်ပါသည်။ Multi-threaded processing model ကို လုံးဝ ပြန်လည် ဒီဇိုင်းထုတ်ထားပြီး ခွင့်ပြုပေးပါသည်။ အောင်မြင်ရန် စွမ်းဆောင်ရည်တွင် သိသာထင်ရှားစွာ တိုးတက်လာခြင်း (အချို့သော topologies များအတွက်၊ နှောင့်နှေးမှုများကို 50-80%) လျှော့ချခဲ့သည်။

ဗားရှင်းအသစ်တွင် လုပ်ဆောင်ချက်ဆိုင်ရာ ပရိုဂရမ်းမင်းပုံစံ လုပ်ဆောင်ချက်များကို အသုံးပြု၍ ကိုင်တွယ်သူများကို သတ်မှတ်ရန် ခွင့်ပြုသည့် ရိုက်ထည့်ထားသော Stream API အသစ်ကိုလည်း ပေးပါသည်။ API အသစ်ကို စံအခြေခံ API ၏ထိပ်တွင် အကောင်အထည်ဖော်ထားပြီး ၎င်းတို့၏လုပ်ဆောင်မှုကို ပိုကောင်းအောင်လုပ်ဆောင်ရန် လုပ်ဆောင်ချက်များကို အလိုအလျောက်ပေါင်းစပ်မှုကို ပံ့ပိုးပေးပါသည်။ ဝင်းဒိုးလုပ်ဆောင်ချက်များအတွက် Windowing API သည် backend တွင် အခြေအနေကို သိမ်းဆည်းခြင်းနှင့် ပြန်လည်ရယူခြင်းအတွက် ပံ့ပိုးမှု ထပ်လောင်းပေးထားသည်။

အကန့်အသတ်မရှိ ဆုံးဖြတ်ချက်များချသည့်အခါ အပိုအရင်းအမြစ်များကို ထည့်သွင်းစဉ်းစားရန် ပံ့ပိုးမှု
ကွန်ရက်နှင့် GPU ဆက်တင်များကဲ့သို့ CPU နှင့် မမ်မိုရီ။ ပလက်ဖောင်းနှင့် ပေါင်းစည်းမှုသေချာစေရန် တိုးတက်မှုအများအပြားကို ပြုလုပ်ထားပါသည်။ Kafka. စီမံခန့်ခွဲသူအုပ်စုများနှင့် လွှဲအပ်ပေးသည့် တိုကင်များဖန်တီးနိုင်မှုတို့ပါ၀င်စေရန် ဝင်ရောက်ထိန်းချုပ်မှုစနစ်အား တိုးချဲ့ထားပါသည်။ SQL နှင့် မက်ထရစ်များ ပံ့ပိုးမှုနှင့် ဆက်စပ်သော တိုးတက်မှုများကို ထပ်လောင်းပါ။ အစုအဝေးအခြေအနေကို အမှားရှာပြင်ခြင်းအတွက် စီမံခန့်ခွဲသူ အင်တာဖေ့စ်တွင် အမိန့်အသစ်များ ပေါ်လာသည်။

မုန်တိုင်းအတွက် အသုံးချဧရိယာများ-

• ဒေတာအသစ်များ သို့မဟုတ် ဒေတာဘေ့စ်အပ်ဒိတ်များကို အချိန်နှင့်တပြေးညီ လုပ်ဆောင်နေခြင်း၊
• စဉ်ဆက်မပြတ် တွက်ချက်ခြင်း- Storm သည် စဉ်ဆက်မပြတ် မေးမြန်းမှုများကို လုပ်ဆောင်နိုင်ပြီး စဉ်ဆက်မပြတ် စီးကြောင်းများကို လုပ်ဆောင်နိုင်ပြီး၊ လုပ်ဆောင်ခြင်းရလဒ်များကို သုံးစွဲသူထံ အချိန်နှင့်တပြေးညီ ပေးပို့နိုင်ပါသည်။
• Distributed Remote Procedure Call (RPC)- အရင်းအမြစ်-များသော မေးမြန်းမှုများကို ပြိုင်တူလုပ်ဆောင်မှုကို ပံ့ပိုးရန်အတွက် မုန်တိုင်းကို အသုံးပြုနိုင်သည်။ Storm ရှိ အလုပ် (“topology”) သည် စီမံဆောင်ရွက်ရန်လိုအပ်သည့် မက်ဆေ့ဂျ်များ ရောက်ရှိလာခြင်းကို စောင့်မျှော်နေသော node များပေါ်တွင် ဖြန့်ဝေသည့် လုပ်ဆောင်ချက်တစ်ခုဖြစ်သည်။ မက်ဆေ့ချ်ကို လက်ခံရရှိပြီးနောက်၊ လုပ်ဆောင်ချက်သည် ၎င်းကို ဒေသဆိုင်ရာ အကြောင်းအရာတွင် လုပ်ဆောင်ပြီး ရလဒ်ကို ပြန်ပေးသည်။ ဖြန့်ဝေထားသော RPC ကိုအသုံးပြုခြင်း၏နမူနာမှာ ရှာဖွေမှုမေးခွန်းများကို အပြိုင်လုပ်ဆောင်ခြင်း သို့မဟုတ် အစုအဝေးကြီးတစ်ခုတွင် လုပ်ဆောင်ချက်များကို လုပ်ဆောင်ရန်ဖြစ်သည်။

မုန်တိုင်းအင်္ဂါရပ်များ

• အချိန်နှင့်တစ်ပြေးညီ ဒေတာလုပ်ဆောင်ခြင်းကို အလွန်ရိုးရှင်းလွယ်ကူသော ပရိုဂရမ်းမင်းပုံစံ၊
• မည်သည့်ပရိုဂရမ်းမင်းဘာသာစကားများအတွက်မဆိုပံ့ပိုးမှု။ မော်ဂျူးများကို Java၊ Ruby နှင့် Python အတွက်ရရှိနိုင်သည်၊ အခြားဘာသာစကားများအတွက် လိုက်လျောညီထွေဖြစ်စေရန် ကုဒ်လိုင်း 100 ခန့်လိုအပ်သော အလွန်ရိုးရှင်းသော ဆက်သွယ်မှုပရိုတိုကောကြောင့် လွယ်ကူသည်။
• အမှားခံနိုင်ရည်- ဒေတာလုပ်ဆောင်ခြင်းအလုပ်ကို လုပ်ဆောင်ရန်၊ သင်သည် ကုဒ်ဖြင့် jar ဖိုင်ကို ထုတ်လုပ်ရန် လိုအပ်သည်။ Storm သည် ဤ jar ဖိုင်ကို အစုလိုက်အစည်းများကြားတွင် လွတ်လပ်စွာ ဖြန့်ဝေပေးမည်ဖြစ်ပြီး ၎င်းနှင့်ဆက်စပ်နေသော ကိုင်တွယ်သူများကို ချိတ်ဆက်ကာ စောင့်ကြည့်မှုကို စုစည်းပေးမည်ဖြစ်သည်။ အလုပ်ပြီးသောအခါ၊ node များအားလုံးတွင် ကုဒ်ကို အလိုအလျောက်ပိတ်ထားပါမည်။
• အလျားလိုက် လုပ်နိုင်မှု။ တွက်ချက်မှုအားလုံးကို parallel mode တွင်လုပ်ဆောင်သည်၊ load တိုးလာသည်နှင့်အမျှ၊ node အသစ်များကို cluster သို့ရိုးရှင်းစွာချိတ်ဆက်ရန်လုံလောက်ပါသည်။
• ယုံကြည်စိတ်ချရမှု။ Storm သည် ဝင်လာသော မက်ဆေ့ဂျ်တိုင်းကို အနည်းဆုံး တစ်ကြိမ် အပြည့်အဝ လုပ်ဆောင်ကြောင်း သေချာစေသည်။ ကိုင်တွယ်သူအားလုံးကို ဖြတ်သွားသည့်အခါ အမှားအယွင်းများမရှိမှသာ မက်ဆေ့ချ်ကို တစ်ကြိမ်တည်းလုပ်ဆောင်မည်ဖြစ်ပြီး ပြဿနာများပေါ်ပေါက်ပါက၊ မအောင်မြင်သော လုပ်ဆောင်ခြင်းများကို ထပ်ခါတလဲလဲ ပြုလုပ်ပါမည်။
• အရှိန်။ Storm ၏ကုဒ်ကို စိတ်ထဲတွင် မြင့်မားသော စွမ်းဆောင်ရည်ဖြင့် ရေးသားထားပြီး လျင်မြန်သော အပြိုင်အဆိုင် စာတိုပေးပို့ခြင်းအတွက် စနစ်ကို အသုံးပြုပါသည်။ ZeroMQ.

source: opennet.ru