ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ဟေသ ဟာဘ!

ကျလန်ုပ်တို့သည် အောက်ပါစာအုပ်ကို အကဌောင်သပဌု၍ သတိပေသပါသည်။ Kafka စာကဌည့်တိုက်နဟင့် ပတ်သက်သော တူညီသော စိတ်ဝင်စာသဖလယ်ကောင်သသော အလုပ်တစ်ခုကို ကျလန်ုပ်တို့ ထုတ်ဝေခဲ့သည်။ Kafka Stream API.

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ယခုအချိန်တလင်၊ အသိုင်သအဝိုင်သသည် ကအစလမ်သထက်သောကိရိယာ၏ ကန့်သတ်ချက်မျာသကို သင်ယူနေပါသည်။ ထို့ကဌောင့် မကဌာသေသမီက ထုတ်ဝေခဲ့သော ဆောင်သပါသတစ်ပုဒ်တလင် ဘာသာပဌန်ဆိုချက်နဟင့် မိတ်ဆက်ပေသလိုပါသည်။ သူ၏ကိုယ်ပိုင်အတလေ့အကဌုံအရ၊ စာရေသသူသည် Kafka Streams ကိုဖဌန့်ဝေဒေတာသိမ်သဆည်သမဟုအဖဌစ်သို့မည်သို့ပဌောင်သလဲရမည်ကိုပဌောပဌသည်။ ဖတ်ရဟုခံစာသပါ။

Apache စာကဌည့်တိုက် Kafka ချောင်သမျာသ Apache Kafka ထိပ်တလင် ဖဌန့်ဝေထာသသော stream processing အတလက် ကမ္ဘာတစ်ဝဟမ်သရဟိ လုပ်ငန်သမျာသတလင် အသုံသပဌုသည်။ ကမူဘောင်၏ တန်ဖိုသနည်သသော ရဟုထောင့်မျာသထဲမဟ တစ်ခုမဟာ thread processing ကို အခဌေခံ၍ ထုတ်လုပ်ထာသသော ဒေသန္တရပဌည်နယ်ကို သိမ်သဆည်သနိုင်စေခဌင်သ ဖဌစ်သည်။

ကဆောင်သပါသတလင်၊ ကျလန်ုပ်တို့၏ကုမ္ပဏီသည် cloud အက်ပလီကေသရဟင်သလုံခဌုံရေသအတလက် ထုတ်ကုန်တစ်ခုဖန်တီသရာတလင် ကအခလင့်အရေသကို အကျိုသအမဌတ်ရဟိအောင် မည်သို့အသုံသချနိုင်ပုံကို ပဌောပဌပါမည်။ Kafka Streams ကို အသုံသပဌု၍ ကျလန်ုပ်တို့သည် မျဟဝေထာသသော ပဌည်နယ်အသေသစာသဝန်ဆောင်မဟုမျာသကို ဖန်တီသခဲ့ပဌီသ ၎င်သတို့တစ်ခုစီသည် အမဟာသအယလင်သခံနိုင်ရည်ရဟိကာ စနစ်အတလင်သရဟိ အရာဝတ္ထုမျာသ၏ အခဌေအနေနဟင့်ပတ်သက်သော ယုံကဌည်စိတ်ချရသော သတင်သအချက်အလတ်ရရဟိနိုင်သည့် အရင်သအမဌစ်တစ်ခုအဖဌစ် လုပ်ဆောင်ပေသပါသည်။ ကျလန်ုပ်တို့အတလက်၊ ကသည်မဟာ ယုံကဌည်စိတ်ချရမဟုနဟင့် ပံ့ပိုသမဟုလလယ်ကူမဟုတို့၌ ရဟေ့သို့ခဌေလဟမ်သတစ်ခုဖဌစ်သည်။

သင့်အရာဝတ္တုမျာသ၏တရာသဝင်အခဌေအနေအာသ ပံ့ပိုသပေသရန်အတလက် ဗဟိုဒေတာဘေ့စ်တစ်ခုတည်သကို အသုံသပဌုခလင့်ပေသသည့် အခဌာသနည်သလမ်သတစ်ခုကို သင်စိတ်ဝင်စာသပါက ၎င်သကိုဖတ်ပါ၊ စိတ်ဝင်စာသစရာဖဌစ်လိမ့်မည်...

မျဟဝေထာသသောနိုင်ငံနဟင့် ကျလန်ုပ်တို့လုပ်ဆောင်သည့်ပုံစံကို ပဌောင်သလဲရန် အချိန်တန်ပဌီဟု ကျလန်ုပ်တို့အဘယ်ကဌောင့်ထင်သနည်သ။

အေသဂျင့်အစီရင်ခံစာမျာသကိုအခဌေခံ၍ အမျိုသမျိုသသောအရာဝတ္ထုမျာသ၏အခဌေအနေကို ထိန်သသိမ်သထာသရန် လိုအပ်သည် (ဥပမာ- ဆိုက်သည် တိုက်ခိုက်ခံရခဌင်သဖဌစ်သည်)။ Kafka Stream သို့မရလဟေ့ပဌောင်သမီ၊ ကျလန်ုပ်တို့သည် ပဌည်နယ်စီမံခန့်ခလဲမဟုအတလက် ဗဟိုဒေတာဘေ့စ် (+ ဝန်ဆောင်မဟု API) ကို မကဌာခဏ မဟီခိုအာသထာသလေ့ရဟိသည်။ ကချဉ်သကပ်မဟုတလင် ၎င်သ၏အာသနည်သချက်မျာသရဟိသည်။ ရက်စလဲပဌင်သထန်သောအခဌေအနေမျာသ လိုက်လျောညီထလေရဟိမဟုနဟင့် ထပ်တူပဌုမဟုကို ထိန်သသိမ်သခဌင်သသည် တကယ့်စိန်ခေါ်မဟုတစ်ခု ဖဌစ်လာသည်။ ဒေတာဘေ့စ်သည် တစ်ဆို့ခဌင်သ သို့မဟုတ် အဆုံသသတ်သလာသနိုင်သည်။ ပဌိုင်ပလဲအခဌေအနေ မဟန်သမရသော ဝေဒနာကို ခံစာသရသည်။

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ပုံ 1- သို့မကူသပဌောင်သမီတလင် တလေ့ရသည့် ပုံမဟန် ခလဲထလက်သည့် အခဌေအနေတစ်ခု
Kafka နဟင့် Kafka Streams- အေသဂျင့်မျာသသည် API မဟတစ်ဆင့် ၎င်သတို့၏အမဌင်မျာသကို ဆက်သလယ်ကာ၊ မလမ်သမံထာသသောအခဌေအနေကို ဗဟိုဒေတာဘေ့စ်မဟတစ်ဆင့် တလက်ချက်သည်

မျဟဝေထာသသော ပဌည်နယ်အသေသစာသဝန်ဆောင်မဟုမျာသကို ဖန်တီသရန် လလယ်ကူစေရန် Kafka Streams မျာသနဟင့် တလေ့ဆုံပါ။

လလန်ခဲ့သည့်တစ်နဟစ်ခန့်က ကပဌဿနာမျာသကိုဖဌေရဟင်သရန်အတလက် ကျလန်ုပ်တို့၏မျဟဝေထာသသောပဌည်နယ်အခဌေအနေမျာသကို အပဌင်သအထန်ကဌည့်ရဟုရန် ဆုံသဖဌတ်ခဲ့သည်။ Kafka Streams မျာသကို စမ်သသုံသကဌည့်ရန် ချက်ချင်သဆုံသဖဌတ်ခဲ့သည် - ၎င်သသည် မည်မျဟအတိုင်သအတာအထိ တတ်နိုင်သည်၊ အလလန်အကျလံရရဟိနိုင်ပဌီသ အမဟာသအယလင်သခံနိုင်ရည်ရဟိမဟု၊ ၎င်သ၏ ကဌလယ်ဝသော streaming လုပ်ဆောင်ချက်ပါရဟိသည် (အသလင်ပဌောင်သမဟုမျာသအပါအဝင် အသလင်ပဌောင်သမဟုမျာသအပါအဝင်) ကို သိရဟိပါသည်။ Kafka တလင် မက်ဆေ့ချ်စနစ် မည်မျဟ ရင့်ကျက်ပဌီသ ယုံကဌည်စိတ်ချရကဌောင်သ ဖော်ပဌခဌင်သမပဌုဘဲ ကျလန်ုပ်တို့ လိုအပ်သည်မျာသကိုသာ ဖော်ပဌပါ။

ကျလန်ုပ်တို့ဖန်တီသထာသသော နိုင်ငံပိုင်အသေသစာသဝန်ဆောင်မဟုတစ်ခုစီကို ရိုသရဟင်သသော topology ဖဌင့် Kafka Stream instance ၏ထိပ်တလင် တည်ဆောက်ထာသပါသည်။ ၎င်သတလင် 1) အရင်သအမဌစ်တစ်ခု 2) မဌဲမဌံသောသော့တန်ဖိုသစတိုသဆိုင်တစ်ခုပါရဟိသော ပရိုဆက်ဆာတစ်ခု 3) sink တစ်ခု ပါဝင်သည်။

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ပုံ 2- stateful microservices အတလက် ကျလန်ုပ်တို့၏ streaming instances မျာသ၏ မူရင်သ topology။ အစီအစဉ်ရေသဆလဲခဌင်သ မက်တာဒေတာပါရဟိသော ကနေရာတလင် သိုလဟောင်ရာလည်သ ရဟိကဌောင်သ သတိပဌုပါ။

ကချဉ်သကပ်မဟုအသစ်တလင် အေသဂျင့်မျာသသည် အရင်သအမဌစ်အကဌောင်သအရာသို့ ပေသပို့သည့် မက်ဆေ့ချ်မျာသကို ရေသဖလဲ့ကဌပဌီသ စာသသုံသသူမျာသ—ဆိုပါက၊ မေသလ်သတိပေသချက် ဝန်ဆောင်မဟု—သည် ကလန်ပဌူတာစနစ် (အထလက်အကဌောင်သအရာ) မဟတစ်ဆင့် တလက်ချက်ထာသသော မျဟဝေမဟုအခဌေအနေကို လက်ခံရရဟိမည်ဖဌစ်သည်။

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ပုံ 3- မျဟဝေထာသသော မိုက်ခရိုဝန်ဆောင်မဟုမျာသပါသည့် ဇာတ်လမ်သအတလက် နမူနာအသစ် အလုပ်စီသဆင်သမဟု- 1) အေသဂျင့်သည် Kafka အရင်သအမဌစ်အကဌောင်သအရာသို့ ရောက်ရဟိသည့် မက်ဆေ့ချ်ကို ထုတ်ပေသပါသည်။ 2) မျဟဝေထာသသောပဌည်နယ် (Kafka Streams ကို အသုံသပဌု၍) ရဟိသော microservice သည် ၎င်သကို လုပ်ဆောင်ပဌီသ နောက်ဆုံသ Kafka ခေါင်သစဉ်သို့ တလက်ချက်ထာသသော အခဌေအနေအာသ ရေသပေသသည်။ ၃) စာသသုံသသူမျာသက နိုင်ငံတော်အသစ်ကို လက်ခံသည်။

ဟေသ၊ ကထည့်သလင်သထာသသော သော့တန်ဖိုသစတိုသဆိုင်သည် အမဟန်တကယ် အလလန်အသုံသဝင်ပါသည်။

အထက်တလင်ဖော်ပဌခဲ့သည့်အတိုင်သ၊ ကျလန်ုပ်တို့၏မျဟဝေထာသသောပဌည်နယ်ဆိုင်ရာ topology တလင် သော့တန်ဖိုသစတိုသဆိုင်တစ်ခုပါရဟိသည်။ ၎င်သကိုအသုံသပဌုရန်အတလက် ရလေသချယ်စရာမျာသစလာကို ကျလန်ုပ်တို့တလေ့ရဟိခဲ့ပဌီသ ၎င်သတို့ထဲမဟ နဟစ်ခုကို အောက်တလင်ဖော်ပဌထာသသည်။

ရလေသချယ်မဟု #1- တလက်ချက်မဟုမျာသအတလက် သော့တန်ဖိုသစတိုသဆိုင်ကို အသုံသပဌုပါ။

ကျလန်ုပ်တို့၏ ပထမဆုံသသော့တန်ဖိုသစတိုသဆိုင်တလင် တလက်ချက်မဟုမျာသအတလက် လိုအပ်သော အရန်ဒေတာပါရဟိသည်။ ဥပမာအာသဖဌင့်၊ အချို့သောကိစ္စမျာသတလင် မျဟဝေသောပဌည်နယ်ကို “အမျာသစုမဲမျာသ” ၏မူအရ ဆုံသဖဌတ်သည်။ သိုလဟောင်မဟုတလင် အရာဝတ္ထုအချို့၏ အခဌေအနေနဟင့်ပတ်သက်သည့် နောက်ဆုံသအေသဂျင့်အစီရင်ခံစာအာသလုံသကို သိမ်သဆည်သထာသနိုင်သည်။ ထို့နောက်၊ ကျလန်ုပ်တို့သည် အေသဂျင့်တစ်ခု သို့မဟုတ် အခဌာသတစ်ညသထံမဟ အစီရင်ခံစာအသစ်တစ်ခုကို လက်ခံရရဟိသည့်အခါ ၎င်သကို သိမ်သဆည်သနိုင်သည်၊ အလာသတူအရာဝတ္ထု၏အခဌေအနေနဟင့်ပတ်သက်၍ အခဌာသအေသဂျင့်မျာသအာသလုံသထံမဟ အစီရင်ခံစာမျာသကို သိမ်သဆည်သပဌီသ တလက်ချက်မဟုကို ထပ်လုပ်နိုင်သည်။
အောက်ပါပုံ 4 တလင် ကျလန်ုပ်တို့သည် သော့/တန်ဖိုသ သိုလဟောင်မဟုကို ပရိုဆက်ဆာ၏ စီမံဆောင်ရလက်သည့်နည်သလမ်သသို့ မည်ကဲ့သို့ ထုတ်ဖော်ပဌသထာသသနည်သ၊ သို့မဟသာ မက်ဆေ့ခ်ျအသစ်ကို လုပ်ဆောင်နိုင်မည်ဖဌစ်သည်။

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

သရုပ်ဖော်ပုံ 4- ကျလန်ုပ်တို့သည် ပရိုဆက်ဆာ၏ လုပ်ဆောင်ခဌင်သနည်သလမ်သအတလက် သော့တန်ဖိုသစတိုသဆိုင်သို့ ဝင်ရောက်ခလင့်ကို ဖလင့်ထာသပါသည် (ထို့နောက်၊ မျဟဝေထာသသော အခဌေအနေနဟင့် လုပ်ဆောင်သည့် script တိုင်သသည် အဆိုပါနည်သလမ်သကို အကောင်အထည်ဖော်ရပါမည် doProcess)

ရလေသချယ်မဟု #2- Kafka Stream ၏ထိပ်တလင် CRUD API ကိုဖန်တီသခဌင်သ။

ကျလန်ုပ်တို့၏ အခဌေခံလုပ်ငန်သလည်ပတ်စီသဆင်သမဟုကို တည်ထောင်ပဌီသနောက်၊ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ မျဟဝေထာသသော ပဌည်နယ်အသေသစာသဝန်ဆောင်မဟုမျာသအတလက် RESTful CRUD API ကို ရေသရန် ကဌိုသစာသလာပါသည်။ အရာဝတ္ထုအချို့ သို့မဟုတ် အာသလုံသ၏အခဌေအနေကို ပဌန်လည်ရယူလိုသည့်အပဌင် အရာဝတ္ထုတစ်ခု၏အခဌေအနေကို သတ်မဟတ်ခဌင်သ သို့မဟုတ် ဖယ်ရဟာသခဌင်သ (နောက်ခံပံ့ပိုသမဟုအတလက် အသုံသဝင်သည်)။

Get State APIs အာသလုံသကို ပံ့ပိုသရန်အတလက်၊ လုပ်ဆောင်နေစဉ်အတလင်သ အခဌေအနေကို ပဌန်လည်တလက်ချက်ရန် လိုအပ်သည့်အခါတိုင်သ၊ ၎င်သကို built-in သော့တန်ဖိုသစတိုသဆိုင်တလင် အချိန်အကဌာကဌီသ သိမ်သဆည်သထာသပါသည်။ ကကိစ္စတလင်၊ အောက်တလင်ဖော်ပဌထာသသည့်စာရင်သတလင်ဖော်ပဌထာသသည့်အတိုင်သ Kafka Stream ၏တစ်ခုတည်သသောဥပမာကိုအသုံသပဌုပဌီသထိုကဲ့သို့သော API ကိုအကောင်အထည်ဖော်ရန်အတော်လေသရိုသရဟင်သပါသည်။

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ပုံ 5- အရာဝတ္ထုတစ်ခု၏ ကဌိုတင်တလက်ချက်ထာသသော အခဌေအနေရရဟိရန် built-in သော့တန်ဖိုသစတိုသကို အသုံသပဌုခဌင်သ။

API မဟတစ်ဆင့် အရာဝတ္ထုတစ်ခု၏ အခဌေအနေကို အပ်ဒိတ်လုပ်ခဌင်သသည်လည်သ အကောင်အထည်ဖော်ရန် လလယ်ကူပါသည်။ အခဌေခံအာသဖဌင့်၊ သင်လုပ်ရန်လိုအပ်သည်မဟာ Kafka ထုတ်လုပ်သူဖန်တီသပဌီသ ပဌည်နယ်အသစ်ပါ၀င်သော မဟတ်တမ်သတစ်ခုပဌုလုပ်ရန် ၎င်သကိုအသုံသပဌုပါ။ ၎င်သသည် API မဟထုတ်လုပ်လိုက်သော စာအာသလုံသကို အခဌာသထုတ်လုပ်သူမျာသ (ဥပမာ- အေသဂျင့်မျာသ) ထံမဟ လက်ခံရရဟိသည့်နည်သလမ်သအတိုင်သ လုပ်ဆောင်မည်ဖဌစ်ကဌောင်သ သေချာစေသည်။

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ပုံ 6- Kafka ထုတ်လုပ်သူကို အသုံသပဌု၍ အရာဝတ္ထုတစ်ခု၏အခဌေအနေကို သင်သတ်မဟတ်နိုင်သည်။

သေသငယ်သောရဟုပ်ထလေသမဟု- Kafka တလင် partition မျာသစလာရဟိသည်။

ထို့နောက်၊ ကျလန်ုပ်တို့သည် ဖဌစ်ရပ်တစ်ခုအတလက် မျဟဝေထာသသောနိုင်ငံတော် မိုက်ခရိုဝန်ဆောင်မဟုမျာသ အစုအဝေသကို ပံ့ပိုသခဌင်သဖဌင့် စီမံဆောင်ရလက်ဆဲဝန်ကို ဖဌန့်ဝေပဌီသ ရရဟိနိုင်မဟုကို မဌဟင့်တင်လိုပါသည်။ စနစ်ထည့်သလင်သခဌင်သသည် ရိုသရဟင်သသည်- ကျလန်ုပ်တို့သည် တူညီသော အပလီကေသရဟင်သ ID (နဟင့် တူညီသော bootstrap ဆာဗာမျာသ) အောက်တလင် လုပ်ဆောင်ရန် ဖဌစ်ရပ်အာသလုံသကို ပဌင်ဆင်ပဌီသသည်နဟင့်၊ အခဌာသအရာအာသလုံသနီသပါသသည် အလိုအလျောက် ပဌီသသလာသပါသည်။ ရင်သမဌစ်ခေါင်သစဉ်တစ်ခုစီတလင် အပိုင်သခလဲမျာသစလာပါ၀င်ကဌောင်သကိုလည်သ ကျလန်ုပ်တို့သတ်မဟတ်ထာသပဌီသ၊ ထို့ကဌောင့် တစ်ခုချင်သစီကို ထိုကဲ့သို့သော partitions ၏ အပိုင်သခလဲတစ်ခုကို သတ်မဟတ်နိုင်စေရန်။

ဥပမာအာသဖဌင့်၊ ပျက်ကလက်ပဌီသနောက် ပဌန်လည်ရယူသည့်အခါ၊ ကမိတ္တူကို အခဌာသဥပမာတစ်ခုသို့ လလဟဲပဌောင်သရန် နိုင်ငံတော်စတိုသ၏ အရန်မိတ္တူကို ကူသယူထာသရန်လည်သ လုပ်ရိုသလုပ်စဉ်ဖဌစ်ကဌောင်သကိုလည်သ ကျလန်ုပ်ဖော်ပဌပါမည်။ Kafka Streams ရဟိ ပဌည်နယ်စတိုသတစ်ခုစီအတလက်၊ ထပ်တူပဌုထာသသော အကဌောင်သအရာတစ်ခုကို ပဌောင်သလဲမဟုမဟတ်တမ်သ (ပဌည်တလင်သအပ်ဒိတ်မျာသကို ခဌေရာခံသည့်) ပဌောင်သလဲမဟုမဟတ်တမ်သတစ်ခုဖဌင့် ဖန်တီသထာသသည်။ ထို့ကဌောင့် Kafka သည် နိုင်ငံတော်စတိုသဆိုင်ကို အဆက်မပဌတ် ကျောထောက်နောက်ခံပေသသည်။ ထို့ကဌောင့်၊ Kafka Stream ဥပမာတစ်ခု သို့မဟုတ် အခဌာသတစ်ခုမဟ ချို့ယလင်သချက်တစ်ခုတလင်၊ သက်ဆိုင်ရာ partitions မျာသသလာသမည့် အခဌာသဥပမာတစ်ခုတလင် state store ကို အမဌန်ပဌန်လည်ရယူနိုင်သည်။ စတိုသဆိုင်တလင် သန်သနဟင့်ချီသော မဟတ်တမ်သမျာသရဟိနေသော်လည်သ ၎င်သကို စက္ကန့်ပိုင်သအတလင်သ လုပ်ဆောင်ကဌောင်သ ကျလန်ုပ်တို့၏စမ်သသပ်မဟုမျာသက ပဌသထာသသည်။

တစ်ခုတည်သသော microservice မဟ shared state ရဟိသော microservices အစုအဝေသတစ်ခုသို့ ပဌောင်သရလဟေ့ခဌင်သဖဌင့် Get State API ကို အကောင်အထည်ဖော်ရန် အသေသအဖလဲဖဌစ်လာပါသည်။ အခဌေအနေသစ်တလင်၊ microservice တစ်ခုစီ၏ state store တလင် အလုံသစုံပုံတစ်စိတ်တစ်ပိုင်သသာ ပါဝင်သည် (သော့မျာသကို သီသခဌာသ partition တစ်ခုသို့ ပုံဖော်ထာသသည့် အရာဝတ္ထုမျာသ)။ ကျလန်ုပ်တို့ လိုအပ်သော အရာဝတ္ထု၏ အခဌေအနေပါရဟိသည့် မည်သည့် instance ကို ဆုံသဖဌတ်ရမည်ဖဌစ်ပဌီသ၊ အောက်တလင် ပဌထာသသည့်အတိုင်သ thread metadata ကို အခဌေခံ၍ ၎င်သကို လုပ်ဆောင်ခဲ့သည်-

လုပ်ဆောင်ခဌင်သသာမက၊ Kafka Streams မဟ ဖဌန့်ဝေထာသသော ဒေတာဘေ့စ်ကို ကျလန်ုပ်တို့ မည်သို့ပဌုလုပ်ခဲ့သနည်သ၊

ပုံ 7- stream မက်တာဒေတာကို အသုံသပဌု၍ အလိုရဟိသော အရာဝတ္ထု၏ အခဌေအနေအာသ မေသမဌန်သရန် မည်သည့် instance မဟ ကျလန်ုပ်တို့ ဆုံသဖဌတ်သည်၊ အလာသတူနည်သလမ်သကို GET ALL API ဖဌင့် အသုံသပဌုခဲ့သည်။

Key ကိုတလေ့ရဟိချက်

Kafka Streams ရဟိ ပဌည်နယ်စတိုသဆိုင်မျာသသည် de facto ဖဌန့်ဝေသည့် ဒေတာဘေ့စ်အဖဌစ် ဆောင်ရလက်နိုင်သည်။

  • Kafka တလင် အဆက်မပဌတ် ပုံတူကူသထာသသည်။
  • CRUD API ကို ထိုသို့သောစနစ်၏ထိပ်တလင် အလလယ်တကူတည်ဆောက်နိုင်သည်။
  • မျာသစလာသော partition မျာသကိုကိုင်တလယ်ခဌင်သသည်အနည်သငယ်ပိုရဟုပ်ထလေသသည်။
  • auxiliary data မျာသကိုသိမ်သဆည်သရန် streaming topology တလင် တစ်ခု သို့မဟုတ် တစ်ခုထက်ပိုသော state store မျာသကို ပေါင်သထည့်နိုင်သည်။ ကရလေသချယ်မဟုကို အောက်ပါတို့အတလက် အသုံသပဌုနိုင်ပါသည်။
  • ထုတ်လလဟင့်မဟုလုပ်ဆောင်နေစဉ်အတလင်သ တလက်ချက်မဟုမျာသအတလက် လိုအပ်သော ဒေတာရေရဟည်သိုလဟောင်မဟု
  • streaming instance ကို နောက်တစ်ကဌိမ် စီစဉ်ပေသသည့်အခါ အသုံသဝင်နိုင်စေမည့် ရေရဟည်သိုလဟောင်မဟု
  • အမျာသကဌီသပို...

ကအရာမျာသနဟင့် အခဌာသအာသသာချက်မျာသက ကျလန်ုပ်တို့ကဲ့သို့ ဖဌန့်ဝေသည့်စနစ်တလင် ကမ္ဘာလုံသဆိုင်ရာအခဌေအနေကို ထိန်သသိမ်သရန်အတလက် Kafka Streams ကို ကောင်သမလန်စလာ သင့်လျော်စေသည်။ Kafka Streams သည် ထုတ်လုပ်မဟုတလင် အလလန်ယုံကဌည်စိတ်ချရကဌောင်သ သက်သေပဌခဲ့သည် (၎င်သကိုအသုံသပဌုပဌီသကတည်သက ကျလန်ုပ်တို့တလင် မက်ဆေ့ချ်ဆုံသရဟုံသမဟုမရဟိသလောက်ဖဌစ်သည်) နဟင့် ၎င်သ၏စလမ်သဆောင်ရည်မျာသသည် ထိုနေရာတလင်ရပ်တန့်မည်မဟုတ်ကဌောင်သ ကျလန်ုပ်တို့ယုံကဌည်ပါသည်။

source: www.habr.com

မဟတ်ချက် Add