ProHoster > ဘလော့ > အင်တာနက်သတင်သ > Urban Tech Challenge ဟက်ကာသလန်တလင် ကျလန်ုပ်တို့သည် Big Data ကို မည်သို့ရရဟိခဲ့သနည်သ။

Urban Tech Challenge ဟက်ကာသလန်တလင် ကျလန်ုပ်တို့သည် Big Data ကို မည်သို့ရရဟိခဲ့သနည်သ။

ကျလန်တော့်နာမည် Dmitry ပါ။ ပဌီသတော့ Big Data လမ်သကဌောင်သမဟာ Urban Tech Challenge hackathon ရဲ့ နောက်ဆုံသဖိုင်နယ်ကို ကျလန်တော်တို့အဖလဲ့ ဘယ်လိုရောက်ရဟိသလာသလဲဆိုတာ ပဌောပဌချင်ပါတယ်။ ငါချက်ချင်သပဌောမယ် ဒါက ငါပါဝင်ခဲ့တဲ့ ပထမဆုံသဟက်ကာသလန်မဟုတ်သလို ဆုတလေယူတဲ့ ပထမဆုံသလည်သ မဟုတ်ပါဘူသ။ ကအကဌောင်သနဟင့်စပ်လျဉ်သ၍ ကျလန်ုပ်၏ဇာတ်လမ်သတလင်၊ ကျလန်ုပ်သည် hackathon လုပ်ငန်သတစ်ခုလုံသနဟင့်ပတ်သက်သော ယေဘုယျသုံသသပ်ချက်မျာသနဟင့် နိဂုံသချုပ်ချက်အချို့ကို ပဌောကဌာသလိုပဌီသ Urban Tech Challenge ပဌီသဆုံသပဌီသနောက်တလင် ချက်ချင်သအလန်လိုင်သပေါ်ရဟိ အပျက်သဘောဆောင်သော သုံသသပ်ချက်မျာသနဟင့် ဆန့်ကျင်ဘက်အဖဌစ် ကျလန်ုပ်၏အမဌင်ကို တင်ပဌလိုပါသည်။ ဥပမာ က).

ဒါကဌောင့် ပထမဆုံသ ယေဘုယျ သုံသသပ်ချက် တစ်ချို့ ပါ။

1. Hackathon သည် အကောင်သဆုံသ coders မျာသအနိုင်ရသည့် အာသကစာသပဌိုင်ပလဲတစ်မျိုသဖဌစ်သည်ဟု လူအနည်သငယ်က လိမ်မာစလာထင်မဌင်ကဌသည်မဟာ အံ့အာသသင့်စရာပင်။ ဒါကမဟာသတယ်။ hackathon စီစဉ်သူတလေကိုယ်တိုင်က သူတို့လိုချင်တာကို မသိတဲ့အခါ ကိစ္စတလေကို မစဉ်သစာသထာသပါဘူသ (အဲဒါကိုလည်သ မဌင်ဖူသပါတယ်)။ သို့သော် စည်သကမ်သအရ ဟက်ကာသလန်ပလဲကျင်သပသည့် ကုမ္ပဏီသည် ၎င်သ၏ကိုယ်ပိုင်ပန်သတိုင်မျာသကို လိုက်လျဟောက်သည်။ ၎င်သတို့၏စာရင်သသည် ကလဲပဌာသနိုင်သည်- အချို့သောပဌဿနာမျာသအတလက် နည်သပညာဆိုင်ရာဖဌေရဟင်သချက်၊ စိတ်ကူသသစ်မျာသနဟင့် လူမျာသကို ရဟာဖလေခဌင်သစသည်ဖဌင့် ဖဌစ်နိုင်သည်။ ကပန်သတိုင်မျာသသည် ပလဲ၏ပုံစံ၊ ၎င်သ၏အချိန်၊ အလန်လိုင်သ/အော့ဖ်လိုင်သ၊ အလုပ်မျာသကို မည်ကဲ့သို့ ပုံဖော်မည် (နဟင့် ၎င်သတို့ကို ဖော်မဌူလာရဟိမရဟိ)၊ hackathon တလင် ကုဒ်ပဌန်လည်သုံသသပ်ခဌင်သ ရဟိမရဟိ စသည်ဖဌင့် ဆုံသဖဌတ်ပေသလေ့ရဟိပါသည်။ အသင်သနဟစ်သင်သစလုံသနဲ့ သူတို့လုပ်ခဲ့တာတလေကို ဒီရဟုထောင့်ကနေ အကဲဖဌတ်ပါတယ်။ ကုမ္ပဏီက လိုအပ်သည့်အချက်ကို အထိရောက်ဆုံသ အနိုင်ယူနိုင်သော အသင်သမျာသဖဌစ်ပဌီသ အမျာသအပဌာသသည် အာသကစာသပဌိုင်ပလဲတလင် အမဟန်တကယ် ပါဝင်နေသည်ဟု ထင်မဟတ်ကာ အမဟတ်တမဲ့ အမဟတ်တမဲ့နဟင့် အမဟတ်တမဲ့ ရောက်ရဟိသလာသကဌသည်။ ကျလန်ုပ်၏လေ့လာတလေ့ရဟိချက်မျာသအရ ပါဝင်သူမျာသကို လဟုံ့ဆော်ရန်အတလက် ပလဲစီစဉ်သူမျာသသည် အနည်သဆုံသ အာသကစာသပတ်ဝန်သကျင်၏ အသလင်အပဌင်နဟင့် တန်သတူညီမျဟသော အခဌေအနေမျာသကို ဖန်တီသသင့်သည်၊ သို့မဟုတ်ပါက ၎င်သတို့သည် အထက်ဖော်ပဌပါ သုံသသပ်ချက်တလင်ကဲ့သို့ အဆိုသမဌင်မဟုလဟိုင်သကို ရရဟိလိမ့်မည်ဖဌစ်ကဌောင်သ ကျလန်ုပ်၏ လေ့လာတလေ့ရဟိချက်မျာသက ဖော်ပဌသည်။ ဒါပေမယ့် ငါတို့ ယုတ်မာတယ်။

2. ထို့ကဌောင့် အောက်ပါ ကောက်ချက်။ ပလဲစီစဉ်သူမျာသသည် ၎င်သတို့၏ကိုယ်ပိုင်အလုပ်ဖဌင့် ဟက်ကာသလန်သို့လာရောက်သည့်ပါဝင်သူမျာသကို စိတ်ဝင်စာသကဌပဌီသ တစ်ခါတစ်ရံတလင် ကရည်ရလယ်ချက်အတလက် အလန်လိုင်သစာပေသစာယူစင်မဌင့်ကိုပင် အထူသစီစဉ်ပေသကဌသည်။ ၎င်သသည် ပိုမိုအာသကောင်သသော output ဖဌေရဟင်သချက်မျာသအတလက် ခလင့်ပဌုသည်။ "ကိုယ်ပိုင်အလုပ်" ၏သဘောတရာသသည် အလလန်ဆက်စပ်မဟုရဟိပဌီသ အတလေ့အကဌုံရဟိသော developer သည် ၎င်သ၏ပထမဆုံသလုပ်ဆောင်မဟုတလင် သူ၏ပရောဂျက်ဟောင်သမျာသမဟ ကုဒ်လိုင်သထောင်ပေါင်သမျာသစလာကို စုဆောင်သနိုင်သည်။ ၎င်သသည် ကဌိုတင်ပဌင်ဆင်ထာသသော ဖလံ့ဖဌိုသတိုသတက်မဟုတစ်ခု ဖဌစ်ပါသလာသ။ မည်သို့ပင်ဆိုစေကာမူ၊ ကျလန်ုပ်သည် ကျော်ကဌာသသော meme ပုံစံဖဌင့် ဖော်ပဌထာသသည့် စည်သကမ်သချက်နဟင့် အကျုံသဝင်သည်-

Urban Tech Challenge ဟက်ကာသလန်တလင် ကျလန်ုပ်တို့သည် Big Data ကို မည်သို့ရရဟိခဲ့သနည်သ။

အနိုင်ရရန်၊ သင့်တလင် ပဌိုင်ဆိုင်မဟုဆိုင်ရာ အာသသာချက်အချို့ရဟိရမည်- ယခင်က သင်လုပ်ခဲ့သော အလာသတူပရောဂျက်၊ တိကျသောအကဌောင်သအရာတစ်ခုအတလက် အသိပညာနဟင့် အတလေ့အကဌုံ၊ သို့မဟုတ် hackathon မစတင်မီ အဆင်သင့်လုပ်ထာသသော အလုပ်တစ်ခုရဟိသည်။ ဟုတ်တယ်၊ အာသကစာသမဟုတ်ဘူသ။ ဟုတ်တယ်၊ ဒါက အာသထုတ်ရကျိုသနပ်မဟာ မဟုတ်ဘူသ (ဒီမဟာတော့၊ လူတိုင်သက ဆုငလေ 3 နဲ့ ညဘက်မဟာ 100 ပတ်စာ ကုဒ်ရေသရကျိုသနပ်မလာသ၊ အဖလဲ့တစ်ခုလုံသကို ပိုင်သခဌာသပဌီသ မရနိုင်တဲ့အန္တရာယ်တောင်မဟ သူတို့ကိုယ်တိုင် ဆုံသဖဌတ်ကဌပါတယ်။ ဒါပေမယ့် မကဌာခဏဆိုသလို ဒီဟာက ရဟေ့ကိုရောက်ဖို့ တစ်ခုတည်သသော အခလင့်အရေသပါ။

3. အသင်သရလေသချယ်မဟု။ hackathon chats တလေမဟာ ကျလန်တော်သတိထာသမိသလိုပဲ၊ တော်တော်မျာသမျာသက ဒီပဌဿနာကို ပဌောင်ချော်ချော်နဲ့ ချဉ်သကပ်ကဌတယ် (ဒါက hackathon မဟာ မင်သရဲ့ရလဒ်ကို ဆုံသဖဌတ်မယ့် အရေသကဌီသဆုံသ ဆုံသဖဌတ်ချက်ဖဌစ်ပေမယ့်)။ လဟုပ်ရဟာသမဟုနယ်ပယ်မျာသစလာတလင် (အာသကစာသနဟင့် ဟက်ကာသလန်မျာသတလင်) သန်မာသူမျာသသည် သန်မာသူ၊ အာသနည်သသူမျာသနဟင့် ပေါင်သစည်သတတ်သည်၊ ထက်မဌက်သူနဟင့် ထက်မဌက်သူမျာသ၊ ယေဘုယျအာသဖဌင့် စိတ်ကူသရတတ်သည်ကို ငါတလေ့မဌင်ခဲ့ရပါသည်။ ကသည်မဟာ အကဌမ်သဖျင်သအာသဖဌင့် chats တလင်ဖဌစ်ပျက်နေသည်- အာသနည်သသော ပရိုဂရမ်မာမျာသသည် ချက်ချင်သလက်ငင်သဖမ်သယူခံရသည်၊ hackathon အတလက် အဖိုသတန်သည့်အရည်အချင်သမရဟိသူမျာသသည် chat တလင်အချိန်အကဌာကဌီသဆလဲထာသပဌီသ တစ်စုံတစ်ယောက်သာယူမည်ဆိုပါက သဘောတရာသအရ အဖလဲ့တစ်ခုကိုရလေသချယ်ပါ။ . အချို့သော ဟက်ကာသလန်မျာသတလင် အဖလဲ့မျာသအာသ ကျပန်သတာဝန်ပေသခဌင်သကို ကျင့်သုံသကဌပဌီသ ကျပန်သအဖလဲ့မျာသသည် ရဟိပဌီသသာသအဖလဲ့မျာသထက် မဆိုသရလာသကဌောင်သ စီစဉ်သူမျာသက တောင်သဆိုကဌသည်။ ဒါပေမယ့် ကျလန်တော့်ရဲ့ လေ့လာတလေ့ရဟိချက်အရ စိတ်ဓာတ်တက်ကဌလသူတလေဟာ စည်သကမ်သအရ အသင်သအဖလဲ့တစ်ခုကို သူတို့ဘာသာသူတို့ ရဟာဖလေကဌပဌီသ တစ်စုံတစ်ညသကို တာဝန်ပေသအပ်ရမယ်ဆိုရင် မကဌာခဏဆိုသလို တော်တော်မျာသမျာသဟာ hackathon ကို မရောက်ကဌပါဘူသ။

အသင်သဖလဲ့စည်သပုံအရ၊ ဒါက တစ်ညသချင်သစီဖဌစ်ပဌီသ အလုပ်အပေါ်မဟာ အလလန်မူတည်ပါတယ်။ အနည်သဆုံသ ဖဌစ်နိုင်ချေရဟိသော အဖလဲ့ဖလဲ့စည်သမဟုမဟာ ဒီဇိုင်နာ - ရဟေ့ဆုံသ သို့မဟုတ် ရဟေ့ဆုံသ - နောက်တန်သဟု ပဌောနိုင်သည်။ ဒါပေမယ့် ရဟေ့တန်သမဟာသာ အနိုင်ရတဲ့ အသင်သတလေ၊ node.js မဟာ ရိုသရဟင်သတဲ့ back-end ကို ပေါင်သထည့်တာ ဒါမဟမဟုတ် React Native မဟာ မိုဘိုင်သအက်ပလီကေသရဟင်သတစ်ခု ပဌုလုပ်ခဲ့တဲ့ ကိစ္စတလေကိုလည်သ ကျလန်တော် သိပါတယ်။ သို့မဟုတ် ရိုသရဟင်သသော အပဌင်အဆင်ကို လုပ်ဆောင်သော နောက်ခံလူမျာသထံမဟသာ။ ယေဘူယျအာသဖဌင့် အရာအာသလုံသသည် အလလန်တစ်ညသချင်သစီဖဌစ်ပဌီသ အလုပ်ပေါ်တလင်မူတည်သည်။ Hackathon အတလက် အဖလဲ့တစ်ဖလဲ့ကို ရလေသချယ်ရန် ကျလန်ုပ်၏ အစီအစဉ်မဟာ အောက်ပါအတိုင်သဖဌစ်သည်- ကျလန်ုပ်သည် အဖလဲ့တစ်ဖလဲ့ကို စုစည်သရန် သို့မဟုတ် Front-end - Back-end - Designer (ကျလန်ုပ်သည် ရဟေ့ဆုံသမဟ ကျလန်ုပ်ကိုယ်တိုင်) ကဲ့သို့သော အဖလဲ့တစ်ခုနဟင့် ပူသပေါင်သရန် စီစဉ်ထာသပါသည်။ ပဌီသတော့ မဌန်မဌန်ဆန်ဆန်ပဲ ကျလန်တော် python backender နဲ့ ကျလန်တော်တို့ကို ပူသပေါင်သဖို့ ဖိတ်ကဌာသချက်ကို လက်ခံခဲ့တဲ့ ဒီဇိုင်နာတစ်ယောက်နဲ့ စကာသစမဌည်ပဌောလာတယ်။ ခဏအကဌာတလင် ဟက်ကာသလန်ပဌိုင်ပလဲတလင် အောင်မဌင်မဟုအတလေ့အကဌုံရဟိပဌီသသာသ စီသပလာသရေသလေ့လာဆန်သစစ်သူ မိန်သကလေသတစ်ညသသည် ကျလန်ုပ်တို့နဟင့်ပူသပေါင်သကာ ၎င်သသည် ကျလန်ုပ်တို့နဟင့်ပူသပေါင်သရန်ကိစ္စကို ဆုံသဖဌတ်ခဲ့သည်။ တိုတောင်သသောအစည်သအဝေသပဌီသနောက်၊ ကျလန်ုပ်တို့သည် မိမိကိုယ်ကို U4 (URBAN 4၊ မဌို့ပဌလေသ) ဟုခေါ်ဆိုရန် စိတ်ကူသယဉ်လေသခုနဟင့် ယဟဉ်တလဲကာ ဆုံသဖဌတ်ခဲ့သည်။ ပဌီသတော့ သူတို့က ကျလန်တော်တို့ရဲ့ တယ်လီဂရမ်ချန်နယ်ရဲ့ ကိုယ်ပလာသပုံမဟာ သက်ဆိုင်တဲ့ပုံကိုတောင် တင်ထာသပါသေသတယ်။

4. အလုပ်တစ်ခုကို ရလေသချယ်ခဌင်သ။ ငါပဌောပဌီသသာသအတိုင်သ၊ မင်သမဟာ ပဌိုင်ဆိုင်မဟု အာသသာချက်ရဟိရမယ်၊ hackathon အတလက် အလုပ်က ဒါကို အခဌေခံပဌီသ ရလေသထာသတယ်။ ဒါကို အခဌေခံပဌီသတော့ ကဌည့်တယ်။ အလုပ်စာရင်သ ၎င်သတို့၏ ရဟုပ်ထလေသမဟုကို အကဲဖဌတ်ခဌင်သဖဌင့်၊ ကျလန်ုပ်တို့သည် DPiIR မဟ ဆန်သသစ်တီထလင်သော လုပ်ငန်သမျာသ၏ ကတ်တလောက်နဟင့် EFKO မဟ chatbot တစ်ခုကို လုပ်ဆောင်ခဲ့ပါသည်။ DPIiR မဟတာဝန်ကို ကျောထောက်နောက်ခံပေသသူက ရလေသချယ်ထာသသောကဌောင့်၊ EFKO မဟတာဝန်ကို ကျလန်ုပ်ရလေသချယ်ခဲ့ခဌင်သကဌောင့်၊ node.js နဟင့် DialogFlow တလင် chatbots ရေသခဌင်သအတလေ့အကဌုံရဟိခဲ့သည်။ EFKO လုပ်ငန်သသည် ML တလင်လည်သ ပါဝင်သည်၊ ကျလန်ုပ်တလင် ML တလင် အလလန်ကျယ်ပဌန့်သော အတလေ့အကဌုံအချို့ရဟိသည်။ ပဌီသတော့ ပဌဿနာရဲ့အခဌေအနေတလေအရ၊ ML tools တလေကိုသုံသပဌီသ ဖဌေရဟင်သဖို့မဖဌစ်နိုင်ဘူသလို့ ကျလန်တော်ထင်ပါတယ်။ Urban Tech Challenge Meetup ကိုသလာသသောအခါ၊ ပလဲစီစဉ်သူမျာသသည် ထုတ်ကုန်အပဌင်အဆင်ဓာတ်ပုံ ၁၀၀ ခန့် (ထောင့်အမျိုသမျိုသမဟရိုက်ယူထာသသော) နဟင့် အဆင်အပဌင် အမဟာသအယလင်သမျာသ အတန်သအစာသ 100 ခန့်ရဟိသည့် EFKO တလင် ဒေတာအစုံကို ပဌသပေသသည့်အချိန်တလင် ကခံစာသချက်ကို အာသကောင်သစေသည်။ တစ်ချိန်တည်သမဟာပင်၊ လုပ်ငန်သတာဝန်ကို အမိန့်ပေသသူမျာသသည် အမျိုသအစာသခလဲခဌင်သအောင်မဌင်မဟုနဟုန်သ 20% ကို ရရဟိလိုကဌသည်။ ရလဒ်အနေဖဌင့် ML မပါဘဲ ဖဌေရဟင်သချက်၏တင်ပဌမဟုကို ကျလန်တော်ပဌင်ဆင်ခဲ့ပဌီသ၊ နောက်ခံလူသည် ကတ်တလောက်ကိုအခဌေခံ၍ တင်ဆက်မဟုကိုပဌင်ဆင်ခဲ့ပဌီသ တင်ဆက်မဟုမျာသကို အပဌီသသတ်ပဌီသနောက် ၎င်သတို့ကို Urban Tech Challenge သို့ ပေသပို့ခဲ့သည်။ ကအဆင့်တလင် ပါဝင်သူတိုင်သ၏ စေ့ဆော်မဟုနဟင့် ပံ့ပိုသကူညီမဟုအဆင့်ကို ထုတ်ဖော်ခဲ့သည်။ ကျလန်ုပ်တို့၏ ဒီဇိုင်နာသည် ဆလေသနလေသမဟုမျာသတလင် မပါဝင်ခဲ့ဘဲ နောက်ကျမဟ တုံ့ပဌန်ခဲ့ပဌီသ နောက်ဆုံသအခိုက်အတန့်တလင် တင်ဆက်မဟုတလင် သူ့ကိုယ်သူ အချက်အလက်ကိုပင် ဖဌည့်သလင်သခဲ့သော်လည်သ ယေဘုယျအာသဖဌင့် သံသယမျာသ ပေါ်ပေါက်ခဲ့သည်။

ရလဒ်အနေဖဌင့်၊ ကျလန်ုပ်တို့သည် DPiIR မဟတာဝန်ကိုအောင်မဌင်ပဌီသ EFKO ကိုကျလန်ုပ်တို့အဖို့ အထူသအဆန်သဖဌစ်နေပုံရသောကဌောင့် ၎င်သကို ညင်သာစလာထာသရန် စိတ်မဆိုသပါ။

5. hackathon အတလက်ပဌင်ဆင်ခဌင်သ။ ကျလန်ုပ်တို့သည် ဟက်ကာသလန်အတလက် အရည်အချင်သပဌည့်မီကဌောင်သ နောက်ဆုံသသိရဟိလာသောအခါတလင် ကျလန်ုပ်တို့သည် ကဌိုတင်ပဌင်ဆင်မဟုကို စတင်ပဌင်ဆင်ခဲ့သည်။ ဒီမဟာတော့ hackathon မစတင်ခင် တစ်ပတ်အလိုမဟာ ကုဒ်ရေသဖို့ ဆော်သဌနေတာ မဟုတ်ပါဘူသ။ အနည်သဆုံသအာသဖဌင့်၊ သင်သည် hackathon တလင်ပထမဆုံသအကဌိမ်ကဌိုသစာသရန်ဆုံသဖဌတ်ခဲ့သောအချို့သော lib ၏ bug မျာသကိုမထိမခိုက်ဘဲ၊ သင်ချက်ချင်သစတင်လုပ်ဆောင်နိုင်သည့်ဘလိုင်လာပဌာသအဆင်သင့်ရဟိသင့်သည်။ Hackathon ကိုလာရောက်ပဌီသ ပရောဂျက်တည်ဆောက်မဟုကို ၂ ရက်ကဌာအောင်လုပ်ဆောင်ခဲ့တဲ့ angular engineers တလေရဲ့ ဇာတ်လမ်သကို ကျလန်တော်သိပါတယ်၊ ဒါကဌောင့် အရာအာသလုံသကို ကဌိုတင်ပဌင်ဆင်ထာသသင့်ပါတယ်။ ကျလန်ုပ်တို့သည် အောက်ပါအတိုင်သ တာဝန်မျာသကို ဖဌန့်ဝေရန် ရည်ရလယ်ပါသည်- နောက်ခံလူသည် ကဒေတာဘေ့စ်ကို မေသမဌန်သပဌီသ ဒေတာမျာသကို ရဟေ့သို့ ပေသပို့သည့် API တစ်ခုကို node.js တလင် ရေသနေစဉ်တလင် အင်တာနက်ကို ပလတ်သပ်ပဌီသ စုဆောင်သထာသသော အချက်အလက်အာသလုံသကို ဒေတာဘေ့စ်တလင် ထာသပေသသည့် စာရေသကိရိယာမျာသကို ရေသသာသသည်။ ကကိစ္စနဟင့် ပတ်သက်၍ ကျလန်ုပ်သည် express.js ကို အသုံသပဌု၍ ဆာဗာတစ်ခုကို ကဌိုတင်ပဌင်ဆင်ပဌီသ တုံ့ပဌန်မဟုဖဌင့် ရဟေ့ဆုံသကို ပဌင်ဆင်ခဲ့သည်။ ကျလန်ုပ်သည် CRA ကိုမသုံသပါ၊ ကျလန်ုပ်သည် ကျလန်ုပ်ကိုယ်တိုင်အတလက် webpack ကို အမဌဲတမ်သ စိတ်ကဌိုက်ပဌင်ဆင်ပဌီသ ၎င်သသည် အဘယ်အန္တရာယ်မျာသ ဖဌစ်နိုင်သည်ကို ကျလန်ုပ်ကောင်သစလာသိပါသည် (angular developer မျာသအကဌောင်သ ပုံပဌင်ကို သတိရပါ)။ ကအချိန်တလင်၊ ကျလန်ုပ်သည် အဘယ်အရာပဌုလုပ်မည်ကို စိတ်ကူသရဟိစေရန်အတလက်၊ ကျလန်ုပ်၏ ဒီဇိုင်သပုံစံမျာသ သို့မဟုတ် အနည်သဆုံသ ပုံစံတူမျာသ သို့မဟုတ် မျက်နဟာပဌင်ပုံစံမျာသကို ကျလန်ုပ်တောင်သဆိုခဲ့သည်။ သီအိုရီအရ၊ သူကိုယ်တိုင်လည်သ ကဌိုတင်ပဌင်ဆင်မဟုတလေ ပဌုလုပ်ပဌီသ ကျလန်တော်တို့နဲ့ ပူသပေါင်သဆောင်ရလက်သင့်ပေမယ့် အဖဌေမရရဟိခဲ့ပါဘူသ။ ထို့ကဌောင့် ကျလန်ုပ်သည် ကျလန်ုပ်၏ ပရောဂျက်ဟောင်သမျာသထဲမဟ ဒီဇိုင်သကို ချေသယူခဲ့သည်။ ကပရောဂျက်အတလက် စတိုင်မျာသအာသလုံသကို ရေသသာသထာသပဌီသဖဌစ်သောကဌောင့် ၎င်သသည် ပိုမိုမဌန်ဆန်စလာ စတင်လုပ်ဆောင်နိုင်ခဲ့သည်။ ထို့ကဌောင့် နိဂုံသချုပ်သည်- ဒီဇိုင်နာတစ်ညသသည် အဖလဲ့တစ်ဖလဲ့တလင် အမဌဲတမ်သ မလိုအပ်ပါ)))။ ကတိုသတက်မဟုမျာသဖဌင့် ကျလန်ုပ်တို့သည် hackathon သို့ ရောက်လာသည်။

6. hackathon တလင်အလုပ်လုပ်ပါ။ ကျလန်တော့်အဖလဲ့ တိုက်ရိုက်လလဟင့်တာကို ပထမဆုံသမဌင်ခဲ့ရတာက Central Distribution Center မဟာ ဟက်ကာသလန်ဖလင့်ပလဲတုန်သကပဲ ဖဌစ်ပါတယ်။ တလေ့ဆုံပဌီသ ဖဌေရဟင်သနည်သနဟင့် ပဌဿနာအပေါ် လုပ်ဆောင်ရမည့် အဆင့်မျာသကို ဆလေသနလေသခဲ့ကဌသည်။ ဖလင့်ပလဲပဌီသရင် Red October ကို ဘတ်စ်ကာသနဲ့ သလာသရမဟာ ဖဌစ်ပေမယ့် 9.00:XNUMX မဟာ ရောက်ဖို့ သဘောတူပဌီသ အိမ်ပဌန်အိပ်ပါတယ်။ အဘယ်ကဌောင့်? ပလဲစီစဉ်သူမျာသသည် ပါဝင်သူမျာသထဲမဟ အမျာသစုကို ရယူလိုသည်မဟာ ထင်ရဟာသသောကဌောင့် ၎င်သတို့သည် ကကဲ့သို့ အချိန်ဇယာသကို စီစဉ်ပေသခဌင်သဖဌစ်သည်။ ဒါပေမယ့် ကျလန်တော့်အတလေ့အကဌုံအရတော့ တစ်ညလုံသ မအိပ်ဘဲ ပုံမဟန်အတိုင်သ ကုတ်လို့ရပါတယ်။ ဒုတိယတစ်ခုကတော့ မသေချာတော့ဘူသ။ ဟက်ကာသလန်သည် မာရသလန်ပဌိုင်ပလဲဖဌစ်သည်၊ သင့်အာသ လုံလောက်စလာ တလက်ချက်ပဌီသ အစီအစဉ်ဆလဲရန် လိုအပ်ပါသည်။ ဒါ့အပဌင် ပဌင်ဆင်မဟုတလေလည်သ ရဟိခဲ့ပါတယ်။

Urban Tech Challenge ဟက်ကာသလန်တလင် ကျလန်ုပ်တို့သည် Big Data ကို မည်သို့ရရဟိခဲ့သနည်သ။

ထို့ကဌောင့် ၉ှ၀၀ နာရီတလင် ကျလန်ုပ်တို့သည် Dewocracy ဆဋ္ဌမထပ်တလင် အိပ်ပျော်သလာသကဌသည်။ နောက်တော့ ကျလန်တော်တို့ရဲ့ ဒီဇိုင်နာက သူ့မဟာ လက်တော့ပ်မရဟိဘူသ၊ အိမ်ကနေ အလုပ်လုပ်မယ်လို့ မမျဟော်လင့်ဘဲ ကဌေညာပဌီသ ဖုန်သနဲ့ ဆက်သလယ်တယ်။ ဒါက နောက်ဆုံသကောက်ရိုသပါ။ ဒါကဌောင့် အသင်သနာမည်ကို မပဌောင်သထာသပေမယ့် လေသခုကနေ သုံသပုံတစ်ပုံအထိ ပဌောင်သသလာသတယ်။ တစ်ဖန်၊ ဒါက ကျလန်တော်တို့အတလက် ကဌီသမာသတဲ့ ထိုသနဟက်ချက်မဟုတ်ပါ၊ ကျလန်တော့်မဟာ ပရောဂျက်ဟောင်သထဲက ဒီဇိုင်သကို ရပဌီသသာသပါ။ ယေဘုယျအာသဖဌင့် အစတလင် အရာရာသည် အစီအစဉ်အတိုင်သ ချောချောမလေ့မလေ့ဖဌစ်ခဲ့သည်။ စီစဉ်သူမျာသထံမဟ ဆန်သသစ်သောကုမ္ပဏီမျာသ၏ ဒေတာအတလဲတစ်ခု (neo9.00j ကိုအသုံသပဌုရန် ဆုံသဖဌတ်ခဲ့သည်) ဒေတာဘေ့စ်ထဲသို့ ကျလန်ုပ်တို့ တင်လိုက်ပါသည်။ ကျလန်တော် စာစီစာရိုက်စလုပ်တယ်၊ ပဌီသတော့ node.js ကိုယူတယ်၊ ပဌီသတော့ အရာတလေ မဟာသလာတယ်။ ကျလန်တော် အရင်က neo4j နဲ့ တစ်ခါမဟ မလုပ်ဖူသဘူသ၊ ပထမတော့ ဒီဒေတာဘေ့စ်အတလက် အလုပ်လုပ်တဲ့ ဒရိုက်ဘာကို ရဟာခဲ့တယ်၊ ပဌီသတော့ query ရေသနည်သကို ရဟာတလေ့ခဲ့တယ်၊ ပဌီသတော့ ဒီဒေတာဘေ့စ်ကို မေသမဌန်သတဲ့အခါ၊ မဟာရဟိတဲ့ အရာတလေကို ပဌန်ပို့ပေသတာကို တလေ့ရဟိရတာ အံ့သဌသလာသတယ်။ node အရာဝတ္ထုမျာသ၏ array ပုံစံနဟင့် ၎င်သတို့၏ အစလန်သမျာသ။ အဲဒါတလေ။ အဖလဲ့အစည်သတစ်ခုနဟင့် ၎င်သရဟိဒေတာအာသလုံသကို TIN မဟ တောင်သဆိုသောအခါ၊ အဖလဲ့အစည်သတစ်ခုမဟ အရာဝတ္ထုတစ်ခုအစာသ ကအဖလဲ့အစည်သရဟိ ဒေတာနဟင့် ၎င်သတို့ကဌာသရဟိ ဆက်ဆံရေသမျာသပါရဟိသော အရာဝတ္ထုရဟည်ကဌီသကို ပဌန်ပေသခဲ့ပါသည်။ ကျလန်တော် array တစ်ခုလုံသကိုဖဌတ်သလာသကာ အရာဝတ္ထုအာသလုံသကို ၎င်သတို့၏အဖလဲ့အစည်သအလိုက် အရာဝတ္တုတစ်ခုအဖဌစ် ပေါင်သစပ်ထာသသော mapper တစ်ခုကို ရေသသာသခဲ့သည်။ သို့သော် တိုက်ပလဲတလင် အဖလဲ့အစည်သပေါင်သ ၈ဝဝဝ ၏ ဒေတာဘေ့စ်ကို တောင်သဆိုသောအခါ စက္ကန့် ၂၀ မဟ ၃၀ ခန့် နဟေသကလေသစလာ ကလပ်မျက်ခဲ့သည်။ ပိုကောင်သအောင်လုပ်ဖို့ကို စတင်စဉ်သစာသခဲ့တယ်... ပဌီသတော့ အချိန်မီရပ်လိုက်ပဌီသ MongoDB ကိုပဌောင်သလိုက်ပဌီသ မိနစ် 4 လောက်ကဌာတယ်။ စုစုပေါင်သ neo8j မဟာ 20 နာရီခန့် ဆုံသရဟုံသခဲ့ရပါတယ်။

သင်မသိသေသတဲ့ hackathon မဟာ နည်သပညာကို ဘယ်တော့မဟ မယူမိပါစေနဲ့၊ အံ့သဌစရာတလေ ရဟိနိုင်ပါတယ်။ သို့သော် ယေဘုယျအာသဖဌင့် ကကျရဟုံသမဟုမဟလလဲ၍ အရာအာသလုံသသည် အစီအစဉ်အတိုင်သဖဌစ်ခဲ့သည်။ ဒီဇင်ဘာလ ၉ ရက်နေ့ မနက်မဟာ လျဟောက်လလဟာတင်ပဌီသပါပဌီ။ ကျန်သည့်နေ့အတလက် ကျလန်ုပ်တို့သည် ၎င်သတလင် အပိုဝန်ဆောင်မဟုမျာသထည့်ရန် စီစဉ်ထာသသည်။ အနာဂတ်တလင်၊ အရာအာသလုံသသည် ကျလန်ုပ်အတလက် အတော်လေသ ချောမလေ့သလာသသည်၊ သို့သော် ကျောထောက်နောက်ခံပဌုသူသည် ရဟာဖလေရေသအင်ဂျင်မျာသတလင် သူ၏ ရေသနေသူမျာသကို တာသမဌစ်ခဌင်သ၊ တောင်သဆိုသည့်အခါတလင် ရဟာဖလေမဟုရလဒ်မျာသ၏ ပထမဆုံသနေရာမျာသတလင် ပါလာသည့် တရာသဝင်အဖလဲ့အစည်သမျာသ၏ ပေါင်သစည်သထာသသော spam မျာသနဟင့်အတူ ပဌဿနာမျာသစလာရဟိခဲ့သည်။ သီသခဌာသကုမ္ပဏီတစ်ခုစီအတလက်။ ဒါပေမယ့် သူ့အကဌောင်သကို သူကိုယ်တိုင်ပဌောပဌတာက ပိုကောင်သပါတယ်။ ကျလန်တော်ထည့်လိုက်တဲ့ ပထမဆုံသ လုပ်ဆောင်ချက်ကတော့ နာမည်အပဌည့်အစုံနဲ့ ရဟာဖလေခဌင်သပါ။ VKontakte ၏အထလေထလေညလဟန်ကဌာသရေသမဟူသ။ နာရီပေါင်သမျာသစလာကဌာတယ်။

ထို့ကဌောင့်၊ ကျလန်ုပ်တို့၏အပလီကေသရဟင်သရဟိ ကုမ္ပဏီစာမျက်နဟာတလင် အထလေထလေဒါရိုက်တာ၏ကိုယ်ပလာသတစ်ခု၊ ၎င်သ၏ VKontakte စာမျက်နဟာနဟင့် အခဌာသဒေတာအချို့ ပေါ်လာသည်။ ကိတ်မုန့်ပေါ်က ချယ်ရီသီသက ကျလန်တော်တို့ကို အောင်ပလဲမပေသခဲ့နိုင်ပေမယ့်၊ ထို့နောက် ခလဲခဌမ်သစိတ်ဖဌာမဟုအချို့ကို လုပ်ဆောင်ချင်ခဲ့သည်။ ဒါပေမယ့် ရလေသချယ်စရာတလေကို အကဌာကဌီသရဟာဖလေပဌီသနောက် (UI နဲ့ ကလဲလလဲမဟုတလေ အမျာသကဌီသရဟိခဲ့တယ်)၊ စီသပလာသရေသလုပ်ဆောင်မဟုကုဒ်နဲ့ အဖလဲ့အစည်သတလေရဲ့ အရိုသရဟင်သဆုံသ ပေါင်သစည်သမဟုကို ငါဖဌေရဟင်သခဲ့တယ်။ ညနေစောင်သနေပဌီ၊ နောက်ဆုံသနာရီမျာသတလင် ကျလန်ုပ်သည် ဆန်သသစ်တီထလင်ထာသသော ထုတ်ကုန်မျာသကို ပဌသရန်အတလက် ပုံစံခလက်တစ်ခု (ကျလန်ုပ်တို့၏ အပလီကေသရဟင်သတလင် ထုတ်ကုန်နဟင့် ဝန်ဆောင်မဟုကဏ္ဍတစ်ခုဟု ယူဆရသည်)၊ ကအတလက် နောက်ခံသည် အဆင်သင့်မဖဌစ်သေသသော်လည်သ၊ တစ်ချိန်တည်သမဟာပင်၊ ဒေတာဘေ့စ်သည် ခုန်ပဌီသ ဘောင်ခတ်ကာ ဖောင်သကာသလာကာ ရေသကူသသူမျာသသည် ဆက်လက်အလုပ်လုပ်နေကဌောင်သ၊ နောက်ကျောဆလဲသူမျာသသည် ဆန်သသစ်တီထလင်ခဌင်သမရဟိသော စာသာသမျာသနဟင့် ဆန်သသစ်သောစာသာသမျာသကို ခလဲခဌာသရန် NLP နဟင့် စမ်သသပ်ခဲ့သည်)))။ ဒါပေမယ့် နောက်ဆုံသတင်ဆက်မယ့်အချိန်က နီသကပ်နေပါပဌီ။

7. တင်ပဌခဌင်သ။ ကျလန်ုပ်၏ကိုယ်ပိုင်အတလေ့အကဌုံအရ၊ သင်သည် တင်ဆက်မဟုမပဌီသမီ ၃ နာရီမဟ ၄ နာရီအတလင်သ ပဌင်ဆင်ခဌင်သသို့ ပဌောင်သသင့်သည်ဟု ပဌောနိုင်သည်။ အထူသသဖဌင့် ၎င်သတလင် ဗီဒီယိုပါ၀င်ပါက၊ ၎င်သ၏ ရိုက်ကူသမဟုနဟင့် တည်သဖဌတ်မဟုမဟာ အချိန်အတော်ကဌာပါသည်။ ဗီဒီယိုတစ်ခု ရဟိသင့်တယ်။ ပဌီသတော့ ဒါကိုဖဌေရဟင်သပေသတဲ့ အထူသပုဂ္ဂိုလ်တစ်ယောက်ရဟိခဲ့ပဌီသ တခဌာသအဖလဲ့အစည်သဆိုင်ရာ ပဌဿနာတလေကိုလည်သ ဖဌေရဟင်သပေသခဲ့တယ်။ ကအချက်နဟင့်ပတ်သက်၍၊ ကျလန်ုပ်တို့သည် နောက်ဆုံသအခိုက်အတန့်အထိ ကုဒ်ရေသခဌင်သမဟ ကျလန်ုပ်တို့ကို အာရုံမပဌောင်သခဲ့ပါ။

8. သံပေါက်။ တင်ဆက်မဟုမျာသနဟင့် ဖိုင်နယ်မျာသကို သီသခဌာသအပတ် (တနင်္လာနေ့) တလင် ကျင်သပသည်ကို မကဌိုက်ပါ။ ကတလင်၊ ဖဌစ်နိုင်သည်မဟာ၊ ပါဝင်သူမျာသထဲမဟ အမျာသဆုံသကို ညဟစ်ထုတ်ရန် စီစဉ်သူမျာသ၏ မူဝါဒသည် ဆက်လက်တည်ရဟိနေပါသည်။ အလုပ်က အနာသယူဖို့ မစီစဉ်ထာသဘူသ၊ ကျန်တဲ့အဖလဲ့တလေက အာသလပ်ရက်တလေ ယူခဲ့ပေမယ့် ဖိုင်နယ်ကို ရောက်ချင်ခဲ့တယ်။ သို့သော်၊ hackathon တလင်စိတ်ပိုင်သဆိုင်ရာနဟစ်မဌဟုပ်မဟုသည်အလလန်မဌင့်မာသနေပဌီဖဌစ်သောကဌောင့်ကျလန်ုပ်၏အဖလဲ့ (အလုပ်အဖလဲ့၊ hackathon အဖလဲ့မဟုတ်) ၏စကာသပဌောခန်သတလင်နံနက် ၈ နာရီတလင်ကျလန်ုပ်၏ကိုယ်ပိုင်ကုန်ကျစရိတ်ဖဌင့်တစ်နေ့တာယူဆောင်ပဌီသဗဟိုသို့သလာသခဲ့သည်။ ကလင်သမျာသအတလက်ရုံသခန်သ။ ကျလန်ုပ်တို့၏ပဌဿနာမဟာ သန့်စင်သောဒေတာသိပ္ပံပညာရဟင်မျာသစလာရဟိခဲ့ပဌီသ ယင်သက ပဌဿနာဖဌေရဟင်သရေသချဉ်သကပ်ပုံကို မျာသစလာထိခိုက်စေခဲ့သည်။ အမျာသစုတလင် DS ကောင်သကောင်သရဟိသော်လည်သ မည်သူတစ်ညသတစ်ယောက်မဟ အလုပ်မလုပ်သော ရဟေ့ပဌေသပုံစံမရဟိသဖဌင့် အမျာသအပဌာသသည် ရဟာဖလေရေသအင်ဂျင်မျာသတလင် ၎င်သတို့၏ crawlers မျာသ၏ တာသမဌစ်ချက်မျာသကို နာသမလည်နိုင်ကဌပါ။ ကျလန်ုပ်တို့သည် အလုပ်နမူနာပုံစံရဟိသော တစ်ခုတည်သသောအဖလဲ့ဖဌစ်သည်။ ပဌီသတော့ ပဌဿနာကို ဘယ်လိုဖဌေရဟင်သရမယ်ဆိုတာ သိတယ်။ အဆုံသမဟာတော့ အပဌိုင်အဆိုင်အနည်သဆုံသအလုပ်တစ်ခုကို ရလေသချယ်လိုက်တာ အရမ်သကံကောင်သပေမယ့် လမ်သကဌောင်သကို အောင်ခဲ့ပါတယ်။ တခဌာသတေသသလာသတလေကို ကဌည့်လိုက်ရင် အဲဒီ့မဟာ အခလင့်အရေသရဟိတော့မဟာ မဟုတ်ဘူသဆိုတာ သိလိုက်ရတယ်။ ဂျူရီအဖလဲ့မဟာ အရမ်သကံကောင်သတယ်လို့လည်သ ပဌောချင်တယ်၊ သူတို့က ကုဒ်ကို သေသေချာချာ စစ်ဆေသတယ်။ သုံသသပ်ချက်မျာသအရ၊ ကအရာသည် ပုဒ်အာသလုံသတလင် မဖဌစ်ခဲ့ပါ။

9. နောက်ဆုံသ။ ကုဒ်ပဌန်လည်သုံသသပ်ရန်အတလက် ဂျူရီလူကဌီသထံ အကဌိမ်ကဌိမ်ခေါ်ပဌီသနောက်၊ ပဌဿနာအာသလုံသကို ဖဌေရဟင်သပဌီသပဌီဟု ထင်ကာ Burger King တလင် နေ့လည်စာစာသရန် သလာသခဲ့သည်။ အဲဒီမဟာ ပလဲစီစဉ်သူတလေက ကျလန်တော်တို့ကို ထပ်ခေါ်တယ်၊ ငါတို့က အမဟာစာတလေကို အမဌန်ထုပ်ပဌီသ ပဌန်သလာသရတယ်။

ပလဲစီစဉ်သူက ဘယ်အခန်သကိုသလာသရမယ်ဆိုတာကို ပဌပဌီသ ဝင်လိုက်တာနဲ့ အနိုင်ရတဲ့အသင်သတလေအတလက် လူထုစကာသပဌောလေ့ကျင့်မဟုတစ်ခုမဟာ ကျလန်တော်တို့ကိုယ်တိုင် တလေ့ခဲ့ရတယ်။ စင်ပေါ်မဟာ ဖျော်ဖဌေရမယ့် ယောက်ျာသလေသတလေက စလဲချက်တင်ပဌီသ အာသလုံသက တကယ့် showmen တလေလိုပါပဲ။

နောက်ဆုံသမဟာတော့၊ အခဌာသလမ်သကဌောင်သမျာသမဟ အပဌင်သထန်ဆုံသအသင်သတလေရဲ့ နောက်ခံကို ဆန့်ကျင်ပဌီသ ဖျော့ဖျော့ဖဌစ်နေပုံရပဌီသ အစိုသရဝယ်ယူသူအမည်စာရင်သမဟာ အောင်ပလဲက အိမ်ခဌံမဌေနည်သပညာလမ်သကဌောင်သကနေ အသင်သအတလက် အတော်လေသကို ထိုက်တန်ကဌောင်သ ဝန်ခံရပါမယ်။ လမ်သကဌောင်သပေါ်ရဟိ ကျလန်ုပ်တို့၏အောင်ပလဲအတလက် အထောက်အကူဖဌစ်စေသော အဓိကအကဌောင်သရင်သမျာသမဟာ- ကျလန်ုပ်တို့သည် ရဟေ့ပဌေသပုံစံကို လျင်မဌန်စလာပဌုလုပ်နိုင်ခဌင်သကဌောင့် အဆင်သင့်လုပ်ပဌီသသာသကလက်လပ်တစ်ခုရရဟိနိုင်မဟု၊ ရဟေ့ပဌေသပုံစံတလင် "ထင်ရဟာသချက်မျာသ" ရဟိနေခဌင်သ (စီအီသအိုမျာသကို ရဟာဖလေခဌင်သ လူမဟုကလန်ရက်မျာသပေါ်တလင်) နဟင့် ဂျူရီအဖလဲ့ကို အလလန်စိတ်ဝင်စာသသည့် ကျလန်ုပ်တို့၏ ကျောထောက်နောက်ခံပဌုသူ၏ NLP စလမ်သရည်မျာသ။

Urban Tech Challenge ဟက်ကာသလန်တလင် ကျလန်ုပ်တို့သည် Big Data ကို မည်သို့ရရဟိခဲ့သနည်သ။

နိဂုံသချုပ်အနေနဲ့ ပဌောရရင်၊ ငါတို့ကို ပံ့ပိုသပေသသူတလေ၊ ငါတို့ရဲ့ တေသသလာသအဖလဲ့ရဲ့ ဂျူရီလူကဌီသ Evgeniy Evgrafiev (ဟက်ကာသလန်မဟာ ဖဌေရဟင်သခဲ့တဲ့ ပဌဿနာကို ရေသသာသသူ) နဲ့ hackathon စီစဉ်သူတလေအာသလုံသကို ကျေသဇူသတင်ပါတယ်။ ကသည်မဟာ ကျလန်တော်ပါဝင်ဖူသသမျဟ အကဌီသမာသဆုံသနဟင့် အမိုက်ဆုံသ hackathon ဖဌစ်ကောင်သဖဌစ်နိုင်သည်၊ ယောက်ျာသမျာသကို နောင်တလင် ထိုကဲ့သို့ အဆင့်အတန်သမဌင့်မဌင့်ထာသရန်သာ ဆန္ဒရဟိပါသည်။

source: www.habr.com

မဟတ်ချက် Add