Habrastatistics- စာဖတ်သူ မှတ်ချက်များကို ခွဲခြမ်းစိတ်ဖြာခြင်း။

မင်္ဂလာပါ Habr။ IN ယခင်အပိုင်း ဝဘ်ဆိုက်၏ ကဏ္ဍအသီးသီး၏ ရေပန်းစားမှုကို ခွဲခြမ်းစိတ်ဖြာပြီး တစ်ချိန်တည်းတွင် ဆောင်းပါးများပေါ်ရှိ မှတ်ချက်များမှ မည်သည့်ဒေတာကို ထုတ်ယူနိုင်သနည်းဟု မေးခွန်းထုတ်ခဲ့သည်။ အောက်ဖော်ပြပါ ဆွေးနွေးမည့် အယူအဆတစ်ခုကိုလည်း စမ်းသပ်လိုပါသည်။


ဒေတာသည် အလွန်စိတ်ဝင်စားစရာကောင်းလာသည်၊ ကျွန်ုပ်တို့သည် မှတ်ချက်ပေးသူများ၏ “အသေးစားအဆင့်သတ်မှတ်ခြင်း” ကို ဖန်တီးနိုင်ခဲ့သည်။ ဖြတ်တောက်မှုအောက်မှာ ဆက်သွားပါ။

ဒေတာစုဆောင်းခြင်း။

ခွဲခြမ်းစိတ်ဖြာမှုအတွက်၊ အထူးသဖြင့် ကျွန်ုပ်သည် csv ဖောင်တွင် ဆောင်းပါးများစာရင်းကို လက်ခံရရှိပြီးဖြစ်သောကြောင့်၊ အထူးသဖြင့် ၂၀၁၉ ခုနှစ်အတွက် ဒေတာကို အသုံးပြုပါမည်။ ကျန်ရှိနေသေးသည်မှာ ဆောင်းပါးတစ်ခုစီမှ မှတ်ချက်များကို ထုတ်ယူရန်ဖြစ်သည်၊ ကံကောင်းထောက်မစွာဖြင့်၊ ၎င်းတို့ကို ထိုနေရာတွင် သိမ်းဆည်းထားပြီး နောက်ထပ်တောင်းဆိုမှုများ ပြုလုပ်ရန်မလိုအပ်ပါ။

ဆောင်းပါးတစ်ခုမှ မှတ်ချက်များကို မီးမောင်းထိုးပြရန်၊ အောက်ပါကုဒ်သည် လုံလောက်သည်-

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

၎င်းသည် ကျွန်ုပ်တို့အား ဤကဲ့သို့သော မှတ်ချက်များစာရင်းကို ရနိုင်စေသည် (ကိုယ်ရေးကိုယ်တာအကြောင်းပြချက်ကြောင့် နာမည်ဝှက်များကို ဖယ်ရှားထားသည်--

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


သင်တွေ့မြင်ရသည့်အတိုင်း မှတ်ချက်တစ်ခုစီအတွက် သုံးစွဲသူအမည်၊ ရက်စွဲ၊ အဆင့်သတ်မှတ်ချက်နှင့် အမှန်တကယ်စာသားကို ကျွန်ုပ်တို့ ရရှိနိုင်ပါသည်။ ဒီကနေ ဘာတွေရနိုင်လဲ ကြည့်ရအောင်။

စကားမစပ်၊ ကနဦးတွင် အဆင့်သတ်မှတ်ချက်များ စုဆောင်းခြင်း၏ အယူအဆမှာ အသုံးပြုသူများ မည်ကဲ့သို့ အဆင့်သတ်မှတ်ပေးသည်ကို ကြည့်ရန် အနည်းငယ် ကွဲပြားပါသည်။ ဥပမာအားဖြင့်၊ သင်သည် YouTube တွင်ကြည့်ရှုနိုင်သည် - စံပြအကောင်းဆုံးဗီဒီယို၊ ကိုးကားရန်အတွက်သက်သက် သို့မဟုတ် သတင်းထုတ်ရန်အတွက်သက်သက်မျှမဆောင်ထားသော ဗီဒီယိုတစ်ခုပင်လျှင် အချို့သော minuses အရေအတွက်ကို ရရှိနေသေးသည်။ သဘောတရားအရ၊ ဆေးခန်းအရ လုံးဝမကြိုက်သော သုံးစွဲသူများ ရှိသည်မှာ serotonin သည် ဦးနှောက် သို့မဟုတ် အခြားအရာတစ်ခုခုမှ မထုတ်လုပ်နိုင်သေးခြင်း ဖြစ်နိုင်သည်။ လူတစ်ဦးသည် Habré ပေါ်တွင်ထိုင်ရန်မလိုအပ်တော့ဘဲ၊ စိတ်ဓာတ်ကျခြင်းကိုကုသရန် ... သို့သော်ပေါ်လာသည်အတိုင်း၊ ဤနေရာတွင်ဤအရာကိုစစ်ဆေး၍မရနိုင်သောကြောင့်၊ အဆင့်သတ်မှတ်ပေးသူများ၏စာရင်းကို မှတ်ချက် သို့မဟုတ် ဆောင်းပါးတွင် မသိမ်းဆည်းပါ။ ကောင်းပြီ၊ ဆိုလိုသည်မှာ၊ ကျွန်ုပ်တို့သည် ရရှိနိုင်သောဒေတာနှင့် လုပ်ဆောင်ပါမည်။ ရလဒ်သည် "ပြောင်းပြန်" အဆင့်သတ်မှတ်ခြင်းဖြစ်သည် - အသုံးပြုသူများအနေဖြင့် မည်သည့်အဆင့်သတ်မှတ်ချက် _receive_ ကို သင်တွေ့မြင်နိုင်ပါသည်။ နိယာမအားဖြင့်လည်း စိတ်ဝင်စားစရာပါပဲ။

အပြောင်းအလဲနဲ့

အစအားဖြင့်၊ ရိုးရာငြင်းဆိုချက်တစ်ခု။ ယခင်အဆင့်သတ်မှတ်ချက်များကဲ့သို့ ဤအဆင့်သတ်မှတ်ချက်သည် တရားဝင်မဟုတ်ပေ။ ဘယ်မှာမှ အမှားမလုပ်မိဘူးလို့ အာမမခံနိုင်ပါဘူး။ နည်းပညာဆိုင်ရာအသေးစိတ်အချက်အလက်များကိုစိတ်ဝင်စားသူများအတွက်၊ အသေးစိတ်ကုဒ်ကိုပေးထားသည်။ ယခင်အပိုင်း၌.

ဒါဆို စလိုက်ရအောင်။ ယခုနှစ်၊ 2019 ခုနှစ်အတွက် မှတ်ချက်များ (မပြီးသေးသော) ကို ခွဲခြမ်းစိတ်ဖြာရန် ယူထားပါသည်။ ရေးတဲ့အချိန်မှာ သုံးစွဲသူတွေက ရေးတယ်။ 448533 မှတ်ချက်csv ဖိုင်၏အရွယ်အစား 288MB. အစွမ်းထက်၊ အထင်ကြီးစရာ။

စာရေးချိန်

မှတ်ချက်များကို နာရီအလိုက် အုပ်စုဖွဲ့ကာ စနေ၊ တနင်္ဂနွေ ပိတ်ရက်များကို သီးခြားစီ ခွဲကြပါစို့။

ဤနေရာတွင် ကျွန်ုပ်တို့သည် ပကတိတန်ဖိုးများကို စိတ်မဝင်စားသော်လည်း နှိုင်းယှဥ်ယှဉ်သောတန်ဖိုးများဖြစ်သည်။ "ဖြစ်​​နေ​သော" ကိုသာကြည့်​လျှင်​ ​ပေါ်လာသည်​оမှတ်ချက်အများစုကို အလုပ်ချိန် 10 မှ 18 အတွင်းရေးသားခဲ့သည် 😉 အခြားတစ်ဖက်တွင်၊ အချိန်ဇုန်များကိုဤနေရာတွင်ထည့်သွင်းစဉ်းစားခြင်းမရှိသောကြောင့်မေးခွန်းဖွင့်ဆဲဖြစ်သည်။

တစ်နှစ်ပတ်လုံး မှတ်ချက်များ ဖြန့်ဝေမှုကို ကြည့်ကြပါစို့။

သို့တိုင် ၎င်းသည် လည်ပတ်နေပါသည်၊ အပတ်စဉ် နေ့စဥ်အချိန်အပိုင်းအခြားကို ရှင်းရှင်းလင်းလင်းမြင်နိုင်သည်၊ ထို့ကြောင့် လူများသည် Habr ကို အလုပ်မှဖတ်ပြီး မှတ်ချက်ပေးနေကြသည်ဟု ယုံကြည်စိတ်ချစွာဖြင့် ကျွန်ုပ်တို့ပြောနိုင်ပါသည်။

စကားမစပ်၊ လက်ခံရရှိသည့် minuses သို့မဟုတ် pluses အရေအတွက်သည် နေ့ သို့မဟုတ် နေ့အချိန်နှင့် ကွာခြားမှုရှိမရှိ အယူအဆတစ်ခုကို စမ်းသပ်ရန် စိတ်ကူးတစ်ခုရှိခဲ့သော်လည်း ဆက်စပ်မှုကို ရှာမတွေ့နိုင်ခဲ့ပါ - အဆင့်သတ်မှတ်ပေးထားသည့်အချိန်ကို သိမ်းဆည်းထားခြင်း မရှိပါ။ မှတ်ချက်ပေးသည့်အချိန်နှင့် တိုက်ရိုက်ဆက်စပ်မှု မရှိပါ။

အသုံးပြုသူများသည်

ဟုတ်ပါတယ်၊ ဆိုက်ပေါ်ရှိအသုံးပြုသူအရေအတွက်အတိအကျကိုကျွန်တော်မသိပါ။ သို့သော် ယခုနှစ်တွင် အနည်းဆုံး မှတ်ချက်တစ်ခု ချန်ထားခဲ့သူများသည် ခန့်မှန်းခြေအားဖြင့် ထွက်ပေါ်လာခဲ့သည်။ 25000 ကလူ.

အသုံးပြုသူများထားခဲ့သော မက်ဆေ့ချ်အရေအတွက်၏ ဂရပ်သည် အလွန်စိတ်ဝင်စားစရာကောင်းသည်-

အစကတော့ ကိုယ့်ကိုကိုယ် မယုံပေမယ့် အမှားအယွင်းမရှိပုံပေါ်ပါတယ်။ အသုံးပြုသူများ၏ 5% သည် 60% ၏မက်ဆေ့ခ်ျကိုချန်ခဲ့သည်။. မက်ဆေ့ခ်ျအားလုံး၏ 10% - 74% (ယခုနှစ်တွင် 450)။ အများစုသည် ဆိုက်ကို ရိုးရိုးရှင်းရှင်းဖတ်ပြီး မှတ်ချက်များ ပေးခဲသည်၊ သို့မဟုတ် လုံးဝမထားခဲ့ပါ (၎င်းတို့ကို ကျွန်ုပ်၏စာရင်းတွင် မပါဝင်ပါ)။

ratings

စာရင်းဇယားများ၏ နောက်ဆုံးနှင့် အပျော်ဆုံးအပိုင်းသို့ ဆက်သွားကြပါစို့ - အဆင့်သတ်မှတ်ချက်များ။ ကိုယ်ရေးကိုယ်တာကိစ္စတွေကြောင့်၊ အသုံးပြုသူတွေရဲ့ နာမည်ပြောင်အပြည့်အစုံကို ငါမပေးပါဘူး၊ လိုချင်တဲ့သူက သူတို့ကိုယ်သူတို့ မှတ်မိလိမ့်မယ်ထင်ပါတယ်။

အပေါ် မှတ်ချက်အရေအတွက် ယခုနှစ်အတွက် ထိပ်တန်း 5 ခုကို VoXXXX (3377 မှတ်ချက်များ), 0xdXXXXX (3286 မှတ်ချက်များ), strXXXX (3043 မှတ်ချက်များ), AmXXXX (2897 မှတ်ချက်) နှင့် khXXXX (2748 မှတ်ချက်များ) တို့က သိမ်းပိုက်ထားသည်။

အပေါ် ခံစားခွင့်အရေအတွက်၊ ထိပ်တန်း 5 ခုကို amXXXX (1395 မှတ်ချက်များ၊ အဆင့်သတ်မှတ်ချက် +3231/-309), tvXXXX (1544 မှတ်ချက်များ၊ အဆင့်သတ်မှတ်ချက် +3231/-97), WhuXXXX (921 မှတ်ချက်များ၊ အဆင့်သတ်မှတ်ချက် +2288/-13), MTXXXX (1328 မှတ်ချက်များ၊ +1383/-7) နှင့် amaXXXX (736 မှတ်ချက်များ၊ အဆင့်သတ်မှတ်ချက် +1340/-16)။

အပေါ် လုံးဝအပြုသဘောဆောင်သောအဆင့်သတ်မှတ်ချက် (မည်သူမျှ အပျက်သဘောဆောင်သောမှတ်ချက်) ထိပ်၏ထိပ်ကနေရာယူ Milfgard и Boomburum. ခြွင်းချက်အနေနဲ့၊ သူတို့ရဲ့ နာမည်ပြောင်တွေကို အပြည့်အ၀ တင်ပြတယ်၊ သူတို့ ထိုက်တန်တယ်လို့ ကျွန်တော်ထင်ပါတယ်။

အားနည်းချက်တွေကလည်း စိတ်ဝင်စားစရာပါပဲ။ ထိပ်ဆုံးကပါ။ minuses အရေအတွက်ကို စုဆောင်းပါ။ ယခုနှစ်အတွက် siXX (473 pluses, 699 minuses), khXX (1915 pluses, 573 minuses) နှင့် nicXXXXX (456 pluses, 487 minuses) တို့ဖြင့် သိမ်းပိုက်ထားပါသည်။ ဒါပေမယ့် သင်မြင်တဲ့အတိုင်းပဲ၊ ဒီအသုံးပြုသူတွေဟာ အပြုသဘောဆောင်တဲ့ မှတ်ချက်တွေ လုံလောက်ပါတယ်။ အဆိုအရ၊ ပကတိအနုတ် antitopic တွင် vladXXXX (မှတ်ချက် 55 ခု၊ 84 minuses၊ 0 pluses)၊ ekoXXXX (77 မှတ်ချက်များ၊ 92 minuses၊ 1 plus) နှင့် iMXXXX (မှတ်ချက် 225 ခု၊ 205 minuses၊ 12 pluses) တို့ ပါဝင်သည်။

ကောက်ချက်

စီစဉ်ထားသမျှကို မတွက်ချက်နိုင်ပေမယ့် စိတ်ဝင်စားဖို့ကောင်းမယ်လို့ မျှော်လင့်ပါတယ်။

သင်တွေ့မြင်ရသည့်အတိုင်း အကွက်အနည်းငယ်ပါသည့် ဒေတာအစုံသည်ပင် ခွဲခြမ်းစိတ်ဖြာမှုအတွက် စိတ်ဝင်စားစရာကောင်းသော အချက်အလက်ကို ပေးစွမ်းနိုင်သည်။ “word cloud” တည်ဆောက်ခြင်းမှ စာသားခွဲခြမ်းစိတ်ဖြာခြင်းအထိ တူးဖော်ရန် များစွာရှိပါသေးသည်။ စိတ်ဝင်စားစရာကောင်းတဲ့ ရလဒ်တွေ ထွက်ပေါ်လာရင် ထုတ်ပြန်ပေးသွားမှာပါ။

source: www.habr.com