ഹബ്രാസ്റ്റാറ്റിസ്റ്റിക്സ്: വായനക്കാരുടെ അഭിപ്രായങ്ങൾ വിശകലനം ചെയ്യുന്നു

ഹലോ ഹബ്ർ. IN മുൻ ഭാഗം സൈറ്റിന്റെ വിവിധ വിഭാഗങ്ങളുടെ ജനപ്രീതി വിശകലനം ചെയ്തു, അതേ സമയം ചോദ്യം ഉയർന്നു - ലേഖനങ്ങളിലെ അഭിപ്രായങ്ങളിൽ നിന്ന് എന്ത് ഡാറ്റ വേർതിരിച്ചെടുക്കാൻ കഴിയും. ഒരു സിദ്ധാന്തം പരീക്ഷിക്കാനും ഞാൻ ആഗ്രഹിച്ചു, അത് ഞാൻ ചുവടെ ചർച്ച ചെയ്യും.


ഡാറ്റ വളരെ രസകരമായി മാറി; കമന്റേറ്റർമാരുടെ ഒരു ചെറിയ "മിനി-റേറ്റിംഗ്" സൃഷ്ടിക്കാനും ഞങ്ങൾക്ക് കഴിഞ്ഞു. കട്ട് കീഴിൽ തുടർന്നു.

ഡാറ്റ ശേഖരണം

വിശകലനത്തിനായി, 2019-ലെ ഈ വർഷത്തെ ഡാറ്റ ഞങ്ങൾ ഉപയോഗിക്കും, പ്രത്യേകിച്ചും എനിക്ക് ഇതിനകം csv ഫോമിലുള്ള ലേഖനങ്ങളുടെ ഒരു ലിസ്റ്റ് ലഭിച്ചതിനാൽ. ഓരോ ലേഖനത്തിൽ നിന്നും അഭിപ്രായങ്ങൾ എക്‌സ്‌ട്രാക്റ്റുചെയ്യുക മാത്രമാണ് അവശേഷിക്കുന്നത്; ഭാഗ്യവശാൽ, അവ അവിടെ സംഭരിച്ചിരിക്കുന്നു, അധിക അഭ്യർത്ഥനകളൊന്നും നടത്തേണ്ടതില്ല.

ഒരു ലേഖനത്തിൽ നിന്നുള്ള അഭിപ്രായങ്ങൾ ഹൈലൈറ്റ് ചെയ്യുന്നതിന്, ഇനിപ്പറയുന്ന കോഡ് മതിയാകും:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

ഇതുപോലെയുള്ള അഭിപ്രായങ്ങളുടെ ഒരു ലിസ്റ്റ് ലഭിക്കാൻ ഇത് ഞങ്ങളെ അനുവദിക്കുന്നു (സ്വകാര്യത കാരണങ്ങളാൽ വിളിപ്പേരുകൾ നീക്കംചെയ്തു):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഓരോ അഭിപ്രായത്തിനും ഞങ്ങൾക്ക് ഉപയോക്തൃനാമം, തീയതി, റേറ്റിംഗ്, യഥാർത്ഥ വാചകം എന്നിവ ലഭിക്കും. ഇതിൽ നിന്ന് നമുക്ക് എന്ത് ലഭിക്കും എന്ന് നോക്കാം.

വഴിയിൽ, തുടക്കത്തിൽ, റേറ്റിംഗുകൾ ശേഖരിക്കുക എന്ന ആശയം അല്പം വ്യത്യസ്തമായിരുന്നു - ഉപയോക്താക്കൾ എന്ത് റേറ്റിംഗുകൾ നൽകുന്നുവെന്ന് കാണാൻ. ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് YouTube-ൽ നോക്കാം - ഏറ്റവും അനുയോജ്യമായ വീഡിയോ പോലും, ആത്മനിഷ്ഠമായ വിവരങ്ങളൊന്നും ഉൾക്കൊള്ളാത്ത ഒരു വീഡിയോ പോലും, പൂർണ്ണമായും റഫറൻസിനോ വാർത്താ റിലീസിനോ വേണ്ടി, ഇപ്പോഴും ഒരു നിശ്ചിത എണ്ണം മൈനസുകൾ നേടുന്നു. പൂർണ്ണമായും ക്ലിനിക്കലിയിൽ, എല്ലാം ഇഷ്ടപ്പെടാത്ത ഉപയോക്താക്കൾ ഉണ്ടെന്നാണ് അനുമാനം, ഒരുപക്ഷേ സെറോടോണിൻ തലച്ചോറിലോ മറ്റെന്തെങ്കിലുമോ ഉത്പാദിപ്പിക്കപ്പെടുന്നില്ല. ഒരുപക്ഷേ ഒരു വ്യക്തിക്ക് ഇനി ഹബ്രെയിൽ ഇരിക്കേണ്ട ആവശ്യമില്ല, മറിച്ച് വിഷാദരോഗം ചികിത്സിക്കണം... പക്ഷേ, എനിക്ക് ഇത് ഇവിടെ പരിശോധിക്കാൻ കഴിയില്ല, കാരണം... റേറ്റിംഗുകൾ നൽകിയവരുടെ ലിസ്റ്റ് കമന്റിലോ ലേഖനത്തിലോ സംരക്ഷിച്ചിട്ടില്ല. ശരി, അതായത്, ലഭ്യമായ ഡാറ്റ ഉപയോഗിച്ച് ഞങ്ങൾ പ്രവർത്തിക്കും. ഫലം ഒരു "റിവേഴ്സ്" റേറ്റിംഗ് ആണ് - ഉപയോക്താക്കൾ എന്ത് റേറ്റിംഗുകൾ _സ്വീകരിക്കുന്നുവെന്ന് നിങ്ങൾക്ക് കാണാൻ കഴിയും. തത്വത്തിൽ, അത് രസകരമാണ്.

പ്രോസസ്സ് ചെയ്യുന്നു

ആരംഭിക്കുന്നതിന്, ഒരു പരമ്പരാഗത നിരാകരണം. ഈ റേറ്റിംഗ്, മുമ്പത്തെ എല്ലാത്തേയും പോലെ, അനൗദ്യോഗികമാണ്. ഞാൻ എവിടെയും തെറ്റ് ചെയ്തിട്ടില്ലെന്ന് ഞാൻ ഉറപ്പ് നൽകുന്നില്ല. സാങ്കേതിക വിശദാംശങ്ങളിൽ താൽപ്പര്യമുള്ളവർക്കായി, കൂടുതൽ വിശദമായ കോഡ് നൽകിയിരിക്കുന്നു മുമ്പത്തെ ഭാഗത്ത്.

അതുകൊണ്ട് നമുക്ക് തുടങ്ങാം. ഈ വർഷത്തെ, 2019 (ഇതുവരെ അവസാനിച്ചിട്ടില്ല) അഭിപ്രായങ്ങൾ വിശകലനത്തിനായി എടുത്തു. എഴുതുന്ന സമയത്ത്, ഉപയോക്താക്കൾ എഴുതി ക്സനുമ്ക്സ അഭിപ്രായം, csv ഫയലിന്റെ വലുപ്പം 288MB. ശക്തമായ, ആകർഷണീയമായ.

എഴുത്തിന്റെ സമയം

പ്രവൃത്തിദിവസങ്ങളും വാരാന്ത്യങ്ങളും വെവ്വേറെ വിഭജിച്ച്, മണിക്കൂർ പ്രകാരം അഭിപ്രായങ്ങൾ ഗ്രൂപ്പുചെയ്യാം.

ഇവിടെ നമുക്ക് കേവല മൂല്യങ്ങളിൽ താൽപ്പര്യമില്ല, മറിച്ച് ആപേക്ഷിക മൂല്യങ്ങളിലാണ്. നിങ്ങൾ അത് "അത് പോലെ" നോക്കിയാൽ, അത് മാറുന്നുоമിക്ക അഭിപ്രായങ്ങളും 10 മുതൽ 18 വരെയുള്ള ജോലി സമയത്താണ് എഴുതിയത് 😉 മറുവശത്ത്, സമയ മേഖലകൾ ഇവിടെ കണക്കിലെടുക്കുന്നില്ല, അതിനാൽ ചോദ്യം ഇപ്പോഴും തുറന്നിരിക്കുന്നു.

വർഷം മുഴുവനും കമന്റുകളുടെ വിതരണം നോക്കാം:

എന്നിട്ടും അത് കറങ്ങുന്നു; പ്രവൃത്തിദിവസങ്ങളിൽ ഒരു കുതിച്ചുചാട്ടം വ്യക്തമായി കാണാം - പ്രതിവാര ആനുകാലികത വ്യക്തമായി കാണാം, അതിനാൽ ആളുകൾ ജോലിയിൽ നിന്ന് ഹബറിനെ വായിക്കുകയും അഭിപ്രായമിടുകയും ചെയ്യുന്നുവെന്ന് ഞങ്ങൾക്ക് ഉയർന്ന ആത്മവിശ്വാസത്തോടെ പറയാൻ കഴിയും (എന്നാൽ ഇത് ഉറപ്പില്ല).

വഴിയിൽ, ലഭിച്ച മൈനസുകളുടെയോ പ്ലസ്സിന്റെയോ എണ്ണം ദിവസത്തിൽ നിന്നോ സമയത്തിൽ നിന്നോ വ്യത്യാസപ്പെട്ടിട്ടുണ്ടോ എന്ന് അനുമാനം പരിശോധിക്കാനുള്ള ഒരു ആശയം ഉണ്ടായിരുന്നു, പക്ഷേ ഒരു ബന്ധം കണ്ടെത്താൻ കഴിഞ്ഞില്ല - റേറ്റിംഗ് നൽകിയ സമയം ലാഭിച്ചിട്ടില്ല, കൂടാതെ കമന്റിന്റെ സമയവുമായി നേരിട്ട് ബന്ധമില്ല.

ഉപയോക്താക്കൾ

തീർച്ചയായും, സൈറ്റിലെ ഉപയോക്താക്കളുടെ കൃത്യമായ എണ്ണം എനിക്കറിയില്ല. എന്നാൽ ഈ വർഷം കുറഞ്ഞത് ഒരു കമന്റെങ്കിലും ഇട്ടവർ ഏകദേശം ആയി 25000 ആളുകൾ.

ഉപയോക്താക്കൾ ഉപേക്ഷിച്ച സന്ദേശങ്ങളുടെ ഗ്രാഫ് വളരെ രസകരമായി തോന്നുന്നു:

ആദ്യം ഞാൻ അത് സ്വയം വിശ്വസിച്ചില്ല, പക്ഷേ ഒരു തെറ്റും ഇല്ലെന്ന് തോന്നി. 5% ഉപയോക്താക്കൾ 60% സന്ദേശങ്ങൾ നൽകുന്നു. എല്ലാ സന്ദേശങ്ങളുടെയും 10% - 74% (ഇതിൽ, ഈ വർഷം, 450 ആയിരം ഞാൻ നിങ്ങളെ ഓർമ്മിപ്പിക്കട്ടെ). ഭൂരിഭാഗം ആളുകളും സൈറ്റ് വായിക്കുന്നു, അഭിപ്രായങ്ങൾ വളരെ അപൂർവമായി ഇടുന്നു, അല്ലെങ്കിൽ അവ ഉപേക്ഷിക്കുന്നില്ല (അവ, സ്വാഭാവികമായും, എന്റെ പട്ടികയിൽ ഉൾപ്പെടുത്തിയിട്ടില്ല).

റേറ്റിംഗുകൾ

സ്ഥിതിവിവരക്കണക്കുകളുടെ അവസാനത്തേതും രസകരവുമായ ഭാഗത്തേക്ക് പോകാം - റേറ്റിംഗുകൾ. സ്വകാര്യതയുടെ കാരണങ്ങളാൽ, ഉപയോക്താക്കളുടെ മുഴുവൻ വിളിപ്പേരുകളും ഞാൻ നൽകില്ല, ആഗ്രഹിക്കുന്നവർ സ്വയം തിരിച്ചറിയുമെന്ന് ഞാൻ കരുതുന്നു.

വഴി അഭിപ്രായങ്ങളുടെ എണ്ണം ഈ വർഷം, ഏറ്റവും മികച്ച 5 എണ്ണം VoXXXX (3377 അഭിപ്രായങ്ങൾ), 0xdXXXXX (3286 അഭിപ്രായങ്ങൾ), strXXXX (3043 അഭിപ്രായങ്ങൾ), AmXXXX (2897 അഭിപ്രായങ്ങൾ), khXXXX (2748 അഭിപ്രായങ്ങൾ) എന്നിവയാണ്.

വഴി ലഭിച്ച ആനുകൂല്യങ്ങളുടെ എണ്ണം, മികച്ച 5 എണ്ണം amXXXX (1395 അഭിപ്രായങ്ങൾ, റേറ്റിംഗുകൾ +3231/-309), tvXXXX (1544 അഭിപ്രായങ്ങൾ, റേറ്റിംഗുകൾ +3231/-97), WhuXXXX (921 അഭിപ്രായങ്ങൾ, റേറ്റിംഗുകൾ +2288/-13), MTTXXXX (1328 അഭിപ്രായങ്ങൾ, 1383 അഭിപ്രായങ്ങൾ, +7 /-736), amaXXXX (1340 അഭിപ്രായങ്ങൾ, റേറ്റിംഗ് +16/-XNUMX).

വഴി കേവല പോസിറ്റീവ് റേറ്റിംഗ് (ആരുമില്ല നിഷേധാത്മകമായി റേറ്റുചെയ്ത അഭിപ്രായം) മുകൾഭാഗത്തിന്റെ മുകൾഭാഗം കൈവശപ്പെടുത്തിയിരിക്കുന്നു മിൽഫ്ഗാർഡ് и ബൂംബുരം. ഒരു അപവാദമെന്ന നിലയിൽ, ഞാൻ അവരുടെ വിളിപ്പേരുകൾ പൂർണ്ണമായി അവതരിപ്പിക്കുന്നു, അവർ അത് അർഹിക്കുന്നുണ്ടെന്ന് ഞാൻ കരുതുന്നു.

പോരായ്മകളും രസകരമാണ്. ടോപ്പ് ബൈ ശേഖരിച്ച മൈനസുകളുടെ എണ്ണം ഈ വർഷം അവർ siXX (473 പ്ലസ്, 699 മൈനസ്), khXX (1915 പ്ലസ്, 573 മൈനസ്), nicXXXX (456 പ്ലസ്, 487 മൈനസ്) എന്നിവ ഉൾക്കൊള്ളുന്നു. എന്നാൽ നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഈ ഉപയോക്താക്കൾക്ക് മതിയായ പോസിറ്റീവ് അഭിപ്രായങ്ങളുണ്ട്. എന്നാൽ പ്രകാരം കേവല മൈനസ് ആന്റിടോപ്പിക്കിൽ vladXXXX (55 കമന്റുകൾ, 84 മൈനസ്, 0 പ്ലസ്), ekoXXXX (77 കമന്റുകൾ, 92 മൈനസ്, 1 പ്ലസ്), iMXXXX (225 കമന്റുകൾ, 205 മൈനസ്, 12 പ്ലസ്) എന്നിവ ഉൾപ്പെടുന്നു.

തീരുമാനം

ആസൂത്രണം ചെയ്തതെല്ലാം കണക്കാക്കാൻ എനിക്ക് കഴിഞ്ഞില്ല, പക്ഷേ അത് രസകരമായിരുന്നുവെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഇത്രയും ചെറിയ ഫീൽഡുകളുള്ള ഒരു ഡാറ്റാസെറ്റിന് പോലും വിശകലനത്തിനായി രസകരമായ ഡാറ്റ നൽകാൻ കഴിയും. ഒരു "വേഡ് ക്ലൗഡ്" നിർമ്മിക്കുന്നത് മുതൽ ടെക്സ്റ്റ് വിശകലനം വരെ കുഴിക്കാൻ ഇനിയും ധാരാളം ഉണ്ട്. രസകരമായ എന്തെങ്കിലും ഫലങ്ങൾ വന്നാൽ, അവ പ്രസിദ്ധീകരിക്കും.

അവലംബം: www.habr.com