Хабрастатистика: анализирање на коментарите на читателите

Здраво Хабр. ВО претходниот дел Беше анализирана популарноста на различни делови на страницата, а во исто време се постави прашањето - какви податоци може да се извлечат од коментарите на написите. Исто така, сакав да тестирам една хипотеза, за која ќе разговарам подолу.


Податоците се покажаа како доста интересни, успеавме да создадеме и мала „мини-рејтинг“ на коментатори. Продолжува под сечењето.

Собирање на податоци

За анализа ќе користиме податоци за оваа 2019 година, особено што веќе добив список на статии во цсв форма. Останува само да се извлечат коментарите од секоја статија, за наша среќа, тие се складирани таму и не треба да се прават дополнителни барања.

За да се истакнат коментарите од статијата, доволен е следниот код:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

Ова ни овозможува да добиеме листа на коментари што изгледаат отприлика вака (прекарите се отстранети од причини за приватност):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


Како што можете да видите, за секој коментар можеме да го добиеме корисничкото име, датумот, оцената и вистинскиот текст. Ајде да видиме што можеме да добиеме од ова.

Патем, првично, идејата за собирање оценки беше малку поинаква - да се види какви оценки даваат корисниците. На пример, можете да погледнете на YouTube - дури и најидеалното видео, дури и видеото што не носи никакви субјективни информации, чисто за референца или соопштение за вести, сепак добива одреден број на минуси. Хипотезата беше дека има корисници на кои, чисто клинички, не им се допаѓа сè, можеби серотонин не се произведува во мозокот или нешто друго. Можеби човек веќе нема потреба да седи на Хабре, туку да лекува депресија... Но, како што се испостави, не можам да го проверам ова овде, бидејќи ... списокот на оние кои дале оценки не е зачуван во коментар или статија. Па, тоа е, ќе работиме со достапните податоци. Резултатот е „обратна“ оцена - можете да видите какви оценки _примаат_ корисниците. Што, во принцип, е исто така интересно.

Обработка

За почеток, традиционално одрекување од одговорност. Овој рејтинг, како и сите претходни, е неофицијален. Не гарантирам дека никаде не сум згрешил. За оние кои се заинтересирани за технички детали, подетален код е даден во претходниот дел.

Па ајде да започнеме. За анализа се земени коментарите за оваа 2019 година (која сè уште не е завршена). За време на пишувањето, корисниците пишуваа 448533 комментария, големината на CSV-датотеката е 288 MB. Моќен, впечатлив.

Време на пишување

Ајде да групираме коментари по часови, делејќи ги работните денови и викендите одделно.

Овде не не интересираат апсолутни вредности, туку релативни. Ако само го погледнете „како што е“, тогаш излегува декаоПовеќето коментари се напишани во работно време од 10 до 18 😉 Од друга страна, тука не се земени предвид временските зони, така што прашањето е сè уште отворено.

Да ја погледнеме распределбата на коментарите во текот на годината:

А сепак се ротира; напливот е јасно видлив во работните денови - неделната периодичност е јасно видлива, така што можеме со прилично голема сигурност да кажеме дека луѓето читаат и коментираат за Хабр од работа (но тоа не е сигурно).

Патем, имаше идеја да се тестира хипотезата дали бројот на добиените минуси или плус се разликува од денот или времето од денот, но не беше можно да се најде врска - времето кога беше дадена оценката не е зачувана, и нема директна врска со времето на коментарот.

Членови

Се разбира, не го знам точниот број на корисници на страницата. Но, оние кои оставија барем еден коментар годинава испаднаа приближно 25000 луѓе.

Графикот на бројот на пораки оставени од корисниците изгледа доста интересен:

На почетокот самиот не верував, но се чинеше дека нема грешка. 5% од корисниците оставаат 60% од пораките. 10% - 74% од сите пораки (од кои, да потсетам, годинава, 450 илјади). Мнозинството едноставно ја читаше страницата, оставајќи коментари многу ретко, или воопшто не оставајќи ги (тие, нормално, не беа вклучени во мојата листа).

Рејтингот

Да преминеме на последниот и најзабавен дел од статистиката - рејтингот. Заради приватност нема да ги давам целосните прекари на корисниците, кој сака мислам дека ќе се препознае.

На број на коментари за оваа година, првите 5 се окупирани од VoXXXX (3377 коментари), 0xdXXXXX (3286 коментари), strXXXX (3043 коментари), AmXXXX (2897 коментари) и khXXXX (2748 коментари).

На број на добиени бенефиции, првите 5 се окупирани од amXXXX (1395 коментари, оценки +3231/-309), tvXXXX (1544 коментари, оценки +3231/-97), WhuXXXX (921 коментари, оценки +2288/-13), MTXXXX (1328 коментари, +1383 /-7) и amaXXXX (736 коментари, оцена +1340/-16).

На апсолутна позитивна оценка (ниту еден сингл негативно оценет коментар) врвот на врвот е окупиран од Милфгард и Бумбурум. По исклучок, нивните прекари ги претставувам во целост, мислам дека го заслужуваат тоа.

Интересни се и лошите страни. На врвот од број на собрани минуси за оваа година тие се окупирани од siXX (473 плус, 699 минуси), khXX (1915 плус, 573 минуси) и nicXXXXX (456 плус, 487 минуси). Но, како што можете да видите, овие корисници имаат доволно позитивни коментари. Но, според апсолутен минус Антитопот вклучува vladXXXX (55 коментари, 84 минуси, 0 плус), ekoXXX (77 коментари, 92 минуси, 1 плус) и iMXXX (225 коментари, 205 минуси, 12 плус).

Заклучок

Не можев да пресметам се што е планирано, но се надевам дека беше интересно.

Како што можете да видите, дури и база на податоци со толку мал број полиња може да обезбеди интересни податоци за анализа. Има уште многу да се ископа, од изградба на „облак со зборови“ до анализа на текст. Доколку се појават интересни резултати, тие ќе бидат објавени.

Извор: www.habr.com