Habrastatistics: 독자 의견 분석

안녕하세요 하브르입니다. 안에 이전 부분 사이트의 다양한 섹션의 인기를 분석하는 동시에 기사에 대한 댓글에서 어떤 데이터를 추출할 수 있는지에 대한 질문이 생겼습니다. 나는 또한 아래에서 논의할 하나의 가설을 테스트하고 싶었습니다.


데이터는 매우 흥미로운 것으로 나타났습니다. 또한 우리는 해설자들에 대한 작은 "미니 평가"를 만들었습니다. 컷 아래에서 계속됩니다.

데이터 수집

분석을 위해 올해 2019년 데이터를 사용할 것입니다. 특히 이미 csv 형식으로 기사 목록을 받았기 때문입니다. 남은 것은 각 기사에서 댓글을 추출하는 것뿐입니다. 다행스럽게도 댓글은 거기에 저장되므로 추가 요청이 필요하지 않습니다.

기사의 댓글을 강조표시하려면 다음 코드로 충분합니다.

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

이를 통해 다음과 같은 댓글 목록을 얻을 수 있습니다(개인 정보 보호를 위해 별명은 제거됨).

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


보시다시피 각 댓글에 대해 사용자 이름, 날짜, 평가 및 실제 텍스트를 얻을 수 있습니다. 우리가 이것으로부터 무엇을 얻을 수 있는지 봅시다.

그건 그렇고, 처음에는 평점을 수집한다는 아이디어가 약간 달랐습니다. 사용자가 어떤 평점을 주는지 확인하는 것입니다. 예를 들어 YouTube를 보면 가장 이상적인 동영상, 순전히 참고용이나 보도 자료용으로 주관적인 정보를 전달하지 않는 동영상이라도 여전히 일정한 수의 마이너스를 얻습니다. 가설은 순전히 임상적으로 모든 것을 전혀 좋아하지 않는 사용자가 있다는 것입니다. 어쩌면 세로토닌이 뇌나 다른 곳에서 생성되지 않을 수도 있습니다. 어쩌면 더 이상 Habré에 앉을 필요가 없지만 우울증을 치료하기 위해... 하지만 결과적으로 여기서는 확인할 수 없습니다. 왜냐하면... 평점을 주신 분들의 목록은 댓글이나 글에 저장되지 않습니다. 즉, 사용 가능한 데이터를 사용하여 작업할 것입니다. 결과는 "역방향" 평가입니다. 사용자가 어떤 평가를 _수신_했는지 확인할 수 있습니다. 원칙적으로도 흥미 롭습니다.

처리

우선, 전통적인 면책 조항입니다. 이 등급은 이전의 모든 등급과 마찬가지로 비공식적입니다. 어디에서도 실수하지 않았다는 보장은 없습니다. 기술적인 세부 사항에 관심이 있는 분들을 위해 더 자세한 코드가 제공됩니다. 이전 부분에서.

그럼 시작해 보겠습니다. 2019년(아직 끝나지 않은) 올해의 댓글을 분석했습니다. 글을 쓰는 시점에 사용자는 다음과 같이 썼습니다. 448533 комментария, csv 파일의 크기는 다음과 같습니다. 288MB. 강력하고 인상적입니다.

글쓰기 시간

평일과 주말을 나누어 시간별로 댓글을 그룹화해 보겠습니다.

여기서 우리는 절대값에 관심이 없고 상대적 값에 관심이 있습니다. 그냥 '있는 그대로' 본다면,о대부분의 댓글은 근무시간인 10시부터 18시 사이에 작성되었습니다😉 반면, 여기는 시간대를 고려하지 않아서 질문은 아직 열려있습니다.

연중 댓글 분포를 살펴보겠습니다.

그러나 주중에는 급증이 뚜렷이 보입니다. 주간 주기성이 뚜렷이 나타나므로 사람들이 직장에서 Habr에 대해 읽고 논평하고 있다고 상당히 높은 확신을 가지고 말할 수 있습니다(그러나 확실하지는 않습니다).

그런데 받은 마이너스 또는 플러스 수가 요일이나 시간대와 다른지 여부에 대한 가설을 테스트하려는 아이디어가 있었지만 관계를 찾을 수 없었습니다. 등급이 부여된 시간은 저장되지 않으며, 댓글 시점과 직접적인 연관은 없습니다.

회원

물론 사이트의 정확한 사용자 수는 모릅니다. 그런데 올해 댓글을 한 개 이상 남긴 분들은 대략 25000 사람들.

사용자가 남긴 메시지 수 그래프는 매우 흥미로워 보입니다.

처음에는 나 자신도 믿지 않았지만 틀림이 없는 것 같았다. 5%의 사용자가 60%의 메시지를 남깁니다.. 전체 메시지의 10% - 74%(올해는 450만 개). 대다수는 단순히 사이트를 읽고 댓글을 거의 남기지 않거나 전혀 남기지 않습니다 (당연히 내 목록에 포함되지 않았습니다).

평가

통계의 마지막이자 가장 재미있는 부분인 등급으로 넘어가겠습니다. 개인 정보 보호를 위해 사용자의 전체 별명을 제공하지 않을 것입니다. 원하는 사람은 누구든지 알아볼 수 있을 것입니다.

에 댓글 수 올해 상위 5위는 VoXXXX(댓글 3377개), 0xdXXXXX(댓글 3286개), strXXXX(댓글 3043개), AmXXXX(댓글 2897개) 및 khXXXX(댓글 2748개)가 차지했습니다.

에 받은 혜택 수, 상위 5위에는 amXXXX(댓글 1395개, 평점 +3231/-309), tvXXXX(댓글 1544개, 평점 +3231/-97), WhuXXXX(댓글 921개, 평점 +2288/-13), MTXXXX(댓글 1328개, +1383 /-7) 및 amaXXXX(댓글 736개, 평점 +1340/-16).

에 절대적 긍정적 평가 (없음 부정적으로 평가된 댓글) 상단의 상단은 다음이 차지합니다. 밀프가드 и 붐부룸. 예외적으로 그들의 별명 전체를 제시하는데, 그럴 자격이 있다고 생각합니다.

단점도 흥미롭다. 탑 수집된 마이너스 수 올해에는 siXX(플러스 473개, 마이너스 699개), khXX(플러스 1915개, 마이너스 573개) 및 nicXXXXX(플러스 456개, 마이너스 487개)가 차지했습니다. 하지만 보시다시피 이러한 사용자들은 긍정적인 의견을 충분히 갖고 있습니다. 그러나 따르면 절대 마이너스 안티토픽에는 vladXXXX(댓글 55개, 마이너스 84개, 플러스 0개), ekoXXXX(코멘트 77개, 마이너스 92개, 플러스 1개), iMXXXX(댓글 225개, 마이너스 205개, 플러스 12개)가 포함됩니다.

결론

계획된 모든 것을 계산할 수는 없었지만 흥미로웠기를 바랍니다.

보시다시피 필드 수가 이렇게 적은 데이터세트라도 분석을 위한 흥미로운 데이터를 제공할 수 있습니다. “워드 클라우드” 구축부터 텍스트 분석까지 아직 파헤쳐야 할 부분이 많습니다. 흥미로운 결과가 나오면 발표하겠습니다.

출처 : habr.com