ჰაბრასტატისტიკა: მკითხველის კომენტარების ანალიზი

გამარჯობა ჰაბრ. IN წინა ნაწილი გაანალიზდა საიტის სხვადასხვა განყოფილების პოპულარობა და ამავდროულად გაჩნდა კითხვა - რა მონაცემების ამოღება შეიძლება სტატიების კომენტარებიდან. ერთი ჰიპოთეზის შემოწმებაც მინდოდა, რომელსაც ქვემოთ განვიხილავ.


მონაცემები საკმაოდ საინტერესო აღმოჩნდა და კომენტატორთა მცირე „მინირეიტინგის“ შედგენაც შევძელით. გაგრძელდა ჭრილის ქვეშ.

მონაცემთა შეგროვება

ანალიზისთვის გამოვიყენებთ ამ წლის, 2019 წლის მონაცემებს, მით უმეტეს, რომ მე უკვე მივიღე სტატიების სია csv სახით. რჩება მხოლოდ კომენტარების ამოღება თითოეული სტატიიდან; ჩვენდა საბედნიეროდ, ისინი იქ ინახება და დამატებითი მოთხოვნები არ არის საჭირო.

სტატიის კომენტარების ხაზგასასმელად საკმარისია შემდეგი კოდი:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

ეს საშუალებას გვაძლევს მივიღოთ კომენტარების სია, რომელიც დაახლოებით ასე გამოიყურება (ზედმეტსახელები ამოღებულია კონფიდენციალურობის მიზეზების გამო):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


როგორც ხედავთ, თითოეული კომენტარისთვის ჩვენ შეგვიძლია მივიღოთ მომხმარებლის სახელი, თარიღი, რეიტინგი და რეალური ტექსტი. ვნახოთ, რა შეგვიძლია მივიღოთ აქედან.

სხვათა შორის, თავდაპირველად, რეიტინგების შეგროვების იდეა ცოტა განსხვავებული იყო - ვნახოთ, რა რეიტინგებს აძლევენ მომხმარებლები. მაგალითად, შეგიძლიათ ნახოთ YouTube - ყველაზე იდეალური ვიდეოც კი, თუნდაც ვიდეო, რომელიც არ შეიცავს რაიმე სუბიექტურ ინფორმაციას, წმინდა ცნობისთვის ან ახალი ამბების გამოცემას, მაინც იძენს გარკვეულ მინუსებს. ჰიპოთეზა იყო, რომ არიან მომხმარებლები, რომლებსაც წმინდა კლინიკურად საერთოდ არ მოსწონთ ყველაფერი, შესაძლოა სეროტონინი არ წარმოიქმნას ტვინში ან სხვა რამე. შეიძლება ადამიანს აღარ სჭირდება ჰაბრეზე ჯდომა, არამედ დეპრესიის მკურნალობა... მაგრამ როგორც იქნა, ამას აქ ვერ ვამოწმებ, რადგან... რეიტინგების მომცემითა სია კომენტარში ან სტატიაში არ არის შენახული. ანუ, ჩვენ ვიმუშავებთ არსებულ მონაცემებთან. შედეგი არის „საპირისპირო“ რეიტინგი - თქვენ ხედავთ, რა რეიტინგებს _მიიღებენ მომხმარებლები. რაც პრინციპში ასევე საინტერესოა.

დამუშავება

დასაწყისისთვის, ტრადიციული უარყოფა. ეს რეიტინგი, ისევე როგორც ყველა წინა, არაოფიციალურია. გარანტიას არ ვიძლევი, რომ არსად არ დამიშვია შეცდომა. ტექნიკური დეტალებით დაინტერესებული პირებისთვის მოცემულია უფრო დეტალური კოდი წინა ნაწილში.

მოდით დავიწყოთ. 2019 წლის (რომელიც ჯერ არ დასრულებულა) კომენტარები აღებულია ანალიზისთვის. წერის დროს მომხმარებლები წერდნენ 448533 комментария, csv ფაილის ზომაა 288 მბ. ძლიერი, შთამბეჭდავი.

წერის დრო

მოდით დავაჯგუფოთ კომენტარები საათების მიხედვით, ცალ-ცალკე გავყოთ სამუშაო დღეები და შაბათ-კვირა.

აქ ჩვენ გვაინტერესებს არა აბსოლუტური მნიშვნელობები, არამედ შედარებითი. თუ თქვენ უბრალოდ შეხედავთ მას "როგორც არის", მაშინ გამოდის, რომоკომენტარების უმეტესობა დაიწერა სამუშაო საათებში 10-დან 18 საათამდე 😉 მეორე მხრივ, აქ დროის ზონები არ არის გათვალისწინებული, ამიტომ კითხვა ისევ ღიაა.

მოდით შევხედოთ კომენტარების განაწილებას მთელი წლის განმავლობაში:

და მაინც ის ბრუნავს; სამუშაო დღეებში აშკარად ჩანს მატება - ყოველკვირეული პერიოდულობა აშკარად ჩანს, ასე რომ, საკმაოდ მაღალი დარწმუნებით შეგვიძლია ვთქვათ, რომ ადამიანები კითხულობენ და კომენტარს აკეთებენ ჰაბრზე სამუშაოდან (მაგრამ ეს არ არის გარკვეული).

სხვათა შორის, გაჩნდა იდეა ჰიპოთეზის შესამოწმებლად, განსხვავდება თუ არა მიღებული მინუსების ან პლიუსების რაოდენობა დღისა და დროისგან, მაგრამ ურთიერთობის პოვნა ვერ მოხერხდა - რეიტინგის მიცემის დრო არ არის შენახული და კომენტარის დროსთან პირდაპირი კავშირი არ არის.

წევრები

რა თქმა უნდა, საიტზე მომხმარებელთა ზუსტი რაოდენობა არ ვიცი. მაგრამ ვინც წელს ერთი კომენტარი მაინც დატოვა, დაახლოებით იყო 25000 ადამიანები.

საკმაოდ საინტერესოდ გამოიყურება მომხმარებლების მიერ დატოვებული შეტყობინებების რაოდენობის გრაფიკი:

თავიდან მე თვითონ არ მჯეროდა, მაგრამ, როგორც ჩანს, შეცდომა არ იყო. მომხმარებელთა 5% ტოვებს შეტყობინებების 60%-ს. ყველა შეტყობინების 10% - 74% (აქედან, შეგახსენებთ, წელს, 450 ათასი). უმრავლესობა უბრალოდ კითხულობს საიტს, ძალიან იშვიათად ტოვებს კომენტარს, ან საერთოდ არ ტოვებს მათ (ესენი, ბუნებრივია, ჩემს სიაში არ შედიოდნენ).

რეიტინგი

გადავიდეთ სტატისტიკის ბოლო და ყველაზე სახალისო ნაწილზე - რეიტინგებზე. კონფიდენციალურობის მიზეზების გამო, მომხმარებელთა სრულ მეტსახელებს არ დავასახელებ, ვისაც უნდა, ვფიქრობ, თავს ამოიცნობს.

წლის კომენტარების რაოდენობა ამ წლის საუკეთესო ხუთეულს იკავებს VoXXXX (5 კომენტარი), 3377xdXXXXX (0 კომენტარი), strXXXX (3286 კომენტარი), AmXXXX (3043 კომენტარი) და khXXXX (2897 კომენტარი).

წლის მიღებული შეღავათების რაოდენობატოპ 5-ს იკავებს amXXXX (1395 კომენტარი, რეიტინგი +3231/-309), tvXXXX (1544 კომენტარი, რეიტინგი +3231/-97), WhuXXXX (921 კომენტარი, რეიტინგი +2288/-13), MTXXXX (1328 კომენტარი, +1383 /-7) და amaXXXX (736 კომენტარი, რეიტინგი +1340/-16).

წლის აბსოლუტური დადებითი შეფასება (არავინ უარყოფითად შეფასებული კომენტარი) ზევით ზედა უკავია მილფგარდი и ბუმბურუმი. გამონაკლისის სახით წარმოგიდგენთ მათ მეტსახელებს, ვფიქრობ, იმსახურებენ.

ასევე საინტერესოა უარყოფითი მხარეები. ზევით შეგროვებული მინუსების რაოდენობა ამ წლისთვის მათ დაიკავეს siXX (473 პლუსი, 699 მინუსი), khXX (1915 პლუსი, 573 მინუსი) და nicXXXXX (456 პლუსი, 487 მინუსი). მაგრამ როგორც ხედავთ, ამ მომხმარებლებს აქვთ საკმარისი დადებითი კომენტარები. მაგრამ მიხედვით აბსოლუტური მინუსი ანტიტოპიკში შედის vladXXXX (55 კომენტარი, 84 მინუსი, 0 პლუსი), ekoXXXX (77 კომენტარი, 92 მინუსი, 1 პლუს) და iMXXX (225 კომენტარი, 205 მინუსი, 12 პლუსი).

დასკვნა

ყველაფერი დაგეგმილი ვერ გამოვთვალე, მაგრამ იმედია საინტერესო იყო.

როგორც ხედავთ, მონაცემთა ნაკრებმაც კი ველების ასეთი მცირე რაოდენობით შეიძლება მოგვაწოდოს საინტერესო მონაცემები ანალიზისთვის. ჯერ კიდევ ბევრია გასათვალისწინებელი, „სიტყვის ღრუბლის“ აშენებიდან ტექსტის ანალიზამდე. თუ რაიმე საინტერესო შედეგი გამოვლინდება, გამოქვეყნდება.

წყარო: www.habr.com