हैब्रास्टैटिस्टिक्स: पाठक टिप्पणियों का विश्लेषण

हेलो हबर. में पिछला हिस्सा साइट के विभिन्न अनुभागों की लोकप्रियता का विश्लेषण किया गया, और साथ ही यह सवाल उठा कि लेखों पर टिप्पणियों से कौन सा डेटा निकाला जा सकता है। मैं भी एक परिकल्पना का परीक्षण करना चाहता था, जिसकी चर्चा मैं नीचे करूंगा।


डेटा काफी दिलचस्प निकला, और हम टिप्पणीकारों की एक छोटी "मिनी-रेटिंग" संकलित करने में भी सक्षम थे। कटौती के तहत जारी रखा.

डेटा संग्रह

विश्लेषण के लिए, हम इस वर्ष, 2019 के डेटा का उपयोग करेंगे, खासकर जब से मुझे सीएसवी फॉर्म में लेखों की एक सूची पहले ही मिल चुकी है। जो कुछ बचा है वह प्रत्येक लेख से टिप्पणियाँ निकालना है; सौभाग्य से हमारे लिए, वे वहां संग्रहीत हैं, और कोई अतिरिक्त अनुरोध करने की आवश्यकता नहीं है।

किसी लेख से टिप्पणियों को उजागर करने के लिए, निम्नलिखित कोड पर्याप्त है:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

यह हमें उन टिप्पणियों की एक सूची प्राप्त करने की अनुमति देता है जो कुछ इस तरह दिखती हैं (गोपनीयता कारणों से उपनाम हटा दिए गए हैं):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


जैसा कि आप देख सकते हैं, प्रत्येक टिप्पणी के लिए हम उपयोगकर्ता नाम, दिनांक, रेटिंग और वास्तविक पाठ प्राप्त कर सकते हैं। आइए देखें कि इससे हमें क्या मिल सकता है.

वैसे, शुरू में रेटिंग इकट्ठा करने का विचार थोड़ा अलग था - यह देखना कि उपयोगकर्ता क्या रेटिंग देते हैं। उदाहरण के लिए, आप यूट्यूब को देख सकते हैं - यहां तक ​​​​कि सबसे आदर्श वीडियो, यहां तक ​​​​कि एक वीडियो जिसमें कोई व्यक्तिपरक जानकारी नहीं होती है, पूरी तरह से संदर्भ या समाचार विज्ञप्ति के लिए, फिर भी कुछ निश्चित संख्या में नुकसान होते हैं। परिकल्पना यह थी कि ऐसे उपयोगकर्ता हैं, जो विशुद्ध रूप से चिकित्सकीय रूप से, सब कुछ बिल्कुल पसंद नहीं करते हैं, शायद मस्तिष्क में सेरोटोनिन का उत्पादन नहीं होता है या कुछ और। हो सकता है कि किसी व्यक्ति को अब हब्रे पर बैठने की नहीं, बल्कि अवसाद का इलाज करने की आवश्यकता हो... लेकिन जैसा कि यह निकला, मैं यहां इसकी जांच नहीं कर सकता, क्योंकि... रेटिंग देने वालों की सूची टिप्पणी या लेख में सहेजी नहीं गई है। खैर, यानी हम उपलब्ध डेटा के साथ काम करेंगे। परिणाम एक "रिवर्स" रेटिंग है - आप देख सकते हैं कि उपयोगकर्ताओं द्वारा क्या रेटिंग प्राप्त होती है। जो, सिद्धांत रूप में, दिलचस्प भी है।

प्रसंस्करण

आरंभ करने के लिए, एक पारंपरिक अस्वीकरण। यह रेटिंग, पिछली सभी रेटिंग की तरह, अनौपचारिक है। मैं इस बात की गारंटी नहीं देता कि मैंने कहीं भी कोई गलती नहीं की है। तकनीकी विवरण में रुचि रखने वालों के लिए, अधिक विस्तृत कोड प्रदान किया गया है पिछले भाग में.

तो चलो शुरू हो जाओ। इस वर्ष, 2019 (जो अभी ख़त्म नहीं हुआ है) के लिए टिप्पणियाँ विश्लेषण के लिए ली गईं। खबर लिखे जाने तक यूजर्स ने लिखा 448533 комментария, सीएसवी फ़ाइल का आकार है 288एमबी. शक्तिशाली, प्रभावशाली.

लिखने का समय

आइए कार्यदिवसों और सप्ताहांतों को अलग-अलग विभाजित करते हुए, टिप्पणियों को घंटे के अनुसार समूहित करें।

यहां हमारी दिलचस्पी निरपेक्ष मूल्यों में नहीं बल्कि सापेक्ष मूल्यों में है। यदि आप इसे "जैसा है" वैसे ही देखें, तो यह वैसा ही हो जाता हैоअधिकांश टिप्पणियाँ 10 से 18 तक कार्य घंटों के दौरान लिखी गईं 😉 दूसरी ओर, समय क्षेत्र को यहां ध्यान में नहीं रखा गया है, इसलिए प्रश्न अभी भी खुला है।

आइए पूरे वर्ष टिप्पणियों के वितरण पर नजर डालें:

और फिर भी यह घूमता रहता है; सप्ताह के दिनों में उछाल स्पष्ट रूप से दिखाई देता है - साप्ताहिक आवधिकता स्पष्ट रूप से दिखाई देती है, इसलिए हम काफी आत्मविश्वास के साथ कह सकते हैं कि लोग काम से हैबर पर पढ़ रहे हैं और टिप्पणी कर रहे हैं (लेकिन यह निश्चित नहीं है)।

वैसे, परिकल्पना का परीक्षण करने का एक विचार था कि क्या प्राप्त माइनस या प्लस की संख्या दिन या दिन के समय से भिन्न होती है, लेकिन संबंध ढूंढना संभव नहीं था - जिस समय रेटिंग दी गई थी वह सहेजा नहीं गया है, और टिप्पणी के समय से कोई सीधा संबंध नहीं है.

सदस्य

निःसंदेह, मुझे साइट पर उपयोगकर्ताओं की सही संख्या नहीं पता। लेकिन इस वर्ष जिन लोगों ने कम से कम एक टिप्पणी छोड़ी वे लगभग निकले 25000 लोग.

उपयोगकर्ताओं द्वारा छोड़े गए संदेशों की संख्या का ग्राफ़ काफी दिलचस्प लगता है:

पहले तो मुझे स्वयं इस पर विश्वास नहीं हुआ, लेकिन ऐसा लगा कि कोई गलती नहीं है। 5% उपयोगकर्ता 60% संदेश छोड़ते हैं. 10% - सभी संदेशों का 74% (जिनमें से, मैं आपको याद दिला दूं, इस वर्ष 450 हजार)। अधिकांश लोग बस साइट पढ़ते हैं, टिप्पणियाँ बहुत कम छोड़ते हैं, या बिल्कुल नहीं छोड़ते (वे, स्वाभाविक रूप से, मेरी सूची में शामिल नहीं थे)।

रेटिंग

आइए आँकड़ों के आखिरी और सबसे मज़ेदार हिस्से - रेटिंग - पर चलते हैं। गोपनीयता के कारणों से, मैं उपयोगकर्ताओं के पूर्ण उपनाम नहीं दूंगा, मुझे लगता है कि जो कोई भी चाहेगा, वह स्वयं को पहचान लेगा।

पर टिप्पणियों की संख्या इस वर्ष के लिए, शीर्ष 5 पर VoXXXX (3377 टिप्पणियाँ), 0xdXXXXX (3286 टिप्पणियाँ), strXXXX (3043 टिप्पणियाँ), AmXXXX (2897 टिप्पणियाँ) और khXXXX (2748 टिप्पणियाँ) हैं।

पर प्राप्त लाभों की संख्या, शीर्ष 5 पर amXXXX (1395 टिप्पणियाँ, रेटिंग +3231/-309), tvXXXX (1544 टिप्पणियाँ, रेटिंग +3231/-97), WhuXXXX (921 टिप्पणियाँ, रेटिंग +2288/-13), MTXXXX (1328 टिप्पणियाँ) हैं। +1383/-7) और amaXXXX (736 टिप्पणियाँ, रेटिंग +1340/-16)।

पर पूर्ण सकारात्मक रेटिंग (कोई नकारात्मक मूल्यांकित टिप्पणी) शीर्ष के शीर्ष पर कब्जा कर लिया गया है मिल्फ़गार्ड и बूम्बुरम. एक अपवाद के रूप में, मैं उनके उपनामों को पूर्ण रूप से प्रस्तुत करता हूं, मुझे लगता है कि वे इसके लायक हैं।

इसके नकारात्मक पक्ष भी दिलचस्प हैं। ऊपर से एकत्र किए गए माइनस की संख्या इस वर्ष के लिए उन पर siXX (473 प्लस, 699 माइनस), khXX (1915 प्लस, 573 माइनस) और nicXXXXX (456 प्लस, 487 माइनस) का कब्जा है। लेकिन जैसा कि आप देख सकते हैं, इन उपयोगकर्ताओं के पास पर्याप्त सकारात्मक टिप्पणियाँ हैं। लेकिन के अनुसार पूर्ण शून्य एंटीटॉपिक में vladXXXX (55 टिप्पणियाँ, 84 माइनस, 0 प्लस), ekoXXXX (77 टिप्पणियाँ, 92 माइनस, 1 प्लस) और iMXXXX (225 टिप्पणियाँ, 205 माइनस, 12 प्लस) शामिल हैं।

निष्कर्ष

मैं योजनाबद्ध सभी चीज़ों की गणना करने में सक्षम नहीं था, लेकिन मुझे आशा है कि यह दिलचस्प था।

जैसा कि आप देख सकते हैं, इतनी कम संख्या में फ़ील्ड वाला डेटासेट भी विश्लेषण के लिए दिलचस्प डेटा प्रदान कर सकता है। "शब्द क्लाउड" बनाने से लेकर पाठ विश्लेषण तक, अभी भी बहुत कुछ खोदना बाकी है। यदि कोई दिलचस्प परिणाम सामने आते हैं तो उन्हें प्रकाशित किया जाएगा।

स्रोत: www.habr.com