Habrastatistics: वाचकांच्या टिप्पण्यांचे विश्लेषण करणे

हॅलो हॅब्र. IN मागील भाग साइटच्या विविध विभागांच्या लोकप्रियतेचे विश्लेषण केले गेले आणि त्याच वेळी प्रश्न उद्भवला - लेखांवरील टिप्पण्यांमधून कोणता डेटा काढला जाऊ शकतो. मला एक गृहीतक देखील तपासायचे होते, ज्याची मी खाली चर्चा करेन.


डेटा खूपच मनोरंजक असल्याचे दिसून आले; आम्ही समालोचकांचे एक लहान "मिनी-रेटिंग" देखील तयार केले. कट अंतर्गत चालू.

माहिती संकलन

विश्लेषणासाठी, आम्ही या वर्षासाठी, 2019 साठी डेटा वापरू, विशेषत: मला आधीच csv फॉर्ममध्ये लेखांची सूची प्राप्त झाली आहे. आमच्यासाठी सुदैवाने प्रत्येक लेखातील टिप्पण्या काढणे बाकी आहे, त्या तेथे संग्रहित आहेत आणि कोणत्याही अतिरिक्त विनंत्या करण्याची आवश्यकता नाही.

लेखातील टिप्पण्या हायलाइट करण्यासाठी, खालील कोड पुरेसा आहे:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

हे आम्हाला यासारखे दिसणाऱ्या टिप्पण्यांची सूची मिळविण्याची अनुमती देते (गोपनीयतेच्या कारणास्तव टोपणनावे काढली):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


तुम्ही बघू शकता, प्रत्येक टिप्पणीसाठी आम्ही वापरकर्ता नाव, तारीख, रेटिंग आणि वास्तविक मजकूर मिळवू शकतो. यातून आपण काय मिळवू शकतो ते पाहूया.

तसे, सुरुवातीला, रेटिंग गोळा करण्याची कल्पना थोडी वेगळी होती - वापरकर्ते काय रेटिंग देतात हे पाहण्यासाठी. उदाहरणार्थ, तुम्ही YouTube वर पाहू शकता - अगदी सर्वात आदर्श व्हिडिओ, अगदी कोणताही व्यक्तिनिष्ठ माहिती नसलेला व्हिडिओ, पूर्णपणे संदर्भासाठी किंवा बातम्यांच्या प्रकाशनासाठी, तरीही काही विशिष्ट वजा मिळवतात. गृहीतक असे होते की असे वापरकर्ते आहेत ज्यांना, पूर्णपणे वैद्यकीयदृष्ट्या, सर्व काही आवडत नाही, कदाचित सेरोटोनिन मेंदूमध्ये किंवा इतर काहीतरी तयार होत नाही. कदाचित एखाद्या व्यक्तीला यापुढे Habré वर बसण्याची गरज नाही, परंतु नैराश्यावर उपचार करण्यासाठी... पण जसे घडले, मी हे येथे तपासू शकत नाही, कारण... ज्यांनी रेटिंग दिले त्यांची यादी टिप्पणी किंवा लेखात जतन केलेली नाही. ठीक आहे, म्हणजे, आम्ही उपलब्ध डेटासह कार्य करू. परिणाम म्हणजे "उलट" रेटिंग - वापरकर्त्यांकडून कोणती रेटिंग _मिळते ते तुम्ही पाहू शकता. जे, तत्वतः, देखील मनोरंजक आहे.

प्रक्रिया करीत आहे

सुरुवातीला, एक पारंपारिक अस्वीकरण. हे रेटिंग, मागील सर्व प्रमाणे, अनधिकृत आहे. मी कुठेही चूक केली नाही याची मी खात्री देत ​​नाही. तांत्रिक तपशीलांमध्ये स्वारस्य असलेल्यांसाठी, अधिक तपशीलवार कोड प्रदान केला आहे मागील भागात.

चला तर मग सुरुवात करूया. या वर्षासाठी, 2019 च्या टिप्पण्या (जे अजून संपलेले नाही), विश्लेषणासाठी घेतले होते. लिहिण्याच्या वेळी, वापरकर्त्यांनी लिहिले 448533 टिप्पणी, csv फाइलचा आकार आहे 288MB. शक्तिशाली, प्रभावी.

लेखनाची वेळ

आठवड्याचे दिवस आणि शनिवार व रविवार स्वतंत्रपणे विभागून तासानुसार टिप्पण्या गट करूया.

येथे आपल्याला निरपेक्ष मूल्यांमध्ये स्वारस्य नाही, परंतु सापेक्ष मूल्यांमध्ये. जर तुम्ही फक्त "जसे आहे तसे" बघितले तर ते दिसून येतेоबहुतेक टिप्पण्या 10 ते 18 या कामाच्या वेळेत लिहिल्या गेल्या आहेत 😉 दुसरीकडे, येथे वेळ क्षेत्र विचारात घेतलेले नाहीत, त्यामुळे प्रश्न अद्याप खुला आहे.

वर्षभरातील टिप्पण्यांचे वितरण पाहूया:

आणि तरीही ते फिरते; आठवड्याच्या दिवसात एक लाट स्पष्टपणे दृश्यमान आहे - साप्ताहिक नियतकालिक स्पष्टपणे दृश्यमान आहे, म्हणून आम्ही मोठ्या आत्मविश्वासाने म्हणू शकतो की लोक कामावरून हॅब्रवर वाचत आहेत आणि टिप्पणी करत आहेत (परंतु हे निश्चित नाही).

तसे, प्राप्त झालेल्या वजा किंवा प्लसची संख्या दिवसाच्या किंवा वेळेपेक्षा भिन्न आहे की नाही हे गृहितक तपासण्याची कल्पना होती, परंतु संबंध शोधणे शक्य नव्हते - रेटिंग दिलेली वेळ जतन केलेली नाही, आणि टिप्पणीच्या वेळेशी थेट संबंध नाही.

वापरकर्ते

अर्थात, मला साइटवरील वापरकर्त्यांची अचूक संख्या माहित नाही. परंतु ज्यांनी या वर्षी किमान एक टिप्पणी सोडली ते अंदाजे निघाले 25000 लोक.

वापरकर्त्यांनी सोडलेल्या संदेशांच्या संख्येचा आलेख खूपच मनोरंजक दिसत आहे:

सुरुवातीला माझा विश्वासच बसला नाही, पण त्यात काही चूक नाही असे वाटले. 5% वापरकर्ते 60% संदेश सोडतात. 10% - सर्व संदेशांपैकी 74% (ज्यापैकी, मी तुम्हाला आठवण करून देतो, या वर्षी, 450 हजार). बहुसंख्य लोक फक्त साइट वाचतात, टिप्पण्या फार क्वचितच देतात, किंवा त्या अजिबात सोडत नाहीत (त्या, नैसर्गिकरित्या, माझ्या यादीमध्ये समाविष्ट केल्या गेल्या नाहीत).

रेटिंग

चला आकडेवारीच्या शेवटच्या आणि सर्वात मजेदार भागाकडे जाऊया - रेटिंग. गोपनीयतेच्या कारणास्तव, मी वापरकर्त्यांची संपूर्ण टोपणनावे देणार नाही;

द्वारा टिप्पण्यांची संख्या या वर्षासाठी, टॉप 5 मध्ये VoXXXX (3377 टिप्पण्या), 0xdXXXXX (3286 टिप्पण्या), strXXXX (3043 टिप्पण्या), AmXXXX (2897 टिप्पण्या) आणि khXXXX (2748 टिप्पण्या) आहेत.

द्वारा मिळालेल्या लाभांची संख्या, टॉप 5 मध्ये amXXXX (1395 टिप्पण्या, रेटिंग +3231/-309), tvXXXX (1544 टिप्पण्या, रेटिंग +3231/-97), WhuXXXX (921 टिप्पण्या, रेटिंग +2288/-13), MTXXXX (1328 टिप्पण्या, रेटिंग +1383 /-7) आणि amaXXXX (736 टिप्पण्या, रेटिंग +1340/-16).

द्वारा परिपूर्ण सकारात्मक रेटिंग (कोणीही नाही नकारात्मक रेट केलेली टिप्पणी) शीर्षस्थानी शीर्षस्थानी व्यापलेले आहे मिल्फगार्ड и बूमबुरम. एक अपवाद म्हणून, मी त्यांची टोपणनावे पूर्णपणे सादर करतो, मला वाटते की ते त्यास पात्र आहेत.

downsides देखील मनोरंजक आहेत. च्या वर संकलित वजा संख्या या वर्षासाठी siXX (473 प्लस, 699 वजा), khXX (1915 प्लस, 573 वजा) आणि nicXXXXX (456 प्लस, 487 वजा) व्यापलेले आहेत. परंतु जसे आपण पाहू शकता, या वापरकर्त्यांकडे पुरेशी सकारात्मक टिप्पण्या आहेत. पण त्यानुसार परिपूर्ण वजा अँटिटॉपिकमध्ये vladXXXX (55 टिप्पण्या, 84 वजा, 0 प्लस), ekoXXXX (77 टिप्पण्या, 92 वजा, 1 अधिक) आणि iMXXXX (225 टिप्पण्या, 205 वजा, 12 प्लस) समाविष्ट आहेत.

निष्कर्ष

मी नियोजित सर्व गोष्टींची गणना करू शकलो नाही, परंतु मला आशा आहे की ते मनोरंजक होते.

तुम्ही बघू शकता, इतक्या कमी फील्डसह डेटासेट देखील विश्लेषणासाठी मनोरंजक डेटा प्रदान करू शकतो. "वर्ड क्लाउड" बनवण्यापासून ते मजकूर विश्लेषणापर्यंत अजूनही बरेच काही शोधायचे आहे. कोणतेही मनोरंजक परिणाम आढळल्यास, ते प्रकाशित केले जातील.

स्त्रोत: www.habr.com