סטטיסטיקה: ניתוח הערות קוראים

שלום הבר. IN החלק הקודם נותחה הפופולריות של חלקים שונים באתר, ובמקביל עלתה השאלה - אילו נתונים ניתן להפיק מתגובות לכתבות. רציתי גם לבדוק השערה אחת, עליה אדון בהמשך.


הנתונים התבררו כמעניינים למדי, והצלחנו גם להרכיב "מיני-רייטינג" קטן של פרשנים. המשך מתחת לגזרה.

איסוף נתונים

לצורך ניתוח, נשתמש בנתונים לשנה זו, 2019, במיוחד מכיוון שכבר קיבלתי רשימת מאמרים בצורת csv. כל מה שנותר הוא לחלץ את ההערות מכל כתבה, למזלנו, הן מאוחסנות שם, ואין צורך להגיש בקשות נוספות.

כדי להדגיש הערות ממאמר, די בקוד הבא:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

זה מאפשר לנו לקבל רשימה של תגובות שנראות בערך כך (כינויים הוסרו מטעמי פרטיות):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


כפי שאתה יכול לראות, עבור כל תגובה נוכל לקבל את שם המשתמש, התאריך, הדירוג והטקסט בפועל. בוא נראה מה נוכל לקבל מזה.

אגב, בהתחלה, הרעיון של איסוף דירוגים היה קצת שונה - כדי לראות אילו דירוגים משתמשים נותנים. לדוגמה, אתה יכול להסתכל ביוטיוב - אפילו הסרטון האידיאלי ביותר, אפילו סרטון שאינו נושא מידע סובייקטיבי, אך ורק לצורך עיון או מהדורת חדשות, עדיין זוכה למספר מסוים של מינוסים. ההשערה הייתה שיש משתמשים שרק מבחינה קלינית לא אוהבים הכל בכלל, אולי סרוטונין לא מיוצר במוח או משהו אחר. אולי אדם כבר לא צריך לשבת על האברה, אלא לטפל בדיכאון... אבל כפי שהתברר, אני לא יכול לבדוק את זה כאן, כי... רשימת אלו שנתנו דירוגים לא נשמרת בתגובה או במאמר. ובכן, כלומר, נעבוד עם הנתונים הזמינים. התוצאה היא דירוג "הפוך" - אתה יכול לראות אילו דירוגים _מקבלים_ על ידי משתמשים. מה שבאופן עקרוני גם מעניין.

עיבוד

מלכתחילה, כתב ויתור מסורתי. דירוג זה, כמו כל הקודמים, אינו רשמי. אני לא מבטיח שלא עשיתי טעות בשום מקום. למעוניינים בפרטים טכניים, ניתן קוד מפורט יותר בחלק הקודם.

אז בואו נתחיל. הערות לשנה זו, 2019 (שעדיין לא הסתיימה), נלקחו לניתוח. בזמן הכתיבה, משתמשים כתבו 448533 комментария, גודל קובץ ה-csv הוא 288MB. עוצמתי, מרשים.

זמן הכתיבה

בואו נקבץ הערות לפי שעה, ונחלק את ימי השבוע וסופי השבוע בנפרד.

כאן לא מתעניינים בערכים מוחלטים, אלא בערכים יחסיים. אם רק מסתכלים על זה "כמו שהוא", אז מסתבר שכןоרוב התגובות נכתבו בשעות העבודה מ-10 עד 18 😉 מצד שני, אזורי זמן לא נלקחים כאן בחשבון, כך שהשאלה עדיין פתוחה.

בואו נסתכל על התפלגות ההערות לאורך השנה:

ובכל זאת הוא מסתובב; גל נראה בבירור בימי חול - המחזוריות השבועית נראית בבירור, כך שאנו יכולים לומר בביטחון גבוה למדי שאנשים קוראים ומעירים על חאבר מהעבודה (אבל זה לא בטוח).

אגב, היה רעיון לבדוק את ההשערה האם מספר המינוסים או הפלוסים שהתקבלו שונה מהיום או השעה ביום, אבל לא ניתן היה למצוא קשר - הזמן שניתן הדירוג לא נשמר, וכן אין קשר ישיר למועד ההערה.

חברים

כמובן, אני לא יודע את המספר המדויק של משתמשים באתר. אבל אלה שהשאירו לפחות תגובה אחת השנה התבררו ככאלה אנשי 25000.

הגרף של מספר ההודעות שהשאירו משתמשים נראה מעניין למדי:

בהתחלה לא האמנתי בעצמי, אבל נראה שלא הייתה טעות. 5% מהמשתמשים משאירים 60% מההודעות. 10% - 74% מכלל ההודעות (מהן, להזכירכם, השנה, 450 אלף). הרוב פשוט קוראים את האתר, משאירים תגובות לעיתים רחוקות מאוד, או לא עוזבים אותן בכלל (אלו, כמובן, לא נכללו ברשימה שלי).

דירוג

נעבור לחלק האחרון והכי כיף בסטטיסטיקה – רייטינג. מטעמי פרטיות, לא אתן את הכינויים המלאים של המשתמשים, מי שרוצה, לדעתי, יזהה את עצמו.

על מספר הערות לשנה זו, ה-5 המובילים תפוסים על ידי VoXXXX (3377 תגובות), 0xdXXXXX (3286 תגובות), strXXXX (3043 תגובות), AmXXXX (2897 תגובות) ו-khXXXX (2748 תגובות).

על מספר ההטבות שהתקבלו, 5 הראשונים תפוסים על ידי amXXXX (1395 תגובות, דירוגים +3231/-309), tvXXXX (1544 תגובות, דירוגים +3231/-97), WhuXXXX (921 תגובות, דירוגים +2288/-13), MTXXXX (1328 תגובות, +1383 /-7) ו-amaXXXX (736 תגובות, דירוג +1340/-16).

על דירוג חיובי מוחלט (אף אחד תגובה עם דירוג שלילי) החלק העליון של החלק העליון תפוס על ידי מילפגארד и בוםבורום. כיוצא מן הכלל, אני מציג את הכינויים שלהם במלואם, אני חושב שמגיע להם.

גם החסרונות מעניינים. למעלה מספר המינוסים שנאספו לשנה זו הם תפוסים על ידי siXX (473 פלוסים, 699 מינוסים), khXX (1915 פלוסים, 573 מינוסים) ו-nicXXXX (456 פלוסים, 487 מינוסים). אבל כפי שאתה יכול לראות, למשתמשים האלה יש מספיק הערות חיוביות. אבל לפי מינוס מוחלט האנטי-טופס כולל vladXXXX (55 הערות, 84 מינוסים, 0 פלוסים), ekoXXXX (77 הערות, 92 מינוסים, פלוס אחד) ו-iMXXXX (1 הערות, 225 מינוסים, 205 פלוסים).

מסקנה

לא הצלחתי לחשב את כל מה שתוכנן, אבל אני מקווה שזה היה מעניין.

כפי שאתה יכול לראות, אפילו מערך נתונים עם מספר כה קטן של שדות יכול לספק נתונים מעניינים לניתוח. יש עדיין הרבה מה לחפור בו, מבניית "ענן מילים" ועד לניתוח טקסט. אם יצוצו תוצאות מעניינות, הן יפורסמו.

מקור: www.habr.com