איך ניתחתי את הבר, חלק 1: מגמות

כשהסתיימה אוליבייה של השנה החדשה, לא היה לי מה לעשות, והחלטתי להוריד את כל המאמרים מהברהבר (ופלטפורמות קשורות) למחשב ולחקור.

היו כמה סיפורים מעניינים. הראשון שבהם הוא פיתוח הפורמט ונושאי המאמרים לאורך 12 שנות קיומו של האתר. לדוגמה, הדינמיקה של כמה נושאים מעידה למדי. המשך - מתחת לגזרה.

תהליך ניתוח

כדי להבין איך הבר התפתח, היה צורך לעבור על כל המאמרים שלו ולחלץ מהם מטא-אינפורמציה (למשל תאריכים). העקיפה הייתה קלה, מכיוון שהקישורים לכל המאמרים נראים כמו "habrahabr.ru/post/337722/", והמספרים ניתנים לפי הסדר. בידיעה שלפוסט האחרון יש מספר קצת פחות מ-350 אלף, פשוט עברתי את כל מזהי המסמכים האפשריים בלולאה (קוד Python):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

פונקציה download_document מנסה לטעון את הדף עם המזהה המתאים ומנסה לחלץ מידע משמעותי ממבנה ה-html.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

בתהליך הניתוח, גיליתי כמה דברים חדשים.

ראשית, הם אומרים שיצירת יותר תהליכים ממה שיש ליבות במעבד היא חסרת תועלת. אבל במקרה שלי, התברר שהמשאב המגביל הוא לא המעבד, אלא הרשת, ו-100 תהליכים עובדים מהר יותר מ-4 או, נגיד, 20.

שנית, בחלק מהפוסטים היו שילובים של תווים מיוחדים - למשל, לשון הרע כמו "%&#@". התברר שכן html.parser, שהשתמשתי בו תחילה, מגיב לשילוב &# באופן כואב, בהתחשב בכך שההתחלה של ישות ה-html. כבר התכוונתי לעשות קסם שחור, אבל הפורום הציע שאתה יכול פשוט לשנות את המנתח.

שלישית, הצלחתי לפרוק את כל הפרסומים, מלבד שלושה. מסמכים שמספרם 65927, 162075 ו-275987 נמחקו מיידית על ידי האנטי וירוס שלי. מדובר בכתבות, בהתאמה, על שרשרת javascript שמורידה PDF זדוני, תוכנות כופר ל-SMS בצורה של סט תוספים לדפדפן, ואתר CrashSafari.com ששולח מכשירי אייפון לאתחול מחדש. אנטי וירוס גילה מאמר נוסף מאוחר יותר, במהלך סריקת מערכת: פוסט 338586 על סקריפטים באתר חנות החיות המשתמשים במעבד של המשתמש כדי לכרות מטבעות קריפטוגרפיים. אז אנחנו יכולים לשקול את העבודה של האנטי וירוס היא די מספקת.

כתבות "חיות" התבררו כמחצית מהמקסימום הפוטנציאלי - 166307 חלקים. לגבי השאר, הבר נותן אפשרויות "הדף מיושן, נמחק או לא היה קיים בכלל". ובכן, הכל יכול לקרות.

העלאת המאמרים גררה עבודה טכנית: למשל, היה צורך להמיר את תאריכי הפרסום מהפורמט "21 בדצמבר 2006 בשעה 10:47 בבוקר" לתקן datetime, ו-"12,8k" צפיות - בשנת 12800. בשלב זה יצאו עוד כמה תקריות. הכי מצחיק שיש לעשות עם ספירת הקולות וסוגי הנתונים: לכמה פוסטים ישנים הייתה הצפה אינטנסיבית וקיבלו 65535 קולות כל אחד.

כתוצאה מכך, הטקסטים של מאמרים (ללא תמונות) לקחו לי 1.5 גיגה-בייט, הערות עם מטא-אינפורמציה - עוד 3, וכמאה מגה-בייט - מטא-מידע על מאמרים. זה יכול להישמר לחלוטין ב-RAM, וזה היה הפתעה נעימה עבורי.

התחלתי את הניתוח של מאמרים לא מהטקסטים עצמם, אלא ממטא-אינפורמציה: תאריכים, תגיות, רכזות, צפיות ולייקים. התברר שהיא יכולה לספר הרבה.

מגמות פיתוח הברהבר

מאמרים באתר מתפרסמים משנת 2006; באופן האינטנסיבי ביותר - בשנים 2008-2016.

לא כל כך קל להעריך כמה מאמרים אלה נקראו באופן פעיל בזמנים שונים. טקסטים מ-2012 ומטה קיבלו יותר הערות ודירוגים, אך לטקסטים חדשים יותר יש יותר צפיות וסימניות. מדדים אלה התנהגו באותה צורה (חצויה) רק פעם אחת, ב-2015. אולי, במצב של משבר כלכלי ופוליטי, תשומת הלב של הקוראים עברה מבלוגי IT לנושאים כואבים יותר.

בנוסף למאמרים עצמם, הורדתי אליהם עוד תגובות. היו 6 מיליון תגובות, עם זאת, 240 אלף מהן נאסרו ("עב"ם עף פנימה ופרסם את הכתובת הזו כאן"). תכונה שימושית של הערות היא שיש להן חותמת זמן. על ידי לימוד זמן ההערות, אתה יכול להבין בערך מתי קוראים מאמרים בכלל.

התברר שרוב הכתבות גם נכתבות וגם מוערות איפשהו בין 10 בבוקר ל-20 בערב, כלומר. ביום עבודה טיפוסי במוסקבה. המשמעות עשויה להיות שהבר נקרא למטרות מקצועיות, ושזו דרך טובה להתמהמה בעבודה. אגב, חלוקה זו של השעה ביום היא יציבה מעצם יסודו של הבר ועד היום.

עם זאת, היתרון העיקרי של חותמת זמן של תגובה אינו השעה ביום, אלא משך "החיים הפעילים" של המאמר. חישבתי איך מתחלק הזמן מפרסום הכתבה ועד להערתה. התברר שכעת ההערה החציונית (קו ירוק) מגיעה בעוד כ-20 שעות, כלומר. ביום הראשון לאחר הפרסום נותרו בממוצע קצת יותר ממחצית מכלל התגובות לכתבה. ובתוך יומיים הם משאירים 75% מכל התגובות. במקביל, מאמרים קודמים נקראו אפילו מהר יותר - לדוגמה, בשנת 2010, מחצית מהתגובות הגיעו ב-6 השעות הראשונות.

זה הפתיע אותי שהתגובות התארכו: מספר התווים הממוצע בהערה כמעט הוכפל במהלך חייו של הבר!

משוב קל יותר מאשר הערות הן הצבעות. שלא כמו משאבים רבים אחרים, על Habré אתה יכול לשים לא רק פלוסים, אלא גם מינוסים. עם זאת, הקוראים לא מנצלים את ההזדמנות האחרונה לעתים קרובות כל כך: הנתח הנוכחי של דיסלייקים הוא כ-15% מכלל ההצבעות. פעם היו יותר, אבל עם הזמן, הקוראים הפכו ליותר נחמדים.

הטקסטים עצמם השתנו עם הזמן. למשל, האורך האופייני של הטקסט לא מפסיק לגדול בהתמדה מעצם השקת האתר, למרות המשברים. בתוך עשור, טקסטים הפכו ארוכים כמעט פי עשרה!

גם סגנון הטקסטים (בקירוב ראשון) השתנה. במהלך השנים הראשונות לקיומו של הבר, למשל, גדל חלקם של קוד ומספרים בטקסטים:

לאחר שהבנתי את הדינמיקה הכוללת של האתר, החלטתי למדוד כיצד השתנתה הפופולריות של נושאים שונים. ניתן לבחור נושאים באופן אוטומטי מתוך טקסטים, אך בתור התחלה, לא ניתן להמציא את הגלגל מחדש, אלא להשתמש בתגיות מוכנות המודבקות על ידי מחברי כל מאמר. ציירתי ארבע מגמות טיפוסיות בטבלה. נושא ה"גוגל" שלט בתחילה (אולי בעיקר בשל קידום אתרים), אך ירד במשקל עם השנים. Javascript היה נושא פופולרי וממשיך לצמוח לאט, אך למידת מכונה החלה לצבור פופולריות במהירות רק בשנים האחרונות. לינוקס, לעומת זאת, נשארה רלוונטית באותה מידה לאורך העשור.

כמובן שהתעניינתי באילו נושאים מושכים יותר פעילות קוראים. חישבתי את המספר החציוני של צפיות, הצבעות והערות בכל נושא. הנה מה שקרה:

• הנושאים הנצפים ביותר: arduino, עיצוב אתרים, פיתוח אתרים, digest, קישורים, css, html, html5, nginx, אלגוריתמים.
• הנושאים ה"אהבתי" ביותר: vkontakte, הומור, jquery, אופרה, c, html, פיתוח אתרים, html5, css, עיצוב אתרים.
• הנושאים הנדונים ביותר: אופרה, סקייפ, עצמאי, vkontakte, אובונטו, עבודה, נוקיה, nginx, arduino, firefox.

אגב, מכיוון שאני משווה נושאים, אתה יכול לדרג אותם לפי תדירות (ולהשוות את התוצאות עם מאמר דומה מ-2013).

• במשך כל שנות קיומו של הבר, התגים הפופולריים ביותר (בסדר יורד) הם גוגל, אנדרואיד, javascript, מיקרוסופט, לינוקס, php, apple, java, python, תכנות, סטארט-אפים, פיתוח, ios, סטארט-אפ, רשתות חברתיות
• בשנת 2017, הפופולריים ביותר היו javascript, python, java, אנדרואיד, פיתוח, לינוקס, c++, תכנות, php, c#, ios, למידת מכונה, אבטחת מידע, מיקרוסופט, react

כאשר משווים את הדירוגים הללו, אפשר לשים לב, למשל, לצעדת הניצחון של פייתון ולהכחדת ה-php, או ל"שקיעה" של נושאי הסטארט-אפ ועלייתה של למידת מכונה.

לא לכל התגים ב-Habré יש צביעה נושאית ברורה כל כך. לדוגמה, הנה תריסר תגים שנפגשו רק פעם אחת, אבל פשוט נראו לי מצחיקים. אז: "רעיון הוא הכוח המניע של הקידמה", "אתחול מתמונת תקליטון", "איווה סטייט", "דרמה", "סופרלש", "מנוע קיטור", "דברים לעשות בשבת", "יש לי שועל במטחנת בשר", "התברר כמו תמיד", "לא הצלחנו להמציא תגים מצחיקים". כדי לקבוע את הנושא של מאמרים כאלה, תגיות לא מספיקות - תצטרך לבצע מודלים נושאיים על הטקסטים של המאמרים.

ניתוח מפורט יותר של תוכן המאמרים יהיה בפוסט הבא. ראשית, אני הולך לבנות מודל שמנבא את מספר הצפיות בדף עבור מאמר על סמך התוכן שלו. שנית, אני רוצה ללמד את הרשת העצבית ליצור טקסטים באותו סגנון כמו מחברי הספר. אז הירשמו 🙂

נ.ב והנה הצפצוף מערך נתונים.

מקור: www.habr.com