Како го анализирав Хабр, дел 1: трендови

Кога заврши Новогодишниот Оливие, немав што да правам и решив да ги преземам сите статии од Хабрахабр (и сродните платформи) на мојот компјутер и да истражувам.

Се испостави дека се неколку интересни приказни. Првиот од нив е развојот на форматот и темите на написите во текот на 12-те години од постоењето на страницата. На пример, динамиката на некои теми е доста индикативна. Продолжува под сечењето.

Процес на парсирање

За да се разбере како се развил Хабр, неопходно беше да се проучат сите негови написи и да се извлечат мета-информации од нив (на пример, датуми). Заобиколувањето беше лесно, бидејќи врските до сите написи изгледаат како „habrahabr.ru/post/337722/“, а бројките се строго наведени. Знаејќи дека последната објава има број нешто помал од 350 илјади, едноставно ги поминав сите можни идентификатори на документи во циклус (код на Пајтон):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

Функција download_document се обидува да ја вчита страницата со соодветниот id и се обидува да извлече значајни информации од структурата на html.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

Во текот на процесот на парсирање открив неколку нови работи.

Прво, тие велат дека создавањето повеќе процеси отколку јадра во процесорот е бескорисно. Но, во мојот случај се покажа дека ограничувачкиот ресурс не е процесорот, туку мрежата, а 100 процеси работат побрзо од 4 или, да речеме, 20.

Второ, во некои објави имаше комбинации на специјални знаци - на пример, еуфемизми како „%&#@“. Се покажа дека html.parser, кој прв го искористив, реагира на комбинацијата &# болно, сметајќи го за почеток на html ентитет. Сакав да изведам црна магија, но форумот ми предложи едноставно да го сменам парсерот.

Трето, можев да ги преземам сите публикации освен три. Документите со број 65927, 162075 и 275987 беа веднаш избришани од мојот антивирус. Ова се написи соодветно за синџир на Javascript-и кои преземаат злонамерен pdf, SMS-откупен софтвер во форма на збир на приклучоци за прелистувачи и страницата CrashSafari.com, која испраќа iPhone-и да се рестартираат. Антивирусот откри уште една статија подоцна, за време на скенирањето на системот: објава 338586 за скрипти на веб-страницата на продавницата за миленичиња кои го користат процесорот на корисникот за рудирање на криптовалути. Така, можеме да ја сметаме работата на антивирусот за сосема адекватна.

Имаше само половина од потенцијалниот максимум на статии „во живо“ - 166307 парчиња. За останатото, Хабр ги дава опциите „страницата е застарена, избришана или воопшто не постоела“. Па, се може да се случи.

Поставувањето на написите беше проследено со техничка работа: на пример, датумите на објавување требаше да се претворат од форматот „21 декември 2006 година во 10:47“ во стандардниот. datetime, и „12,8k“ прегледи - во 12800. Во оваа фаза, се појавија уште неколку инциденти. Најсмешната е поврзана со броењето гласови и типовите на податоци: некои стари објави имаа прелевање на int и добија 65535 гласови.

Како резултат на тоа, текстовите на написите (без слики) ми однесоа 1.5 гигабајти, коментарите со мета информации - уште 3, а околу сто мегабајти - мета информации за статиите. Ова може целосно да се чува во RAM меморија, што беше пријатно изненадување за мене.

Почнав да ги анализирам статиите не со самите текстови, туку со мета информации: датуми, ознаки, центри, прегледи и „лајкови“. Се испостави дека и таа може да каже многу.

Трендови за развој на Хабрахабр

Написите на страницата се објавуваат од 2006 година; најинтензивно во 2008-2016 година.

Колку активно се читале овие написи во различни периоди не е толку лесно да се процени. Текстовите од 2012 година и помлади добија поактивни коментари и оценки, но поновите текстови имаат повеќе прегледи и обележувачи. Овие метрики се однесуваа на ист начин (паднаа за половина) само еднаш, во 2015 година. Можеби, во ситуација на економска и политичка криза, вниманието на читателите се префрли од ИТ блоговите на поболни прашања.

Покрај самите статии, симнував и коментари за нив. Имаше 6 милиони коментари, но 240 илјади од нив беа забранети („НЛО влета и го објави овој натпис овде“). Корисна карактеристика на коментарите е тоа што тие имаат временски печат. Со проучување на времето на коментари, можете грубо да разберете кога воопшто се читаат написите.

Испадна дека повеќето написи се пишуваат и коментираат некаде од 10 до 20 часот, т.е. во еден типичен московски работен ден. Ова може да значи дека Хабр се чита за професионални цели и дека е добар начин да се одолговлекува на работа. Патем, оваа распределба на времето од денот е стабилна од самото основање на Хабр до денес.

Сепак, главната придобивка од временскиот печат за коментар не е времето од денот, туку „активен живот“ на статијата. Пресметав како се распределува времето од објавувањето на статија до нејзиниот коментар. Се покажа дека сега медијалниот коментар (зелена линија) доаѓа за околу 20 часа, т.е. Во првиот ден по објавувањето, во просек, се оставаат нешто повеќе од половина од сите коментари на една статија. И во рок од два дена остануваат 75% од сите коментари. Покрај тоа, претходните написи се читаа уште побрзо - на пример, во 2010 година, половина од коментарите дојдоа во првите 6 часа.

Мене ми беше изненадување што коментарите станаа подолги: просечниот број на знаци во коментар речиси двојно се зголеми за време на постоењето на Хабр!

Повратните информации што се поедноставни од коментарите се гласови. За разлика од многу други ресурси, на Habré можете да ставите не само добрите, туку и лошите страни. Сепак, читателите не ја користат последната можност толку често: моменталниот удел на недопаѓања е околу 15% од сите дадени гласови. Порано имаше повеќе, но со текот на времето читателите станаа пољубезни.

Самите текстови се менуваа со текот на времето. На пример, типичната должина на текстот не престана да расте постојано од лансирањето на страницата, и покрај кризите. Во текот на една деценија, текстовите станаа речиси десет пати подолги!

Променет е и стилот на текстовите (до прво приближување). Во текот на првите години од постоењето на Хабр, на пример, уделот на кодот и броевите во текстовите се зголеми:

Откако ја разбрав општата динамика на страницата, решив да измерам како се промени популарноста на различни теми. Темите може автоматски да се идентификуваат од текстовите, но за почеток, не можете повторно да го измислите тркалото, туку да користите готови ознаки додадени од авторите на секоја статија. Прикажав четири типични трендови на табелата. Темата „Гугл“ првично доминираше (можеби главно поради оптимизација на оптимизација), но губеше тежина секоја година. Javascript беше популарна тема и продолжува да биде, но машинското учење само што почна брзо да се здобива со популарност во последниве години. Linux останува подеднакво релевантен во текот на деценијата.

Се разбира, ме интересираше кои теми привлекуваат поголема активност на читателите. Го пресметав просечниот број на прегледи, гласови и коментари за секоја тема. Еве што се случи:

• Најгледани теми: arduino, веб дизајн, веб развој, дигест, врски, css, html, html5, nginx, алгоритми.
• Најмногу „лајкувани“ теми: VKontakte, хумор, jquery, опера, c, html, веб развој, html5, css, веб дизајн.
• Најдискутираните теми: опера, скајп, хонорарци, VKontakte, ubuntu, работа, нокиа, нгинкс, ардуино, фајрфокс.

Патем, бидејќи споредувам теми, можам да ги рангираат по фреквенција (и да ги споредам резултатите со сличен напис од 2013 година).

• Во текот на годините на постоењето на Хабр, најпопуларните ознаки (во опаѓачки редослед) се google, android, javascript, microsoft, linux, php, apple, java, python, програмирање, стартап, развој, iOS, стартап, социјални мрежи
• Во 2017 година, најпопуларни беа javascript, python, java, android, development, linux, c++, програмирање, php, c#, ios, машинско учење, информациска безбедност, microsoft, react

Кога ги споредувате овие оценки, можете да обрнете внимание, на пример, на победничкиот марш на Python и изумирањето на php или на „падот“ на темата за стартување и порастот на машинското учење.

Не сите ознаки на Хабре имаат толку очигледно тематско боење. Еве, на пример, десетина ознаки кои се појавија само еднаш, но едноставно ми изгледаа смешни. Значи: „идејата е мотор на напредок“, „подигање од слика на флопи диск“, „состојба на Ајова“, „драма“, „супералеша“, „парна машина“, „што да се прави во сабота“, „Јас имајте лисица во мелница“, „и испадна како и секогаш“, „не можевме да смислиме смешни ознаки“. За да ја одредите темата на таквите написи, ознаките не се доволни - ќе треба да извршите моделирање на теми на текстовите на статиите.

Подетална анализа на содржината на написите ќе има во следниот пост. Прво, ќе изградам модел кој го предвидува бројот на прегледи што ќе ги добие статијата врз основа на нејзината содржина. Второ, би сакал да ја научам невронската мрежа да генерира текстови во ист стил како и авторите на Хабр. Затоа претплатете се :)

PS И еве го, снимено база на податоци.

Извор: www.habr.com