Как анализирах Habr, част 1: тенденции

Когато новогодишният Оливие приключи, нямах какво да правя и реших да изтегля всички статии от Habrahabr (и свързани платформи) на моя компютър и да проуча.

Имаше няколко интересни истории. Първият от тях е развитието на формата и тематиката на статиите през 12-те години от съществуването на сайта. Например, динамиката на някои теми е доста показателна. Продължение - под разрез.

Процес на анализиране

За да разберем как се развива Habr, беше необходимо да прегледаме всичките му статии и да извлечем метаинформация от тях (например дати). Заобикалянето беше лесно, защото връзките към всички статии изглеждат като "habrahabr.ru/post/337722/", а номерата са дадени строго по ред. Знаейки, че последната публикация има число малко по-малко от 350 хиляди, току-що прегледах всички възможни идентификатори на документи в цикъл (код на Python):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

Функция download_document се опитва да зареди страницата със съответния идентификатор и се опитва да извлече значима информация от html структурата.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

В процеса на разбор открих няколко нови неща.

Първо, те казват, че създаването на повече процеси, отколкото има ядра в процесора, е безполезно. Но в моя случай се оказа, че ограничаващият ресурс не е процесорът, а мрежата и 100 процеса работят по-бързо от 4 или, да речем, 20.

Второ, в някои публикации имаше комбинации от специални знаци - например евфемизми като "%&#@". Оказа се, че html.parser, който използвах първи, реагира на комбинацията &# болезнено, считайки го за началото на html обекта. Вече щях да правя черна магия, но във форума предложиха просто да смените анализатора.

Трето, успях да разтоваря всички публикации, с изключение на три. Документите с номера 65927, 162075 и 275987 бяха незабавно изтрити от моята антивирусна програма. Това са статии, съответно за верига javascript, която изтегля злонамерен pdf, SMS ransomware под формата на набор от добавки за браузър и сайта CrashSafari.com, който изпраща iPhone към рестартиране. Antivirus откри друга статия по-късно, по време на сканиране на системата: публикация 338586 за скриптове на уебсайта на магазина за домашни любимци, които използват процесора на потребителя за копаене на криптовалута. Така че можем да считаме, че работата на антивирусната програма е доста адекватна.

"Живите" статии се оказаха само половината от потенциалния максимум - 166307 броя. За останалото Habr дава опции „страницата е остаряла, изтрита е или изобщо не е съществувала“. Е, всичко може да се случи.

Качването на статиите беше последвано от техническа работа: например датите на публикуване трябваше да бъдат преобразувани от формата „'21 декември 2006 г. в 10:47 ч.“ в стандартния datetime, а "12,8k" гледания - на 12800. На този етап излязоха още няколко инцидента. Най-смешният е свързан с преброяването на гласовете и типовете данни: някои стари публикации имаха int overflow и получиха 65535 XNUMX гласа всяка.

В резултат на това текстовете на статии (без снимки) ми отнеха 1.5 гигабайта, коментари с метаинформация - още 3 и около сто мегабайта - метаинформация за статии. Това може да се запази изцяло в RAM, което беше приятна изненада за мен.

Започнах анализа на статиите не от самите текстове, а от метаинформация: дати, тагове, хъбове, изгледи и харесвания. Оказа се, че тя може да разкаже много.

Тенденции в развитието на Хабрахабр

Статиите в сайта са публикувани от 2006 г.; най-интензивно - през 2008-2016г.

Колко активно са били четени тези статии по различно време, не е толкова лесно да се оцени. Текстове от 2012 г. и по-млади получиха повече коментари и оценки, но по-новите текстове имат повече гледания и отметки. Тези показатели се държаха по същия начин (наполовина) само веднъж, през 2015 г. Може би в ситуация на икономическа и политическа криза вниманието на читателите се е изместило от ИТ блоговете към по-болезнени теми.

Освен самите статии, изтеглих още коментари към тях. Имаше 6 милиона коментара, но 240 хиляди от тях бяха забранени („НЛО долетя и публикува този надпис тук“). Полезно свойство на коментарите е, че имат времеви печат. Като изучавате времето на коментарите, можете приблизително да разберете кога статиите изобщо се четат.

Оказа се, че голяма част от статиите се пишат и коментират някъде от 10 до 20 часа, т.е. в един типичен московски работен ден. Това може да означава, че Habr се чете за професионални цели и че това е добър начин за отлагане на работа. Между другото, това разпределение на времето е стабилно от самото основаване на Habr до наши дни.

Въпреки това, основната полза от времевия печат на коментара не е времето от деня, а продължителността на „активния живот“ на статията. Изчислих как се разпределя времето от публикуването на статията до нейния коментар. Оказа се, че сега медианният коментар (зелена линия) идва за около 20 часа, т.е. на първия ден след публикуването се оставят средно малко повече от половината от всички коментари към статията. И за два дни оставят 75% от всички коментари. В същото време по-ранните статии се четат дори по-бързо - например през 2010 г. половината от коментарите идват в първите 6 часа.

За мен беше изненада, че коментарите се удължиха: средният брой знаци в коментар почти се удвои през целия живот на Habr!

По-лесна обратна връзка от коментарите са гласовете. За разлика от много други ресурси, на Habré можете да поставите не само плюсове, но и минуси. Читателите обаче не използват толкова често последната възможност: текущият дял на нехаресванията е около 15% от всички подадени гласове. Преди имаше повече, но с времето читателите станаха по-добри.

Самите текстове са се променяли във времето. Типичната дължина на текста например не спира да расте стабилно от самото стартиране на сайта, въпреки кризите. За едно десетилетие текстовете станаха почти десет пъти по-дълги!

Стилът на текстовете (в първо приближение) също се промени. През първите години от съществуването на Habr, например, делът на кода и числата в текстовете се увеличи:

След като разбрах цялостната динамика на сайта, реших да измеря как се променя популярността на различни теми. Темите могат да се избират автоматично от текстове, но като за начало не можете да преоткривате колелото, а да използвате готови етикети, поставени от авторите на всяка статия. На графиката съм начертал четири типични тенденции. Темата „Google“ първоначално доминираше (може би главно поради SEO), но с годините губи тегло. Javascript е популярна тема и продължава да расте бавно, но машинното обучение започна бързо да набира популярност едва през последните години. Linux, от друга страна, остава еднакво актуален през цялото десетилетие.

Разбира се, започнах да се интересувам кои теми привличат повече читателска активност. Изчислих средния брой гледания, гласове и коментари във всяка тема. Ето какво се случи:

• Най-гледани теми: arduino, уеб дизайн, уеб разработка, дайджест, връзки, css, html, html5, nginx, алгоритми.
• Най-харесваните теми: vkontakte, хумор, jquery, opera, c, html, уеб разработка, html5, css, уеб дизайн.
• Най-обсъжданите теми: opera, skype, freelance, vkontakte, ubuntu, работа, nokia, nginx, arduino, firefox.

Между другото, тъй като сравнявам теми, можете да ги класирате по честота (и да сравните резултатите с подобна статия от 2013 г).

• За всички години на съществуване на Habr най-популярните тагове (в низходящ ред) са google, android, javascript, microsoft, linux, php, apple, java, python, програмиране, стартиране, разработка, ios, стартиране, социални мрежи
• През 2017 г. най-популярни са били javascript, python, java, android, development, linux, c++, programming, php, c#, ios, machine learning, information security, microsoft, react

Когато сравнявате тези оценки, можете да обърнете внимание например на победния марш на Python и изчезването на php или на „залеза“ на темите за стартиране и възхода на машинното обучение.

Не всички тагове на Habré имат толкова очевидно тематично оцветяване. Например, ето дузина тагове, които се срещат само веднъж, но просто ми се струват смешни. И така: „идеята е движещата сила на прогреса“, „зареждане от изображение на флопи диск“, „Щат Айова“, „драма“, „супералеш“, „парна машина“, „неща за вършене в събота“, „имам лисица в месомелачка", "а стана както винаги", "не успяхме да измислим смешни етикети". За да определите предмета на такива статии, етикетите не са достатъчни - ще трябва да извършите тематично моделиране върху текстовете на статиите.

По-подробен анализ на съдържанието на статиите ще има в следващата публикация. Първо, ще създам модел, който предвижда броя на показванията на страницата за статия въз основа на нейното съдържание. Второ, искам да науча невронната мрежа да генерира текстове в същия стил като авторите на Habr. Затова се абонирайте 🙂

PS А ето и звуковия сигнал набор от данни.

Източник: www.habr.com