Kuidas ma parserisin Habr, osa 1: trendid

Kui olin uue aasta Olivier salati ära söönud, polnud mul midagi teha ja otsustasin alla laadida kõik Habr-Habra artiklid (ja sarnased platvormid) ning uurida neid.

Tulemusena sain kokku mitmeid huvitavaid teemasid. Esimene neist on artikkelformaatide ja -teemade areng 12 aasta jooksul alates saidi asutamisest. Näiteks on mõnede teemade dünaamika üsna räägib. Jätkub allpool.

Parsimise protsess

Kuna Habr on pidanud läbi vaatama kõik oma artiklid ja eraldama neilt metaandmed (nt kuupäevad). Ülevaade oli lihtne, kuna kõigi artiklite lingid järgivad struktuuri "habrahabr.ru/post/337722/", kusjuures numbrid on rangelt järjestatud. Teades, et viimasel postitusel on number veidi vähem kui 350 tuhat, kükitasin lihtsalt kõik võimalikud dokumentide id-d tsükliga (Python'i kood):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

Funktsioon download_document üritab laadida lehe vastava id-ga ja püüab HTML struktuurist väljatõmmata sisulist teavet.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Laadi alla ja töötle Habr dokumenti ja selle kommentaare """
    # dokumendi välja laadimine
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # dokumendi parsimine
    soup = BeautifulSoup(r.text, 'html5lib') # html.parser asemel
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # selliseid juhtumeid juhtub, kui artikkel ei eksisteeri või on kustutatud
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # loo teised väljad: hubid, sildid, vaated, kommentaarid, hääled jne.
        # ...
    # tulemuse salvestamine eraldi failina
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

Parsimise protsessi käigus avastasin mitu uut hetke.

Esiteks öeldakse, et protsesside loomine, mis ületavad protsessori tuumade arvu, on kasutu. Kuid minu puhul selgus, et piirav ressurss on mitte protsessor, vaid võrk, ja 100 protsessi töötavad kiiremini kui 4 või näiteks 20.

Teiseks, mõnes postituses esines kombinatsioone erimärkidest — näiteks eufemisme nagu "%&#@". Selgus, et html.parser, mida ma alguses kasutasin, reageerib kombinatsioonile &# valusalt, pidades seda html-olendi alguseks. Olin juba valmis musta maagia tegemiseks, kuid foorumis öeldi, et lihtsalt parserit vahetad.

Kolmandaks, õnnestus mul eksportida kõik postitused, välja arvatud kolm. Dokumendid numbritega 65927, 162075 ja 275987 kustutas mu viirusetõrje kohe. Need artiklid käsitlevad vastavalt JavaScripti ahelat, mis laadib alla pahavara PDF-faili, SMS-i väljapressijat brauseri pluginate komplektina ning veebisaiti CrashSafari.com, mis viib iPhone'id taaskäivituma. Veel üks artikkel, postitus 338586, milles räägitakse loomaäri veebisaidil kasutatavatest skriptidest, mis kasutavad kasutaja protsessorit krüptovaluuta kaevandamiseks, tuvastas viirusetõrje hiljem süsteemi skaneerimise käigus. Seega võib arvata, et viirusetõrje töö oli täiesti adekvaatne.

"Elusaid" artikleid oli vaid pool potentsiaalsest maksimumist — 166307 tükki. Ülejäänud osas ütleb Habr variandid "leht on aegunud, eemaldatud või ei eksisteerinud üldse". Nojah, igasuguseid asju juhtub.

Artiklite eksportimisele järgnes tehniline töö: näiteks tuli avaldamise kuupäevad muuta vormingust "'21. detsember 2006 kell 10:47" standardseks datetime, ja "12,8k" vaatamist - 12800-ks. Sellel etapil tuli ilmsiks veel mõned kummalisused. Kõige naljakam on seotud häälte arvestamise ja andmetüüpidega: mõnedes vanades postitustes toimus täisarvu ületäitumine ja need said 65535 häelt.

Tulemuseks oli see, et artiklite (ilma piltideta) tekstid võtsid mul 1,5 gigabaiti, kommentaarid koos metaandmetega veel 3 ja umbes sada megabaiti — artiklite metaandmeid. Sellise koguse sai täiesti hoida töömälus, mis oli mulle meeldiv üllatus.

Alustasin artiklite analüüsi mitte tekstidest, vaid metaandmetest: kuupäevadest, sildidest, hubidest, vaatamistest ja "meeldimistest". Selgus, et ka need võivad palju rääkida.

HabrHubi arengusuunad

Artikleid on veebisaidil avaldatud alates 2006. aastast; kõige aktiivsemalt 2008–2016.

Mida aktiivsemalt neid artikleid eri aegadel loeti, on keeruline hinnata. 2012. aasta ja nooremaid tekste kommenteeriti ja hinnati aktiivsemalt, kuid uuematel tekstidel on enam vaatamisi ja lisamisi järjehoidjatesse. Need näitajad käitusid ühekordselt ühtmoodi (kaks korda langesid) ainult 2015. aastal. Võib-olla, seoses majanduslike ja poliitiliste kriisidega, pöördus lugejate tähelepanu IT-blogidelt valusamate küsimuste poole.

Lisaks artiklitele kogusin ka nende kommentaare. Kommentaare oli kokku 6 miljonit, kuid 240 000 neist osutusid keelatud olevateks ("UFO tuli ja avaldas selle kirja siin"). Kommentaaride kasulik omadus on see, et neile on märkitud aeg. Uurides kommentaaride aega, võib umbkaudu mõista, millal üldse artikleid loetakse.

Selgus, et enamik artikleid kirjutatakse ja kommenteeritakse kuskil kella 10–20 vahel, st tüüpilise Moskva tööpäeva jooksul. See võib tähendada, et Habrit loetakse ametlikel eesmärkidel ja see on hea viis tööl prokrastineerimiseks. Muide, see päevane jaotus on püsiv alates Habri asutamisest kuni tänaseni.

Siiski, peamine eelisema märkmete ajast on mitte päevaaeg, vaid artikli "aktiivse elu" kestus. Arvutasin, kuidas on jaotatud aeg artikli avaldamisest tema kommentaarideni. Selgus, et praegu jõuab keskmine kommentaar (roheline joon) umbes 20 tunni pärast, st esimese 24 tunni jooksul jääb keskmiselt veidi üle poole kõigist artikli kommentaaridest. Kahe päeva jooksul jäetakse 75% kõigist kommentaaridest. Samas loeti artikleid varem veelgi kiiremini — näiteks 2010. aastal jõudis pool kommentaare juba esimestel 6 korral.

Minu jaoks oli üllatav, et kommentaarid on pikenetud: keskmine märksõnade arv kommentaaris on Habri eksisteerimise aja jooksul peaaegu kahekordistunud!

Lihtsam tagasiside kui kommentaarid on hääled. Erinevalt paljusid teisi ressursse, saab Habris anda mitte ainult plusse, vaid ka miinuseid. Siiski, viimase võimaluse kasutamine pole nii sage: praegune mitte-meeldimise osakaal on umbes 15% kõikidest antud häältest. Varem oli neid rohkem, kuid aja jooksul on lugejad muutunud kinderaks.

Aja jooksul on muutunud ka tekstid ise. Näiteks tüüpiline teksti pikkus ei lakka pidevalt kasvamast alates saidi käivitamisest, hoolimata kriisidest. Üheksa aasta jooksul on tekstid muutunud peaaegu kümme korda pikemaks!

Tekstide stiil (esimeses lähenemises) on samuti muutunud. Habri esimesel toimeaastal, näiteks, tõusis koodide ja numbrite osakaal tekstides:

Mõistes saidi ülddünaamikat, otsustasin mõõta, kuidas erinevate teemade populaarsus on muutunud. Teemasid saab tekstidest automaatselt välja tuua, kuid alguses ei pea ratast uuesti leiutama, vaid võib kasutada iga artikli autori määratud valmis silte. Neli tüüpilist trendi tõin välja graafikule. Teema „Google“ domineeris algselt (võimalik, et peamiselt SEO optimeerimise tõttu), kuid iga aastaga kaotas see kaalu. Javascript oli populaarne teema ja jätkab aeglaselt tõusmist, samas kui masinõpe hakkas viimastel aastatel kiiresti populaarsust koguma. Linux jääb aga kogu kümnendi jooksul sama aktuaalseks.

Loomulikult tekkis mul huvi, millised teemad köidavad rohkem lugejate tähelepanu. Otsustasin lugeda välja iga teema mediaanvaatamiste, häälte ja kommentaaride arvu. Siin on tulemused:

• Kõige rohkem vaadatud teemad: arduino, veebidisain, veebiarendus, ülevaade, lingid, css, html, html5, nginx, algoritmid.
• Kõige „meelditud“ teemad: vk, huumor, jquery, opera, c, html, veebiarendus, html5, css, veebidisain.
• Kõige arutatavad teemad: opera, skype, vabakutseline töö, vk, ubuntu, töö, nokia, nginx, arduino, firefox.

Üksikasjalikult, kuna ma võrdlen teemasid, võib nende reitingu sageduse järgi luua (ja võrrelda tulemusi sarnase artikliga aastast 2013).

• Kogu Habr'i eksisteerimise jooksul on kõige populaarsemateks siltideks (järjestuses languse järgi) saanud google, android, javascript, microsoft, linux, php, apple, java, python, programmeerimine, startup'id, arendus, ios, startup, sotsiaalsed võrgustikud.
• Aastal 2017 olid kõige populaarsemad javascript, python, java, android, arendus, linux, c++, programmeerimine, php, c#, ios, masinõpe, teabelekke kaitse, microsoft, react.

Nende reitingute võrreldes võib tähelepanu pöörata näiteks Python'i võidukäigule ja php kadumisele, või „startupi“ teema loojumise ja masinõppe tõusule.

Kaugel ei ole kõik Habris olevad sildid nii ilmselt seotud oma teemaga. Näiteks siin on kümme sildid, mis esinesid vaid üks kord, kuid tundusid mulle lihtsalt naljakad. Nii et: "idee on edusamme liigutav jõud", "bootimine ketta kujutiselt", "Iowa osariik", "dramatiseerimine", "superaljasha", "aurumootor", "mida teha laupäeval", "mul on rebane lihaveskis", "aga läks ikka nagu alati", "naljakaid silte välja mõelda ei õnnestunud". Selliste artiklite temaatika määramiseks ei piisa ainult siltidest — tuleb teostada temaatiline modelleerimine artiklite tekstide põhjal.

Üksikasjalikum analüüs artiklite sisust on järgmises postituses. Esiteks kavatsen koostada mudeli, mis prognoosib artikli vaatamiste arvu selle sisu põhjal. Teiseks tahan õpetada neuralvõrku genereerima tekste samas stiilis nagu Habr autorid. Nii et jälgige meid 🙂

P.S. Siin on jahvatatud andmekogum.

Allikas: habr.com