Kuidas ma parserisin Habr, osa 1: trendid

Kui olin jõulusalati söönud, ei teadnud ma, mida teha, ja otsustasin alla laadida kõik artiklid Habrhabr'ist (ja sarnastelt platvormidelt) ning uurida neid.

Tulemusena tuli välja mitmeid huvitavaid lugusid. Esimene neist on artiklite formaadi ja temaatika areng 12 aasta jooksul, mil veebisait on tegutsenud. Näiteks mõne teema dünaamika on üsna näitlik. Jätkub pärast hüpet.

Päringute töötlemine

Habr'i arengu mõistmiseks pidi ma läbi käima kõik artiklid ja eristama neist metaandmed (näiteks kuupäevad). Artiklite läbimine oli lihtne, kuna kõikide artiklite lingid on kujul "habrahabr.ru/post/337722/", ning numbrid on rangelt järjestatud. Teades, et viimane postitus on numbrilt veidi alla 350 tuhande, käisin lihtsalt kõikide võimalike dokumendi ID-dega läbi tsükliga (Python'i kood):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

Funktsioon download_document üritab laadida vastava ID-ga lehte ja püüab HTML-struktuurist välja tõmmata sisulist teavet.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Laadi ja töödelda Habr dokumenti ja selle kommentaare """
    # dokumendi laadimine
    r = requests.get('https://habrahabr.ru/post/' + str(pid) + '/')
    # dokumendi analüüs
    soup = BeautifulSoup(r.text, 'html5lib') # html.parser'i asemel
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # see juhtub, kui artikkel ei eksisteeri või on kustutatud
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # loo teised väljad: hubid, sildid, vaatamised, kommentaarid, hääled jne.
        # ...
    # tulemuse salvestamine eraldi faili
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

Päringu käigus avastasin mitmeid uusi aspekte.

Esiteks räägitakse, et protsesside loomine rohkem kui protsessori tuumade arv on mõttetu. Kuid minu puhul selgus, et piirav ressurss ei ole protsessor, vaid võrk, ning 100 protsessi töötavad kiiremini kui 4 või näiteks 20.

Teiseks, mõnes postituses esinesid erisümbolite kombinatsioonid — näiteks eufemismid nagu "%&#@". Selgus, et html.parser, millega ma alguses töötasin, reageerib kombinatsioonile &# valusalt, pidades seda HTML-üksuse alguseks. Olin peaaegu valmis musta maagia juurde minema, kuid foorumis soovitati, et saan lihtsalt parserit vahetada.

Kolmandaks, mul õnnestus eksportida kõik artiklid, välja arvatud kolm. Minu viirusetõrje kustutas koheselt dokumendid numbritega 65927, 162075 ja 275987. Need olid artiklid vastavalt JavaScripti ahelast, mis laadib ohtlikku pdf-d, SMS-nõudmisest pluginakomplekti brauseritele ja CrashSafari.com veebisaidist, mis paneb iPhone'id korduvasse taaskäivitusse. Ühe artikli märkasin hiljem, süsteemi skannimise ajal: postitus 338586 looma kaupluse veebisaidil, mis kasutas kasutaja protsessorit krüptovaluuta kaevandamiseks. Seega võib öelda, et viirusetõrje töö oli täitsa adekvaatne.

"Elus" artikleid oli ainult pool potentsiaalsest maksimumist — 166307 tükki. Ülejäänud osas annab Habr valikud "leht on aegunud, kustutatud või ei eksisteerinud kunagi". Mis ж, juhtub igasuguseid asju.

Artiklite eksportimist järgnes tehniline töö: näiteks pidi avaldamise kuupäevad tõlkima formaadist "’21. detsember 2006 kell 10:47" standardvormingusse datetime, ja "12,8k" vaatamist — 12800. Sel etapil ilmus veel paar situatsiooni. Kõige lõbusam on seotud häälte arvu ja andmetüüpidega: mõnedes vanades postitustes toimus täisarvu ületamine, ja nad said 65535 häält.

Tulemuseks oli, et artiklite tekstid (ilma piltideta) võtsid mul 1,5 gigabaiti, kommentaarid koos metaandmetega — veel 3 gigabaiti, ja umbes sada megabaiti — artiklite metaandmed. Seda saab täielikult hoida mälu sees, mis oli mulle meeldiv üllatus.

Alustasin artiklite analüüsimist mitte tekstidest, vaid metaandmetest: kuupäevad, sildid, hubid, vaatamised ja "meeldimised". Selgus, et ka need võivad palju rääkida.

HabrHabr arengu trendid

Artiklid on veebilehel avaldatud alates 2006. aastast; kõige intensiivsemalt — aastatel 2008-2016.

Küsimus, kui aktiivselt neid artikleid erinevatel aegadel loeti, ei ole nii lihtne hinnata. 2012. aasta ja nooremate tekstide üle kommenteeriti ja hinnati aktiivsemalt, kuid uuematel tekstidel on rohkem vaatamisi ja salvestusi järjehoidjatesse. Need mõõdikud käitusid ühtemoodi (langesid kahekordselt) ainult korra, 2015. aastal. Võib-olla majandusliku ja poliitilise kriisi olukorras suunati lugejate tähelepanu IT-blogidelt tõsisematele küsimustele.

Lisaks artiklitele laadisin alla ka kommentaarid nende kohta. Kommentaare tuli kokku 6 miljonit, kuid 240 tuhat neist osutusid keelatuks ("UFO maandus ja avaldas selle kirja siin"). Kommentaaride kasulik omadus on see, et nende jaoks on määratud aeg. Uurides kommentaaride aega, saab umbkaudu aru, millal artikleid üldiselt loetakse.

Selgus, et enamik artikleid kirjutatakse ja kommenteeritakse kuskil kella 10 ja 20 vahel, st tüüpilise Moskva tööpäeva jooksul. See võib tähendada nii, et Habra loetakse ametlikel eesmärkidel, kui ka et see on hea viivitusmeetod tööl. Muide, see ajajaotus on olnud stabiilne Habra asutamisest kuni tänapäevani.

Siiski on ajatempli kommentaarides peamine kasu mitte ööpäeva aeg, vaid artikli "aktiivse elu" kestus. Arvutasin välja, kuidas on ajavahemik alates artikli avaldamisest kuni selle kommentaarini ja selgus, et praegu tuleb keskmine kommentaar (roheline joon) umbes 20 tunni pärast, st esimese ööpäeva jooksul jätab keskmiselt veidi üle poole kõikidest kommentaaridest artikli kohta. Kaks päeva pärast jäetakse 75% kõigist kommentaaridest. Samal ajal loeti varem artikleid veel kiiremini – nii, 2010. aastal tuli pool kommentaaridest juba esimesel 6 tunnil.

Minu jaoks oli üllatuseks, et kommentaarid on pikenema hakanud: keskmine sümbolite arv kommentaaris on Habra eksisteerimise ajal peaaegu kahekordistunud!

Lihtsam tagasiside kui kommentaarid on hääled. Erinevalt paljudest teistest ressurssidest saab Habras anda mitte ainult plusse, vaid ka miinuseid. Siiski ei kasuta lugejad viimast võimalust nii sageli: praegu moodustavad mitte-meeldimised umbes 15% kõigist antud häältest. Varem oli rohkem, kuid aja jooksul on lugejad lahkemaks muutunud.

Aja jooksul on muutunud ka tekstid. Näiteks on tüüpiline teksti pikkus alates veebisaidi käivitamisest jätkuvalt kasvanud, vaatamata kriisidele. Toimetuse kümne aasta jooksul on tekstid peaaegu kümme korda pikemaks muutunud!

Tekstide stiil (esimeses lähenemises) on samuti muutunud. Näiteks Habra esimesel tegevusaastal on kasvanud koodi ja numbrite osakaal tekstides:

Pärast kogu saidi dünaamika uurimist otsustasin mõõta, kuidas erinevate teemade populaarsus on muutunud. Teemad saab automaatselt tekstidest eristada, kuid alguses ei ole vaja ratast uuesti leiutada, vaid piisab autorite iga artikli jaoks määratud etteantud siltide kasutamisest. Neli tüüpilist trendi olen graafikule välja toonud. Teema "Google" domineeris algselt (võib-olla peamiselt SEO-optimeerimise tõttu), kuid iga aastaga kaotas see kaalu. Javascript oli populaarne teema ja jätkab järk-järgult, samas kui masinõpe hakkas viimastel aastatel kiiresti populaarsust koguma. Linux jääb aga kogu kümnendi vältel sama aktuaalseks.

Muidugi, mind hakkas huvitama, millised teemad köidavad rohkem lugemisaktiivsust. Arvutasin välja iga teema mediaanvaatluste, häälte ja kommentaaride arvu. Siin on tulemused:

• Kõige vaadatumad teemad: arduino, veebidisain, veebiarendus, ülevaade, lingid, css, html, html5, nginx, algoritmid.
• Kõige "meeldimist" saanud teemad: vk, huumor, jquery, opera, c, html, veebiarendus, html5, css, veebidisain.
• Kõige enam arutatud teemad: opera, skype, freelancing, vk, ubuntu, töö, nokia, nginx, arduino, firefox.

Muide, kuna ma võrdlen teemasid, on võimalik koostada nende reiting sageduse järgi (ja võrrelda tulemusi) sarnase artikliga aastast 2013).

• Kõikide aastate jooksul Hübra kõige populaarsemate siltide (kahanevas järjekorras) seas on google, android, javascript, microsoft, linux, php, apple, java, python, programmeerimine, idufirmad, arendus, ios, idufirma, sotsiaalmeedia.
• 2017. aastal olid kõige populaarsemad javascript, python, java, android, arendus, linux, c++, programmeerimine, php, c#, ios, masinõpe, infotehnoloogia, microsoft, react.

Oma reitingute võrdlemisel võime näiteks märgata Pythoni võidukäiku ja php kadumist või "start-up" teema langust ja masinõppe tõusu.

Kõik Habr'i märgid ei ole niivõrd ilmsed oma temaatilise varjundi poolest. Siin on näiteks kümme märki, mida olen kohanud ainult üks kord, kuid mis tundusid mulle toredad. Nii et: "idee on arengu mootori", "pildi laadimine diskettalt", "Iowas osariik", "draamateater", "superaljosa", "aurumootor", "mida laupäeval teha", "mul on rebaselihaga hakklihamasin", "ja nagu alati läks", "naljakate märkide välja mõtlemine ei õnnestunud". Et määrata selliste artiklite temaatikat, ei piisa vaid muudest märkidest — tuleb teostada temaatiline modelleerimine artiklite tekstide põhjal.

Detailsem analüüs artiklite sisust tuleb järgmises postituses. Esiteks kavatsen ma koostada mudeli, mis prognoosib artikli vaatamiste arvu vastavalt selle sisule. Teiseks tahaksin õpetada närvivõrku genereerima tekste sama stiilis nagu Habr'i autoritel. Nii et jälgige mind 🙂

P.S. Siin on ka tsenseeritud andmestik.

Allikas: habr.com