Kuidas ma Hub'it parsin, osa 1: trendid

Kui uue aasta oliivisalati söömisega läbi sai, ei olnud mul midagi teha ja otsustasin laadida endale arvutisse kõik artiklid HabrHabr'ist (ja seotud platvormidelt) ja neid uurida.

See tõi esile mitmeid huvitavaid teemasid. Esimene neist on artiklite formaadi ja temaatika areng 12-aastase veebisaidi eksisteerimise jooksul. Näiteks on mõne teema dünaamika üsna kõnekas. Jätkub pärast hüpet.

Parsimise protsess

Selleks, et mõista, kuidas Habr on arenenud, pidin ma läbima kõik tema artiklid ja eristama neist metaandmed (nt kuupäevad). Artiklite läbimine oli lihtne, sest linkide kõik artiklid on kujul "habrahabr.ru/post/337722/", ja numbrid on järjestikused. Teades, et viimane postitus on numbrilt veidi alla 350 tuhande, läksin ma lihtsalt läbi kõik võimalikud dokumentide id-d tsükliga (kood Pythonis):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

Function download_document üritab laadida lehte vastava id-ga ja püüab struktuurist html välja tõmmata sisulist teavet.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Laadi ja töötle Habr dokumenti ja selle kommentaare """
    # dokumendi allalaadimine
    r = requests.get('https://habrahabr.ru/post/' + str(pid) + '/')
    # dokumendi parsimine
    soup = BeautifulSoup(r.text, 'html5lib') # asemel html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # see võib juhtuda, kui artikkel ei eksisteeri või on kustutatud
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # loo teised väljad: hubid, sildid, vaatamised, kommentaarid, hääled jne.
        # ...
    # tulemuse salvestamine eraldi faili
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

Parsi protsessi käigus avastasin mõned uued aspektid.

Esiteks, räägitakse, et rohkem protsesside loomine kui protsessoril tuumade arvu, on kasutult. Kuid minu puhul osutus piiravaks ressursiks mitte protsessor, vaid võrk, ja 100 protsessi töötavad kiiremini kui 4 või näiteks 20.

Teiseks, mõnedes postitustes esinesid erimärkide kombinatsioonid - näiteks eufemismid nagu "%&#@". Selgus, et html.parser, mille kasutasin alguses, reageerib kombinatsioonile &# valus, pidades seda HTML-olendi alguseks. Olin juba valmis musta maagia tegema, kuid foorumis soovitati, et saaksin lihtsalt parserit vahetada.

Kolmandaks õnnestus mul eksportida kõik avaldused, välja arvatud kolm. Dokumente numbritega 65927, 162075 ja 275987 eemaldas minu viirusetõrje koheselt. Need olid artiklid vastavalt JavaScripti ahelast, mis laadib pahatahtliku PDF-faili, SMS-keerutajast, mis koosneb brauserite pluginatest ning veebisaidist CrashSafari.com, mis saadab iPhone'id taaskäivitama. Veel ühe artikli avastas viirusetõrje hiljem, süsteemi skaneerimise ajal: post 338586, mis käsitles loomakoja veebisaidi skripte, mis kasutavad kasutaja protsessorit krüptovaluuta kaevandamiseks. Nii et viirusetõrje töö on täiesti adekvaatne.

"Elavaid" artikleid leidus ainult pool potentsiaalsest maksimumist — 166307 tükki. Ülejäänute kohta annab Habr võimalusi "leht on aegunud, kustutatud või ei eksisteerinudki". Mis iganes, juhtub igasuguseid asju.

Artiklite eksportimisele järgnes tehniline töö: näiteks tuli avaldamise kuupäevad muuta formaadist "’21. detsember 2006 kell 10:47" standardsesse datetime, ja "12,8k" vaatamist — 12800. Selle etapi jooksul tuli esile veel mõned juhtumid. Kõige naljakam on seotud häälte arvestamise ja andmetüüpidega: mõnedes vanades postitustes toimus intide ülevool ja nad said 65535 häält.

Artiklite tekstid (ilma piltideta) võtsid mul 1,5 gigabaiti, kommentaarid koos metaandmetega veel 3, ja umbes sada megabaiti — artiklite metaandmed. Sellise mahuga saan täiesti töötlemismälus hakkama, mis oli minu jaoks meeldiv üllatus.

Alustasin artiklite analüüsi mitte tekstidest, vaid metaandmetest: kuupäevadest, siltidest, hubidest, vaatamistest ja "meeldimistest". Selgus, et ka need võivad palju rääkida.

Habrahi arengutrendid

Artikleid avaldatakse saidil alates 2006. aastast; kõige intensiivsemalt — aastatel 2008–2016.

Need to assess how actively these articles have been read over different periods is not so straightforward. Texts from 2012 and earlier were commented on and rated more actively, while newer texts have more views and saves. These metrics only dropped equally (by half) once, in 2015. It’s possible that, amid economic and political crises, readers' attention shifted from IT blogs to more pressing issues.

Besides the articles themselves, I also extracted the comments. There are 6 million comments, although 240 thousand of them were banned ("a UFO landed and posted this message here"). A useful feature of comments is that their timestamps are provided. By studying the timing of comments, one can roughly understand when articles are being read.

It turned out that most articles are written and commented on between 10 AM and 8 PM, i.e., during a typical Moscow working day. This could mean that Habr is read for professional purposes and that it serves as a good procrastination method at work. Notably, this time distribution has remained stable from Habr's inception to today.

Kuid peamine kasu kommentaaride ajatempli funktsioonist ei ole kellaaeg, vaid artikli "aktiivse elu" kestus. Olen arvutanud, kuidas ajavahemik avaldamise ja kommentaari vahel jaotub. Selgus, et praegu on mediaan-kommentaar (roheline joon) umbes 20 tunni pärast, st esimesel päeval pärast avaldamist jääb keskmiselt rohkem kui pool kõikidest artikli kommentaaridest. Kahe päeva jooksul jäetakse 75% kõikidest kommentaaridest. Varem loeti artikleid veelgi kiiremini — näiteks 2010. aastal tulid pooled kommentaaridest juba esimesel 6 tunnil.

Oli üllatav, et kommentaarid on pikenemas: kommentaari keskmine märkide arv on Kopli ehk Habr ajaloo jooksul peaaegu kaks korda suurenenud!

Lihtsam tagasiside kui kommentaarid on hääled. Erinevalt paljusid teistest ressurssidest, saab Habr'is anda mitte ainult plussid, vaid ka miinused. Siiski kasutatakse viimast võimalust mitte nii sageli: praegune mitte-meeldivate häälte osakaal on umbes 15% kõigist antud häältest. Varem oli see suurem, kuid aja jooksul on lugejad muutunud lahkemaks.

Aja jooksul on muutunud ka tekstid endid. Näiteks ei lakka tekstide tüüpiline pikkus pidevalt kasvamast kohe pärast saidi käivitamist, hoolimata kriisidest. Kümne aasta jooksul on tekstid muutunud peaaegu kümme korda pikemaks!

Tekstide stiil (esmases lähenemises) on samuti muutunud. Näiteks esimestel aastatel Hub'i olemasolu jooksul suurenes tekstides koodi ja numbrite osakaal:

Pärast saidi üldise dünaamika uurimist otsustasin mõõta, kuidas erinevate teemade populaarsus on muutunud. Teemasid saab tekstidest automaatselt välja tuua, kuid esmalt ei tasu jalgratast uuesti leiutada, vaid kasutada autorite igas artiklis märgitud olemasolevaid sümboleid. Nelja tüüpilise trendi tõin graafikule. Teema "Google" domineeris algselt (võib-olla peamiselt SEO-optimeerimise tõttu), kuid kaotas iga aastaga kaalu. Javascript oli populaarne teema ja jätkab aeglaselt, ent masinõpe hakkas kiiresti populaarsust koguma alles viimastel aastatel. Linux on aga terve kümnendi vältel sama relevantne jäänud.

Muidugi, mind huvitas, millised teemad toovad rohkem lugejate tähelepanu. Ma arvestasin iga teema mediaanvaatamiste, häälte ja kommentaaride arvu. Siin on tulemused:

• Kõige vaadatumad teemad: arduino, veebidisain, veebiarendus, uudiskiri, lingid, css, html, html5, nginx, algoritmid.
• Kõige 'meelditumad' teemad: vk, humor, jquery, opera, c, html, veebiarendus, html5, css, veebidisain.
• Kõige arutatumad teemad: opera, skype, vabakutseline, vk, ubuntu, töö, nokia, nginx, arduino, firefox.

Üldsegi, kuna ma võrrelen teemasid, võiks nende sageduse alusel teha reitingu (ja võrrelda tulemusi sarnase artikliga aastast 2013).

• Kogu Hubi eksisteerimise aja jooksul on kõige populaarsemad sildid (langemise järjekorras) olnud google, android, javascript, microsoft, linux, php, apple, java, python, programmeerimine, idufirmad, arendus, ios, idufirma, sotsiaalmeedia.
• 2017. aastal olid kõige populaarsemad javascript, python, java, android, arendus, linux, c++, programmeerimine, php, c#, ios, masinõpe, info turvalisus, microsoft, react.

Võrreldes neid reitinguid võib tähele panna näiteks Pythoni võidukäiku ja PHP väljasuremist, või "startuppide" teema "kaha" ning masinõppe tõusu.

Kõik sildid Habras ei oma nii selget temaatilist varjundit. Siin on näiteks tosin silti, mida olen kohanud vaid üks kord, aga mis lihtsalt tundusid mulle lõbusad. Nii et: "idee on progressi liikumapanev jõud", "laadimine diskette kujutisest", "Iowa osariik", "dramatuuria", "superalesha", "aurumootor", "mida teha laupäeval", "mul on rebane hakklihamasinas", "aga välja tuli nagu alati", "naljakaid silte välja mõelda ei õnnestunud". Selliste artiklite temaatika määramiseks pole siltidest piisavalt — tuleb teostada temaatilist modelleerimist artiklite tekstide üle.

Täpsem analüüs artiklite sisust tuleb järgmises postituses. Esiteks plaanin ehitada mudeli, mis prognoosib artikli vaatamiste arvu sõltuvalt selle sisust. Teiseks tahaks õpetada närvivõrku genereerima tekste samu stiile järgides nagu Habra autoritel. Nii et jälgige mind 🙂

P.S. Ja siin on peidetud andmestik.

Allikas: habr.com