Fa'afefea ona ou fa'avasegaina Habr, vaega 1: aga

Ina ua maeʻa le Tausaga Fou o Olivier, e leai saʻu mea e fai, ma na ou filifili e sii uma tala mai Habrahabr (ma faʻasalalauga faʻapitoa) i laʻu komepiuta ma suʻesuʻe.

Sa i ai ni tala manaia. O le mea muamua o le atina'eina o le faatulagaga ma autu o tala i luga o le 12 tausaga o le i ai o le saite. Mo se faʻataʻitaʻiga, o le faʻamalosi o nisi autu e faʻaalia. Faʻaauau - i lalo o le tipi.

Fa'agasologa fa'avasega

Ina ia malamalama i le auala na atiina ae ai Habr, sa tatau ona suʻesuʻe uma ana tala ma faʻapipiʻi faʻamatalaga faʻamatalaga mai ia i latou (mo se faʻataʻitaʻiga, aso). Sa faigofie le pasi, aua o sootaga i tala uma e foliga mai "habrahabr.ru/post/337722/", ma o numera o loʻo tuʻuina atu i le faasologa. I le iloaina o le pou mulimuli e laʻititi laʻititi ifo nai lo le 350 afe, na ou faʻaogaina uma lava pepa id i totonu o se matasele (Python code):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

galuega tauave download_document taumafai e uta le itulau ma le id talafeagai ma taumafai e aveese faʻamatalaga anoa mai le fausaga html.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

I le faagasologa o le faavasegaina, sa ou mauaina ai ni mea fou.

Muamua, latou te fai mai o le fatuina o le tele o faiga nai lo le i ai o ni mea i totonu o le processor e le aoga. Ae i loʻu tulaga, na aliali mai o le faʻatapulaʻaina o punaoa e le o le gaioiga, ae o le fesoʻotaʻiga, ma 100 gaioiga e sili atu le vave nai lo le 4 pe, fai mai, 20.

Lona lua, i nisi o pou sa i ai tu'ufa'atasiga o mata'itusi fa'apitoa - mo se fa'ata'ita'iga, euphemisms pei o le "%&#@". Na foliga mai html.parser, lea na ou faʻaaogaina muamua, e tali atu i le tuufaatasiga &# tiga, manatu o le amataga o le html faalapotopotoga. O lea ua uma ona ou faia togafiti faataulaitu, ae na fautua mai le fono e mafai ona e suia le parser.

Lona tolu, na mafai ona ou laʻuina uma lomiga, seʻi vaganā ai le tolu. O pepa fa'anumera 65927, 162075, ma le 275987 na vave tapeina e la'u antivirus. O tala ia, i le faasologa, e uiga i se filifili javascript e sii maia se pdf leaga, SMS ransomware i foliga o se seti o masini suʻesuʻe, ma le CrashSafari.com nofoaga e auina atu ai iPhones i se toe faʻafouina. Na maua e Antivirus se isi tala mulimuli ane, i le taimi o se faiga su'esu'e: lafo 338586 e uiga i tusitusiga i luga o le upega tafaʻilagi o faleoloa fagafao e faʻaogaina ai le faʻaogaina o le tagata faʻaoga e maina cryptocurrency. O lea e mafai ai ona tatou mafaufau o le galuega a le antivirus e lava lelei.

"Ola" tusiga na foliga mai na o le afa o le maualuga maualuga - 166307 fasi pepa. E uiga i le vaega o totoe, ua tuʻuina atu e Habr filifiliga "o le itulau ua tuai, ua tape pe leai lava." Ia, e mafai ona tupu soo se mea.

O le faʻapipiʻiina o tala na sosoʻo ma galuega faʻapitoa: mo se faʻataʻitaʻiga, aso faʻasalalau e tatau ona faʻaliliu mai le faatulagaga "'21 Tesema 2006 i le 10:47 i le taeao" i le tulaga masani datetime, ma le "12,8k" vaaiga - i le 12800. I lenei laʻasaga, o nai faʻalavelave na tupu mai. O le mea e sili ona malie e fa'atatau i le aofa'i o palota ma fa'amaumauga: o nisi o pou tuai na fa'amama ma maua 65535 palota ta'itasi.

O se taunuuga, o tusitusiga o tala (e aunoa ma ni ata) na ave ai aʻu 1.5 gigabytes, faʻamatalaga ma meta-faʻamatalaga - isi 3, ma e tusa ma le selau megabytes - meta-faʻamatalaga e uiga i tala. E mafai ona teuina atoatoa lenei mea i le RAM, o se mea manaia tele mo aʻu.

Na ou amataina le auʻiliʻiliga o tala e le o tusitusiga lava ia, ae mai meta-faʻamatalaga: aso, pine, hubs, manatu ma fiafia. Na foliga mai e tele mea na mafai ona ia taʻuina.

Tulaga o Atinae o Habrahabr

O tusiga i luga o le saite ua lomia talu mai le 2006; sili ona malosi - i le 2008-2016.

O le a le malosi o nei tala na faitauina i taimi eseese e le faigofie tele ona iloilo. O tusitusiga mai le 2012 ma la'ititi na maua le tele o fa'amatalaga ma fa'ailoga, ae o tusitusiga fou e tele atu manatu ma fa'ailoga tusi. O nei fua fa'atatau na amio tutusa (fa'afa) na'o le tasi, i le 2015. Masalo, i se tulaga o le tamaoaiga ma faiga faʻapolokiki, o le gauai o le au faitau ua suia mai le IT blogs i mataupu sili atu ona tiga.

I le faaopoopo atu i tusiga lava ia, na ou sii maia nisi faʻamatalaga ia i latou. E 6 miliona faʻamatalaga, peitaʻi, o le 240 afe o latou na faʻasaina ("o se UFO na lele i totonu ma lolomiina lenei tusitusiga iinei"). O se mea aoga o fa'amatalaga o lo'o iai a latou fa'ailoga taimi. E ala i le suʻesuʻeina o le taimi o faʻamatalaga, e mafai ona e malamalama lelei pe a faitau tala.

Na aliali mai o le tele o tala o loʻo tusia uma ma faʻamatalaga i se mea mai le 10 am i le 20 pm, i.e. i se aso faigaluega masani Moscow. Atonu o lona uiga o le Habr e faitau mo faamoemoega faʻapitoa, ma o se auala lelei lea e faʻatuai ai i le galuega. I le ala, o lenei tufatufaga o le taimi o le aso e mautu mai le faavae o Habr e oo mai i le taimi nei.

Ae ui i lea, o le aoga autu o se faʻamatalaga timestamp e le o le taimi o le aso, ae o le umi o le "ola malosi" o le tusiga. Na ou fuafuaina pe faʻafefea ona tufatufa le taimi mai le lolomiina o le tusiga i lona faʻamatalaga. Na aliali mai o lea ua oʻo mai le tala faʻasalalau (laina lanumeamata) pe a ma le 20 itula, i.e. i le aso muamua ina ua uma ona lolomiina, i le averesi, e sili atu nai lo le afa o faʻamatalaga uma i luga o le tusiga o loʻo totoe. Ma i le lua aso latou te tuʻua 75% o faʻamatalaga uma. I le taimi lava e tasi, o tala muamua na faitau vave - mo se faʻataʻitaʻiga, i le 2010, o le afa o faʻamatalaga na oʻo mai i le 6 itula muamua.

O se mea na faateia ai aʻu ona o faʻamatalaga ua faʻaumiumi: o le averesi o numera o mataitusi i se faʻamatalaga ua toetoe a faaluaina i le olaga atoa o Habr!

Fa'amatalaga faigofie nai lo fa'amatalaga o palota. E le pei o le tele o isi punaoa, i luga o Habré e mafai ona e tuʻuina atu e le gata o faʻaopoopoga, ae faʻapea foʻi mea leaga. Ae ui i lea, e le faʻaaogaina e le au faitau le avanoa mulimuli i le tele o taimi: o le vaega o loʻo i ai nei o le le fiafia e tusa ma le 15% o palota uma na faia. Sa masani ona tele, ae i le aluga o taimi, ua amata ona agalelei le au faitau.

O tusitusiga lava ia ua suia i le aluga o taimi. Mo se faʻataʻitaʻiga, o le umi masani o le tusitusiga e le taofia le tuputupu aʻe tumau mai le faʻalauiloaina o le saite, e ui lava i faʻalavelave. I le sefulu tausaga, ua toeitiiti lava faasefulu taimi le umi o tusitusiga!

Na suia fo'i le faiga o tusitusiga (i se fa'atatau muamua). I tausaga muamua o le ola o Habr, mo se faʻataʻitaʻiga, o le faʻasoa o numera ma numera i tusitusiga na faʻateleina:

Ina ua uma ona malamalama i le aotelega o le malosi o le saite, na ou filifili e fua pe faapefea ona suia le lauiloa o autu eseese. O autu e mafai ona otometi ona filifilia mai tusitusiga, ae mo le amataga, e le mafai ona e toe faʻafouina le uili, ae faʻaaoga pine ua saunia e faʻapipiʻi e tusitala o tusiga taʻitasi. Ua ou tusia ni faiga masani se fa i luga o le siata. O le autu "Google" na muamua pulea (atonu e mafua ona o le SEO), ae ua faʻaitiitia le mamafa i le tele o tausaga. O le Javascript o se autu lauiloa ma o loʻo faʻaauau pea ona tuputupu ae lemu, ae o le aʻoaʻoina o masini ua amata ona vave maua le lauiloa i tausaga talu ai nei. Linux, i le isi itu, o loʻo tumau tutusa i le sefulu tausaga.

Ioe, na amata ona ou fiafia i mataupu e tosina atili ai le au faitau. Sa ou fuafuaina le fuainumera o manatu, palota ma manatu i autu taitasi. O le mea lenei na tupu:

• Le tele o mataupu e va'aia: arduino, web design, web development, digest, links, css, html, html5, nginx, algorithms.
• O autu e sili ona "fiafia": vkontakte, malie, jquery, opera, c, html, atinaʻe i luga ole laiga, html5, css, web design.
• O autu e sili ona talanoaina: opera, skype, freelance, vkontakte, ubuntu, galuega, nokia, nginx, arduino, firefox.

I le auala, talu ai o loʻo ou faʻatusatusaina autu, e mafai ona e faʻavasegaina i taimi masani (ma faʻatusatusa iʻuga ma tala tutusa mai le 2013).

• Mo tausaga uma o le i ai o Habr, o pine sili ona lauiloa (i le fa'asologa i lalo) o google, android, javascript, microsoft, linux, php, apple, java, python, programming, startups, development, ios, startup, social networks
• I le 2017, o le sili ona lauiloa o javascript, python, java, Android, atinaʻe, linux, c++, polokalame, php, c #, ios, masini aʻoaʻoga, faʻamatalaga saogalemu, microsoft, tali.

Pe a faʻatusatusa nei faʻatusatusaga, e mafai e se tasi ona gauai atu, mo se faʻataʻitaʻiga, i le manumalo manumalo o le Python ma le faʻaumatia o le php, poʻo le "setipo o le la" o autu amata ma le tulaʻi mai o aʻoaʻoga masini.

E le o fa'ailoga uma ile Habré o lo'o i ai se lanu fa'apitoa. Mo se fa'ata'ita'iga, o pine fa'asefulu nei e na'o le tasi na feiloa'i, ae na foliga malie ia te a'u. O le mea lea: "manatu o le malosi lea o le alualu i luma", "fa'aa'a mai se ata floppy disk", "Iowa State", "tala faatino", "superalesh", "ava afi", "mea e fai i le Aso Toonai", "E iai se alope i totonu o se mea e olo ai aano o manufasi", "a na foliga mai e pei lava o taimi uma", "e le mafai ona matou maua ni pine malie". Ina ia iloa le autu o ia tusiga, e le lava pine - e tatau ona e faia le faʻataʻitaʻiga autu i luga o tusitusiga o tala.

O se auiliiliga auiliili o mea o loʻo i totonu o tala o le a i le isi pou. Muamua, o le a ou fausia se faʻataʻitaʻiga e vaʻai ai le numera o itulau itulau mo se tusiga e faʻavae i luga o lona anotusi. Lona lua, ou te manaʻo e aʻoaʻo le fesoʻotaʻiga neural e gaosia ai tusitusiga i le faiga tutusa e pei o tusitala o Habr. O lea ia lesitala 🙂

PS Ma o le tagi lea fa'amaumauga.

puna: www.habr.com