ਮੈਂ ਹਾਬਰ ਨੂੰ ਕਿਵੇਂ ਪਾਰਸ ਕੀਤਾ, ਭਾਗ 1: ਰੁਝਾਨ

ਜਦੋਂ ਨਵੇਂ ਸਾਲ ਦਾ ਓਲੀਵੀਅਰ ਖਤਮ ਹੋ ਗਿਆ ਸੀ, ਮੇਰੇ ਕੋਲ ਕਰਨ ਲਈ ਕੁਝ ਨਹੀਂ ਸੀ, ਅਤੇ ਮੈਂ ਆਪਣੇ ਕੰਪਿਊਟਰ 'ਤੇ ਹਬਰਾਹਾਬਰ (ਅਤੇ ਸੰਬੰਧਿਤ ਪਲੇਟਫਾਰਮ) ਤੋਂ ਸਾਰੇ ਲੇਖਾਂ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਅਤੇ ਖੋਜ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ।

ਕਈ ਦਿਲਚਸਪ ਕਹਾਣੀਆਂ ਸਨ। ਉਹਨਾਂ ਵਿੱਚੋਂ ਪਹਿਲਾ ਸਾਈਟ ਦੀ ਹੋਂਦ ਦੇ 12 ਸਾਲਾਂ ਵਿੱਚ ਲੇਖਾਂ ਦੇ ਫਾਰਮੈਟ ਅਤੇ ਵਿਸ਼ਿਆਂ ਦਾ ਵਿਕਾਸ ਹੈ। ਉਦਾਹਰਣ ਵਜੋਂ, ਕੁਝ ਵਿਸ਼ਿਆਂ ਦੀ ਗਤੀਸ਼ੀਲਤਾ ਕਾਫ਼ੀ ਸੰਕੇਤਕ ਹੈ. ਨਿਰੰਤਰਤਾ - ਕੱਟ ਦੇ ਅਧੀਨ.

ਪਾਰਸਿੰਗ ਪ੍ਰਕਿਰਿਆ

ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਹਾਬਰ ਦਾ ਵਿਕਾਸ ਕਿਵੇਂ ਹੋਇਆ, ਉਸ ਦੇ ਸਾਰੇ ਲੇਖਾਂ ਨੂੰ ਵੇਖਣਾ ਅਤੇ ਉਹਨਾਂ ਤੋਂ ਮੈਟਾ-ਜਾਣਕਾਰੀ ਕੱਢਣਾ ਜ਼ਰੂਰੀ ਸੀ (ਉਦਾਹਰਨ ਲਈ, ਤਾਰੀਖਾਂ)। ਬਾਈਪਾਸ ਆਸਾਨ ਸੀ, ਕਿਉਂਕਿ ਸਾਰੇ ਲੇਖਾਂ ਦੇ ਲਿੰਕ "habrahabr.ru/post/337722/" ਵਰਗੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਨੰਬਰ ਸਖਤੀ ਨਾਲ ਕ੍ਰਮ ਵਿੱਚ ਦਿੱਤੇ ਗਏ ਹਨ। ਇਹ ਜਾਣਦੇ ਹੋਏ ਕਿ ਆਖਰੀ ਪੋਸਟ ਵਿੱਚ 350 ਹਜ਼ਾਰ ਤੋਂ ਥੋੜ੍ਹਾ ਘੱਟ ਨੰਬਰ ਹੈ, ਮੈਂ ਹੁਣੇ ਇੱਕ ਲੂਪ (ਪਾਈਥਨ ਕੋਡ) ਵਿੱਚ ਸਾਰੇ ਸੰਭਵ ਦਸਤਾਵੇਜ਼ ਆਈਡੀ ਵਿੱਚੋਂ ਲੰਘਿਆ:

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

ਫੰਕਸ਼ਨ download_document ਅਨੁਸਾਰੀ ਆਈਡੀ ਨਾਲ ਪੰਨੇ ਨੂੰ ਲੋਡ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਅਤੇ html ਢਾਂਚੇ ਤੋਂ ਅਰਥਪੂਰਨ ਜਾਣਕਾਰੀ ਕੱਢਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ।

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

ਪਾਰਸਿੰਗ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ, ਮੈਂ ਕਈ ਨਵੀਆਂ ਚੀਜ਼ਾਂ ਲੱਭੀਆਂ.

ਪਹਿਲਾਂ, ਉਹ ਕਹਿੰਦੇ ਹਨ ਕਿ ਪ੍ਰੋਸੈਸਰ ਵਿੱਚ ਕੋਰਾਂ ਨਾਲੋਂ ਵਧੇਰੇ ਪ੍ਰਕਿਰਿਆਵਾਂ ਬਣਾਉਣਾ ਬੇਕਾਰ ਹੈ. ਪਰ ਮੇਰੇ ਕੇਸ ਵਿੱਚ, ਇਹ ਪਤਾ ਚਲਿਆ ਕਿ ਸੀਮਤ ਸਰੋਤ ਪ੍ਰੋਸੈਸਰ ਨਹੀਂ ਹੈ, ਪਰ ਨੈਟਵਰਕ ਹੈ, ਅਤੇ 100 ਪ੍ਰਕਿਰਿਆਵਾਂ 4 ਜਾਂ, 20 ਤੋਂ ਵੱਧ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰਦੀਆਂ ਹਨ.

ਦੂਜਾ, ਕੁਝ ਪੋਸਟਾਂ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਅੱਖਰਾਂ ਦੇ ਸੁਮੇਲ ਸਨ - ਉਦਾਹਰਨ ਲਈ, "%&#@" ਵਰਗੇ ਸੁਹੱਪਣ। ਇਹ ਪਤਾ ਲੱਗਾ ਹੈ ਕਿ html.parser, ਜੋ ਮੈਂ ਪਹਿਲਾਂ ਵਰਤਿਆ ਸੀ, ਸੁਮੇਲ 'ਤੇ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਦਾ ਹੈ &# ਦਰਦਨਾਕ ਤੌਰ 'ਤੇ, ਇਸ ਨੂੰ html ਇਕਾਈ ਦੀ ਸ਼ੁਰੂਆਤ ਸਮਝਦੇ ਹੋਏ. ਮੈਂ ਪਹਿਲਾਂ ਹੀ ਕਾਲਾ ਜਾਦੂ ਕਰਨ ਜਾ ਰਿਹਾ ਸੀ, ਪਰ ਫੋਰਮ ਨੇ ਸੁਝਾਅ ਦਿੱਤਾ ਕਿ ਤੁਸੀਂ ਪਾਰਸਰ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹੋ।

ਤੀਜਾ, ਮੈਂ ਤਿੰਨ ਨੂੰ ਛੱਡ ਕੇ ਸਾਰੇ ਪ੍ਰਕਾਸ਼ਨਾਂ ਨੂੰ ਅਨਲੋਡ ਕਰਨ ਵਿੱਚ ਕਾਮਯਾਬ ਰਿਹਾ। ਮੇਰੇ ਐਂਟੀਵਾਇਰਸ ਦੁਆਰਾ 65927, 162075, ਅਤੇ 275987 ਨੰਬਰ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਤੁਰੰਤ ਮਿਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ। ਇਹ ਲੇਖ ਹਨ, ਕ੍ਰਮਵਾਰ, ਇੱਕ ਜਾਵਾਸਕ੍ਰਿਪਟ ਚੇਨ ਬਾਰੇ ਜੋ ਇੱਕ ਖਤਰਨਾਕ pdf, SMS ransomware ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਪਲੱਗਇਨਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਦੇ ਰੂਪ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰਦੀ ਹੈ, ਅਤੇ CrashSafari.com ਸਾਈਟ ਜੋ iPhones ਨੂੰ ਰੀਬੂਟ ਵਿੱਚ ਭੇਜਦੀ ਹੈ। ਐਂਟੀਵਾਇਰਸ ਨੇ ਬਾਅਦ ਵਿੱਚ, ਇੱਕ ਸਿਸਟਮ ਸਕੈਨ ਦੌਰਾਨ ਇੱਕ ਹੋਰ ਲੇਖ ਲੱਭਿਆ: ਪਾਲਤੂ ਜਾਨਵਰਾਂ ਦੀ ਦੁਕਾਨ ਦੀ ਵੈੱਬਸਾਈਟ 'ਤੇ ਸਕ੍ਰਿਪਟਾਂ ਬਾਰੇ 338586 ਪੋਸਟ ਕਰੋ ਜੋ ਉਪਭੋਗਤਾ ਦੇ ਪ੍ਰੋਸੈਸਰ ਦੀ ਵਰਤੋਂ ਕ੍ਰਿਪਟੋਕੁਰੰਸੀ ਨੂੰ ਮਾਈਨ ਕਰਨ ਲਈ ਕਰਦੇ ਹਨ। ਇਸ ਲਈ ਅਸੀਂ ਐਨਟਿਵ਼ਾਇਰਅਸ ਦੇ ਕੰਮ ਨੂੰ ਕਾਫ਼ੀ ਢੁਕਵਾਂ ਸਮਝ ਸਕਦੇ ਹਾਂ।

"ਲਾਈਵ" ਲੇਖ ਸੰਭਾਵੀ ਅਧਿਕਤਮ - 166307 ਟੁਕੜੇ ਦਾ ਸਿਰਫ ਅੱਧਾ ਨਿਕਲਿਆ। ਬਾਕੀ ਦੇ ਬਾਰੇ, Habr ਵਿਕਲਪ ਦਿੰਦਾ ਹੈ "ਪੰਨਾ ਪੁਰਾਣਾ ਹੈ, ਮਿਟਾ ਦਿੱਤਾ ਗਿਆ ਹੈ ਜਾਂ ਬਿਲਕੁਲ ਮੌਜੂਦ ਨਹੀਂ ਹੈ." ਖੈਰ, ਕੁਝ ਵੀ ਹੋ ਸਕਦਾ ਹੈ.

ਲੇਖਾਂ ਨੂੰ ਅਪਲੋਡ ਕਰਨ ਤੋਂ ਬਾਅਦ ਤਕਨੀਕੀ ਕੰਮ ਕੀਤਾ ਗਿਆ ਸੀ: ਉਦਾਹਰਨ ਲਈ, ਪ੍ਰਕਾਸ਼ਨ ਦੀਆਂ ਤਾਰੀਖਾਂ ਨੂੰ "'21 ਦਸੰਬਰ 2006 ਸਵੇਰੇ 10:47 ਵਜੇ" ਫਾਰਮੈਟ ਤੋਂ ਮਿਆਰੀ ਵਿੱਚ ਬਦਲਿਆ ਜਾਣਾ ਸੀ। datetime, ਅਤੇ "12,8k" ਵਿਯੂਜ਼ - 12800 ਵਿੱਚ. ਇਸ ਪੜਾਅ 'ਤੇ, ਕੁਝ ਹੋਰ ਘਟਨਾਵਾਂ ਸਾਹਮਣੇ ਆਈਆਂ। ਵੋਟਾਂ ਦੀ ਗਿਣਤੀ ਅਤੇ ਡਾਟਾ ਕਿਸਮਾਂ ਨਾਲ ਸਭ ਤੋਂ ਮਜ਼ੇਦਾਰ ਕੰਮ ਕਰਨਾ ਹੈ: ਕੁਝ ਪੁਰਾਣੀਆਂ ਪੋਸਟਾਂ ਦਾ ਇੱਕ ਇੰਟ ਓਵਰਫਲੋ ਸੀ ਅਤੇ ਹਰੇਕ ਨੂੰ 65535 ਵੋਟਾਂ ਪ੍ਰਾਪਤ ਹੋਈਆਂ।

ਨਤੀਜੇ ਵਜੋਂ, ਲੇਖਾਂ ਦੇ ਟੈਕਸਟ (ਬਿਨਾਂ ਤਸਵੀਰਾਂ) ਨੇ ਮੈਨੂੰ 1.5 ਗੀਗਾਬਾਈਟ, ਮੈਟਾ-ਜਾਣਕਾਰੀ ਨਾਲ ਟਿੱਪਣੀਆਂ - ਇਕ ਹੋਰ 3, ਅਤੇ ਲਗਭਗ ਸੌ ਮੈਗਾਬਾਈਟ - ਲੇਖਾਂ ਬਾਰੇ ਮੈਟਾ-ਜਾਣਕਾਰੀ. ਇਸ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਰੈਮ ਵਿੱਚ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜੋ ਕਿ ਮੇਰੇ ਲਈ ਇੱਕ ਸੁਹਾਵਣਾ ਹੈਰਾਨੀ ਸੀ।

ਮੈਂ ਲੇਖਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਆਪਣੇ ਆਪ ਤੋਂ ਨਹੀਂ, ਸਗੋਂ ਮੈਟਾ-ਜਾਣਕਾਰੀ ਤੋਂ ਸ਼ੁਰੂ ਕੀਤਾ: ਤਾਰੀਖਾਂ, ਟੈਗਸ, ਹੱਬ, ਵਿਯੂਜ਼ ਅਤੇ ਪਸੰਦ। ਇਹ ਪਤਾ ਚਲਿਆ ਕਿ ਉਹ ਬਹੁਤ ਕੁਝ ਦੱਸ ਸਕਦੀ ਹੈ.

Habrahabr ਵਿਕਾਸ ਰੁਝਾਨ

ਸਾਈਟ 'ਤੇ ਲੇਖ 2006 ਤੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਗਏ ਹਨ; ਸਭ ਤੋਂ ਵੱਧ ਤੀਬਰਤਾ ਨਾਲ - 2008-2016 ਵਿੱਚ.

ਵੱਖ-ਵੱਖ ਸਮਿਆਂ 'ਤੇ ਇਨ੍ਹਾਂ ਲੇਖਾਂ ਨੂੰ ਕਿੰਨੀ ਸਰਗਰਮੀ ਨਾਲ ਪੜ੍ਹਿਆ ਗਿਆ ਸੀ, ਇਸ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਇੰਨਾ ਆਸਾਨ ਨਹੀਂ ਹੈ। 2012 ਅਤੇ ਇਸ ਤੋਂ ਘੱਟ ਉਮਰ ਦੇ ਟੈਕਸਟ ਨੂੰ ਵਧੇਰੇ ਟਿੱਪਣੀਆਂ ਅਤੇ ਰੇਟਿੰਗਾਂ ਪ੍ਰਾਪਤ ਹੋਈਆਂ, ਪਰ ਨਵੇਂ ਟੈਕਸਟ ਨੂੰ ਵਧੇਰੇ ਵਿਯੂਜ਼ ਅਤੇ ਬੁੱਕਮਾਰਕ ਹਨ। ਇਹ ਮੈਟ੍ਰਿਕਸ 2015 ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਵਾਰ ਉਸੇ ਤਰ੍ਹਾਂ (ਅੱਧੇ) ਵਿਹਾਰ ਕਰਦੇ ਹਨ। ਸ਼ਾਇਦ, ਆਰਥਿਕ ਅਤੇ ਰਾਜਨੀਤਿਕ ਸੰਕਟ ਦੀ ਸਥਿਤੀ ਵਿੱਚ, ਪਾਠਕਾਂ ਦਾ ਧਿਆਨ IT ਬਲੌਗਾਂ ਤੋਂ ਹੋਰ ਦੁਖਦਾਈ ਮੁੱਦਿਆਂ ਵੱਲ ਹਟ ਗਿਆ ਹੈ।

ਲੇਖਾਂ ਤੋਂ ਇਲਾਵਾ, ਮੈਂ ਉਹਨਾਂ ਨੂੰ ਹੋਰ ਟਿੱਪਣੀਆਂ ਡਾਊਨਲੋਡ ਕੀਤੀਆਂ. ਇੱਥੇ 6 ਮਿਲੀਅਨ ਟਿੱਪਣੀਆਂ ਸਨ, ਹਾਲਾਂਕਿ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 240 ਹਜ਼ਾਰ 'ਤੇ ਪਾਬੰਦੀ ਲਗਾਈ ਗਈ ਸੀ ("ਇੱਕ UFO ਉੱਡਿਆ ਅਤੇ ਇਸ ਸ਼ਿਲਾਲੇਖ ਨੂੰ ਇੱਥੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ")। ਟਿੱਪਣੀਆਂ ਦੀ ਇੱਕ ਲਾਭਦਾਇਕ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੈ ਕਿ ਉਹਨਾਂ ਕੋਲ ਇੱਕ ਟਾਈਮ ਸਟੈਂਪ ਹੈ. ਟਿੱਪਣੀਆਂ ਦੇ ਸਮੇਂ ਦਾ ਅਧਿਐਨ ਕਰਕੇ, ਤੁਸੀਂ ਮੋਟੇ ਤੌਰ 'ਤੇ ਸਮਝ ਸਕਦੇ ਹੋ ਕਿ ਲੇਖ ਕਦੋਂ ਪੜ੍ਹੇ ਜਾਂਦੇ ਹਨ।

ਇਹ ਪਤਾ ਚਲਿਆ ਕਿ ਜ਼ਿਆਦਾਤਰ ਲੇਖ ਸਵੇਰੇ 10 ਵਜੇ ਤੋਂ ਰਾਤ 20 ਵਜੇ ਤੱਕ ਲਿਖੇ ਅਤੇ ਟਿੱਪਣੀ ਕੀਤੇ ਗਏ ਹਨ, ਯਾਨੀ. ਇੱਕ ਆਮ ਮਾਸਕੋ ਕੰਮਕਾਜੀ ਦਿਨ 'ਤੇ. ਇਸਦਾ ਮਤਲਬ ਇਹ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਹਾਬਰ ਨੂੰ ਪੇਸ਼ੇਵਰ ਉਦੇਸ਼ਾਂ ਲਈ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇਹ ਕੰਮ 'ਤੇ ਦੇਰੀ ਕਰਨ ਦਾ ਵਧੀਆ ਤਰੀਕਾ ਹੈ। ਵੈਸੇ, ਦਿਨ ਦੇ ਸਮੇਂ ਦੀ ਇਹ ਵੰਡ ਹਬਰ ਦੀ ਨੀਂਹ ਤੋਂ ਲੈ ਕੇ ਅੱਜ ਤੱਕ ਸਥਿਰ ਹੈ।

ਹਾਲਾਂਕਿ, ਟਿੱਪਣੀ ਟਾਈਮਸਟੈਂਪ ਦਾ ਮੁੱਖ ਲਾਭ ਦਿਨ ਦਾ ਸਮਾਂ ਨਹੀਂ ਹੈ, ਪਰ ਲੇਖ ਦੇ "ਸਰਗਰਮ ਜੀਵਨ" ਦੀ ਮਿਆਦ। ਮੈਂ ਹਿਸਾਬ ਲਗਾਇਆ ਕਿ ਲੇਖ ਦੇ ਪ੍ਰਕਾਸ਼ਨ ਤੋਂ ਲੈ ਕੇ ਇਸਦੀ ਟਿੱਪਣੀ ਤੱਕ ਸਮਾਂ ਕਿਵੇਂ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਪਤਾ ਚਲਿਆ ਕਿ ਹੁਣ ਮੱਧਮ ਟਿੱਪਣੀ (ਹਰੀ ਲਾਈਨ) ਲਗਭਗ 20 ਘੰਟਿਆਂ ਵਿੱਚ ਆਉਂਦੀ ਹੈ, ਯਾਨੀ. ਪ੍ਰਕਾਸ਼ਨ ਤੋਂ ਬਾਅਦ ਪਹਿਲੇ ਦਿਨ, ਔਸਤਨ, ਲੇਖ 'ਤੇ ਸਾਰੀਆਂ ਟਿੱਪਣੀਆਂ ਵਿੱਚੋਂ ਅੱਧੇ ਤੋਂ ਥੋੜਾ ਵੱਧ ਰਹਿ ਜਾਂਦਾ ਹੈ। ਅਤੇ ਦੋ ਦਿਨਾਂ ਵਿੱਚ ਉਹ ਸਾਰੀਆਂ ਟਿੱਪਣੀਆਂ ਦਾ 75% ਛੱਡ ਦਿੰਦੇ ਹਨ. ਇਸ ਦੇ ਨਾਲ ਹੀ, ਪਹਿਲਾਂ ਦੇ ਲੇਖ ਹੋਰ ਵੀ ਤੇਜ਼ੀ ਨਾਲ ਪੜ੍ਹੇ ਗਏ ਸਨ - ਉਦਾਹਰਣ ਵਜੋਂ, 2010 ਵਿੱਚ, ਅੱਧੀਆਂ ਟਿੱਪਣੀਆਂ ਪਹਿਲੇ 6 ਘੰਟਿਆਂ ਵਿੱਚ ਆਈਆਂ।

ਇਹ ਮੇਰੇ ਲਈ ਹੈਰਾਨੀ ਵਾਲੀ ਗੱਲ ਸੀ ਕਿ ਟਿੱਪਣੀਆਂ ਲੰਬੀਆਂ ਹੋ ਗਈਆਂ ਹਨ: ਹੈਬਰ ਦੇ ਜੀਵਨ ਕਾਲ ਵਿੱਚ ਇੱਕ ਟਿੱਪਣੀ ਵਿੱਚ ਅੱਖਰਾਂ ਦੀ ਔਸਤ ਸੰਖਿਆ ਲਗਭਗ ਦੁੱਗਣੀ ਹੋ ਗਈ ਹੈ!

ਟਿੱਪਣੀਆਂ ਨਾਲੋਂ ਆਸਾਨ ਫੀਡਬੈਕ ਵੋਟਾਂ ਹਨ। ਹੋਰ ਬਹੁਤ ਸਾਰੇ ਸਰੋਤਾਂ ਦੇ ਉਲਟ, ਹੈਬਰੇ 'ਤੇ ਤੁਸੀਂ ਨਾ ਸਿਰਫ ਪਲੱਸ, ਬਲਕਿ ਮਾਇਨਸ ਵੀ ਪਾ ਸਕਦੇ ਹੋ. ਹਾਲਾਂਕਿ, ਪਾਠਕ ਆਖਰੀ ਮੌਕੇ ਦੀ ਵਰਤੋਂ ਅਕਸਰ ਨਹੀਂ ਕਰਦੇ: ਨਾਪਸੰਦਾਂ ਦਾ ਮੌਜੂਦਾ ਹਿੱਸਾ ਸਾਰੀਆਂ ਵੋਟਾਂ ਦਾ ਲਗਭਗ 15% ਹੈ। ਪਹਿਲਾਂ ਹੋਰ ਹੁੰਦਾ ਸੀ, ਪਰ ਸਮੇਂ ਦੇ ਨਾਲ, ਪਾਠਕ ਦਿਆਲੂ ਹੋ ਗਏ ਹਨ।

ਸਮੇਂ ਦੇ ਨਾਲ ਪਾਠ ਆਪਣੇ ਆਪ ਵਿੱਚ ਬਦਲ ਗਏ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਟੈਕਸਟ ਦੀ ਖਾਸ ਲੰਬਾਈ ਸੰਕਟਾਂ ਦੇ ਬਾਵਜੂਦ, ਸਾਈਟ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਹੀ ਲਗਾਤਾਰ ਵਧਣ ਤੋਂ ਨਹੀਂ ਰੁਕਦੀ। ਇੱਕ ਦਹਾਕੇ ਵਿੱਚ, ਟੈਕਸਟ ਲਗਭਗ ਦਸ ਗੁਣਾ ਲੰਬੇ ਹੋ ਗਏ ਹਨ!

ਪਾਠਾਂ ਦੀ ਸ਼ੈਲੀ (ਪਹਿਲੇ ਅਨੁਮਾਨ ਤੱਕ) ਵੀ ਬਦਲ ਗਈ। ਹਾਬਰ ਦੀ ਹੋਂਦ ਦੇ ਪਹਿਲੇ ਸਾਲਾਂ ਦੌਰਾਨ, ਉਦਾਹਰਨ ਲਈ, ਟੈਕਸਟਾਂ ਵਿੱਚ ਕੋਡ ਅਤੇ ਸੰਖਿਆਵਾਂ ਦਾ ਹਿੱਸਾ ਵਧਿਆ:

ਸਾਈਟ ਦੀ ਸਮੁੱਚੀ ਗਤੀਸ਼ੀਲਤਾ ਨੂੰ ਸਮਝਣ ਤੋਂ ਬਾਅਦ, ਮੈਂ ਇਹ ਮਾਪਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਕਿ ਵੱਖ-ਵੱਖ ਵਿਸ਼ਿਆਂ ਦੀ ਪ੍ਰਸਿੱਧੀ ਕਿਵੇਂ ਬਦਲੀ. ਵਿਸ਼ਿਆਂ ਨੂੰ ਟੈਕਸਟ ਤੋਂ ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਚੁਣਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਪਰ ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਾਲਿਆਂ ਲਈ, ਤੁਸੀਂ ਪਹੀਏ ਨੂੰ ਦੁਬਾਰਾ ਨਹੀਂ ਬਣਾ ਸਕਦੇ ਹੋ, ਪਰ ਹਰੇਕ ਲੇਖ ਦੇ ਲੇਖਕਾਂ ਦੁਆਰਾ ਚਿਪਕਾਏ ਗਏ ਤਿਆਰ ਟੈਗਸ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਮੈਂ ਚਾਰਟ 'ਤੇ ਚਾਰ ਆਮ ਰੁਝਾਨ ਬਣਾਏ ਹਨ। "ਗੂਗਲ" ਥੀਮ ਨੇ ਸ਼ੁਰੂ ਵਿੱਚ ਦਬਦਬਾ ਬਣਾਇਆ (ਸ਼ਾਇਦ ਮੁੱਖ ਤੌਰ 'ਤੇ ਐਸਈਓ ਦੇ ਕਾਰਨ), ਪਰ ਸਾਲਾਂ ਤੋਂ ਭਾਰ ਘਟ ਰਿਹਾ ਹੈ. ਜਾਵਾਸਕ੍ਰਿਪਟ ਇੱਕ ਪ੍ਰਸਿੱਧ ਵਿਸ਼ਾ ਰਿਹਾ ਹੈ ਅਤੇ ਹੌਲੀ-ਹੌਲੀ ਵਧਦਾ ਜਾ ਰਿਹਾ ਹੈ, ਪਰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਨੇ ਸਿਰਫ ਹਾਲ ਹੀ ਦੇ ਸਾਲਾਂ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਪ੍ਰਸਿੱਧੀ ਹਾਸਲ ਕਰਨੀ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀ ਹੈ। ਦੂਜੇ ਪਾਸੇ, ਲੀਨਕਸ ਪੂਰੇ ਦਹਾਕੇ ਦੌਰਾਨ ਬਰਾਬਰ ਢੁਕਵਾਂ ਰਿਹਾ ਹੈ।

ਬੇਸ਼ੱਕ, ਮੈਂ ਇਸ ਗੱਲ ਵਿੱਚ ਦਿਲਚਸਪੀ ਲੈਂਦੀ ਹਾਂ ਕਿ ਕਿਹੜੇ ਵਿਸ਼ੇ ਵਧੇਰੇ ਪਾਠਕ ਗਤੀਵਿਧੀ ਨੂੰ ਆਕਰਸ਼ਿਤ ਕਰਦੇ ਹਨ. ਮੈਂ ਹਰੇਕ ਵਿਸ਼ੇ ਵਿੱਚ ਵਿਯੂਜ਼, ਵੋਟਾਂ ਅਤੇ ਟਿੱਪਣੀਆਂ ਦੀ ਮੱਧਮ ਸੰਖਿਆ ਦੀ ਗਣਨਾ ਕੀਤੀ। ਇੱਥੇ ਕੀ ਹੋਇਆ ਹੈ:

• ਸਭ ਤੋਂ ਵੱਧ ਦੇਖੇ ਗਏ ਵਿਸ਼ੇ: arduino, ਵੈਬ ਡਿਜ਼ਾਈਨ, ਵੈੱਬ ਵਿਕਾਸ, ਡਾਇਜੈਸਟ, ਲਿੰਕ, css, html, html5, nginx, ਐਲਗੋਰਿਦਮ।
• ਸਭ ਤੋਂ ਵੱਧ "ਪਸੰਦ" ਵਿਸ਼ੇ: vkontakte, humor, jquery, opera, c, html, ਵੈੱਬ ਵਿਕਾਸ, html5, css, ਵੈੱਬ ਡਿਜ਼ਾਈਨ।
• ਸਭ ਤੋਂ ਵੱਧ ਚਰਚਾ ਕੀਤੇ ਗਏ ਵਿਸ਼ੇ: ਓਪੇਰਾ, ਸਕਾਈਪ, ਫ੍ਰੀਲਾਂਸ, ਵੀਕਾਂਟਾਕਟੇ, ਉਬੰਟੂ, ਵਰਕ, ਨੋਕੀਆ, ਐਨਜੀਨੈਕਸ, ਆਰਡੀਨੋ, ਫਾਇਰਫਾਕਸ।

ਵੈਸੇ, ਕਿਉਂਕਿ ਮੈਂ ਵਿਸ਼ਿਆਂ ਦੀ ਤੁਲਨਾ ਕਰ ਰਿਹਾ ਹਾਂ, ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਬਾਰੰਬਾਰਤਾ ਦੁਆਰਾ ਦਰਜਾ ਦੇ ਸਕਦੇ ਹੋ (ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਤੁਲਨਾ 2013 ਤੋਂ ਸਮਾਨ ਲੇਖ).

• ਹੈਬਰ ਦੀ ਹੋਂਦ ਦੇ ਸਾਰੇ ਸਾਲਾਂ ਲਈ, ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸਿੱਧ ਟੈਗਸ (ਘੱਟਦੇ ਕ੍ਰਮ ਵਿੱਚ) ਹਨ google, android, javascript, microsoft, linux, php, Apple, java, python, programming, startups, development, ios, startup, social networks
• 2017 ਵਿੱਚ, ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸਿੱਧ ਸਨ javascript, python, java, android, develop, linux, c++, ਪ੍ਰੋਗਰਾਮਿੰਗ, php, c#, ios, ਮਸ਼ੀਨ ਸਿਖਲਾਈ, ਸੂਚਨਾ ਸੁਰੱਖਿਆ, ਮਾਈਕ੍ਰੋਸਾਫਟ, ਰੀਐਕਟ।

ਇਹਨਾਂ ਰੇਟਿੰਗਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਸਮੇਂ, ਕੋਈ ਧਿਆਨ ਦੇ ਸਕਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਪਾਇਥਨ ਦੇ ਜੇਤੂ ਮਾਰਚ ਅਤੇ php ਦੇ ਵਿਨਾਸ਼ ਵੱਲ, ਜਾਂ ਸ਼ੁਰੂਆਤੀ ਵਿਸ਼ਿਆਂ ਦੇ "ਸੂਰਜ" ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਉਭਾਰ ਵੱਲ।

ਹੈਬਰੇ ਦੇ ਸਾਰੇ ਟੈਗਸ ਵਿੱਚ ਅਜਿਹਾ ਸਪੱਸ਼ਟ ਥੀਮੈਟਿਕ ਰੰਗ ਨਹੀਂ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਇੱਥੇ ਇੱਕ ਦਰਜਨ ਟੈਗ ਹਨ ਜੋ ਸਿਰਫ਼ ਇੱਕ ਵਾਰ ਮਿਲੇ ਸਨ, ਪਰ ਮੇਰੇ ਲਈ ਮਜ਼ਾਕੀਆ ਲੱਗਦੇ ਸਨ। ਇਸ ਲਈ: "ਵਿਚਾਰ ਤਰੱਕੀ ਦੀ ਚਾਲ ਹੈ", "ਇੱਕ ਫਲਾਪੀ ਚਿੱਤਰ ਤੋਂ ਬੂਟ", "ਆਯੋਵਾ ਸਟੇਟ", "ਡਰਾਮਾ", "ਸੁਪਰਲੇਸ਼", "ਸਟੀਮ ਇੰਜਣ", "ਸ਼ਨੀਵਾਰ ਨੂੰ ਕਰਨ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ", "ਮੇਰੇ ਕੋਲ ਮੀਟ ਗ੍ਰਿੰਡਰ ਵਿੱਚ ਇੱਕ ਲੂੰਬੜੀ", "ਇੱਕ ਇਹ ਹਮੇਸ਼ਾ ਵਾਂਗ ਨਿਕਲਿਆ", "ਅਸੀਂ ਮਜ਼ਾਕੀਆ ਟੈਗਸ ਦੇ ਨਾਲ ਨਹੀਂ ਆ ਸਕੇ"। ਅਜਿਹੇ ਲੇਖਾਂ ਦੇ ਵਿਸ਼ੇ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ, ਟੈਗਸ ਕਾਫ਼ੀ ਨਹੀਂ ਹਨ - ਤੁਹਾਨੂੰ ਲੇਖਾਂ ਦੇ ਪਾਠਾਂ 'ਤੇ ਥੀਮੈਟਿਕ ਮਾਡਲਿੰਗ ਕਰਨੀ ਪਵੇਗੀ।

ਲੇਖਾਂ ਦੀ ਸਮੱਗਰੀ ਦਾ ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਵਿਸ਼ਲੇਸ਼ਣ ਅਗਲੀ ਪੋਸਟ ਵਿੱਚ ਹੋਵੇਗਾ। ਪਹਿਲਾਂ, ਮੈਂ ਇੱਕ ਅਜਿਹਾ ਮਾਡਲ ਬਣਾਉਣ ਜਾ ਰਿਹਾ ਹਾਂ ਜੋ ਇਸਦੀ ਸਮੱਗਰੀ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਲੇਖ ਲਈ ਪੇਜ ਵਿਯੂਜ਼ ਦੀ ਸੰਖਿਆ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦਾ ਹੈ। ਦੂਜਾ, ਮੈਂ ਨਿਊਰਲ ਨੈਟਵਰਕ ਨੂੰ ਉਸੇ ਸ਼ੈਲੀ ਵਿੱਚ ਟੈਕਸਟ ਬਣਾਉਣ ਲਈ ਸਿਖਾਉਣਾ ਚਾਹੁੰਦਾ ਹਾਂ ਜਿਵੇਂ ਕਿ ਹੈਬਰ ਦੇ ਲੇਖਕ। ਇਸ ਲਈ ਸਬਸਕ੍ਰਾਈਬ ਕਰੋ 🙂

PS ਅਤੇ ਇੱਥੇ ਬੀਪ ਹੈ ਡਾਟਾਸੈੱਟ.

ਸਰੋਤ: www.habr.com