ყველა Habr ერთ მონაცემთა ბაზაში

Საღამო მშვიდობისა. 2 წელი გავიდა რაც დაიწერა. ბოლო სტატია Habr-ის ანალიზის შესახებ და ზოგიერთი პუნქტი შეიცვალა.

როდესაც მინდოდა მქონოდა Habr-ის ასლი, გადავწყვიტე დამეწერა პარსერი, რომელიც შეინახავდა ავტორების მთელ შინაარსს მონაცემთა ბაზაში. როგორ მოხდა და რა შეცდომებს შევხვდი - შეგიძლიათ წაიკითხოთ ჭრილის ქვეშ.

TLDR- მონაცემთა ბაზის ბმული

პარსერის პირველი ვერსია. ერთი თემა, ბევრი პრობლემა

დასაწყისისთვის, მე გადავწყვიტე შემექმნა სკრიპტის პროტოტიპი, რომელშიც სტატია განიხილება და ჩამოტვირთვისთანავე განთავსდება მონაცემთა ბაზაში. ორჯერ დაფიქრების გარეშე გამოვიყენე sqlite3, რადგან. ეს იყო ნაკლებად შრომატევადი: არ იყო საჭირო ლოკალური სერვერის ქონა, შექმნილი-ჩანდა-წაშლილი და მსგავსი რამ.

one_thread.py

from bs4 import BeautifulSoup
import sqlite3
import requests
from datetime import datetime

def main(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute("CREATE TABLE IF NOT EXISTS habr(id INT, author VARCHAR(255), title VARCHAR(255), content  TEXT, tags TEXT)")

    start_time = datetime.now()
    c.execute("begin")
    for i in range(min, max):
        url = "https://m.habr.com/post/{}".format(i)
        try:
            r = requests.get(url)
        except:
            with open("req_errors.txt") as file:
                file.write(i)
            continue
        if(r.status_code != 200):
            print("{} - {}".format(i, r.status_code))
            continue

        html_doc = r.text
        soup = BeautifulSoup(html_doc, 'html.parser')

        try:
            author = soup.find(class_="tm-user-info__username").get_text()
            content = soup.find(id="post-content-body")
            content = str(content)
            title = soup.find(class_="tm-article-title__text").get_text()
            tags = soup.find(class_="tm-article__tags").get_text()
            tags = tags[5:]
        except:
            author,title,tags = "Error", "Error {}".format(r.status_code), "Error"
            content = "При парсинге этой странице произошла ошибка."

        c.execute('INSERT INTO habr VALUES (?, ?, ?, ?, ?)', (i, author, title, content, tags))
        print(i)
    c.execute("commit")
    print(datetime.now() - start_time)

main(1, 490406)

ყველაფერი კლასიკურია - ვიყენებთ Beautiful Soup-ს, ვთხოვთ და სწრაფი პროტოტიპი მზად არის. ეს უბრალოდ…

• გვერდის ჩამოტვირთვა ერთ თემაშია

• თუ შეწყვეტთ სკრიპტის შესრულებას, მაშინ მთელი მონაცემთა ბაზა არსად წავა. ყოველივე ამის შემდეგ, ჩადენა ხორციელდება მხოლოდ ყველა გაანალიზების შემდეგ.
  რა თქმა უნდა, თქვენ შეგიძლიათ შეიტანოთ ცვლილებები მონაცემთა ბაზაში ყოველი ჩასმის შემდეგ, მაგრამ შემდეგ სკრიპტის შესრულების დრო მნიშვნელოვნად გაიზრდება.

• პირველი 100 სტატიის გარჩევა 000 საათი დამჭირდა.

შემდეგ ვპოულობ მომხმარებლის სტატიას კოინტეგრირებული, რომელიც წავიკითხე და ვიპოვე რამდენიმე ლაიფ ჰაკი ამ პროცესის დასაჩქარებლად:

• Multithreading-ის გამოყენება აჩქარებს გადმოტვირთვას დროდადრო.
• თქვენ შეგიძლიათ მიიღოთ არა ჰაბრის სრული ვერსია, არამედ მისი მობილური ვერსია.
  მაგალითად, თუ დესკტოპის ვერსიაში კოინტეგრირებული სტატია იწონის 378 კბ, მაშინ მობილური ვერსიაში ის უკვე 126 კბ.

მეორე ვერსია. ბევრი თემა, დროებითი აკრძალვა ჰაბრისგან

როდესაც ინტერნეტი დავათვალიერე პითონში მულტირედინგის თემაზე, ავირჩიე უმარტივესი ვარიანტი multiprocessing.dummy-ით, შევამჩნიე, რომ პრობლემებიც გაჩნდა მრავალთრეადირებასთან ერთად.

SQLite3-ს არ სურს ერთზე მეტ ძაფთან მუშაობა.
დაფიქსირდა check_same_thread=False, მაგრამ ეს შეცდომა არ არის ერთადერთი, მონაცემთა ბაზაში ჩასმის მცდელობისას ხანდახან ჩნდება შეცდომები, რომელთა მოგვარებაც ვერ მოვახერხე.

ამიტომ, მე გადავწყვიტე უარი თქვას სტატიების მყისიერად ჩასმაზე პირდაპირ მონაცემთა ბაზაში და, გავიხსენო კოინტეგრირებული გადაწყვეტა, გადავწყვიტე გამოვიყენო ფაილები, რადგან ფაილში მრავალნაკადიანი ჩაწერის პრობლემა არ არის.

ჰაბრი იწყებს აკრძალვას სამზე მეტი თემის გამოყენებისთვის.
განსაკუთრებით გულმოდგინე მცდელობამ ჰაბრში გასვლა შეიძლება დასრულდეს ip აკრძალვით რამდენიმე საათის განმავლობაში. ასე რომ თქვენ უნდა გამოიყენოთ მხოლოდ 3 თემა, მაგრამ ეს უკვე კარგია, რადგან 100-ზე მეტი სტატიის გამეორების დრო მცირდება 26-დან 12 წამამდე.

აღსანიშნავია, რომ ეს ვერსია საკმაოდ არასტაბილურია და ჩამოტვირთვები პერიოდულად იშლება სტატიების დიდ რაოდენობაზე.

async_v1.py

from bs4 import BeautifulSoup
import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/post/{}".format(i)

    try: r = requests.get(url)
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    # Запись заблокированных запросов на сервер
    if (r.status_code == 503):
        with open("Error503.txt", "a") as write_file:
            write_file.write(str(i) + "n")
            logging.warning('{} / 503 Error'.format(i))

    # Если поста не существует или он был скрыт
    if (r.status_code != 200):
        logging.info("{} / {} Code".format(i, r.status_code))
        return r.status_code

    html_doc = r.text
    soup = BeautifulSoup(html_doc, 'html5lib')

    try:
        author = soup.find(class_="tm-user-info__username").get_text()

        timestamp = soup.find(class_='tm-user-meta__date')
        timestamp = timestamp['title']

        content = soup.find(id="post-content-body")
        content = str(content)
        title = soup.find(class_="tm-article-title__text").get_text()
        tags = soup.find(class_="tm-article__tags").get_text()
        tags = tags[5:]

        # Метка, что пост является переводом или туториалом.
        tm_tag = soup.find(class_="tm-tags tm-tags_post").get_text()

        rating = soup.find(class_="tm-votes-score").get_text()
    except:
        author = title = tags = timestamp = tm_tag = rating = "Error" 
        content = "При парсинге этой странице произошла ошибка."
        logging.warning("Error parsing - {}".format(i))
        with open("Errors.txt", "a") as write_file:
            write_file.write(str(i) + "n")

    # Записываем статью в json
    try:
        article = [i, timestamp, author, title, content, tm_tag, rating, tags]
        with open(currentFile, "w") as write_file:
            json.dump(article, write_file)
    except:
        print(i)
        raise

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: async_v1.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

მესამე ვერსია. საბოლოო

მეორე ვერსიის გამართვისას აღმოვაჩინე, რომ Habr-ს, უეცრად, აქვს API, რომელსაც საიტის მობილური ვერსია წვდება. ის უფრო სწრაფად იტვირთება, ვიდრე მობილური ვერსია, რადგან ეს არის მხოლოდ json, რომლის გაანალიზებაც კი არ არის საჭირო. ბოლოს გადავწყვიტე ისევ გადამეწერა ჩემი სცენარი.

ასე რომ, იპოვა ეს კავშირი API, შეგიძლიათ დაიწყოთ მისი გარჩევა.

async_v2.py

import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/kek/v1/articles/{}/?fl=ru%2Cen&hl=ru".format(i)

    try:
        r = requests.get(url)
        if r.status_code == 503:
            logging.critical("503 Error")
            return 503
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    data = json.loads(r.text)

    if data['success']:
        article = data['data']['article']

        id = article['id']
        is_tutorial = article['is_tutorial']
        time_published = article['time_published']
        comments_count = article['comments_count']
        lang = article['lang']
        tags_string = article['tags_string']
        title = article['title']
        content = article['text_html']
        reading_count = article['reading_count']
        author = article['author']['login']
        score = article['voting']['score']

        data = (id, is_tutorial, time_published, title, content, comments_count, lang, tags_string, reading_count, author, score)
        with open(currentFile, "w") as write_file:
            json.dump(data, write_file)

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: asyc.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

ის შეიცავს ველებს, რომლებიც დაკავშირებულია როგორც თავად სტატიასთან, ასევე ავტორთან, ვინც ის დაწერა.

API.png

მე არ გადავაგდე თითოეული სტატიის სრული json, მაგრამ შევინახე მხოლოდ ის ველები, რომლებიც მჭირდებოდა:

• id
• არის_ტუტორიალი
• დრო_გამოქვეყნებული
• სათაური
• შინაარსი
• კომენტარები_თვლა
• lang არის ენა, რომელზეც იწერება სტატია. ჯერჯერობით მას მხოლოდ en და ru აქვს.
• tags_string - ყველა ტეგი პოსტიდან
• reading_count
• ავტორი
• ქულა — სტატიის რეიტინგი.

ამრიგად, API-ს გამოყენებით, სკრიპტის შესრულების დრო შევამცირე 8 წამამდე 100 url-ზე.

მას შემდეგ რაც ჩამოვტვირთავთ საჭირო მონაცემებს, უნდა დავამუშავოთ და შევიყვანოთ მონაცემთა ბაზაში. არც მე მქონია პრობლემა:

parser.py

import json
import sqlite3
import logging
from datetime import datetime

def parser(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute('PRAGMA synchronous = 0') # Отключаем подтверждение записи, так скорость увеличивается в разы.
    c.execute("CREATE TABLE IF NOT EXISTS articles(id INTEGER, time_published TEXT, author TEXT, title TEXT, content TEXT, 
    lang TEXT, comments_count INTEGER, reading_count INTEGER, score INTEGER, is_tutorial INTEGER, tags_string TEXT)")
    try:
        for i in range(min, max):
            try:
                filename = "files\{}.json".format(i)
                f = open(filename)
                data = json.load(f)

                (id, is_tutorial, time_published, title, content, comments_count, lang,
                 tags_string, reading_count, author, score) = data

                # Ради лучшей читаемости базы можно пренебречь читаемостью кода. Или нет?
                # Если вам так кажется, можно просто заменить кортеж аргументом data. Решать вам.

                c.execute('INSERT INTO articles VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)', (id, time_published, author,
                                                                                        title, content, lang,
                                                                                        comments_count, reading_count,
                                                                                        score, is_tutorial,
                                                                                        tags_string))
                f.close()

            except IOError:
                logging.info('FileNotExists')
                continue

    finally:
        conn.commit()

start_time = datetime.now()
parser(490000, 490918)
print(datetime.now() - start_time)

სტატისტიკა

ისე, ტრადიციულად, საბოლოოდ, შეგიძლიათ ამოიღოთ რამდენიმე სტატისტიკა მონაცემებიდან:

• მოსალოდნელი 490 ჩამოტვირთვისგან, მხოლოდ 406 სტატია იყო გადმოწერილი. გამოდის, რომ Habré-ზე სტატიების ნახევარზე მეტი (228) დამალული ან წაშლილი იყო.
• მთელი მონაცემთა ბაზა, რომელიც შედგება თითქმის ნახევარი მილიონი სტატიისგან, იწონის 2.95 გბ. შეკუმშული ფორმით - 495 მბ.
• საერთო ჯამში, Habré-ის ავტორი 37804 ადამიანია. შეგახსენებთ, რომ ეს სტატისტიკა მხოლოდ ლაივ პოსტებიდან არის.
• ყველაზე პროდუქტიული ავტორი ჰაბრეზე - ალიზარი - 8774 სტატია.
• ყველაზე რეიტინგული სტატია - 1448 პლუსი
• ყველაზე წაკითხული სტატია — 1660841 ნახვა
• ყველაზე განხილული სტატია — 2444 კომენტარი

ისე, ტოპების სახითტოპ 15 ავტორი
ტოპ 15 რეიტინგით
წაკითხული ტოპ 15
განხილული ტოპ 15

წყარო: www.habr.com