Habr ທັງໝົດໃນຖານຂໍ້ມູນດຽວ

ສະ​ບາຍ​ດີ​ຕອນ​ສວາຍ. ມັນເປັນເວລາ 2 ປີແລ້ວນັບຕັ້ງແຕ່ຂ້ອຍຂຽນມັນ ບົດຄວາມສຸດທ້າຍ ກ່ຽວກັບ Habr paring, ແລະບາງສິ່ງບາງຢ່າງໄດ້ມີການປ່ຽນແປງ.

ເມື່ອຂ້ອຍຢາກມີສໍາເນົາຂອງ Habr, ຂ້ອຍຕັດສິນໃຈຂຽນ parser ທີ່ຈະຊ່ວຍປະຢັດເນື້ອຫາທັງຫມົດຂອງຜູ້ຂຽນເຂົ້າໄປໃນຖານຂໍ້ມູນ. ມັນເກີດຂຶ້ນແນວໃດແລະສິ່ງທີ່ຂ້ອຍພົບຂໍ້ຜິດພາດ - ທ່ານສາມາດອ່ານພາຍໃຕ້ການຕັດ.

TL;DR - ເຊື່ອມຕໍ່ກັບຖານຂໍ້ມູນ

ຮຸ່ນທໍາອິດຂອງຕົວວິເຄາະ. ກະທູ້ດຽວ, ບັນຫາຫຼາຍ

ເພື່ອເລີ່ມຕົ້ນດ້ວຍ, ຂ້າພະເຈົ້າໄດ້ຕັດສິນໃຈສ້າງຕົວແບບຂອງສະຄິບທີ່, ທັນທີທີ່ດາວໂຫລດ, ບົດຄວາມຈະຖືກວິເຄາະແລະວາງໄວ້ໃນຖານຂໍ້ມູນ. ໂດຍບໍ່ຄິດສອງຄັ້ງ, ຂ້ອຍໃຊ້ sqlite3, ເພາະວ່າ ... ມັນໃຊ້ແຮງງານຫນ້ອຍ: ທ່ານບໍ່ຈໍາເປັນຕ້ອງມີເຄື່ອງແມ່ຂ່າຍທ້ອງຖິ່ນ, ສ້າງ, ເບິ່ງ, ລຶບແລະສິ່ງດັ່ງກ່າວ.

one_thread.py

from bs4 import BeautifulSoup
import sqlite3
import requests
from datetime import datetime

def main(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute("CREATE TABLE IF NOT EXISTS habr(id INT, author VARCHAR(255), title VARCHAR(255), content  TEXT, tags TEXT)")

    start_time = datetime.now()
    c.execute("begin")
    for i in range(min, max):
        url = "https://m.habr.com/post/{}".format(i)
        try:
            r = requests.get(url)
        except:
            with open("req_errors.txt") as file:
                file.write(i)
            continue
        if(r.status_code != 200):
            print("{} - {}".format(i, r.status_code))
            continue

        html_doc = r.text
        soup = BeautifulSoup(html_doc, 'html.parser')

        try:
            author = soup.find(class_="tm-user-info__username").get_text()
            content = soup.find(id="post-content-body")
            content = str(content)
            title = soup.find(class_="tm-article-title__text").get_text()
            tags = soup.find(class_="tm-article__tags").get_text()
            tags = tags[5:]
        except:
            author,title,tags = "Error", "Error {}".format(r.status_code), "Error"
            content = "При парсинге этой странице произошла ошибка."

        c.execute('INSERT INTO habr VALUES (?, ?, ?, ?, ?)', (i, author, title, content, tags))
        print(i)
    c.execute("commit")
    print(datetime.now() - start_time)

main(1, 490406)

ທຸກສິ່ງທຸກຢ່າງແມ່ນອີງຕາມຄລາສສິກ - ພວກເຮົາໃຊ້ແກງທີ່ສວຍງາມ, ການຮ້ອງຂໍແລະຕົວແບບໄວແມ່ນກຽມພ້ອມ. ວ່າພຽງແຕ່ ...

• ຫນ້າເວັບໄດ້ຖືກດາວໂຫຼດຢູ່ໃນຫົວຂໍ້ດຽວ

• ຖ້າທ່ານຂັດຂວາງການປະຕິບັດຂອງ script, ຫຼັງຈາກນັ້ນຖານຂໍ້ມູນທັງຫມົດຈະບໍ່ຢູ່ໃສ. ຫຼັງຈາກທີ່ທັງຫມົດ, ຄໍາຫມັ້ນສັນຍາໄດ້ຖືກປະຕິບັດພຽງແຕ່ຫຼັງຈາກການວິເຄາະທັງຫມົດ.
  ແນ່ນອນ, ທ່ານສາມາດເຮັດການປ່ຽນແປງຖານຂໍ້ມູນຫຼັງຈາກການໃສ່ແຕ່ລະຄັ້ງ, ແຕ່ເວລາປະຕິບັດ script ຈະເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍ.

• ການວິເຄາະ 100 ບົດຄວາມທໍາອິດໃຊ້ເວລາ 000 ຊົ່ວໂມງ.

ຫຼັງຈາກນັ້ນ, ຂ້າພະເຈົ້າຊອກຫາບົດຄວາມຂອງຜູ້ໃຊ້ ປະສົມປະສານ, ທີ່ຂ້າພະເຈົ້າໄດ້ອ່ານແລະພົບເຫັນ hacks ຊີວິດຈໍານວນຫນຶ່ງເພື່ອເລັ່ງຂະບວນການນີ້:

• ການນໍາໃຊ້ multithreading ເລັ່ງການດາວໂຫຼດຢ່າງຫຼວງຫຼາຍ.
• ທ່ານບໍ່ສາມາດໄດ້ຮັບສະບັບເຕັມຂອງ Habr, ແຕ່ສະບັບມືຖືຂອງມັນ.
  ຕົວຢ່າງ, ຖ້າບົດຄວາມປະສົມປະສານໃນສະບັບ desktop ມີນ້ໍາຫນັກ 378 KB, ຫຼັງຈາກນັ້ນໃນສະບັບມືຖືມັນແມ່ນ 126 KB ແລ້ວ.

ສະບັບທີສອງ. ຫຼາຍກະທູ້, ຫ້າມຊົ່ວຄາວຈາກ Habr

ໃນເວລາທີ່ຂ້າພະເຈົ້າ scoured ອິນເຕີເນັດກ່ຽວກັບຫົວຂໍ້ຂອງ multithreading ໃນ python ແລະເລືອກທາງເລືອກທີ່ງ່າຍດາຍທີ່ສຸດກັບ multiprocessing.dummy, ຂ້າພະເຈົ້າສັງເກດເຫັນວ່າບັນຫາຈະປາກົດພ້ອມກັບ multithreading.

SQLite3 ບໍ່ຕ້ອງການເຮັດວຽກກັບຫຼາຍກວ່າຫນຶ່ງ thread.
ແກ້ໄຂ check_same_thread=False, ແຕ່ຄວາມຜິດພາດນີ້ບໍ່ແມ່ນອັນດຽວ; ເມື່ອພະຍາຍາມໃສ່ເຂົ້າໄປໃນຖານຂໍ້ມູນ, ບາງຄັ້ງຄວາມຜິດພາດເກີດຂື້ນທີ່ຂ້ອຍບໍ່ສາມາດແກ້ໄຂໄດ້.

ດັ່ງນັ້ນ, ຂ້າພະເຈົ້າຕັດສິນໃຈທີ່ຈະປະຖິ້ມການແຊກທັນທີຂອງບົດຄວາມໂດຍກົງເຂົ້າໄປໃນຖານຂໍ້ມູນແລະ, ຈື່ຈໍາການແກ້ໄຂປະສົມປະສານ, ຂ້າພະເຈົ້າຕັດສິນໃຈທີ່ຈະນໍາໃຊ້ໄຟລ໌, ເນື່ອງຈາກວ່າບໍ່ມີບັນຫາກັບການຂຽນຫຼາຍກະທູ້ກັບໄຟລ໌.

Habr ເລີ່ມຫ້າມການໃຊ້ຫຼາຍກວ່າສາມກະທູ້.
ຄວາມພະຍາຍາມຢ່າງກະຕືລືລົ້ນໂດຍສະເພາະເພື່ອເຂົ້າຫາ Habr ອາດຈະສົ່ງຜົນໃຫ້ມີການຫ້າມ IP ສໍາລັບສອງສາມຊົ່ວໂມງ. ດັ່ງນັ້ນ, ທ່ານຈະຕ້ອງໃຊ້ພຽງແຕ່ 3 ກະທູ້, ແຕ່ນີ້ແມ່ນດີແລ້ວ, ນັບຕັ້ງແຕ່ເວລາທີ່ຈະຈັດລຽງຕາມ 100 ບົດຄວາມແມ່ນຫຼຸດລົງຈາກ 26 ຫາ 12 ວິນາທີ.

ມັນເປັນມູນຄ່າທີ່ສັງເກດວ່າສະບັບນີ້ແມ່ນຂ້ອນຂ້າງບໍ່ຫມັ້ນຄົງ, ແລະການດາວໂຫຼດແຕ່ລະໄລຍະລົ້ມເຫລວໃນຈໍານວນບົດຄວາມຈໍານວນຫລາຍ.

async_v1.py

from bs4 import BeautifulSoup
import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/post/{}".format(i)

    try: r = requests.get(url)
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    # Запись заблокированных запросов на сервер
    if (r.status_code == 503):
        with open("Error503.txt", "a") as write_file:
            write_file.write(str(i) + "n")
            logging.warning('{} / 503 Error'.format(i))

    # Если поста не существует или он был скрыт
    if (r.status_code != 200):
        logging.info("{} / {} Code".format(i, r.status_code))
        return r.status_code

    html_doc = r.text
    soup = BeautifulSoup(html_doc, 'html5lib')

    try:
        author = soup.find(class_="tm-user-info__username").get_text()

        timestamp = soup.find(class_='tm-user-meta__date')
        timestamp = timestamp['title']

        content = soup.find(id="post-content-body")
        content = str(content)
        title = soup.find(class_="tm-article-title__text").get_text()
        tags = soup.find(class_="tm-article__tags").get_text()
        tags = tags[5:]

        # Метка, что пост является переводом или туториалом.
        tm_tag = soup.find(class_="tm-tags tm-tags_post").get_text()

        rating = soup.find(class_="tm-votes-score").get_text()
    except:
        author = title = tags = timestamp = tm_tag = rating = "Error" 
        content = "При парсинге этой странице произошла ошибка."
        logging.warning("Error parsing - {}".format(i))
        with open("Errors.txt", "a") as write_file:
            write_file.write(str(i) + "n")

    # Записываем статью в json
    try:
        article = [i, timestamp, author, title, content, tm_tag, rating, tags]
        with open(currentFile, "w") as write_file:
            json.dump(article, write_file)
    except:
        print(i)
        raise

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: async_v1.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

ສະບັບທີສາມ. ສຸດທ້າຍ

ໃນຂະນະທີ່ debugging ສະບັບທີສອງ, ຂ້າພະເຈົ້າໄດ້ຄົ້ນພົບວ່າ Habr ຢ່າງກະທັນຫັນມີ API ທີ່ເຂົ້າເຖິງໄດ້ໂດຍສະບັບມືຖືຂອງເວັບໄຊທ໌. ມັນໂຫຼດໄວກວ່າສະບັບມືຖື, ເພາະວ່າມັນເປັນພຽງແຕ່ json, ເຊິ່ງບໍ່ຈໍາເປັນຕ້ອງຖືກວິເຄາະ. ໃນ​ທີ່​ສຸດ, ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ຕັດ​ສິນ​ໃຈ​ທີ່​ຈະ​ຂຽນ​ຄືນ​ໃຫມ່​ຂອງ​ຂ້າ​ພະ​ເຈົ້າ​ອີກ​ເທື່ອ​ຫນຶ່ງ.

ດັ່ງນັ້ນ, ໄດ້ຄົ້ນພົບ ການເຊື່ອມຕໍ່ນີ້ API, ທ່ານສາມາດເລີ່ມຕົ້ນການແຍກມັນ.

async_v2.py

import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/kek/v1/articles/{}/?fl=ru%2Cen&hl=ru".format(i)

    try:
        r = requests.get(url)
        if r.status_code == 503:
            logging.critical("503 Error")
            return 503
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    data = json.loads(r.text)

    if data['success']:
        article = data['data']['article']

        id = article['id']
        is_tutorial = article['is_tutorial']
        time_published = article['time_published']
        comments_count = article['comments_count']
        lang = article['lang']
        tags_string = article['tags_string']
        title = article['title']
        content = article['text_html']
        reading_count = article['reading_count']
        author = article['author']['login']
        score = article['voting']['score']

        data = (id, is_tutorial, time_published, title, content, comments_count, lang, tags_string, reading_count, author, score)
        with open(currentFile, "w") as write_file:
            json.dump(data, write_file)

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: asyc.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

ມັນມີຊ່ອງຂໍ້ມູນທີ່ກ່ຽວຂ້ອງກັບທັງບົດຄວາມຕົວມັນເອງແລະຜູ້ຂຽນທີ່ຂຽນມັນ.

API.png

ຂ້ອຍບໍ່ໄດ້ຖິ້ມ json ເຕັມຂອງແຕ່ລະບົດຄວາມ, ແຕ່ບັນທຶກພຽງແຕ່ຊ່ອງທີ່ຂ້ອຍຕ້ອງການ:

• id
• is_tutorial
• time_published
• ຫົວຂໍ້
• ເນື້ອໃນ
• ຄຳເຫັນ_ນັບ
• lang ແມ່ນພາສາທີ່ບົດຂຽນຖືກຂຽນ. ມາຮອດປະຈຸມັນມີພຽງແຕ່ en ແລະ ru.
• tags_string — tags ທັງ​ຫມົດ​ຈາກ​ການ​ຕອບ​
• ອ່ານ_ນັບ
• ຜູ້​ປະ​ພັນ
• ຄະ​ແນນ — rating ບົດ​ຄວາມ​.

ດັ່ງນັ້ນ, ການນໍາໃຊ້ API, ຂ້າພະເຈົ້າໄດ້ຫຼຸດລົງເວລາປະຕິບັດສະຄິບເປັນ 8 ວິນາທີຕໍ່ 100 url.

ຫຼັງຈາກທີ່ພວກເຮົາໄດ້ດາວໂຫລດຂໍ້ມູນທີ່ພວກເຮົາຕ້ອງການ, ພວກເຮົາຈໍາເປັນຕ້ອງປຸງແຕ່ງມັນແລະເຂົ້າໄປໃນຖານຂໍ້ມູນ. ບໍ່ມີບັນຫາກັບເລື່ອງນີ້:

parser.py

import json
import sqlite3
import logging
from datetime import datetime

def parser(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute('PRAGMA synchronous = 0') # Отключаем подтверждение записи, так скорость увеличивается в разы.
    c.execute("CREATE TABLE IF NOT EXISTS articles(id INTEGER, time_published TEXT, author TEXT, title TEXT, content TEXT, 
    lang TEXT, comments_count INTEGER, reading_count INTEGER, score INTEGER, is_tutorial INTEGER, tags_string TEXT)")
    try:
        for i in range(min, max):
            try:
                filename = "files\{}.json".format(i)
                f = open(filename)
                data = json.load(f)

                (id, is_tutorial, time_published, title, content, comments_count, lang,
                 tags_string, reading_count, author, score) = data

                # Ради лучшей читаемости базы можно пренебречь читаемостью кода. Или нет?
                # Если вам так кажется, можно просто заменить кортеж аргументом data. Решать вам.

                c.execute('INSERT INTO articles VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)', (id, time_published, author,
                                                                                        title, content, lang,
                                                                                        comments_count, reading_count,
                                                                                        score, is_tutorial,
                                                                                        tags_string))
                f.close()

            except IOError:
                logging.info('FileNotExists')
                continue

    finally:
        conn.commit()

start_time = datetime.now()
parser(490000, 490918)
print(datetime.now() - start_time)

ສະຖິຕິ

ດີ, ຕາມປະເພນີ, ສຸດທ້າຍ, ທ່ານສາມາດສະກັດສະຖິຕິບາງຢ່າງຈາກຂໍ້ມູນ:

• ໃນຈໍານວນທີ່ຄາດໄວ້ 490, ພຽງແຕ່ 406 ບົດຄວາມຖືກດາວໂຫຼດ. ມັນ turns ໃຫ້ ເຫັນ ວ່າ ຫຼາຍ ກ ່ ວາ ເຄິ່ງ ຫນຶ່ງ (228) ຂອງ ບົດ ຄວາມ ກ່ຽວ ກັບ Habré ໄດ້ ຖືກ ເຊື່ອງ ໄວ້ ຫຼື ລຶບ.
• ຖານຂໍ້ມູນທັງຫມົດ, ປະກອບດ້ວຍເກືອບເຄິ່ງຫນຶ່ງລ້ານບົດຄວາມ, ນ້ໍາຫນັກ 2.95 GB. ໃນຮູບແບບບີບອັດ - 495 MB.
• ໃນຈໍານວນທັງຫມົດ, ມີ 37804 ຜູ້ຂຽນໃນHabre. ຂ້າພະເຈົ້າຂໍເຕືອນທ່ານວ່າເຫຼົ່ານີ້ແມ່ນສະຖິຕິພຽງແຕ່ຈາກຂໍ້ຄວາມສົດ.
• ຜູ້ຂຽນທີ່ມີປະໂຫຍດສູງສຸດໃນ Habre - ອາລິຊາ — 8774 ບົດ​ຄວາມ​.
• ບົດຄວາມອັນດັບສູງສຸດ — 1448 pluses
• ບົດຄວາມທີ່ອ່ານຫຼາຍທີ່ສຸດ - 1660841 views
• ສ່ວນຫຼາຍແມ່ນເວົ້າເຖິງບົດຄວາມ — 2444 ຄໍາ​ເຫັນ

ດີ, ໃນຮູບແບບຂອງ topsຜູ້ຂຽນ 15 ອັນດັບຕົ້ນ
ອັນດັບ 15 ໂດຍການຈັດອັນດັບ
ອັນດັບ 15 ອ່ານ
ສຸດຍອດ 15 ສົນທະນາ

ແຫຼ່ງຂໍ້ມູນ: www.habr.com