โปรโฮสต์ > บล็อก > การบริหาร > Habr ทั้งหมดในฐานข้อมูลเดียว

Habr ทั้งหมดในฐานข้อมูลเดียว

สวัสดีตอนบ่าย. เป็นเวลา 2 ปีแล้วที่เขียน บทความที่แล้ว เกี่ยวกับการแยกวิเคราะห์ Habr และบางจุดมีการเปลี่ยนแปลง

เมื่อฉันต้องการสำเนาของ Habr ฉันตัดสินใจเขียนโปรแกรมแยกวิเคราะห์ที่จะบันทึกเนื้อหาทั้งหมดของผู้เขียนลงในฐานข้อมูล มันเกิดขึ้นได้อย่างไรและพบข้อผิดพลาดอะไรบ้าง - คุณสามารถอ่านได้ภายใต้การตัด

TLDR- การเชื่อมโยงฐานข้อมูล

เวอร์ชันแรกของโปรแกรมแยกวิเคราะห์ กระทู้เดียว สารพัดปัญหา

ในการเริ่มต้น ฉันตัดสินใจสร้างต้นแบบสคริปต์ที่จะแยกวิเคราะห์บทความและวางลงในฐานข้อมูลทันทีที่ดาวน์โหลด ฉันใช้ sqlite3 โดยไม่ต้องคิดสองครั้งเพราะ มันใช้แรงงานน้อยกว่า: ไม่จำเป็นต้องมีเซิร์ฟเวอร์ภายใน, สร้างแล้วดูเหมือนถูกลบและอะไรทำนองนั้น

one_thread.py

from bs4 import BeautifulSoup
import sqlite3
import requests
from datetime import datetime

def main(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute("CREATE TABLE IF NOT EXISTS habr(id INT, author VARCHAR(255), title VARCHAR(255), content  TEXT, tags TEXT)")

    start_time = datetime.now()
    c.execute("begin")
    for i in range(min, max):
        url = "https://m.habr.com/post/{}".format(i)
        try:
            r = requests.get(url)
        except:
            with open("req_errors.txt") as file:
                file.write(i)
            continue
        if(r.status_code != 200):
            print("{} - {}".format(i, r.status_code))
            continue

        html_doc = r.text
        soup = BeautifulSoup(html_doc, 'html.parser')

        try:
            author = soup.find(class_="tm-user-info__username").get_text()
            content = soup.find(id="post-content-body")
            content = str(content)
            title = soup.find(class_="tm-article-title__text").get_text()
            tags = soup.find(class_="tm-article__tags").get_text()
            tags = tags[5:]
        except:
            author,title,tags = "Error", "Error {}".format(r.status_code), "Error"
            content = "При парсинге этой странице произошла ошибка."

        c.execute('INSERT INTO habr VALUES (?, ?, ?, ?, ?)', (i, author, title, content, tags))
        print(i)
    c.execute("commit")
    print(datetime.now() - start_time)

main(1, 490406)

ทุกอย่างเป็นแบบคลาสสิก - เราใช้ Beautiful Soup คำขอและต้นแบบด่วนพร้อมแล้ว นั่นเป็นเพียง…

  • การดาวน์โหลดหน้าอยู่ในเธรดเดียว

  • หากคุณขัดจังหวะการทำงานของสคริปต์ ฐานข้อมูลทั้งหมดจะไม่ไปไหน ท้ายที่สุดแล้ว การคอมมิตจะดำเนินการหลังจากการแยกวิเคราะห์ทั้งหมดเท่านั้น
    แน่นอน คุณสามารถยอมรับการเปลี่ยนแปลงฐานข้อมูลได้หลังจากการแทรกแต่ละครั้ง แต่เวลาดำเนินการสคริปต์จะเพิ่มขึ้นอย่างมาก

  • การแยกวิเคราะห์ 100 บทความแรกใช้เวลา 000 ชั่วโมง

ต่อไป ฉันพบบทความของผู้ใช้ ประดิษฐ์ขึ้นซึ่งฉันอ่านและพบเคล็ดลับชีวิตสองสามข้อเพื่อเร่งกระบวนการนี้:

  • การใช้มัลติเธรดเพิ่มความเร็วในการดาวน์โหลดในบางครั้ง
  • คุณไม่สามารถรับ habr เวอร์ชันเต็มได้ แต่เป็นเวอร์ชันสำหรับมือถือ
    ตัวอย่างเช่น หากบทความที่รวมเข้าด้วยกันในเวอร์ชันเดสก์ท็อปมีน้ำหนัก 378 KB ดังนั้นในเวอร์ชันมือถือจะมีขนาด 126 KB อยู่แล้ว

รุ่นที่สอง หลายเธรดห้ามชั่วคราวจาก Habr

เมื่อฉันสำรวจอินเทอร์เน็ตในหัวข้อมัลติเธรดในไพธอน ฉันเลือกตัวเลือกที่ง่ายที่สุดด้วย multiprocessing.dummy ฉันสังเกตเห็นว่าปัญหาปรากฏขึ้นพร้อมกับมัลติเธรด

SQLite3 ไม่ต้องการทำงานกับมากกว่าหนึ่งเธรด.
ที่ตายตัว check_same_thread=Falseแต่ข้อผิดพลาดนี้ไม่ได้เป็นเพียงข้อผิดพลาดเดียว เมื่อพยายามแทรกลงในฐานข้อมูล บางครั้งเกิดข้อผิดพลาดที่ฉันไม่สามารถแก้ไขได้

ดังนั้นฉันจึงตัดสินใจละทิ้งการแทรกบทความลงในฐานข้อมูลโดยตรงทันทีและเมื่อนึกถึงโซลูชันที่รวมเข้าด้วยกันฉันจึงตัดสินใจใช้ไฟล์เพราะไม่มีปัญหากับการเขียนแบบมัลติเธรดไปยังไฟล์

Habr เริ่มห้ามใช้มากกว่าสามเธรด.
โดยเฉพาะอย่างยิ่งความพยายามอย่างกระตือรือร้นที่จะผ่านไปยัง Habr อาจจบลงด้วยการแบน IP เป็นเวลาสองสามชั่วโมง ดังนั้นคุณต้องใช้เพียง 3 เธรด แต่ก็ดีอยู่แล้วเนื่องจากเวลาในการทำซ้ำบทความมากกว่า 100 บทความลดลงจาก 26 เป็น 12 วินาที

เป็นที่น่าสังเกตว่าเวอร์ชันนี้ค่อนข้างไม่เสถียรและการดาวน์โหลดเป็นระยะ ๆ จะหยุดลงในบทความจำนวนมาก

async_v1.py

from bs4 import BeautifulSoup
import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/post/{}".format(i)

    try: r = requests.get(url)
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    # Запись заблокированных запросов на сервер
    if (r.status_code == 503):
        with open("Error503.txt", "a") as write_file:
            write_file.write(str(i) + "n")
            logging.warning('{} / 503 Error'.format(i))

    # Если поста не существует или он был скрыт
    if (r.status_code != 200):
        logging.info("{} / {} Code".format(i, r.status_code))
        return r.status_code

    html_doc = r.text
    soup = BeautifulSoup(html_doc, 'html5lib')

    try:
        author = soup.find(class_="tm-user-info__username").get_text()

        timestamp = soup.find(class_='tm-user-meta__date')
        timestamp = timestamp['title']

        content = soup.find(id="post-content-body")
        content = str(content)
        title = soup.find(class_="tm-article-title__text").get_text()
        tags = soup.find(class_="tm-article__tags").get_text()
        tags = tags[5:]

        # Метка, что пост является переводом или туториалом.
        tm_tag = soup.find(class_="tm-tags tm-tags_post").get_text()

        rating = soup.find(class_="tm-votes-score").get_text()
    except:
        author = title = tags = timestamp = tm_tag = rating = "Error" 
        content = "При парсинге этой странице произошла ошибка."
        logging.warning("Error parsing - {}".format(i))
        with open("Errors.txt", "a") as write_file:
            write_file.write(str(i) + "n")

    # Записываем статью в json
    try:
        article = [i, timestamp, author, title, content, tm_tag, rating, tags]
        with open(currentFile, "w") as write_file:
            json.dump(article, write_file)
    except:
        print(i)
        raise

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: async_v1.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

รุ่นที่สาม สุดท้าย

ในขณะที่ดีบักเวอร์ชันที่สอง ฉันค้นพบว่า Habr มี API ที่ไซต์เวอร์ชันมือถือเข้าถึงได้ในทันที โหลดได้เร็วกว่ารุ่นมือถือเนื่องจากเป็นเพียง json ซึ่งไม่จำเป็นต้องแยกวิเคราะห์ด้วยซ้ำ ในที่สุดฉันก็ตัดสินใจเขียนสคริปต์ใหม่อีกครั้ง

จึงได้พบ การเชื่อมโยงนี้ API คุณสามารถเริ่มแยกวิเคราะห์ได้

async_v2.py

import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/kek/v1/articles/{}/?fl=ru%2Cen&hl=ru".format(i)

    try:
        r = requests.get(url)
        if r.status_code == 503:
            logging.critical("503 Error")
            return 503
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    data = json.loads(r.text)

    if data['success']:
        article = data['data']['article']

        id = article['id']
        is_tutorial = article['is_tutorial']
        time_published = article['time_published']
        comments_count = article['comments_count']
        lang = article['lang']
        tags_string = article['tags_string']
        title = article['title']
        content = article['text_html']
        reading_count = article['reading_count']
        author = article['author']['login']
        score = article['voting']['score']

        data = (id, is_tutorial, time_published, title, content, comments_count, lang, tags_string, reading_count, author, score)
        with open(currentFile, "w") as write_file:
            json.dump(data, write_file)

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: asyc.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

ประกอบด้วยฟิลด์ที่เกี่ยวข้องกับทั้งบทความเองและผู้เขียนที่เขียน

API.png

Habr ทั้งหมดในฐานข้อมูลเดียว

ฉันไม่ได้ทิ้ง json ทั้งหมดของแต่ละบทความ แต่บันทึกเฉพาะฟิลด์ที่ฉันต้องการ:

  • id
  • is_tutorial
  • เวลา_เผยแพร่แล้ว
  • ชื่อเรื่อง
  • เนื้อหา
  • ความคิดเห็น_จำนวน
  • lang เป็นภาษาที่ใช้เขียนบทความ จนถึงตอนนี้มันมีแค่ en และ ru
  • tags_string - แท็กทั้งหมดจากโพสต์
  • กำลังอ่าน_นับ
  • ผู้เขียน
  • คะแนน — คะแนนบทความ

ดังนั้น เมื่อใช้ API ฉันจึงลดเวลาดำเนินการสคริปต์ลงเหลือ 8 วินาทีต่อ 100 url

หลังจากที่เราดาวน์โหลดข้อมูลที่ต้องการแล้ว เราต้องประมวลผลและป้อนลงในฐานข้อมูล ฉันไม่มีปัญหากับสิ่งนี้เช่นกัน:

parser.py

import json
import sqlite3
import logging
from datetime import datetime

def parser(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute('PRAGMA synchronous = 0') # Отключаем подтверждение записи, так скорость увеличивается в разы.
    c.execute("CREATE TABLE IF NOT EXISTS articles(id INTEGER, time_published TEXT, author TEXT, title TEXT, content TEXT, 
    lang TEXT, comments_count INTEGER, reading_count INTEGER, score INTEGER, is_tutorial INTEGER, tags_string TEXT)")
    try:
        for i in range(min, max):
            try:
                filename = "files\{}.json".format(i)
                f = open(filename)
                data = json.load(f)

                (id, is_tutorial, time_published, title, content, comments_count, lang,
                 tags_string, reading_count, author, score) = data

                # Ради лучшей читаемости базы можно пренебречь читаемостью кода. Или нет?
                # Если вам так кажется, можно просто заменить кортеж аргументом data. Решать вам.

                c.execute('INSERT INTO articles VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)', (id, time_published, author,
                                                                                        title, content, lang,
                                                                                        comments_count, reading_count,
                                                                                        score, is_tutorial,
                                                                                        tags_string))
                f.close()

            except IOError:
                logging.info('FileNotExists')
                continue

    finally:
        conn.commit()

start_time = datetime.now()
parser(490000, 490918)
print(datetime.now() - start_time)

สถิติ

ตามธรรมเนียมแล้ว ในที่สุด คุณสามารถแยกสถิติบางอย่างออกจากข้อมูลได้:

ในรูปแบบของท็อปส์ซูผู้เขียน 15 อันดับแรกHabr ทั้งหมดในฐานข้อมูลเดียว
15 อันดับแรกตามคะแนนHabr ทั้งหมดในฐานข้อมูลเดียว
อ่าน 15 อันดับแรกHabr ทั้งหมดในฐานข้อมูลเดียว
15 อันดับแรกที่กล่าวถึงHabr ทั้งหมดในฐานข้อมูลเดียว

ที่มา: will.com

เพิ่มความคิดเห็น