🥇하나의 데이터베이스에 있는 모든 Habr

좋은 오후에요. 쓴지 2년이 되었습니다. 마지막 기사 Habr 구문 분석에 대해 몇 가지 사항이 변경되었습니다.

Habr의 복사본을 갖고 싶었을 때 저자의 모든 콘텐츠를 데이터베이스에 저장하는 파서를 작성하기로 결정했습니다. 어떻게 발생했고 어떤 오류가 발생했는지 - 아래에서 읽을 수 있습니다.

파서의 첫 번째 버전입니다. 하나의 스레드, 많은 문제

우선, 기사를 다운로드하는 즉시 구문 분석하여 데이터베이스에 배치하는 스크립트 프로토타입을 만들기로 결정했습니다. 두 번 생각하지 않고 sqlite3를 사용했습니다. 덜 노동 집약적이었습니다. 로컬 서버, 생성-표시-삭제 등이 필요하지 않았습니다.

one_thread.py

from bs4 import BeautifulSoup
import sqlite3
import requests
from datetime import datetime

def main(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute("CREATE TABLE IF NOT EXISTS habr(id INT, author VARCHAR(255), title VARCHAR(255), content  TEXT, tags TEXT)")

    start_time = datetime.now()
    c.execute("begin")
    for i in range(min, max):
        url = "https://m.habr.com/post/{}".format(i)
        try:
            r = requests.get(url)
        except:
            with open("req_errors.txt") as file:
                file.write(i)
            continue
        if(r.status_code != 200):
            print("{} - {}".format(i, r.status_code))
            continue

        html_doc = r.text
        soup = BeautifulSoup(html_doc, 'html.parser')

        try:
            author = soup.find(class_="tm-user-info__username").get_text()
            content = soup.find(id="post-content-body")
            content = str(content)
            title = soup.find(class_="tm-article-title__text").get_text()
            tags = soup.find(class_="tm-article__tags").get_text()
            tags = tags[5:]
        except:
            author,title,tags = "Error", "Error {}".format(r.status_code), "Error"
            content = "При парсинге этой странице произошла ошибка."

        c.execute('INSERT INTO habr VALUES (?, ?, ?, ?, ?)', (i, author, title, content, tags))
        print(i)
    c.execute("commit")
    print(datetime.now() - start_time)

main(1, 490406)

모든 것이 고전적입니다. Beautiful Soup, 요청 및 빠른 프로토 타입을 사용합니다. 그건 그냥…

페이지 다운로드가 하나의 스레드에 있음
스크립트 실행을 중단하면 전체 데이터베이스가 아무데도 가지 않습니다. 결국 커밋은 모든 구문 분석 후에 수행됩니다.
물론 삽입할 때마다 데이터베이스에 변경 사항을 커밋할 수 있지만 스크립트 실행 시간이 크게 늘어납니다.
처음 100개의 기사를 파싱하는 데 000시간이 걸렸습니다.

다음으로 사용자의 기사를 찾습니다. 공적분, 이 프로세스를 가속화하기 위해 몇 가지 생활 해킹을 읽고 찾았습니다.

멀티스레딩을 사용하면 때때로 다운로드 속도가 빨라집니다.
habr의 정식 버전이 아닌 모바일 버전을 얻을 수 있습니다.
예를 들어 데스크톱 버전에서 공동 통합된 기사의 무게가 378KB인 경우 모바일 버전에서는 이미 126KB입니다.

두 번째 버전. 많은 스레드, Habr에서 일시적인 금지

파이썬의 멀티스레딩 주제에 대해 인터넷을 샅샅이 뒤졌을 때 multiprocessing.dummy로 가장 간단한 옵션을 선택했는데 멀티스레딩과 함께 문제가 나타나는 것을 발견했습니다.

SQLite3는 둘 이상의 스레드에서 작업하기를 원하지 않습니다..
결정된 check_same_thread=False,하지만이 오류가 유일한 것이 아니라 데이터베이스에 삽입하려고 할 때 때때로 해결할 수없는 오류가 발생합니다.

따라서 나는 기사를 데이터베이스에 직접 삽입하는 것을 포기하고 공동 통합 솔루션을 기억하면서 파일을 사용하기로 결정했습니다. 파일에 대한 다중 스레드 쓰기에 문제가 없기 때문입니다.

Habr, 쓰레드 XNUMX개 이상 사용 금지 시작.
특히 Habr을 통과하려는 열성적인 시도는 몇 시간 동안 IP 금지로 끝날 수 있습니다. 따라서 3개의 스레드만 사용해야 하지만 100개 이상의 기사를 반복하는 시간이 26초에서 12초로 줄어들었기 때문에 이것은 이미 좋습니다.

이 버전은 다소 불안정하며 많은 수의 기사에서 주기적으로 다운로드가 중단된다는 점은 주목할 가치가 있습니다.

async_v1.py

from bs4 import BeautifulSoup
import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/post/{}".format(i)

    try: r = requests.get(url)
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    # Запись заблокированных запросов на сервер
    if (r.status_code == 503):
        with open("Error503.txt", "a") as write_file:
            write_file.write(str(i) + "n")
            logging.warning('{} / 503 Error'.format(i))

    # Если поста не существует или он был скрыт
    if (r.status_code != 200):
        logging.info("{} / {} Code".format(i, r.status_code))
        return r.status_code

    html_doc = r.text
    soup = BeautifulSoup(html_doc, 'html5lib')

    try:
        author = soup.find(class_="tm-user-info__username").get_text()

        timestamp = soup.find(class_='tm-user-meta__date')
        timestamp = timestamp['title']

        content = soup.find(id="post-content-body")
        content = str(content)
        title = soup.find(class_="tm-article-title__text").get_text()
        tags = soup.find(class_="tm-article__tags").get_text()
        tags = tags[5:]

        # Метка, что пост является переводом или туториалом.
        tm_tag = soup.find(class_="tm-tags tm-tags_post").get_text()

        rating = soup.find(class_="tm-votes-score").get_text()
    except:
        author = title = tags = timestamp = tm_tag = rating = "Error" 
        content = "При парсинге этой странице произошла ошибка."
        logging.warning("Error parsing - {}".format(i))
        with open("Errors.txt", "a") as write_file:
            write_file.write(str(i) + "n")

    # Записываем статью в json
    try:
        article = [i, timestamp, author, title, content, tm_tag, rating, tags]
        with open(currentFile, "w") as write_file:
            json.dump(article, write_file)
    except:
        print(i)
        raise

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: async_v1.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

세 번째 버전. 결정적인

두 번째 버전을 디버깅하다가 갑자기 Habr에 사이트의 모바일 버전이 액세스하는 API가 있음을 발견했습니다. 파싱할 필요조차 없는 json이기 때문에 모바일 버전보다 빠르게 로드됩니다. 결국 나는 대본을 다시 쓰기로 했다.

그래서, 찾은 이 링크 API, 구문 분석을 시작할 수 있습니다.

async_v2.py

import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/kek/v1/articles/{}/?fl=ru%2Cen&hl=ru".format(i)

    try:
        r = requests.get(url)
        if r.status_code == 503:
            logging.critical("503 Error")
            return 503
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    data = json.loads(r.text)

    if data['success']:
        article = data['data']['article']

        id = article['id']
        is_tutorial = article['is_tutorial']
        time_published = article['time_published']
        comments_count = article['comments_count']
        lang = article['lang']
        tags_string = article['tags_string']
        title = article['title']
        content = article['text_html']
        reading_count = article['reading_count']
        author = article['author']['login']
        score = article['voting']['score']

        data = (id, is_tutorial, time_published, title, content, comments_count, lang, tags_string, reading_count, author, score)
        with open(currentFile, "w") as write_file:
            json.dump(data, write_file)

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: asyc.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

여기에는 기사 자체와 기사를 작성한 작성자 모두와 관련된 필드가 포함됩니다.

API.png

각 기사의 전체 json을 덤프하지 않고 필요한 필드만 저장했습니다.

id
is_tutorial
시간_게시됨
제목
함유량
댓글_개수
lang은 기사가 작성된 언어입니다. 지금까지는 en과 ru만 있습니다.
tags_string - 게시물의 모든 태그
독서 횟수
저자
점수 — 기사 등급.

그래서 API를 이용해서 URL 8개당 스크립트 실행시간을 100초로 줄였습니다.

필요한 데이터를 다운로드한 후 처리하고 데이터베이스에 입력해야 합니다. 나는 이것에도 아무런 문제가 없었습니다.

파서.py

import json
import sqlite3
import logging
from datetime import datetime

def parser(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute('PRAGMA synchronous = 0') # Отключаем подтверждение записи, так скорость увеличивается в разы.
    c.execute("CREATE TABLE IF NOT EXISTS articles(id INTEGER, time_published TEXT, author TEXT, title TEXT, content TEXT, 
    lang TEXT, comments_count INTEGER, reading_count INTEGER, score INTEGER, is_tutorial INTEGER, tags_string TEXT)")
    try:
        for i in range(min, max):
            try:
                filename = "files\{}.json".format(i)
                f = open(filename)
                data = json.load(f)

                (id, is_tutorial, time_published, title, content, comments_count, lang,
                 tags_string, reading_count, author, score) = data

                # Ради лучшей читаемости базы можно пренебречь читаемостью кода. Или нет?
                # Если вам так кажется, можно просто заменить кортеж аргументом data. Решать вам.

                c.execute('INSERT INTO articles VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)', (id, time_published, author,
                                                                                        title, content, lang,
                                                                                        comments_count, reading_count,
                                                                                        score, is_tutorial,
                                                                                        tags_string))
                f.close()

            except IOError:
                logging.info('FileNotExists')
                continue

    finally:
        conn.commit()

start_time = datetime.now()
parser(490000, 490918)
print(datetime.now() - start_time)

통계

음, 전통적으로 마지막으로 데이터에서 몇 가지 통계를 추출할 수 있습니다.

예상되는 490건의 다운로드 중 406건의 기사만 다운로드되었습니다. 하브레 기사의 절반 이상(228건)이 숨거나 삭제된 것으로 드러났다.
거의 2.95만 개의 기사로 구성된 전체 데이터베이스의 무게는 495GB입니다. 압축된 형식 - XNUMXMB.
총 37804명이 Habré의 작가입니다. 이 통계는 라이브 게시물에서만 가져온 것임을 알려드립니다.
Habré에서 가장 생산적인 작가 - 알리자르 - 8774개의 기사.
최고 평점 기사 — 1448 플러스
가장 많이 읽은 기사 — 1660841 조회수
가장 많이 논의된 기사 — 2444개의 댓글

글쎄,상의의 형태로상위 15명의 저자
평가 기준 상위 15위
상위 15개 읽기
논의된 상위 15개

출처 : habr.com

하나의 데이터베이스에 있는 모든 Habr

파서의 첫 번째 버전입니다. 하나의 스레드, 많은 문제

두 번째 버전. 많은 스레드, Habr에서 일시적인 금지

세 번째 버전. 결정적인

통계

코멘트를 추가 답장을 취소