Habr ទាំងអស់នៅក្នុងមូលដ្ឋានទិន្នន័យមួយ។

អរុណសួស្តី។ វាមានរយៈពេល 2 ឆ្នាំហើយចាប់តាំងពីខ្ញុំសរសេរវា។ អត្ថបទចុងក្រោយ អំពីការញែក Habr ហើយរឿងខ្លះបានផ្លាស់ប្តូរ។

នៅពេលដែលខ្ញុំចង់មានច្បាប់ចម្លងនៃ Habr ខ្ញុំបានសម្រេចចិត្តសរសេរ parser ដែលនឹងរក្សាទុកមាតិកាទាំងអស់របស់អ្នកនិពន្ធទៅក្នុងមូលដ្ឋានទិន្នន័យ។ របៀបដែលវាកើតឡើងនិងកំហុសអ្វីដែលខ្ញុំបានជួបប្រទះ - អ្នកអាចអាននៅក្រោមការកាត់។

TLDR- ភ្ជាប់ទៅមូលដ្ឋានទិន្នន័យ

កំណែដំបូងនៃឧបករណ៍ញែក។ ខ្សែតែមួយបញ្ហាជាច្រើន។

ដើម្បីចាប់ផ្តើម ខ្ញុំបានសម្រេចចិត្តបង្កើតគំរូដើមនៃស្គ្រីប ដែលភ្លាមៗបន្ទាប់ពីការទាញយក អត្ថបទនឹងត្រូវបានញែក ហើយដាក់ក្នុងមូលដ្ឋានទិន្នន័យ។ ដោយមិនគិតពីរដង ខ្ញុំប្រើ sqlite3 ព្រោះ... វាមិនសូវប្រើកម្លាំងពលកម្មទេ៖ អ្នកមិនចាំបាច់មានម៉ាស៊ីនមេក្នុងស្រុក បង្កើត មើល លុប និងអ្វីៗដូចនោះទេ។

one_thread.py

from bs4 import BeautifulSoup
import sqlite3
import requests
from datetime import datetime

def main(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute("CREATE TABLE IF NOT EXISTS habr(id INT, author VARCHAR(255), title VARCHAR(255), content  TEXT, tags TEXT)")

    start_time = datetime.now()
    c.execute("begin")
    for i in range(min, max):
        url = "https://m.habr.com/post/{}".format(i)
        try:
            r = requests.get(url)
        except:
            with open("req_errors.txt") as file:
                file.write(i)
            continue
        if(r.status_code != 200):
            print("{} - {}".format(i, r.status_code))
            continue

        html_doc = r.text
        soup = BeautifulSoup(html_doc, 'html.parser')

        try:
            author = soup.find(class_="tm-user-info__username").get_text()
            content = soup.find(id="post-content-body")
            content = str(content)
            title = soup.find(class_="tm-article-title__text").get_text()
            tags = soup.find(class_="tm-article__tags").get_text()
            tags = tags[5:]
        except:
            author,title,tags = "Error", "Error {}".format(r.status_code), "Error"
            content = "При парсинге этой странице произошла ошибка."

        c.execute('INSERT INTO habr VALUES (?, ?, ?, ?, ?)', (i, author, title, content, tags))
        print(i)
    c.execute("commit")
    print(datetime.now() - start_time)

main(1, 490406)

អ្វីគ្រប់យ៉ាងគឺយោងទៅតាមបុរាណ - យើងប្រើស៊ុបដ៏ស្រស់ស្អាតសំណើនិងគំរូរហ័សគឺរួចរាល់។ នោះគ្រាន់តែជា...

• ទំព័រត្រូវបានទាញយកក្នុងខ្សែតែមួយ

• ប្រសិនបើអ្នករំខានការប្រតិបត្តិនៃស្គ្រីប នោះមូលដ្ឋានទិន្នន័យទាំងមូលនឹងមិនទៅណាទេ។ បន្ទាប់ពីទាំងអស់ ការប្តេជ្ញាចិត្តត្រូវបានប្រតិបត្តិតែបន្ទាប់ពីការវិភាគទាំងអស់។
  ជា​ការ​ពិត​ណាស់ អ្នក​អាច​ធ្វើ​ការ​ផ្លាស់​ប្តូ​រ​ទៅ​មូលដ្ឋាន​ទិន្នន័យ​បន្ទាប់​ពី​ការ​បញ្ចូល​គ្នា ប៉ុន្តែ​បន្ទាប់​មក​ពេល​វេលា​ប្រតិបត្តិ​ស្គ្រីប​នឹង​កើន​ឡើង​យ៉ាង​ខ្លាំង។

• ការញែកអត្ថបទ 100 ដំបូងបានចំណាយពេល 000 ម៉ោង។

បន្ទាប់មកខ្ញុំរកឃើញអត្ថបទរបស់អ្នកប្រើ រួមបញ្ចូលគ្នាដែលខ្ញុំបានអាន និងបានរកឃើញការលួចចូលជីវិតជាច្រើន ដើម្បីបង្កើនល្បឿនដំណើរការនេះ៖

• ការប្រើប្រាស់ multithreading បង្កើនល្បឿនការទាញយកយ៉ាងខ្លាំង។
• អ្នក​មិន​អាច​ទទួល​កំណែ​ពេញ​លេញ​របស់ Habr ទេ ប៉ុន្តែ​ជា​កំណែ​ទូរសព្ទ​របស់​វា។
  ឧទាហរណ៍ ប្រសិនបើអត្ថបទរួមបញ្ចូលគ្នានៅក្នុងកំណែផ្ទៃតុមានទម្ងន់ 378 KB នោះនៅក្នុងកំណែចល័តវាមាន 126 KB រួចហើយ។

កំណែទីពីរ។ ខ្សែស្រឡាយជាច្រើន ការហាមឃាត់បណ្តោះអាសន្នពី Habr

នៅពេលដែលខ្ញុំបានមើលអ៊ីនធឺណិតលើប្រធានបទនៃ multithreading នៅក្នុង python ហើយជ្រើសរើសជម្រើសដ៏សាមញ្ញបំផុតជាមួយ multiprocessing.dummy ខ្ញុំបានកត់សម្គាល់ថាបញ្ហាបានលេចឡើងរួមជាមួយ multithreading ។

SQLite3 មិនចង់ធ្វើការជាមួយខ្សែស្រឡាយច្រើនជាងមួយ។.
ជួសជុល check_same_thread=Falseប៉ុន្តែកំហុសនេះមិនមែនតែមួយទេ នៅពេលដែលព្យាយាមបញ្ចូលទៅក្នុងមូលដ្ឋានទិន្នន័យ ពេលខ្លះកំហុសកើតឡើងដែលខ្ញុំមិនអាចដោះស្រាយបាន។

ដូច្នេះហើយ ខ្ញុំសម្រេចចិត្តបោះបង់ការបញ្ចូលអត្ថបទភ្លាមៗទៅក្នុងមូលដ្ឋានទិន្នន័យ ហើយដោយនឹកឃើញដំណោះស្រាយរួមបញ្ចូលគ្នា ខ្ញុំសម្រេចចិត្តប្រើឯកសារ ព្រោះមិនមានបញ្ហាជាមួយការសរសេរច្រើនខ្សែទៅឯកសារទេ។

Habr ចាប់ផ្តើមហាមប្រាមសម្រាប់ការប្រើខ្សែលើសពីបី.
ការព្យាយាមដោយឧស្សាហ៍ព្យាយាមជាពិសេសដើម្បីទៅដល់ Habr អាចបណ្តាលឱ្យមានការហាមឃាត់ IP សម្រាប់ពីរបីម៉ោង។ ដូច្នេះអ្នកត្រូវប្រើតែ 3 ខ្សែ ប៉ុន្តែនេះគឺល្អរួចទៅហើយ ចាប់តាំងពីពេលដើម្បីតម្រៀបតាម 100 អត្ថបទត្រូវបានកាត់បន្ថយពី 26 ទៅ 12 វិនាទី។

វាគួរឱ្យកត់សម្គាល់ថាកំណែនេះគឺមិនស្ថិតស្ថេរទេហើយការទាញយកជាទៀងទាត់បរាជ័យលើអត្ថបទមួយចំនួនធំ។

async_v1.py

from bs4 import BeautifulSoup
import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/post/{}".format(i)

    try: r = requests.get(url)
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    # Запись заблокированных запросов на сервер
    if (r.status_code == 503):
        with open("Error503.txt", "a") as write_file:
            write_file.write(str(i) + "n")
            logging.warning('{} / 503 Error'.format(i))

    # Если поста не существует или он был скрыт
    if (r.status_code != 200):
        logging.info("{} / {} Code".format(i, r.status_code))
        return r.status_code

    html_doc = r.text
    soup = BeautifulSoup(html_doc, 'html5lib')

    try:
        author = soup.find(class_="tm-user-info__username").get_text()

        timestamp = soup.find(class_='tm-user-meta__date')
        timestamp = timestamp['title']

        content = soup.find(id="post-content-body")
        content = str(content)
        title = soup.find(class_="tm-article-title__text").get_text()
        tags = soup.find(class_="tm-article__tags").get_text()
        tags = tags[5:]

        # Метка, что пост является переводом или туториалом.
        tm_tag = soup.find(class_="tm-tags tm-tags_post").get_text()

        rating = soup.find(class_="tm-votes-score").get_text()
    except:
        author = title = tags = timestamp = tm_tag = rating = "Error" 
        content = "При парсинге этой странице произошла ошибка."
        logging.warning("Error parsing - {}".format(i))
        with open("Errors.txt", "a") as write_file:
            write_file.write(str(i) + "n")

    # Записываем статью в json
    try:
        article = [i, timestamp, author, title, content, tm_tag, rating, tags]
        with open(currentFile, "w") as write_file:
            json.dump(article, write_file)
    except:
        print(i)
        raise

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: async_v1.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

កំណែទីបី។ ចុងក្រោយ

ខណៈពេលដែលកំពុងបំបាត់កំហុសកំណែទីពីរ ខ្ញុំបានរកឃើញថា Habr ស្រាប់តែមាន API ដែលត្រូវបានចូលប្រើដោយកំណែចល័តរបស់គេហទំព័រ។ វាផ្ទុកលឿនជាងកំណែចល័តព្រោះវាគ្រាន់តែជា json ដែលមិនចាំបាច់ត្រូវបានញែក។ នៅ​ទី​បញ្ចប់ ខ្ញុំ​បាន​សម្រេច​ចិត្ត​សរសេរ​អក្សរ​របស់​ខ្ញុំ​ម្ដង​ទៀត។

ដូច្នេះដោយបានរកឃើញ តំណនេះ API អ្នកអាចចាប់ផ្តើមញែកវាបាន។

async_v2.py

import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/kek/v1/articles/{}/?fl=ru%2Cen&hl=ru".format(i)

    try:
        r = requests.get(url)
        if r.status_code == 503:
            logging.critical("503 Error")
            return 503
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    data = json.loads(r.text)

    if data['success']:
        article = data['data']['article']

        id = article['id']
        is_tutorial = article['is_tutorial']
        time_published = article['time_published']
        comments_count = article['comments_count']
        lang = article['lang']
        tags_string = article['tags_string']
        title = article['title']
        content = article['text_html']
        reading_count = article['reading_count']
        author = article['author']['login']
        score = article['voting']['score']

        data = (id, is_tutorial, time_published, title, content, comments_count, lang, tags_string, reading_count, author, score)
        with open(currentFile, "w") as write_file:
            json.dump(data, write_file)

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: asyc.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

វាមានវាលដែលទាក់ទងនឹងទាំងអត្ថបទខ្លួនវាផ្ទាល់ និងអ្នកនិពន្ធដែលបានសរសេរវា។

API.png

ខ្ញុំមិនបានបោះចោល json ពេញលេញនៃអត្ថបទនីមួយៗទេ ប៉ុន្តែបានរក្សាទុកតែវាលដែលខ្ញុំត្រូវការ៖

• id
• គឺ_ការបង្រៀន
• time_បោះផ្សាយ
• ពានរង្វាន់
• មាតិកា
• មតិយោបល់_រាប់
• lang គឺជាភាសាដែលអត្ថបទត្រូវបានសរសេរ។ រហូតមកដល់ពេលនេះវាមានតែ en និង ru ប៉ុណ្ណោះ។
• tags_string — ស្លាកទាំងអស់ពីប្រកាស
• ការអាន_រាប់
• អ្នក​និពន្ធ
• ពិន្ទុ - ចំណាត់ថ្នាក់អត្ថបទ។

ដូច្នេះដោយប្រើ API ខ្ញុំបានកាត់បន្ថយពេលវេលាដំណើរការស្គ្រីបមកត្រឹម 8 វិនាទីក្នុង 100 url។

បន្ទាប់ពីយើងទាញយកទិន្នន័យដែលយើងត្រូវការហើយ យើងត្រូវដំណើរការវា ហើយបញ្ចូលវាទៅក្នុងមូលដ្ឋានទិន្នន័យ។ មិនមានបញ្ហាជាមួយនេះទេ៖

parser.py

import json
import sqlite3
import logging
from datetime import datetime

def parser(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute('PRAGMA synchronous = 0') # Отключаем подтверждение записи, так скорость увеличивается в разы.
    c.execute("CREATE TABLE IF NOT EXISTS articles(id INTEGER, time_published TEXT, author TEXT, title TEXT, content TEXT, 
    lang TEXT, comments_count INTEGER, reading_count INTEGER, score INTEGER, is_tutorial INTEGER, tags_string TEXT)")
    try:
        for i in range(min, max):
            try:
                filename = "files\{}.json".format(i)
                f = open(filename)
                data = json.load(f)

                (id, is_tutorial, time_published, title, content, comments_count, lang,
                 tags_string, reading_count, author, score) = data

                # Ради лучшей читаемости базы можно пренебречь читаемостью кода. Или нет?
                # Если вам так кажется, можно просто заменить кортеж аргументом data. Решать вам.

                c.execute('INSERT INTO articles VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)', (id, time_published, author,
                                                                                        title, content, lang,
                                                                                        comments_count, reading_count,
                                                                                        score, is_tutorial,
                                                                                        tags_string))
                f.close()

            except IOError:
                logging.info('FileNotExists')
                continue

    finally:
        conn.commit()

start_time = datetime.now()
parser(490000, 490918)
print(datetime.now() - start_time)

ស្ថិតិ។

ជាប្រពៃណី ជាចុងក្រោយ អ្នកអាចទាញយកស្ថិតិមួយចំនួនពីទិន្នន័យ៖

• ក្នុងចំណោម 490 ដែលរំពឹងទុក មានតែ 406 អត្ថបទប៉ុណ្ណោះដែលត្រូវបានទាញយក។ វាប្រែថាច្រើនជាងពាក់កណ្តាល (228) នៃអត្ថបទនៅលើ Habre ត្រូវបានលាក់ឬលុប។
• មូលដ្ឋានទិន្នន័យទាំងមូលដែលមានអត្ថបទជិតកន្លះលានមានទម្ងន់ 2.95 GB ។ នៅក្នុងសំណុំបែបបទដែលបានបង្ហាប់ - 495 មេកាបៃ។
• សរុបមក មានអ្នកនិពន្ធចំនួន ៣៧.៨០៤ នាក់នៅលើ Habre ។ ខ្ញុំសូមរំលឹកអ្នកថា ទាំងនេះគ្រាន់តែជាស្ថិតិពីការផ្សាយបន្តផ្ទាល់ប៉ុណ្ណោះ។
• អ្នកនិពន្ធដែលមានផលិតភាពបំផុតនៅលើ Habre - អាលីហ្សា - ៨៧៧៤ អត្ថបទ។
• អត្ថបទ​ដែល​បាន​វាយ​តម្លៃ​ខ្ពស់ - 1448 បូក
• អត្ថបទដែលអានភាគច្រើន - 1660841 ទស្សនៈ
• ភាគច្រើននិយាយអំពីអត្ថបទ - 2444 យោបល់

ជាការប្រសើរណាស់, នៅក្នុងសំណុំបែបបទនៃកំពូលអ្នកនិពន្ធ 15 កំពូល
ចំណាត់ថ្នាក់កំពូលទាំង 15 តាមចំណាត់ថ្នាក់
កំពូល 15 អាន
កំពូល 15 បានពិភាក្សា

ប្រភព: www.habr.com