എല്ലാ ഹബറും ഒരു ഡാറ്റാബേസിൽ

ഗുഡ് ആഫ്റ്റർനൂൺ. എഴുതിയിട്ട് 2 വർഷം കഴിഞ്ഞു. അവസാന ലേഖനം ഹബറിനെ പാഴ്‌സിംഗ് ചെയ്യുന്നതിനെക്കുറിച്ച്, ചില പോയിന്റുകൾ മാറി.

ഹബറിന്റെ ഒരു പകർപ്പ് ലഭിക്കാൻ ഞാൻ ആഗ്രഹിച്ചപ്പോൾ, രചയിതാക്കളുടെ എല്ലാ ഉള്ളടക്കവും ഡാറ്റാബേസിലേക്ക് സംരക്ഷിക്കുന്ന ഒരു പാഴ്സർ എഴുതാൻ ഞാൻ തീരുമാനിച്ചു. ഇത് എങ്ങനെ സംഭവിച്ചു, എന്ത് പിശകുകൾ ഞാൻ നേരിട്ടു - നിങ്ങൾക്ക് കട്ടിന് കീഴിൽ വായിക്കാം.

TL;DR - ഡാറ്റാബേസ് ലിങ്ക്

പാർസറിന്റെ ആദ്യ പതിപ്പ്. ഒരു ത്രെഡ്, നിരവധി പ്രശ്നങ്ങൾ

തുടക്കത്തിൽ, ഞാൻ ഒരു സ്ക്രിപ്റ്റ് പ്രോട്ടോടൈപ്പ് നിർമ്മിക്കാൻ തീരുമാനിച്ചു, അതിൽ ലേഖനം ഡൗൺലോഡ് ചെയ്യുമ്പോൾ തന്നെ പാഴ്‌സ് ചെയ്യുകയും ഡാറ്റാബേസിൽ സ്ഥാപിക്കുകയും ചെയ്യും. രണ്ടുതവണ ആലോചിക്കാതെ, ഞാൻ sqlite3 ഉപയോഗിച്ചു, കാരണം. ഇതിന് അധ്വാനം കുറവായിരുന്നു: ഒരു പ്രാദേശിക സെർവർ ആവശ്യമില്ല, സൃഷ്ടിച്ചതായി കാണപ്പെട്ടു-ഇല്ലാതാക്കിയതും അതുപോലുള്ളവയും.

one_thread.py

from bs4 import BeautifulSoup
import sqlite3
import requests
from datetime import datetime

def main(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute("CREATE TABLE IF NOT EXISTS habr(id INT, author VARCHAR(255), title VARCHAR(255), content  TEXT, tags TEXT)")

    start_time = datetime.now()
    c.execute("begin")
    for i in range(min, max):
        url = "https://m.habr.com/post/{}".format(i)
        try:
            r = requests.get(url)
        except:
            with open("req_errors.txt") as file:
                file.write(i)
            continue
        if(r.status_code != 200):
            print("{} - {}".format(i, r.status_code))
            continue

        html_doc = r.text
        soup = BeautifulSoup(html_doc, 'html.parser')

        try:
            author = soup.find(class_="tm-user-info__username").get_text()
            content = soup.find(id="post-content-body")
            content = str(content)
            title = soup.find(class_="tm-article-title__text").get_text()
            tags = soup.find(class_="tm-article__tags").get_text()
            tags = tags[5:]
        except:
            author,title,tags = "Error", "Error {}".format(r.status_code), "Error"
            content = "При парсинге этой странице произошла ошибка."

        c.execute('INSERT INTO habr VALUES (?, ?, ?, ?, ?)', (i, author, title, content, tags))
        print(i)
    c.execute("commit")
    print(datetime.now() - start_time)

main(1, 490406)

എല്ലാം ക്ലാസിക് ആണ് - ഞങ്ങൾ ബ്യൂട്ടിഫുൾ സൂപ്പ് ഉപയോഗിക്കുന്നു, അഭ്യർത്ഥനകൾ, ഒരു ദ്രുത പ്രോട്ടോടൈപ്പ് തയ്യാറാണ്. അത് വെറും…

• പേജ് ഡൗൺലോഡ് ഒരു ത്രെഡിലാണ്

• നിങ്ങൾ സ്ക്രിപ്റ്റിന്റെ നിർവ്വഹണം തടസ്സപ്പെടുത്തുകയാണെങ്കിൽ, മുഴുവൻ ഡാറ്റാബേസും എവിടെയും പോകില്ല. എല്ലാത്തിനുമുപരി, എല്ലാ പാഴ്സിംഗിനും ശേഷം മാത്രമാണ് കമ്മിറ്റ് നടത്തുന്നത്.
  തീർച്ചയായും, ഓരോ ഉൾപ്പെടുത്തലിനു ശേഷവും നിങ്ങൾക്ക് ഡാറ്റാബേസിൽ മാറ്റങ്ങൾ വരുത്താൻ കഴിയും, എന്നാൽ സ്ക്രിപ്റ്റ് എക്സിക്യൂഷൻ സമയം ഗണ്യമായി വർദ്ധിക്കും.

• ആദ്യത്തെ 100 ലേഖനങ്ങൾ പാഴ്‌സ് ചെയ്യാൻ എനിക്ക് 000 മണിക്കൂർ എടുത്തു.

അടുത്തതായി ഞാൻ ഉപയോക്താവിന്റെ ലേഖനം കണ്ടെത്തുന്നു സംയോജിപ്പിച്ചു, ഈ പ്രക്രിയ വേഗത്തിലാക്കാൻ ഞാൻ വായിക്കുകയും ചില ലൈഫ് ഹാക്കുകൾ കണ്ടെത്തുകയും ചെയ്തു:

• മൾട്ടിത്രെഡിംഗ് ഉപയോഗിക്കുന്നത് ചില സമയങ്ങളിൽ ഡൗൺലോഡ് വേഗത്തിലാക്കുന്നു.
• നിങ്ങൾക്ക് ഹബറിന്റെ പൂർണ്ണ പതിപ്പല്ല, അതിന്റെ മൊബൈൽ പതിപ്പ് ലഭിക്കും.
  ഉദാഹരണത്തിന്, ഡെസ്ക്ടോപ്പ് പതിപ്പിലെ ഒരു സംയോജിത ലേഖനത്തിന് 378 KB ഭാരമുണ്ടെങ്കിൽ, മൊബൈൽ പതിപ്പിൽ അത് ഇതിനകം 126 KB ആണ്.

രണ്ടാം പതിപ്പ്. നിരവധി ത്രെഡുകൾ, ഹബറിൽ നിന്നുള്ള താൽക്കാലിക നിരോധനം

പൈത്തണിലെ മൾട്ടിത്രെഡിംഗ് എന്ന വിഷയത്തിൽ ഞാൻ ഇന്റർനെറ്റ് പരിശോധിച്ചപ്പോൾ, multiprocessing.dummy ഉള്ള ഏറ്റവും ലളിതമായ ഓപ്ഷൻ ഞാൻ തിരഞ്ഞെടുത്തു, മൾട്ടിത്രെഡിംഗിനൊപ്പം പ്രശ്നങ്ങൾ പ്രത്യക്ഷപ്പെടുന്നത് ഞാൻ ശ്രദ്ധിച്ചു.

SQLite3 ഒന്നിലധികം ത്രെഡുകളിൽ പ്രവർത്തിക്കാൻ ആഗ്രഹിക്കുന്നില്ല.
നിശ്ചിത check_same_thread=False, എന്നാൽ ഈ പിശക് മാത്രമല്ല, ഡാറ്റാബേസിലേക്ക് തിരുകാൻ ശ്രമിക്കുമ്പോൾ, എനിക്ക് പരിഹരിക്കാൻ കഴിയാത്ത പിശകുകൾ ചിലപ്പോൾ സംഭവിക്കുന്നു.

അതിനാൽ, ഡാറ്റാബേസിലേക്ക് നേരിട്ട് ലേഖനങ്ങൾ ചേർക്കുന്നത് ഉപേക്ഷിക്കാൻ ഞാൻ തീരുമാനിക്കുന്നു, ഒപ്പം സംയോജിത പരിഹാരം ഓർത്തുകൊണ്ട്, ഫയലുകൾ ഉപയോഗിക്കാൻ ഞാൻ തീരുമാനിക്കുന്നു, കാരണം ഒരു ഫയലിലേക്ക് മൾട്ടി-ത്രെഡ് എഴുതുന്നതിൽ പ്രശ്‌നങ്ങളൊന്നുമില്ല.

മൂന്നിൽ കൂടുതൽ ത്രെഡുകൾ ഉപയോഗിച്ചതിന് ഹബ്ർ നിരോധിക്കാൻ തുടങ്ങുന്നു.
പ്രത്യേകിച്ചും ഹബറിലേക്ക് കടക്കാനുള്ള തീക്ഷ്ണമായ ശ്രമങ്ങൾ ഏതാനും മണിക്കൂറുകൾക്കുള്ള ഐപി നിരോധനത്തിൽ അവസാനിക്കും. അതിനാൽ നിങ്ങൾ 3 ത്രെഡുകൾ മാത്രമേ ഉപയോഗിക്കാവൂ, പക്ഷേ ഇത് ഇതിനകം നല്ലതാണ്, കാരണം 100-ലധികം ലേഖനങ്ങൾ ആവർത്തിക്കാനുള്ള സമയം 26-ൽ നിന്ന് 12 സെക്കൻഡായി കുറഞ്ഞു.

ഈ പതിപ്പ് അസ്ഥിരമാണെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്, കൂടാതെ ഡൗൺലോഡുകൾ ഇടയ്ക്കിടെ ധാരാളം ലേഖനങ്ങളിൽ വീഴുന്നു.

async_v1.py

from bs4 import BeautifulSoup
import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/post/{}".format(i)

    try: r = requests.get(url)
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    # Запись заблокированных запросов на сервер
    if (r.status_code == 503):
        with open("Error503.txt", "a") as write_file:
            write_file.write(str(i) + "n")
            logging.warning('{} / 503 Error'.format(i))

    # Если поста не существует или он был скрыт
    if (r.status_code != 200):
        logging.info("{} / {} Code".format(i, r.status_code))
        return r.status_code

    html_doc = r.text
    soup = BeautifulSoup(html_doc, 'html5lib')

    try:
        author = soup.find(class_="tm-user-info__username").get_text()

        timestamp = soup.find(class_='tm-user-meta__date')
        timestamp = timestamp['title']

        content = soup.find(id="post-content-body")
        content = str(content)
        title = soup.find(class_="tm-article-title__text").get_text()
        tags = soup.find(class_="tm-article__tags").get_text()
        tags = tags[5:]

        # Метка, что пост является переводом или туториалом.
        tm_tag = soup.find(class_="tm-tags tm-tags_post").get_text()

        rating = soup.find(class_="tm-votes-score").get_text()
    except:
        author = title = tags = timestamp = tm_tag = rating = "Error" 
        content = "При парсинге этой странице произошла ошибка."
        logging.warning("Error parsing - {}".format(i))
        with open("Errors.txt", "a") as write_file:
            write_file.write(str(i) + "n")

    # Записываем статью в json
    try:
        article = [i, timestamp, author, title, content, tm_tag, rating, tags]
        with open(currentFile, "w") as write_file:
            json.dump(article, write_file)
    except:
        print(i)
        raise

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: async_v1.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

മൂന്നാം പതിപ്പ്. ഫൈനൽ

രണ്ടാമത്തെ പതിപ്പ് ഡീബഗ്ഗ് ചെയ്യുമ്പോൾ, സൈറ്റിന്റെ മൊബൈൽ പതിപ്പ് ആക്‌സസ് ചെയ്യുന്ന ഒരു എപിഐ ഹബ്‌റിന് പെട്ടെന്ന് ഉണ്ടെന്ന് ഞാൻ കണ്ടെത്തി. ഇത് മൊബൈൽ പതിപ്പിനേക്കാൾ വേഗത്തിൽ ലോഡുചെയ്യുന്നു, കാരണം ഇത് json മാത്രമാണ്, അത് പാഴ്‌സ് ചെയ്യേണ്ടതില്ല. അവസാനം, എന്റെ സ്ക്രിപ്റ്റ് വീണ്ടും എഴുതാൻ ഞാൻ തീരുമാനിച്ചു.

അതിനാൽ, കണ്ടെത്തി ഈ ലിങ്ക് API, നിങ്ങൾക്ക് ഇത് പാഴ്‌സ് ചെയ്യാൻ തുടങ്ങാം.

async_v2.py

import requests
import os, sys
import json
from multiprocessing.dummy import Pool as ThreadPool
from datetime import datetime
import logging

def worker(i):
    currentFile = "files\{}.json".format(i)

    if os.path.isfile(currentFile):
        logging.info("{} - File exists".format(i))
        return 1

    url = "https://m.habr.com/kek/v1/articles/{}/?fl=ru%2Cen&hl=ru".format(i)

    try:
        r = requests.get(url)
        if r.status_code == 503:
            logging.critical("503 Error")
            return 503
    except:
        with open("req_errors.txt") as file:
            file.write(i)
        return 2

    data = json.loads(r.text)

    if data['success']:
        article = data['data']['article']

        id = article['id']
        is_tutorial = article['is_tutorial']
        time_published = article['time_published']
        comments_count = article['comments_count']
        lang = article['lang']
        tags_string = article['tags_string']
        title = article['title']
        content = article['text_html']
        reading_count = article['reading_count']
        author = article['author']['login']
        score = article['voting']['score']

        data = (id, is_tutorial, time_published, title, content, comments_count, lang, tags_string, reading_count, author, score)
        with open(currentFile, "w") as write_file:
            json.dump(data, write_file)

if __name__ == '__main__':
    if len(sys.argv) < 3:
        print("Необходимы параметры min и max. Использование: asyc.py 1 100")
        sys.exit(1)
    min = int(sys.argv[1])
    max = int(sys.argv[2])

    # Если потоков >3
    # то хабр банит ipшник на время
    pool = ThreadPool(3)

    # Отсчет времени, запуск потоков
    start_time = datetime.now()
    results = pool.map(worker, range(min, max))

    # После закрытия всех потоков печатаем время
    pool.close()
    pool.join()
    print(datetime.now() - start_time)

ലേഖനവുമായും അത് എഴുതിയ രചയിതാവുമായും ബന്ധപ്പെട്ട ഫീൽഡുകൾ ഇതിൽ അടങ്ങിയിരിക്കുന്നു.

API.png

ഓരോ ലേഖനത്തിന്റെയും പൂർണ്ണമായ json ഞാൻ ഉപേക്ഷിച്ചില്ല, പക്ഷേ എനിക്ക് ആവശ്യമായ ഫീൽഡുകൾ മാത്രം സംരക്ഷിച്ചു:

• id
• ട്യൂട്ടോറിയൽ ആണ്
• സമയം_പ്രസിദ്ധീകരിച്ചത്
• തലക്കെട്ട്
• ഉള്ളടക്കം
• അഭിപ്രായങ്ങളുടെ_എണ്ണം
• ലേഖനം എഴുതിയ ഭാഷയാണ് lang. ഇതുവരെ en, ru എന്നിവ മാത്രമേ ഉള്ളൂ.
• tags_string - പോസ്റ്റിൽ നിന്നുള്ള എല്ലാ ടാഗുകളും
• വായന_എണ്ണം
• രചയിതാവ്
• സ്കോർ - ലേഖന റേറ്റിംഗ്.

അങ്ങനെ, API ഉപയോഗിച്ച്, ഞാൻ സ്ക്രിപ്റ്റ് എക്സിക്യൂഷൻ സമയം 8 url-ന് 100 സെക്കൻഡായി കുറച്ചു.

ഞങ്ങൾക്ക് ആവശ്യമായ ഡാറ്റ ഡൗൺലോഡ് ചെയ്ത ശേഷം, ഞങ്ങൾ അത് പ്രോസസ്സ് ചെയ്യുകയും ഡാറ്റാബേസിൽ നൽകുകയും വേണം. ഇതിലും എനിക്ക് പ്രശ്‌നങ്ങളൊന്നും ഉണ്ടായിരുന്നില്ല:

parser.py

import json
import sqlite3
import logging
from datetime import datetime

def parser(min, max):
    conn = sqlite3.connect('habr.db')
    c = conn.cursor()
    c.execute('PRAGMA encoding = "UTF-8"')
    c.execute('PRAGMA synchronous = 0') # Отключаем подтверждение записи, так скорость увеличивается в разы.
    c.execute("CREATE TABLE IF NOT EXISTS articles(id INTEGER, time_published TEXT, author TEXT, title TEXT, content TEXT, 
    lang TEXT, comments_count INTEGER, reading_count INTEGER, score INTEGER, is_tutorial INTEGER, tags_string TEXT)")
    try:
        for i in range(min, max):
            try:
                filename = "files\{}.json".format(i)
                f = open(filename)
                data = json.load(f)

                (id, is_tutorial, time_published, title, content, comments_count, lang,
                 tags_string, reading_count, author, score) = data

                # Ради лучшей читаемости базы можно пренебречь читаемостью кода. Или нет?
                # Если вам так кажется, можно просто заменить кортеж аргументом data. Решать вам.

                c.execute('INSERT INTO articles VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)', (id, time_published, author,
                                                                                        title, content, lang,
                                                                                        comments_count, reading_count,
                                                                                        score, is_tutorial,
                                                                                        tags_string))
                f.close()

            except IOError:
                logging.info('FileNotExists')
                continue

    finally:
        conn.commit()

start_time = datetime.now()
parser(490000, 490918)
print(datetime.now() - start_time)

സ്ഥിതിവിവരക്കണക്കുകൾ

ശരി, പരമ്പരാഗതമായി, ഒടുവിൽ, നിങ്ങൾക്ക് ഡാറ്റയിൽ നിന്ന് ചില സ്ഥിതിവിവരക്കണക്കുകൾ വേർതിരിച്ചെടുക്കാൻ കഴിയും:

• പ്രതീക്ഷിച്ച 490 ഡൗൺലോഡുകളിൽ 406 ലേഖനങ്ങൾ മാത്രമാണ് ഡൗൺലോഡ് ചെയ്യപ്പെട്ടത്. ഹബ്രെയെക്കുറിച്ചുള്ള ലേഖനങ്ങളിൽ പകുതിയിലേറെയും (228) മറയ്ക്കുകയോ ഇല്ലാതാക്കുകയോ ചെയ്തു.
• ഏകദേശം അര ദശലക്ഷം ലേഖനങ്ങൾ അടങ്ങുന്ന മുഴുവൻ ഡാറ്റാബേസിന്റെയും ഭാരം 2.95 GB ആണ്. കംപ്രസ് ചെയ്ത രൂപത്തിൽ - 495 MB.
• മൊത്തത്തിൽ, 37804 ആളുകൾ ഹബ്രെയുടെ രചയിതാക്കളാണ്. ഈ സ്ഥിതിവിവരക്കണക്കുകൾ തത്സമയ പോസ്റ്റുകളിൽ നിന്നുള്ളതാണെന്ന് ഞാൻ നിങ്ങളെ ഓർമ്മിപ്പിക്കുന്നു.
• ഹബ്രെയിലെ ഏറ്റവും ഉൽപ്പാദനക്ഷമമായ രചയിതാവ് - അലിസർ - 8774 ലേഖനങ്ങൾ.
• ഏറ്റവും മികച്ച റേറ്റുചെയ്ത ലേഖനം - 1448 പ്ലസ്
• ഏറ്റവും കൂടുതൽ വായിക്കപ്പെട്ട ലേഖനം – 1660841 കാഴ്ചകൾ
• ഏറ്റവും കൂടുതൽ ചർച്ച ചെയ്യപ്പെട്ട ലേഖനം - 2444 അഭിപ്രായങ്ങൾ

നന്നായി, ബലി രൂപത്തിൽമികച്ച 15 എഴുത്തുകാർ
റേറ്റിംഗ് പ്രകാരം മികച്ച 15
മികച്ച 15 വായിക്കുക
മികച്ച 15 ചർച്ച ചെയ്തു

അവലംബം: www.habr.com