আমি হাবরকে কিভাবে পার্স করেছি, পার্ট 1: ট্রেন্ডস

যখন নববর্ষের অলিভিয়ার শেষ হয়ে গেল, তখন আমার কিছুই করার ছিল না, এবং আমি হাব্রাহাবর (এবং সম্পর্কিত প্ল্যাটফর্ম) থেকে আমার কম্পিউটারে সমস্ত নিবন্ধ ডাউনলোড করার এবং অন্বেষণ করার সিদ্ধান্ত নিয়েছি।

বেশ কিছু মজার গল্প ছিল। তাদের মধ্যে প্রথমটি হল সাইটের অস্তিত্বের 12 বছর ধরে নিবন্ধগুলির বিন্যাস এবং বিষয়গুলির বিকাশ। উদাহরণস্বরূপ, কিছু বিষয়ের গতিশীলতা বেশ নির্দেশক। ধারাবাহিকতা - কাটা অধীনে।

পার্সিং প্রক্রিয়া

হাবর কীভাবে বিকশিত হয়েছে তা বোঝার জন্য, তার সমস্ত নিবন্ধের মধ্য দিয়ে যাওয়া এবং সেগুলি থেকে মেটা-তথ্য সংগ্রহ করা প্রয়োজন ছিল (উদাহরণস্বরূপ, তারিখগুলি)। বাইপাসটি সহজ ছিল, কারণ সমস্ত নিবন্ধের লিঙ্কগুলি দেখতে "habrahabr.ru/post/337722/" এর মতো, এবং সংখ্যাগুলি কঠোরভাবে ক্রমানুসারে দেওয়া হয়েছে। শেষ পোস্টে 350 হাজারের চেয়ে সামান্য কম একটি সংখ্যা আছে জেনে, আমি কেবল একটি লুপে সম্ভাব্য সমস্ত নথি আইডি (পাইথন কোড) দিয়েছি:

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

ক্রিয়া download_document সংশ্লিষ্ট আইডি দিয়ে পৃষ্ঠাটি লোড করার চেষ্টা করে এবং html কাঠামো থেকে অর্থপূর্ণ তথ্য বের করার চেষ্টা করে।

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

পার্সিং প্রক্রিয়ায়, আমি বেশ কিছু নতুন জিনিস আবিষ্কার করেছি।

প্রথমত, তারা বলে যে প্রসেসরে কোরের চেয়ে বেশি প্রক্রিয়া তৈরি করা অকেজো। কিন্তু আমার ক্ষেত্রে, এটি প্রমাণিত হয়েছে যে সীমাবদ্ধ সংস্থানটি প্রসেসর নয়, তবে নেটওয়ার্ক এবং 100টি প্রক্রিয়া 4 বা, 20 এর চেয়ে দ্রুত কাজ করে।

দ্বিতীয়ত, কিছু পোস্টে বিশেষ অক্ষরের সংমিশ্রণ ছিল - উদাহরণস্বরূপ, "%&#@" এর মতো ইউফেমিজম। এটা প্রমাণিত যে html.parser, যা আমি প্রথমে ব্যবহার করেছি, সংমিশ্রণে প্রতিক্রিয়া জানায় &# বেদনাদায়ক, এটি html সত্তার শুরু বিবেচনা করে। আমি ইতিমধ্যে কালো জাদু করতে যাচ্ছিলাম, কিন্তু ফোরাম পরামর্শ দিয়েছে যে আপনি কেবল পার্সার পরিবর্তন করতে পারেন।

তৃতীয়ত, আমি তিনটি ছাড়া সব প্রকাশনা আনলোড করতে পেরেছি। 65927, 162075, এবং 275987 নম্বরের নথিগুলি আমার অ্যান্টিভাইরাস দ্বারা তাত্ক্ষণিকভাবে মুছে ফেলা হয়েছে৷ এই নিবন্ধগুলি, যথাক্রমে, একটি জাভাস্ক্রিপ্ট চেইন সম্পর্কে যা একটি ক্ষতিকারক পিডিএফ ডাউনলোড করে, ব্রাউজার প্লাগইনগুলির একটি সেট আকারে এসএমএস র্যানসমওয়্যার, এবং CrashSafari.com সাইট যা আইফোনগুলিকে রিবুটে পাঠায়৷ সিস্টেম স্ক্যানের সময় অ্যান্টিভাইরাস পরবর্তীতে আরেকটি নিবন্ধ আবিষ্কার করে: পোষা প্রাণীর দোকানের ওয়েবসাইটে স্ক্রিপ্ট সম্পর্কে 338586 পোস্ট করুন যা ক্রিপ্টোকারেন্সি মাইন করতে ব্যবহারকারীর প্রসেসর ব্যবহার করে। তাই আমরা বিবেচনা করতে পারি অ্যান্টিভাইরাসের কাজ যথেষ্ট পর্যাপ্ত।

"লাইভ" নিবন্ধগুলি সম্ভাব্য সর্বোচ্চ - 166307 টুকরা মাত্র অর্ধেক হতে পরিণত. বাকি সম্পর্কে, হাবর বিকল্পগুলি দেয় "পৃষ্ঠাটি পুরানো, মুছে ফেলা হয়েছে বা একেবারেই বিদ্যমান নেই।" আচ্ছা, যে কোনো কিছু ঘটতে পারে।

নিবন্ধগুলি আপলোড করার পরে প্রযুক্তিগত কাজ করা হয়েছিল: উদাহরণস্বরূপ, প্রকাশনার তারিখগুলি "'21 ডিসেম্বর 2006 at 10:47 am" ফর্ম্যাট থেকে স্ট্যান্ডার্ডে রূপান্তর করতে হয়েছিল datetime, এবং "12,8k" ভিউ - 12800 সালে। এই পর্যায়ে, আরও কয়েকটি ঘটনা বেরিয়ে এসেছে। ভোট গণনা এবং ডেটা প্রকারের সাথে সবচেয়ে মজার বিষয়: কিছু পুরানো পোস্ট একটি int ওভারফ্লো ছিল এবং প্রতিটি 65535 ভোট পেয়েছে।

ফলস্বরূপ, নিবন্ধগুলির পাঠ্য (ছবি ছাড়া) আমাকে 1.5 গিগাবাইট, মেটা-তথ্য সহ মন্তব্য - আরও 3, এবং প্রায় একশ মেগাবাইট - নিবন্ধ সম্পর্কে মেটা-তথ্য নিয়েছিল। এটি সম্পূর্ণরূপে RAM এ রাখা যেতে পারে, যা আমার জন্য একটি আনন্দদায়ক বিস্ময় ছিল।

আমি নিবন্ধগুলির বিশ্লেষণ শুরু করেছি পাঠ্য থেকে নয়, মেটা-তথ্য থেকে: তারিখ, ট্যাগ, হাব, ভিউ এবং পছন্দগুলি থেকে। দেখা গেল যে সে অনেক কিছু বলতে পারে।

হবরহবর উন্নয়ন প্রবণতা

সাইটে নিবন্ধ 2006 সাল থেকে প্রকাশিত হয়েছে; সবচেয়ে নিবিড়ভাবে - 2008-2016 সালে।

এই নিবন্ধগুলি বিভিন্ন সময়ে কতটা সক্রিয়ভাবে পড়া হয়েছিল তা মূল্যায়ন করা এত সহজ নয়। 2012 এবং তার চেয়ে কম বয়সের পাঠ্যগুলি আরও মন্তব্য এবং রেটিং পেয়েছে, তবে নতুন পাঠ্যগুলিতে আরও বেশি দর্শন এবং বুকমার্ক রয়েছে৷ এই মেট্রিকগুলি 2015 সালে শুধুমাত্র একবার একইভাবে (অর্ধেক) আচরণ করেছিল। সম্ভবত, অর্থনৈতিক ও রাজনৈতিক সংকটের পরিস্থিতিতে, পাঠকদের মনোযোগ আইটি ব্লগ থেকে আরও বেদনাদায়ক বিষয়ের দিকে সরে গেছে।

নিবন্ধগুলি ছাড়াও, আমি তাদের আরও মন্তব্য ডাউনলোড করেছি। সেখানে 6 মিলিয়ন মন্তব্য ছিল, তবে, তাদের মধ্যে 240 হাজারকে নিষিদ্ধ করা হয়েছিল ("একটি ইউএফও উড়ে এসে এখানে এই শিলালিপি প্রকাশ করেছে")। মন্তব্যের একটি দরকারী বৈশিষ্ট্য হল যে তাদের একটি টাইম স্ট্যাম্প আছে। মন্তব্যের সময় অধ্যয়ন করে, আপনি মোটামুটি বুঝতে পারবেন কখন নিবন্ধগুলি পড়া হয়।

দেখা গেল যে বেশিরভাগ নিবন্ধগুলি সকাল 10 টা থেকে 20 টা পর্যন্ত কোথাও লেখা এবং মন্তব্য করা হয়েছে, অর্থাৎ। একটি সাধারণ মস্কো কাজের দিনে। এর অর্থ হতে পারে যে হাবরকে পেশাগত উদ্দেশ্যে পঠিত করা হয় এবং এটি কাজের সময় বিলম্বিত করার একটি ভাল উপায়। যাইহোক, দিনের সময়ের এই বন্টন হাবরের ভিত্তি থেকে বর্তমান দিন পর্যন্ত স্থিতিশীল।

যাইহোক, একটি মন্তব্য টাইমস্ট্যাম্পের প্রধান সুবিধা দিনের সময় নয়, তবে নিবন্ধের "সক্রিয় জীবন" এর সময়কাল। আমি গণনা করেছি কিভাবে নিবন্ধের প্রকাশ থেকে তার মন্তব্য পর্যন্ত সময় বিতরণ করা হয়। দেখা গেল যে এখন মধ্যম মন্তব্য (সবুজ লাইন) প্রায় 20 ঘন্টার মধ্যে আসে, অর্থাৎ প্রকাশের পর প্রথম দিনে, গড়ে, নিবন্ধের সমস্ত মন্তব্যের অর্ধেকেরও বেশি বাকি থাকে। এবং দুই দিনের মধ্যে তারা সমস্ত মন্তব্যের 75% ছেড়ে যায়। একই সময়ে, আগের নিবন্ধগুলি আরও দ্রুত পঠিত হয়েছিল - উদাহরণস্বরূপ, 2010 সালে, প্রথম 6 ঘন্টার মধ্যে অর্ধেক মন্তব্য এসেছিল।

এটা আমার কাছে আশ্চর্যজনক ছিল যে মন্তব্যগুলি দীর্ঘায়িত হয়েছে: হাবরের জীবদ্দশায় একটি মন্তব্যে অক্ষরের গড় সংখ্যা প্রায় দ্বিগুণ হয়েছে!

মন্তব্যের চেয়ে সহজ প্রতিক্রিয়া হল ভোট। অন্যান্য অনেক সংস্থান থেকে ভিন্ন, হাব্রেতে আপনি কেবল প্লাসই নয়, বিয়োগও রাখতে পারেন। যাইহোক, পাঠকরা শেষ সুযোগটি প্রায়শই ব্যবহার করেন না: অপছন্দের বর্তমান অংশটি প্রদত্ত সমস্ত ভোটের প্রায় 15%। আগে আরও বেশি ছিল, কিন্তু সময়ের সাথে সাথে পাঠকরা দয়ালু হয়ে উঠেছে।

সময়ের সাথে সাথে লেখাগুলোও পরিবর্তিত হয়েছে। উদাহরণ স্বরূপ, টেক্সটের সাধারণ দৈর্ঘ্য সংকট থাকা সত্ত্বেও সাইটটি চালু হওয়ার পর থেকে ক্রমাগত বৃদ্ধি পাওয়া বন্ধ করে না। এক দশকে লেখাগুলো প্রায় দশগুণ দীর্ঘ হয়ে গেছে!

পাঠ্যের শৈলীও (প্রথম অনুমানে) পরিবর্তিত হয়েছে। হাবরের অস্তিত্বের প্রথম বছরগুলিতে, উদাহরণস্বরূপ, পাঠ্যগুলিতে কোড এবং সংখ্যার ভাগ বৃদ্ধি পেয়েছে:

সাইটের সামগ্রিক গতিশীলতা বোঝার পরে, আমি বিভিন্ন বিষয়ের জনপ্রিয়তা কীভাবে পরিবর্তিত হয়েছে তা পরিমাপ করার সিদ্ধান্ত নিয়েছি। বিষয়গুলি পাঠ্য থেকে স্বয়ংক্রিয়ভাবে নির্বাচন করা যেতে পারে, তবে শুরু করার জন্য, আপনি চাকাটি পুনরায় উদ্ভাবন করতে পারবেন না, তবে প্রতিটি নিবন্ধের লেখকদের দ্বারা লাগানো রেডিমেড ট্যাগগুলি ব্যবহার করুন। আমি চার্টে চারটি সাধারণ প্রবণতা এঁকেছি। "গুগল" থিম প্রাথমিকভাবে প্রাধান্য পেয়েছিল (সম্ভবত প্রধানত এসইও এর কারণে), কিন্তু বছরের পর বছর ধরে ওজন কমছে। জাভাস্ক্রিপ্ট একটি জনপ্রিয় বিষয় এবং ধীরে ধীরে বাড়তে থাকে, কিন্তু মেশিন লার্নিং শুধুমাত্র সাম্প্রতিক বছরগুলিতে দ্রুত জনপ্রিয়তা লাভ করতে শুরু করেছে। অন্যদিকে, লিনাক্স পুরো দশক জুড়ে সমানভাবে প্রাসঙ্গিক রয়ে গেছে।

অবশ্যই, আমি আগ্রহী হয়ে উঠলাম কোন বিষয়গুলি পাঠকের কার্যকলাপকে আরও আকর্ষণ করে। আমি প্রতিটি বিষয়ে ভিউ, ভোট এবং মন্তব্যের গড় সংখ্যা গণনা করেছি। এখানে যা ঘটেছে:

• সর্বাধিক দেখা বিষয়: আরডুইনো, ওয়েব ডিজাইন, ওয়েব ডেভেলপমেন্ট, ডাইজেস্ট, লিঙ্ক, সিএসএস, এইচটিএমএল, এইচটিএমএল 5, এনজিনএক্স, অ্যালগরিদম।
• সর্বাধিক "পছন্দ করা" বিষয়গুলি: vkontakte, humor, jquery, opera, c, html, ওয়েব ডেভেলপমেন্ট, html5, css, ওয়েব ডিজাইন৷
• সর্বাধিক আলোচিত বিষয়: অপেরা, স্কাইপ, ফ্রিল্যান্স, ভিকন্টাক্টে, উবুন্টু, কাজ, নকিয়া, এনজিনক্স, আরডুইনো, ফায়ারফক্স।

যাইহোক, যেহেতু আমি বিষয়গুলির তুলনা করছি, আপনি সেগুলিকে ফ্রিকোয়েন্সি অনুসারে র‌্যাঙ্ক করতে পারেন (এবং ফলাফলের সাথে তুলনা করুন 2013 থেকে অনুরূপ নিবন্ধ).

• হাবরের অস্তিত্বের সমস্ত বছর ধরে, সর্বাধিক জনপ্রিয় ট্যাগগুলি (অবরোচিত ক্রমে) হল গুগল, অ্যান্ড্রয়েড, জাভাস্ক্রিপ্ট, মাইক্রোসফ্ট, লিনাক্স, পিএইচপি, অ্যাপল, জাভা, পাইথন, প্রোগ্রামিং, স্টার্টআপস, ডেভেলপমেন্ট, আইওএস, স্টার্টআপ, সামাজিক নেটওয়ার্ক
• 2017 সালে, সর্বাধিক জনপ্রিয় ছিল জাভাস্ক্রিপ্ট, পাইথন, জাভা, অ্যান্ড্রয়েড, ডেভেলপমেন্ট, লিনাক্স, সি++, প্রোগ্রামিং, পিএইচপি, সি#, আইওএস, মেশিন লার্নিং, তথ্য সুরক্ষা, মাইক্রোসফ্ট, প্রতিক্রিয়া

এই রেটিংগুলির তুলনা করার সময়, কেউ মনোযোগ দিতে পারে, উদাহরণস্বরূপ, পাইথনের বিজয়ী মার্চ এবং php-এর বিলুপ্তি বা স্টার্টআপ বিষয়গুলির "সূর্যাস্ত" এবং মেশিন লার্নিংয়ের উত্থানের দিকে।

Habré-এর সমস্ত ট্যাগের এমন একটি সুস্পষ্ট বিষয়ভিত্তিক রঙ নেই। উদাহরণস্বরূপ, এখানে এক ডজন ট্যাগ রয়েছে যা শুধুমাত্র একবার দেখা হয়েছিল, কিন্তু আমার কাছে মজার বলে মনে হয়েছিল। সুতরাং: "ধারণা হল অগ্রগতির চালিকা শক্তি", "ফ্লপি ডিস্কের ছবি থেকে বুট", "আইওয়া স্টেট", "ড্রামা", "সুপারলেশ", "স্টিম ইঞ্জিন", "শনিবার করার জিনিস", "আমার কাছে আছে" একটি মাংস পেষকদন্তের মধ্যে একটি শিয়াল", "এটি সর্বদা হিসাবে পরিণত হয়েছে", "আমরা মজার ট্যাগ নিয়ে আসতে পারিনি"। এই জাতীয় নিবন্ধগুলির বিষয় নির্ধারণ করতে, ট্যাগগুলি যথেষ্ট নয় - আপনাকে নিবন্ধগুলির পাঠ্যগুলিতে বিষয়ভিত্তিক মডেলিং করতে হবে।

নিবন্ধগুলির বিষয়বস্তুর আরও বিশদ বিশ্লেষণ পরবর্তী পোস্টে হবে। প্রথমত, আমি একটি মডেল তৈরি করতে যাচ্ছি যা একটি নিবন্ধের বিষয়বস্তুর উপর ভিত্তি করে পৃষ্ঠা দেখার সংখ্যার পূর্বাভাস দেয়। দ্বিতীয়ত, আমি হাবরের লেখকদের মতো একই স্টাইলে পাঠ্য তৈরি করতে নিউরাল নেটওয়ার্ককে শেখাতে চাই। তাই সাবস্ক্রাইব করুন 🙂

পিএস এবং এখানে বিপ করা হয় ডেটাসেট.

উত্স: www.habr.com