मैंने हैबर को कैसे पार्स किया, भाग 1: रुझान

जब नए साल का ओलिवियर समाप्त हो गया, तो मेरे पास करने के लिए कुछ नहीं था, और मैंने अपने कंप्यूटर पर हब्राह्र (और संबंधित प्लेटफार्मों) से सभी लेख डाउनलोड करने और एक्सप्लोर करने का फैसला किया।

कई दिलचस्प किस्से थे। उनमें से पहला साइट के अस्तित्व के 12 वर्षों में प्रारूप और लेखों के विषयों का विकास है। उदाहरण के लिए, कुछ विषयों की गतिशीलता काफी सांकेतिक है। निरंतरता - कट के तहत।

पार्सिंग प्रक्रिया

यह समझने के लिए कि हैबर कैसे विकसित हुआ, उसके सभी लेखों को पढ़ना और उनसे मेटा-सूचना निकालना आवश्यक था (उदाहरण के लिए, दिनांक)। बाईपास आसान था, क्योंकि सभी लेखों के लिंक "habrahabr.ru/post/337722/" जैसे दिखते हैं, और नंबर सख्ती से क्रम में दिए गए हैं। यह जानते हुए कि पिछली पोस्ट की संख्या 350 हजार से थोड़ी कम है, मैं बस लूप (पायथन कोड) में सभी संभावित दस्तावेज़ आईडी के माध्यम से चला गया:

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

समारोह download_document पृष्ठ को संबंधित आईडी से लोड करने का प्रयास करता है और HTML संरचना से सार्थक जानकारी निकालने का प्रयास करता है।

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

पार्सिंग की प्रक्रिया में, मैंने कई नई चीज़ें खोजीं।

सबसे पहले, वे कहते हैं कि प्रोसेसर में कोर की तुलना में अधिक प्रक्रियाएं बनाना बेकार है। लेकिन मेरे मामले में, यह पता चला कि सीमित संसाधन प्रोसेसर नहीं है, बल्कि नेटवर्क है, और 100 प्रक्रियाएं 4 से अधिक तेजी से काम करती हैं या कहें, 20।

दूसरे, कुछ पदों में विशेष वर्णों का संयोजन था - उदाहरण के लिए, "%&@" जैसी प्रेयोक्ति। ऐसा पता चला कि html.parser, जो मैंने पहले इस्तेमाल किया, संयोजन पर प्रतिक्रिया करता है &# दर्दनाक रूप से, इसे html इकाई की शुरुआत मानते हुए। मैं पहले से ही काला जादू करने जा रहा था, लेकिन मंच ने सुझाव दिया कि आप सिर्फ पार्सर को बदल सकते हैं।

तीसरा, मैं तीन को छोड़कर सभी प्रकाशनों को अनलोड करने में कामयाब रहा। मेरे एंटीवायरस द्वारा 65927, 162075, और 275987 क्रमांकित दस्तावेज़ों को तुरंत हटा दिया गया। ये क्रमशः एक जावास्क्रिप्ट श्रृंखला के बारे में लेख हैं जो एक दुर्भावनापूर्ण पीडीएफ डाउनलोड करता है, ब्राउज़र प्लगइन्स के एक सेट के रूप में एसएमएस रैनसमवेयर, और आईफ़ोन को रिबूट में भेजने वाली CrashSafari.com साइट। एंटीवायरस ने सिस्टम स्कैन के दौरान बाद में एक और लेख खोजा: पेट स्टोर वेबसाइट पर स्क्रिप्ट के बारे में 338586 पोस्ट करें जो उपयोगकर्ता के प्रोसेसर का उपयोग क्रिप्टोकरेंसी को माइन करने के लिए करता है। इसलिए हम विचार कर सकते हैं कि एंटीवायरस का काम काफी पर्याप्त है।

"लाइव" लेख संभावित अधिकतम - 166307 टुकड़ों का केवल आधा निकला। बाकी के बारे में, हबर विकल्प देता है "पृष्ठ पुराना है, हटा दिया गया है या बिल्कुल मौजूद नहीं है।" खैर, कुछ भी हो सकता है.

लेखों को अपलोड करने के बाद तकनीकी कार्य किया गया: उदाहरण के लिए, प्रकाशन तिथियों को "21 दिसंबर 2006 पूर्वाह्न 10:47 बजे" प्रारूप से मानक में परिवर्तित करना पड़ा datetime, और "12,8k" बार देखा गया - 12800 में। इस स्तर पर, कुछ और घटनाएं सामने आईं। सबसे मजेदार बात मतों की संख्या और डेटा प्रकारों के साथ है: कुछ पुरानी पोस्टों में अंतर अतिप्रवाह था और प्रत्येक को 65535 वोट प्राप्त हुए।

नतीजतन, लेखों के ग्रंथों (चित्रों के बिना) ने मुझे 1.5 गीगाबाइट, मेटा-सूचना के साथ टिप्पणियां - अन्य 3, और लगभग सौ मेगाबाइट - लेखों के बारे में मेटा-सूचना ली। इसे पूरी तरह से रैम में रखा जा सकता है, जो मेरे लिए सुखद आश्चर्य था।

मैंने लेखों का विश्लेषण स्वयं ग्रंथों से नहीं, बल्कि मेटा-सूचना से शुरू किया: दिनांक, टैग, हब, विचार और पसंद। यह पता चला कि वह बहुत कुछ बता सकती है।

हबराब्र विकास रुझान

साइट पर लेख 2006 से प्रकाशित हुए हैं; सबसे गहनता - 2008-2016 में।

अलग-अलग समय पर इन लेखों को कितनी सक्रियता से पढ़ा गया, इसका आकलन करना इतना आसान नहीं है। 2012 और उससे पहले के टेक्स्ट को अधिक टिप्पणियां और रेटिंग मिलीं, लेकिन नए टेक्स्ट में अधिक व्यूज और बुकमार्क हैं। इन मेट्रिक्स ने 2015 में केवल एक बार उसी तरह (आधा) व्यवहार किया। शायद, आर्थिक और राजनीतिक संकट की स्थिति में, पाठकों का ध्यान आईटी ब्लॉगों से हटकर अधिक दर्दनाक मुद्दों पर चला गया है।

स्वयं लेखों के अलावा, मैंने उनके लिए और टिप्पणियाँ डाउनलोड कीं। 6 मिलियन टिप्पणियाँ थीं, हालाँकि, उनमें से 240 हज़ार पर प्रतिबंध लगा दिया गया था ("एक यूएफओ ने उड़ान भरी और इस शिलालेख को यहाँ प्रकाशित किया")। टिप्पणियों की एक उपयोगी संपत्ति यह है कि उनके पास समय की मोहर होती है। टिप्पणियों के समय का अध्ययन करके, आप मोटे तौर पर समझ सकते हैं कि लेख कब पढ़े जाते हैं।

यह पता चला कि अधिकांश लेख सुबह 10 बजे से रात 20 बजे तक कहीं न कहीं लिखे और टिप्पणी किए जाते हैं, यानी। एक विशिष्ट मास्को कार्य दिवस पर। इसका मतलब यह हो सकता है कि हैबर को व्यावसायिक उद्देश्यों के लिए पढ़ा जाता है, और यह काम में विलंब करने का एक अच्छा तरीका है। वैसे, दिन के समय का यह वितरण हबर की नींव से लेकर आज तक स्थिर है।

हालांकि, एक टिप्पणी टाइमस्टैम्प का मुख्य लाभ दिन का समय नहीं है, बल्कि लेख के "सक्रिय जीवन" की अवधि है। मैंने गणना की कि लेख के प्रकाशन से लेकर उसकी टिप्पणी तक का समय कैसे वितरित किया जाता है। पता चला कि अब मीडियन कमेंट (ग्रीन लाइन) करीब 20 घंटे में आता है, यानी प्रकाशन के पहले दिन, औसतन, लेख पर सभी टिप्पणियों में से आधे से थोड़ा अधिक बचा है। और दो दिनों में वे सभी टिप्पणियों का 75% छोड़ देते हैं। वहीं, पहले के आर्टिकल और भी तेजी से पढ़े जाते थे- उदाहरण के लिए 2010 में पहले 6 घंटे में आधे कमेंट्स आ गए थे।

यह मेरे लिए एक आश्चर्य के रूप में आया कि टिप्पणियाँ लंबी हो गई हैं: एक टिप्पणी में पात्रों की औसत संख्या हबर के जीवनकाल में लगभग दोगुनी हो गई है!

टिप्पणियों की तुलना में आसान प्रतिक्रिया वोट हैं। कई अन्य संसाधनों के विपरीत, हैबे पर आप न केवल प्लसस, बल्कि मिनस भी डाल सकते हैं। हालाँकि, पाठक अंतिम अवसर का इतनी बार उपयोग नहीं करते हैं: नापसंदों का वर्तमान हिस्सा डाले गए सभी वोटों का लगभग 15% है। पहले और भी हुआ करते थे, लेकिन समय के साथ पाठक दयालु हो गए हैं।

समय के साथ ग्रंथ स्वयं बदल गए हैं। उदाहरण के लिए, संकट के बावजूद, साइट के शुरू होने के बाद से ही पाठ की विशिष्ट लंबाई लगातार बढ़ना बंद नहीं करती है। एक दशक में, ग्रंथ लगभग दस गुना अधिक हो गए हैं!

ग्रंथों की शैली (पहले सन्निकटन के लिए) भी बदल गई। हैबर के अस्तित्व के पहले वर्षों के दौरान, उदाहरण के लिए, ग्रंथों में कोड और संख्या का हिस्सा बढ़ गया:

साइट की समग्र गतिशीलता को समझने के बाद, मैंने यह मापने का निर्णय लिया कि विभिन्न विषयों की लोकप्रियता कैसे बदली। विषयों को स्वचालित रूप से ग्रंथों से चुना जा सकता है, लेकिन शुरुआत के लिए, आप पहिया को फिर से नहीं बना सकते हैं, लेकिन प्रत्येक लेख के लेखकों द्वारा चिपकाए गए तैयार टैग का उपयोग कर सकते हैं। मैंने चार्ट पर चार विशिष्ट रुझान बनाए हैं। शुरू में "Google" थीम हावी थी (शायद मुख्य रूप से SEO के कारण), लेकिन वर्षों से वजन कम हो रहा है। जावास्क्रिप्ट एक लोकप्रिय विषय रहा है और धीरे-धीरे बढ़ता जा रहा है, लेकिन मशीन लर्निंग ने हाल के वर्षों में ही तेजी से लोकप्रियता हासिल करना शुरू कर दिया है। दूसरी ओर, लिनक्स पूरे दशक में समान रूप से प्रासंगिक रहा है।

बेशक, मुझे इस बात में दिलचस्पी थी कि कौन से विषय अधिक पाठक गतिविधि को आकर्षित करते हैं। मैंने प्रत्येक विषय में विचारों, मतों और टिप्पणियों की औसत संख्या की गणना की। यहाँ क्या हुआ है:

• सर्वाधिक देखे गए विषय: Arduino, वेब डिज़ाइन, वेब डेवलपमेंट, डाइजेस्ट, लिंक्स, css, html, html5, nginx, एल्गोरिदम।
• सबसे "पसंद" विषय: vkontakte, हास्य, jquery, ओपेरा, c, html, वेब डेवलपमेंट, html5, css, वेब डिज़ाइन।
• सबसे अधिक चर्चित विषय: ओपेरा, स्काइप, फ्रीलांस, vkontakte, ubuntu, काम, नोकिया, nginx, arduino, फ़ायरफ़ॉक्स।

वैसे, चूंकि मैं विषयों की तुलना कर रहा हूं, आप उन्हें आवृत्ति के आधार पर रैंक कर सकते हैं (और परिणामों की तुलना कर सकते हैं 2013 से समान लेख).

• हबर के अस्तित्व के सभी वर्षों के लिए, सबसे लोकप्रिय टैग (अवरोही क्रम में) Google, Android, जावास्क्रिप्ट, Microsoft, Linux, php, Apple, Java, अजगर, प्रोग्रामिंग, स्टार्टअप, विकास, iOS, स्टार्टअप, सोशल नेटवर्क हैं
• 2017 में, सबसे लोकप्रिय थे जावास्क्रिप्ट, पायथन, जावा, एंड्रॉइड, डेवलपमेंट, लाइनक्स, सी++, प्रोग्रामिंग, पीएचपी, सी#, आईओएस, मशीन लर्निंग, सूचना सुरक्षा, माइक्रोसॉफ्ट, प्रतिक्रिया

इन रेटिंग्स की तुलना करते समय, कोई ध्यान दे सकता है, उदाहरण के लिए, पायथन के विजयी मार्च और PHP के विलुप्त होने, या स्टार्टअप विषयों के "सूर्यास्त" और मशीन सीखने के उदय पर।

हैबे पर सभी टैगों में इतना स्पष्ट विषयगत रंग नहीं होता है। उदाहरण के लिए, यहां एक दर्जन टैग हैं जो केवल एक बार मिले, लेकिन मुझे केवल अजीब लगे। तो: "विचार प्रगति की प्रेरक शक्ति है", "फ्लॉपी डिस्क छवि से बूट", "आयोवा राज्य", "नाटक", "सुपरलेश", "स्टीम इंजन", "शनिवार को करने के लिए चीजें", "मेरे पास है" एक मांस की चक्की में एक लोमड़ी", "यह हमेशा की तरह निकला", "हम अजीब टैग के साथ नहीं आ सके"। ऐसे लेखों के विषय को निर्धारित करने के लिए, टैग पर्याप्त नहीं हैं - आपको लेखों के ग्रंथों पर विषयगत मॉडलिंग करना होगा।

लेखों की सामग्री का अधिक विस्तृत विश्लेषण अगली पोस्ट में होगा। सबसे पहले, मैं एक मॉडल बनाने जा रहा हूँ जो किसी लेख की सामग्री के आधार पर पृष्ठ दृश्यों की संख्या की भविष्यवाणी करता है। दूसरे, मैं तंत्रिका नेटवर्क को उसी शैली में पाठ उत्पन्न करना सिखाना चाहता हूं जैसे कि हबर के लेखक। तो सदस्यता लें 🙂

पुनश्च और यहाँ बीप है डाटासेट.

स्रोत: www.habr.com