मी Habr चे विश्लेषण कसे केले, भाग 1: ट्रेंड

जेव्हा नवीन वर्षाचे ऑलिव्हियर संपले, तेव्हा माझ्याकडे काही करायचे नव्हते आणि मी Habrahabr (आणि संबंधित प्लॅटफॉर्म) वरून सर्व लेख माझ्या संगणकावर डाउनलोड करण्याचा आणि एक्सप्लोर करण्याचा निर्णय घेतला.

अनेक रंजक कथा होत्या. त्यापैकी प्रथम साइटच्या अस्तित्वाच्या 12 वर्षांमध्ये लेखांचे स्वरूप आणि विषयांचा विकास आहे. उदाहरणार्थ, काही विषयांची गतिशीलता खूप सूचक आहे. चालू - कट अंतर्गत.

पार्सिंग प्रक्रिया

Habr कसे विकसित झाले हे समजून घेण्यासाठी, त्याच्या सर्व लेखांमधून जाणे आणि त्यांच्याकडून मेटा-माहिती काढणे आवश्यक होते (उदाहरणार्थ, तारखा). बायपास सोपा होता, कारण सर्व लेखांचे दुवे "habrahabr.ru/post/337722/" सारखे दिसतात आणि क्रमांक काटेकोरपणे क्रमाने दिलेले आहेत. शेवटच्या पोस्टची संख्या 350 हजार पेक्षा किंचित कमी आहे हे जाणून, मी लूपमध्ये सर्व संभाव्य दस्तऐवज आयडी (पायथन कोड) मधून गेलो:

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

कार्य download_document संबंधित आयडीसह पृष्ठ लोड करण्याचा प्रयत्न करते आणि html संरचनामधून अर्थपूर्ण माहिती काढण्याचा प्रयत्न करते.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

पार्सिंग प्रक्रियेत, मला अनेक नवीन गोष्टी सापडल्या.

प्रथम, ते म्हणतात की प्रोसेसरमध्ये कोरपेक्षा अधिक प्रक्रिया तयार करणे निरुपयोगी आहे. परंतु माझ्या बाबतीत, असे दिसून आले की मर्यादित संसाधन प्रोसेसर नाही, परंतु नेटवर्क आहे आणि 100 प्रक्रिया 4 किंवा 20 पेक्षा अधिक वेगाने कार्य करतात.

दुसरे म्हणजे, काही पोस्ट्समध्ये विशेष वर्णांचे संयोजन होते - उदाहरणार्थ, "%&#@" सारखे शब्दप्रयोग. असे निघाले html.parser, जे मी प्रथम वापरले, संयोजनावर प्रतिक्रिया देते &# वेदनादायकपणे, html घटकाची सुरुवात लक्षात घेता. मी आधीच काळी जादू करणार होतो, पण फोरमने सुचवले की तुम्ही फक्त पार्सर बदलू शकता.

तिसरे म्हणजे, मी तीन वगळता सर्व प्रकाशने अनलोड करण्यात व्यवस्थापित केले. माझ्या अँटीव्हायरसने 65927, 162075 आणि 275987 क्रमांकाचे दस्तऐवज त्वरित हटवले. हे अनुक्रमे, दुर्भावनापूर्ण pdf डाउनलोड करणाऱ्या JavaScript चेन, ब्राउझर प्लगइन्सच्या संचाच्या स्वरूपात SMS ransomware आणि iPhones रीबूटमध्ये पाठवणाऱ्या CrashSafari.com साइटबद्दलचे लेख आहेत. सिस्टम स्कॅन दरम्यान अँटीव्हायरसला नंतर दुसरा लेख सापडला: क्रिप्टोकरन्सी खाण करण्यासाठी वापरकर्त्याच्या प्रोसेसरचा वापर करणाऱ्या पाळीव प्राण्यांच्या दुकानाच्या वेबसाइटवरील स्क्रिप्टबद्दल 338586 पोस्ट करा. म्हणून आपण अँटीव्हायरसचे कार्य पुरेसे पुरेसे आहे याचा विचार करू शकतो.

"लाइव्ह" लेख संभाव्य कमाल - 166307 तुकड्यांपैकी फक्त अर्धेच निघाले. उर्वरित बद्दल, Habr पर्याय देते "पृष्ठ जुने आहे, हटविले गेले आहे किंवा अस्तित्वात नाही." बरं, काहीही होऊ शकतं.

लेख अपलोड करण्यामागे तांत्रिक काम होते: उदाहरणार्थ, प्रकाशनाच्या तारखा "'21 डिसेंबर 2006 at 10:47 am' या फॉरमॅटमधून मानकात रुपांतरित कराव्या लागल्या. datetime, आणि "12,8k" दृश्ये - 12800 मध्ये. या टप्प्यावर, आणखी काही घटना बाहेर आल्या. सर्वात मजेदार गोष्ट मतांची संख्या आणि डेटा प्रकारांशी संबंधित आहे: काही जुन्या पोस्टमध्ये इंट ओव्हरफ्लो होता आणि प्रत्येकी 65535 मते मिळाली.

परिणामी, लेखांचे मजकूर (चित्रांशिवाय) मला 1.5 गीगाबाइट्स, मेटा-माहितीसह टिप्पण्या - आणखी 3, आणि सुमारे शंभर मेगाबाइट्स - लेखांबद्दल मेटा-माहिती. हे पूर्णपणे RAM मध्ये ठेवले जाऊ शकते, जे माझ्यासाठी एक सुखद आश्चर्य होते.

मी लेखांचे विश्लेषण स्वतः ग्रंथांमधून नव्हे तर मेटा-माहितीवरून सुरू केले: तारखा, टॅग, हब, दृश्ये आणि आवडी. असे दिसून आले की ती खूप काही सांगू शकते.

Habrahabr विकास ट्रेंड

साइटवरील लेख 2006 पासून प्रकाशित केले गेले आहेत; सर्वात तीव्रतेने - 2008-2016 मध्ये.

हे लेख वेगवेगळ्या वेळी किती सक्रियपणे वाचले गेले याचे आकलन करणे इतके सोपे नाही. 2012 आणि त्यापेक्षा कमी वयातील मजकूरांना अधिक टिप्पण्या आणि रेटिंग मिळाले, परंतु नवीन मजकुरांना अधिक दृश्ये आणि बुकमार्क आहेत. हे मेट्रिक्स 2015 मध्ये फक्त एकदाच तशाच प्रकारे वागले (निम्मे) कदाचित, आर्थिक आणि राजकीय संकटाच्या परिस्थितीत, वाचकांचे लक्ष IT ब्लॉग वरून अधिक वेदनादायक समस्यांकडे वळले आहे.

लेखांव्यतिरिक्त, मी त्यांना अधिक टिप्पण्या डाउनलोड केल्या. तेथे 6 दशलक्ष टिप्पण्या होत्या, तथापि, त्यापैकी 240 हजारांवर बंदी घालण्यात आली होती ("यूएफओने उड्डाण केले आणि हा शिलालेख येथे प्रकाशित केला"). टिप्पण्यांचा एक उपयुक्त गुणधर्म म्हणजे त्यांच्याकडे टाइम स्टॅम्प आहे. टिप्पण्यांच्या वेळेचा अभ्यास करून, लेख कधी वाचले जातात हे तुम्हाला अंदाजे समजू शकते.

असे दिसून आले की बहुतेक लेख सकाळी 10 ते रात्री 20 या वेळेत लिहिलेले आणि टिप्पणी केलेले आहेत, म्हणजे. ठराविक मॉस्को कामकाजाच्या दिवशी. याचा अर्थ असा होऊ शकतो की Habr हे व्यावसायिक हेतूंसाठी वाचले जाते आणि कामावर विलंब करण्याचा हा एक चांगला मार्ग आहे. तसे, दिवसाच्या वेळेचे हे वितरण हब्रच्या स्थापनेपासून आजपर्यंत स्थिर आहे.

तथापि, टिप्पणी टाइमस्टॅम्पचा मुख्य फायदा दिवसाची वेळ नसून लेखाच्या "सक्रिय जीवनाचा" कालावधी आहे. मी लेखाच्या प्रकाशनापासून त्याच्या टिप्पणीपर्यंत वेळ कसा वितरित केला जातो याची गणना केली. असे दिसून आले की आता मध्यवर्ती टिप्पणी (हिरवी ओळ) सुमारे 20 तासांत येते, म्हणजे. प्रकाशनानंतर पहिल्या दिवशी, सरासरी, लेखावरील सर्व टिप्पण्यांपैकी अर्ध्याहून अधिक टिप्पण्या बाकी आहेत. आणि दोन दिवसात ते सर्व टिप्पण्यांपैकी 75% देतात. त्याच वेळी, पूर्वीचे लेख आणखी जलद वाचले गेले - उदाहरणार्थ, 2010 मध्ये, अर्ध्या टिप्पण्या पहिल्या 6 तासांत आल्या.

टिप्पण्या वाढल्या आहेत हे माझ्यासाठी आश्चर्यचकित करणारे आहे: हॅब्रच्या जीवनकाळात टिप्पणीमधील वर्णांची सरासरी संख्या जवळजवळ दुप्पट झाली आहे!

टिप्पण्यांपेक्षा सहज अभिप्राय म्हणजे मते. इतर अनेक संसाधनांच्या विपरीत, हॅब्रेवर आपण केवळ प्लसजच नव्हे तर वजा देखील ठेवू शकता. तथापि, वाचक शेवटची संधी इतक्या वेळा वापरत नाहीत: नापसंतीचा सध्याचा वाटा सर्व टाकलेल्या मतांपैकी सुमारे 15% आहे. पूर्वी जास्त असायचे, पण कालांतराने वाचक दयाळू झाले आहेत.

ग्रंथ स्वतःच काळानुरूप बदलले आहेत. उदाहरणार्थ, साइटच्या लाँचपासून, संकट असूनही मजकूराची ठराविक लांबी स्थिरपणे वाढणे थांबवत नाही. एका दशकात, ग्रंथ जवळजवळ दहापट लांब झाले आहेत!

ग्रंथांची शैली (प्रथम अंदाजानुसार) देखील बदलली. हब्रच्या अस्तित्वाच्या पहिल्या वर्षांमध्ये, उदाहरणार्थ, मजकूरातील कोड आणि संख्यांचा वाटा वाढला:

साइटची एकूण गतिशीलता समजून घेतल्यानंतर, मी विविध विषयांची लोकप्रियता कशी बदलली हे मोजण्याचे ठरवले. मजकूरांमधून विषय स्वयंचलितपणे निवडले जाऊ शकतात, परंतु सुरुवातीच्यासाठी, आपण चाक पुन्हा शोधू शकत नाही, परंतु प्रत्येक लेखाच्या लेखकांनी चिकटवलेले तयार टॅग वापरू शकता. मी चार्टवर चार वैशिष्ट्यपूर्ण ट्रेंड काढले आहेत. "गुगल" थीमने सुरुवातीला वर्चस्व गाजवले (कदाचित मुख्यतः एसईओमुळे), परंतु गेल्या काही वर्षांपासून वजन कमी होत आहे. जावास्क्रिप्ट हा एक लोकप्रिय विषय आहे आणि हळू हळू वाढत आहे, परंतु मशीन लर्निंगने केवळ अलीकडच्या वर्षांतच वेगाने लोकप्रियता मिळवण्यास सुरुवात केली आहे. दुसरीकडे, लिनक्स संपूर्ण दशकभर तितकेच संबंधित राहिले आहे.

नक्कीच, मला कोणते विषय अधिक वाचक क्रियाकलाप आकर्षित करतात यात रस निर्माण झाला. मी प्रत्येक विषयातील दृश्ये, मते आणि टिप्पण्यांची सरासरी संख्या मोजली. काय झाले ते येथे आहे:

• सर्वाधिक पाहिलेले विषय: arduino, web design, web development, digest, links, css, html, html5, nginx, algorithms.
• सर्वाधिक "आवडले" विषय: vkontakte, विनोद, jquery, opera, c, html, वेब विकास, html5, css, वेब डिझाइन.
• सर्वाधिक चर्चिले जाणारे विषय: ऑपेरा, स्काईप, फ्रीलान्स, व्हकॉन्टाक्टे, उबंटू, वर्क, नोकिया, एनजीन्क्स, अर्डिनो, फायरफॉक्स.

तसे, मी विषयांची तुलना करत असल्याने, तुम्ही त्यांना वारंवारतेनुसार रँक करू शकता (आणि परिणामांची तुलना 2013 मधील समान लेख).

• Habr च्या अस्तित्वाच्या सर्व वर्षांसाठी, सर्वात लोकप्रिय टॅग (उतरत्या क्रमाने) google, android, javascript, microsoft, linux, php, Apple, java, python, programming, startups, development, ios, startup, social networks आहेत.
• 2017 मध्ये, javascript, python, java, android, develop, linux, c++, प्रोग्रामिंग, php, c#, ios, मशीन लर्निंग, माहिती सुरक्षा, microsoft, react हे सर्वात लोकप्रिय होते.

या रेटिंगची तुलना करताना, कोणी लक्ष देऊ शकते, उदाहरणार्थ, पायथनच्या विजयी मार्चकडे आणि php च्या विलुप्त होण्याकडे किंवा स्टार्टअप विषयांच्या "सूर्यास्त" आणि मशीन लर्निंगच्या उदयाकडे.

Habré वरील सर्व टॅगमध्ये असा स्पष्ट विषयासंबंधीचा रंग नाही. उदाहरणार्थ, येथे एक डझन टॅग आहेत जे फक्त एकदाच भेटले, परंतु मला ते मजेदार वाटले. तर: "कल्पना ही प्रगतीची प्रेरक शक्ती आहे", "फ्लॉपी डिस्क इमेजवरून बूट", "आयोवा स्टेट", "ड्रामा", "सुपरलेश", "स्टीम इंजिन", "शनिवारी करण्याच्या गोष्टी", "माझ्याकडे आहे. मांस ग्राइंडरमधील कोल्हा", "एक ते नेहमीप्रमाणेच निघाले", "आम्ही मजेदार टॅगसह येऊ शकलो नाही". अशा लेखांचा विषय निश्चित करण्यासाठी, टॅग पुरेसे नाहीत - आपल्याला लेखांच्या मजकुरावर थीमॅटिक मॉडेलिंग करावे लागेल.

लेखांच्या सामग्रीचे अधिक तपशीलवार विश्लेषण पुढील पोस्टमध्ये असेल. प्रथम, मी एक मॉडेल तयार करणार आहे जे लेखाच्या सामग्रीवर आधारित पृष्ठ दृश्यांच्या संख्येचा अंदाज लावते. दुसरे म्हणजे, मला न्यूरल नेटवर्कला हब्रच्या लेखकांप्रमाणेच मजकूर तयार करण्यास शिकवायचे आहे. तर सदस्यता घ्या 🙂

PS आणि येथे बीप आहे डेटासेट.

स्त्रोत: www.habr.com