मैले Habr लाई कसरी पार्स गरें, भाग 1: प्रवृत्तिहरू

जब नयाँ वर्षको ओलिभियर समाप्त भयो, मसँग गर्न केही थिएन, र मैले Habrahabr (र सम्बन्धित प्लेटफर्महरू) बाट सबै लेखहरू मेरो कम्प्युटरमा डाउनलोड गर्ने र अन्वेषण गर्ने निर्णय गरें।

त्यहाँ धेरै रोचक कथाहरू थिए। तिनीहरूमध्ये पहिलो ढाँचाको विकास हो र साइटको अस्तित्वको 12 वर्षहरूमा लेखहरूको विषयहरू। उदाहरणका लागि, केही विषयहरूको गतिशीलता एकदम सूचक छ। निरन्तरता - कट अन्तर्गत।

पार्सिङ प्रक्रिया

Habr कसरी विकसित भयो बुझ्नको लागि, उहाँका सबै लेखहरू मार्फत जान र तिनीहरूबाट मेटा-जानकारी निकाल्न आवश्यक थियो (उदाहरणका लागि, मितिहरू)। बाइपास सजिलो थियो, किनकि सबै लेखहरूमा लिङ्कहरू "habrahabr.ru/post/337722/" जस्तै देखिन्छन्, र नम्बरहरू कडा रूपमा क्रमबद्ध रूपमा दिइएको छ। अन्तिम पोष्टमा 350 हजार भन्दा अलि कम संख्या छ भन्ने थाहा पाएर, मैले भर्खरै लुपमा सबै सम्भावित कागजात आईडी मार्फत गएँ (पाइथन कोड):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

समारोह download_document सम्बन्धित आईडीको साथ पृष्ठ लोड गर्न प्रयास गर्दछ र html संरचनाबाट अर्थपूर्ण जानकारी निकाल्ने प्रयास गर्दछ।

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

पार्सिङ प्रक्रियामा, मैले धेरै नयाँ चीजहरू फेला पारे।

पहिलो, तिनीहरू भन्छन् कि प्रोसेसरमा कोरहरू भन्दा बढी प्रक्रियाहरू सिर्जना गर्नु बेकार छ। तर मेरो मामलामा, यो बाहिरियो कि सीमित संसाधन प्रोसेसर होइन, तर नेटवर्क, र 100 प्रक्रियाहरू 4 वा, 20 भन्दा छिटो काम गर्दछ।

दोस्रो, केही पोष्टहरूमा विशेष क्यारेक्टरहरूको संयोजन थियो - उदाहरणका लागि, "%&#@" जस्ता प्रेयोक्ति। भन्ने कुरा बाहिर आयो html.parser, जुन मैले पहिले प्रयोग गरें, संयोजनमा प्रतिक्रिया दिन्छ &# पीडादायी रूपमा, यसलाई एचटीएमएल इकाईको सुरुवातलाई विचार गर्दै। म पहिले नै कालो जादू गर्न गइरहेको थिएँ, तर फोरमले सुझाव दियो कि तपाईले पार्सर परिवर्तन गर्न सक्नुहुन्छ।

तेस्रो, मैले तीन बाहेक सबै प्रकाशनहरू अनलोड गर्न व्यवस्थित गरें। 65927, 162075, र 275987 नम्बर भएका कागजातहरू मेरो एन्टिभाइरसद्वारा तुरुन्तै मेटाइयो। यी लेखहरू, क्रमशः, जाभास्क्रिप्ट चेनको बारेमा हो जसले खराब pdf डाउनलोड गर्छ, ब्राउजर प्लगइनहरूको सेटको रूपमा SMS ransomware, र CrashSafari.com साइट जसले iPhones लाई रिबुटमा पठाउँछ। एन्टिभाइरसले पछि अर्को लेख पत्ता लगायो, प्रणाली स्क्यानको क्रममा: क्रिप्टोकरेन्सी माइन गर्न प्रयोगकर्ताको प्रोसेसर प्रयोग गर्ने पाल्तु जनावर स्टोर वेबसाइटमा लिपिहरूको बारेमा पोस्ट 338586। त्यसैले हामी एन्टिभाइरस को काम एकदम पर्याप्त छ विचार गर्न सक्नुहुन्छ।

"लाइभ" लेखहरू सम्भावित अधिकतम - 166307 टुक्राहरूको मात्र आधा हुन पुगे। बाँकीको बारेमा, Habr ले विकल्पहरू दिन्छ "पृष्ठ पुरानो भएको छ, मेटाइएको छ वा अवस्थित छैन।" खैर, जे पनि हुन सक्छ।

लेखहरू अपलोड गर्दा प्राविधिक कार्यहरू पछ्याइएको थियो: उदाहरणका लागि, प्रकाशन मितिहरू "'21 डिसेम्बर 2006 बिहान 10:47 बजे" ढाँचाबाट मानकमा रूपान्तरण गर्नुपर्थ्यो। datetime, र "12,8k" दृश्यहरू - 12800 मा। यस चरणमा, केही थप घटनाहरू बाहिर आए। सबैभन्दा रमाइलो भनेको भोट गणना र डेटा प्रकारहरूसँग गर्नु पर्छ: केही पुराना पोष्टहरूमा int ओभरफ्लो थियो र प्रत्येकले 65535 भोटहरू प्राप्त गरे।

नतिजाको रूपमा, लेखहरूको पाठ (तस्बिरहरू बिना) ले मलाई 1.5 गीगाबाइटहरू, मेटा-जानकारीको साथ टिप्पणीहरू - अर्को 3, र लगभग एक सय मेगाबाइटहरू - लेखहरूको बारेमा मेटा-जानकारी लिए। यो पूर्ण रूपमा RAM मा राख्न सकिन्छ, जुन मेरो लागि सुखद आश्चर्य थियो।

मैले लेखहरूको विश्लेषण पाठहरूबाट होइन, तर मेटा-जानकारीबाट सुरु गरें: मितिहरू, ट्यागहरू, हबहरू, दृश्यहरू र मनपर्नेहरू। धेरै कुरा बताउन सक्छिन् भन्ने थाहा भयो ।

Habrahabr विकास प्रवृत्ति

साइट मा लेख 2006 देखि प्रकाशित गरिएको छ; सबैभन्दा गहन रूपमा - 2008-2016 मा।

विभिन्न समयमा यी लेखहरू कत्तिको सक्रियताका साथ पढियो भनेर मूल्याङ्कन गर्न त्यति सजिलो छैन। 2012 र कम उमेरका पाठहरूले धेरै टिप्पणी र मूल्याङ्कनहरू प्राप्त गरे, तर नयाँ पाठहरूमा धेरै हेराइहरू र बुकमार्कहरू छन्। यी मेट्रिक्सले 2015 मा एक पटक मात्रै (आधा) व्यवहार गरे। हुनसक्छ, आर्थिक र राजनीतिक संकटको अवस्थामा, पाठकहरूको ध्यान IT ब्लगहरूबाट थप पीडादायी मुद्दाहरूमा सरेको छ।

लेखहरू बाहेक, मैले तिनीहरूलाई थप टिप्पणीहरू डाउनलोड गरें। त्यहाँ 6 मिलियन टिप्पणीहरू थिए, तथापि, तिनीहरूमध्ये 240 हजार प्रतिबन्धित थिए ("एउटा यूएफओ उड्यो र यो शिलालेख यहाँ प्रकाशित भयो")। टिप्पणीहरूको एक उपयोगी गुण हो कि तिनीहरूसँग समय टिकट छ। टिप्पणीहरूको समय अध्ययन गरेर, तपाईंले लेखहरू कहिले पढिन्छ भनेर लगभग बुझ्न सक्नुहुन्छ।

धेरै जसो लेखहरू बिहान १० बजेदेखि बेलुका ८ बजेसम्म लेखिएका र टिप्पणी गरिएका छन् भन्ने कुरा बाहिर आयो। एक सामान्य मास्को काम दिन मा। यसको मतलब यो हुन सक्छ कि Habr व्यावसायिक उद्देश्यका लागि पढिन्छ, र यो काममा ढिलाइ गर्ने राम्रो तरिका हो। वैसे, दिनको समयको यो वितरण हब्रको जगदेखि वर्तमान दिनसम्म स्थिर छ।

यद्यपि, टिप्पणी टाइमस्ट्याम्पको मुख्य फाइदा दिनको समय होइन, तर लेखको "सक्रिय जीवन" को अवधि हो। मैले लेखको प्रकाशनदेखि यसको टिप्पणीसम्मको समय कसरी बाँडफाँड हुन्छ भनेर गणना गरें। यो बाहिर भयो कि अब मध्य टिप्पणी (हरियो रेखा) लगभग 20 घण्टामा आउँछ, अर्थात्। प्रकाशन पछि पहिलो दिन, औसतमा, लेखमा सबै टिप्पणीहरूको आधा भन्दा बढी बाँकी छ। र दुई दिनमा तिनीहरूले सबै टिप्पणीहरूको 75% छोड्छन्। उही समयमा, पहिलेका लेखहरू अझ छिटो पढियो - उदाहरणका लागि, 2010 मा, आधा टिप्पणीहरू पहिलो 6 घण्टामा आए।

यो मेरो लागि अचम्मको रूपमा आयो कि टिप्पणीहरू लामो भएको छ: टिप्पणीमा क्यारेक्टरहरूको औसत संख्या हब्रको जीवनकालमा लगभग दोब्बर भएको छ!

टिप्पणी भन्दा सजिलो प्रतिक्रिया भोट हो। धेरै अन्य स्रोतहरूको विपरीत, Habré मा तपाईंले प्लसहरू मात्र होइन, माइनसहरू पनि राख्न सक्नुहुन्छ। जे होस्, पाठकहरूले अन्तिम अवसरलाई प्रायः प्रयोग गर्दैनन्: हालको मनपर्ने सेयर सबै मतदानको लगभग 15% हो। पहिले धेरै हुन्थ्यो, तर समयसँगै पाठकहरू दयालु भएका छन्।

पाठहरू आफैंमा समयसँगै परिवर्तन भएको छ। उदाहरण को लागी, पाठ को विशिष्ट लम्बाइ साइट को धेरै लन्च देखि लगातार बढ्दै रोक्दैन, संकट को बावजुद। एक दशकमा, पाठहरू लगभग दस गुणा लामो भएको छ!

पाठहरूको शैली (पहिलो अनुमानमा) पनि परिवर्तन भयो। हब्रको अस्तित्वको पहिलो वर्षहरूमा, उदाहरणका लागि, पाठहरूमा कोड र संख्याहरूको साझेदारी बढ्यो:

साइटको समग्र गतिशीलता बुझेपछि, मैले विभिन्न विषयहरूको लोकप्रियता कसरी परिवर्तन भयो भनेर मापन गर्ने निर्णय गरें। विषयहरू पाठहरूबाट स्वचालित रूपमा चयन गर्न सकिन्छ, तर शुरुवातका लागि, तपाईंले चक्रलाई पुन: आविष्कार गर्न सक्नुहुन्न, तर प्रत्येक लेखका लेखकहरूद्वारा टाँसिएको तयार-निर्मित ट्यागहरू प्रयोग गर्नुहोस्। मैले चार्टमा चार विशिष्ट प्रवृतिहरू कोरेको छु। "गुगल" विषयवस्तु प्रारम्भमा हावी भयो (सायद मुख्यतया एसईओको कारणले), तर वर्षौंदेखि वजन घटाउँदै आएको छ। जाभास्क्रिप्ट एक लोकप्रिय विषय भएको छ र बिस्तारै बढ्न जारी छ, तर मेशिन शिक्षाले हालैका वर्षहरूमा मात्र द्रुत रूपमा लोकप्रियता प्राप्त गर्न थालेको छ। लिनक्स, अर्कोतर्फ, दशकभरि समान रूपमा सान्दर्भिक रहेको छ।

निस्सन्देह, कुन विषयहरूले थप पाठक गतिविधिलाई आकर्षित गर्छन् भन्नेमा म चासो राखें। मैले प्रत्येक शीर्षकमा हेराइ, मत र टिप्पणीहरूको औसत संख्या गणना गरें। यहाँ के भयो:

• धेरै हेरिएका विषयहरू: arduino, वेब डिजाइन, वेब विकास, डाइजेस्ट, लिङ्क, css, html, html5, nginx, एल्गोरिदम।
• सबैभन्दा धेरै "मनपर्ने" विषयहरू: vkontakte, हास्य, jquery, opera, c, html, वेब विकास, html5, css, वेब डिजाइन।
• धेरै चर्चा गरिएका विषयहरू: ओपेरा, स्काइप, फ्रीलान्स, vkontakte, ubuntu, काम, नोकिया, nginx, arduino, फायरफक्स।

वैसे, मैले विषयहरू तुलना गरिरहेको हुनाले, तपाईंले तिनीहरूलाई फ्रिक्वेन्सी द्वारा श्रेणीकरण गर्न सक्नुहुन्छ (र परिणामहरू तुलना गर्नुहोस् 2013 को समान लेख).

• Habr को अस्तित्व को सबै वर्ष को लागी, सबै भन्दा लोकप्रिय ट्यागहरु (अवरोह क्रम मा) गुगल, एन्ड्रोइड, जाभास्क्रिप्ट, माइक्रोसफ्ट, लिनक्स, php, एप्पल, जाभा, पाइथन, प्रोग्रामिंग, स्टार्टअप, विकास, आईओएस, स्टार्टअप, सामाजिक सञ्जाल हुन्।
• 2017 मा, सबैभन्दा लोकप्रिय जाभास्क्रिप्ट, पाइथन, जाभा, एन्ड्रोइड, विकास, लिनक्स, c++, प्रोग्रामिङ, php, c#, ios, मेसिन लर्निङ, सूचना सुरक्षा, माइक्रोसफ्ट, प्रतिक्रिया थिए।

यी मूल्याङ्कनहरू तुलना गर्दा, कसैले ध्यान दिन सक्छ, उदाहरणका लागि, पाइथनको विजयी मार्च र php को विलुप्त, वा स्टार्टअप विषयहरूको "सूर्यास्त" र मेशिन शिक्षाको उदयमा।

Habré मा सबै ट्यागहरूमा यस्तो स्पष्ट विषयगत रंग छैन। उदाहरणका लागि, यहाँ एक दर्जन ट्यागहरू छन् जुन एक पटक मात्र भेटिएको थियो, तर मलाई हास्यास्पद लाग्यो। त्यसोभए: "विचार प्रगतिको चालक शक्ति हो", "फ्लपी डिस्क छविबाट बुट", "आयोवा राज्य", "ड्रामा", "सुपरलेश", "स्टीम इन्जिन", "शनिबार गर्नका लागि चीजहरू", "मसँग छ। मासु चक्कीमा फक्स", "ए यो सधैं जस्तै बाहिर भयो", "हामी हास्यास्पद ट्यागहरूसँग आउन सकेनौं"। त्यस्ता लेखहरूको विषय निर्धारण गर्न, ट्यागहरू पर्याप्त छैनन् - तपाईंले लेखहरूको पाठहरूमा विषयगत मोडेलिङ गर्नु पर्छ।

लेखहरूको सामग्रीको थप विस्तृत विश्लेषण अर्को पोस्टमा हुनेछ। पहिले, म एउटा मोडेल निर्माण गर्न जाँदैछु जसले यसको सामग्रीमा आधारित लेखको लागि पृष्ठ हेराइहरूको संख्या भविष्यवाणी गर्दछ। दोस्रो, म न्युरल नेटवर्कलाई Habr का लेखकहरू जस्तै शैलीमा पाठहरू उत्पन्न गर्न सिकाउन चाहन्छु। त्यसैले सदस्यता लिनुहोस् 🙂

PS र यहाँ बीप छ डाटासेट.

स्रोत: www.habr.com