મેં Habr ને કેવી રીતે પાર્સ કર્યું, ભાગ 1: વલણો

જ્યારે નવા વર્ષની ઓલિવિયર સમાપ્ત થઈ ગઈ, ત્યારે મારી પાસે કરવાનું કંઈ નહોતું, અને મેં મારા કમ્પ્યુટર પર હેબ્રાહાબ્ર (અને સંબંધિત પ્લેટફોર્મ્સ) ના તમામ લેખો ડાઉનલોડ કરવાનું અને અન્વેષણ કરવાનું નક્કી કર્યું.

ઘણી રસપ્રદ વાર્તાઓ હતી. તેમાંથી પ્રથમ સાઇટના અસ્તિત્વના 12 વર્ષોમાં લેખોના ફોર્મેટ અને વિષયોનો વિકાસ છે. ઉદાહરણ તરીકે, કેટલાક વિષયોની ગતિશીલતા તદ્દન સૂચક છે. ચાલુ - કટ હેઠળ.

પાર્સિંગ પ્રક્રિયા

હબરનો વિકાસ કેવી રીતે થયો તે સમજવા માટે, તેના તમામ લેખોમાંથી પસાર થવું અને તેમાંથી મેટા-માહિતી (ઉદાહરણ તરીકે, તારીખો) કાઢવાની જરૂર હતી. બાયપાસ સરળ હતો, કારણ કે તમામ લેખોની લિંક્સ "habrahabr.ru/post/337722/" જેવી દેખાય છે, અને નંબરો કડક ક્રમમાં આપવામાં આવે છે. છેલ્લી પોસ્ટમાં 350 હજાર કરતા થોડો ઓછો નંબર છે તે જાણીને, મેં લૂપ (પાયથોન કોડ) માં તમામ સંભવિત દસ્તાવેજ આઈડીમાંથી પસાર થયા:

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

કાર્ય download_document અનુરૂપ id સાથે પૃષ્ઠ લોડ કરવાનો પ્રયાસ કરે છે અને html બંધારણમાંથી અર્થપૂર્ણ માહિતી કાઢવાનો પ્રયાસ કરે છે.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

પદચ્છેદનની પ્રક્રિયામાં, મને ઘણી નવી વસ્તુઓ મળી.

પ્રથમ, તેઓ કહે છે કે પ્રોસેસરમાં કોરો કરતાં વધુ પ્રક્રિયાઓ બનાવવી નકામું છે. પરંતુ મારા કિસ્સામાં, તે બહાર આવ્યું છે કે મર્યાદિત સંસાધન પ્રોસેસર નથી, પરંતુ નેટવર્ક છે, અને 100 પ્રક્રિયાઓ 4 અથવા, કહો, 20 કરતાં વધુ ઝડપથી કાર્ય કરે છે.

બીજું, કેટલીક પોસ્ટ્સમાં વિશિષ્ટ અક્ષરોના સંયોજનો હતા - ઉદાહરણ તરીકે, "%&#@" જેવા સૌમ્યોક્તિ. તે બહાર આવ્યું છે કે html.parser, જેનો મેં પ્રથમ ઉપયોગ કર્યો હતો, તે સંયોજન પર પ્રતિક્રિયા આપે છે &# પીડાદાયક રીતે, તેને html એન્ટિટીની શરૂઆત ગણીને. હું પહેલેથી જ કાળો જાદુ કરવા જઈ રહ્યો હતો, પરંતુ ફોરમે સૂચવ્યું કે તમે ફક્ત પાર્સર બદલી શકો છો.

ત્રીજે સ્થાને, મેં ત્રણ સિવાયના તમામ પ્રકાશનોને અનલોડ કરવામાં વ્યવસ્થાપિત કર્યું. 65927, 162075 અને 275987 નંબરવાળા દસ્તાવેજો મારા એન્ટિવાયરસ દ્વારા તરત જ કાઢી નાખવામાં આવ્યા હતા. આ અનુક્રમે, જાવાસ્ક્રિપ્ટ ચેન વિશેના લેખો છે જે દૂષિત પીડીએફ ડાઉનલોડ કરે છે, બ્રાઉઝર પ્લગિન્સના સમૂહના રૂપમાં SMS રેન્સમવેર, અને CrashSafari.com સાઇટ કે જે iPhonesને રીબૂટમાં મોકલે છે. સિસ્ટમ સ્કેન દરમિયાન એન્ટિવાયરસને પાછળથી બીજો લેખ મળ્યો: પાલતુ સ્ટોરની વેબસાઇટ પર સ્ક્રીપ્ટ્સ વિશે 338586 પોસ્ટ કરો જે ક્રિપ્ટોકરન્સીને માઇન કરવા માટે વપરાશકર્તાના પ્રોસેસરનો ઉપયોગ કરે છે. તેથી આપણે ધ્યાનમાં લઈ શકીએ કે એન્ટીવાયરસનું કાર્ય તદ્દન પર્યાપ્ત છે.

"લાઇવ" લેખો સંભવિત મહત્તમ - 166307 ટુકડાઓમાંથી માત્ર અડધા જ નીકળ્યા. બાકીના વિશે, Habr વિકલ્પો આપે છે "પૃષ્ઠ જૂનું છે, કાઢી નાખવામાં આવ્યું છે અથવા બિલકુલ અસ્તિત્વમાં નથી." સારું, કંઈપણ થઈ શકે છે.

લેખો અપલોડ કરવાનું તકનીકી કાર્ય દ્વારા અનુસરવામાં આવ્યું હતું: ઉદાહરણ તરીકે, પ્રકાશન તારીખોને "'21 ડિસેમ્બર 2006 સવારે 10:47 વાગ્યે" ફોર્મેટમાંથી ધોરણમાં રૂપાંતરિત કરવાની હતી datetime, અને "12,8k" દૃશ્યો - 12800 માં. આ તબક્કે, થોડી વધુ ઘટનાઓ બહાર આવી. સૌથી મનોરંજક મત ગણતરીઓ અને ડેટા પ્રકારો સાથે સંબંધ ધરાવે છે: કેટલીક જૂની પોસ્ટ્સ પૂર્ણ ઓવરફ્લો હતી અને દરેકને 65535 મત મળ્યા હતા.

પરિણામે, લેખોના પાઠો (ચિત્રો વિના) મને 1.5 ગીગાબાઇટ્સ, મેટા-માહિતી સાથેની ટિપ્પણીઓ - અન્ય 3, અને લગભગ સો મેગાબાઇટ્સ - લેખો વિશેની મેટા-માહિતી. આને સંપૂર્ણપણે રેમમાં રાખી શકાય છે, જે મારા માટે એક સુખદ આશ્ચર્ય હતું.

મેં લેખોનું વિશ્લેષણ લખાણોમાંથી નહીં, પણ મેટા-માહિતીથી શરૂ કર્યું: તારીખો, ટૅગ્સ, હબ, દૃશ્યો અને પસંદ. તે બહાર આવ્યું છે કે તેણી ઘણું કહી શકે છે.

Habrahabr વિકાસ પ્રવાહો

સાઇટ પરના લેખો 2006 થી પ્રકાશિત કરવામાં આવ્યા છે; સૌથી વધુ સઘન - 2008-2016 માં.

જુદા જુદા સમયે આ લેખો કેટલી સક્રિય રીતે વાંચવામાં આવ્યા હતા તેનું મૂલ્યાંકન કરવું એટલું સરળ નથી. 2012 અને તેનાથી નાની ઉંમરના ટેક્સ્ટને વધુ ટિપ્પણીઓ અને રેટિંગ્સ મળ્યા છે, પરંતુ નવા ટેક્સ્ટ્સમાં વધુ જોવાયા અને બુકમાર્ક્સ છે. આ મેટ્રિક્સ 2015 માં માત્ર એક જ વાર સમાન રીતે વર્ત્યા (અડધા થઈ ગયા). કદાચ, આર્થિક અને રાજકીય કટોકટીની સ્થિતિમાં, વાચકોનું ધ્યાન IT બ્લોગ્સથી વધુ પીડાદાયક મુદ્દાઓ તરફ ગયું છે.

લેખો ઉપરાંત, મેં તેમને વધુ ટિપ્પણીઓ ડાઉનલોડ કરી. ત્યાં 6 મિલિયન ટિપ્પણીઓ હતી, જો કે, તેમાંથી 240 હજાર પર પ્રતિબંધ મૂકવામાં આવ્યો હતો ("એક યુએફઓએ ઉડાન ભરી અને આ શિલાલેખ અહીં પ્રકાશિત કર્યો"). ટિપ્પણીઓની ઉપયોગી મિલકત એ છે કે તેમની પાસે ટાઇમ સ્ટેમ્પ છે. ટિપ્પણીઓના સમયનો અભ્યાસ કરીને, તમે લગભગ સમજી શકો છો કે લેખો ક્યારે વાંચવામાં આવે છે.

તે બહાર આવ્યું છે કે મોટાભાગના લેખો સવારના 10 થી રાત્રે 20 વાગ્યા સુધી લખેલા અને ટિપ્પણી કરવામાં આવે છે, એટલે કે. મોસ્કોના સામાન્ય કાર્યકારી દિવસે. આનો અર્થ એવો થઈ શકે છે કે Habr વ્યાવસાયિક હેતુઓ માટે વાંચવામાં આવે છે, અને કામ પર વિલંબ કરવાની આ એક સારી રીત છે. માર્ગ દ્વારા, દિવસના સમયનું આ વિતરણ હબરના પાયાથી આજના દિવસ સુધી સ્થિર છે.

જો કે, ટિપ્પણી ટાઇમસ્ટેમ્પનો મુખ્ય ફાયદો એ દિવસનો સમય નથી, પરંતુ લેખના "સક્રિય જીવન" નો સમયગાળો છે. લેખના પ્રકાશનથી લઈને તેની ટિપ્પણી સુધીનો સમય કેવી રીતે વહેંચવામાં આવે છે તેની મેં ગણતરી કરી. તે બહાર આવ્યું છે કે હવે મધ્ય ટિપ્પણી (લીલી રેખા) લગભગ 20 કલાકમાં આવે છે, એટલે કે. પ્રકાશન પછીના પ્રથમ દિવસે, સરેરાશ, લેખ પરની બધી ટિપ્પણીઓમાંથી અડધા કરતાં થોડી વધુ બાકી છે. અને બે દિવસમાં તેઓ તમામ ટિપ્પણીઓમાંથી 75% છોડી દે છે. તે જ સમયે, અગાઉના લેખો વધુ ઝડપથી વાંચવામાં આવ્યા હતા - ઉદાહરણ તરીકે, 2010 માં, અડધા ટિપ્પણીઓ પ્રથમ 6 કલાકમાં આવી હતી.

તે મારા માટે આશ્ચર્યજનક હતું કે ટિપ્પણીઓ લાંબી થઈ છે: હેબરના જીવનકાળ દરમિયાન ટિપ્પણીમાં અક્ષરોની સરેરાશ સંખ્યા લગભગ બમણી થઈ ગઈ છે!

ટિપ્પણીઓ કરતાં વધુ સરળ પ્રતિસાદ મત છે. અન્ય ઘણા સંસાધનોથી વિપરીત, હેબ્રે પર તમે માત્ર પ્લીસસ જ નહીં, પણ ઓછા પણ મૂકી શકો છો. જો કે, વાચકો આટલી વાર છેલ્લી તકનો ઉપયોગ કરતા નથી: નાપસંદનો વર્તમાન હિસ્સો તમામ પડેલા મતોના લગભગ 15% છે. પહેલા વધુ હતા, પરંતુ સમય જતાં, વાચકો દયાળુ બન્યા છે.

ગ્રંથો પોતે સમય સાથે બદલાયા છે. ઉદાહરણ તરીકે, કટોકટી હોવા છતાં, સાઇટની શરૂઆતથી જ ટેક્સ્ટની લાક્ષણિક લંબાઈ સતત વધતી અટકતી નથી. એક દાયકામાં, ગ્રંથો લગભગ દસ ગણા લાંબા થઈ ગયા છે!

ગ્રંથોની શૈલી (પ્રથમ અંદાજમાં) પણ બદલાઈ ગઈ. હબરના અસ્તિત્વના પ્રથમ વર્ષો દરમિયાન, ઉદાહરણ તરીકે, પાઠોમાં કોડ અને સંખ્યાઓનો હિસ્સો વધ્યો:

સાઇટની એકંદર ગતિશીલતાને સમજ્યા પછી, મેં વિવિધ વિષયોની લોકપ્રિયતા કેવી રીતે બદલાઈ તે માપવાનું નક્કી કર્યું. પાઠોમાંથી વિષયો આપમેળે પસંદ કરી શકાય છે, પરંતુ શરૂઆત માટે, તમે વ્હીલને ફરીથી શોધી શકતા નથી, પરંતુ દરેક લેખના લેખકો દ્વારા લગાવેલા તૈયાર ટૅગ્સનો ઉપયોગ કરો. મેં ચાર્ટ પર ચાર લાક્ષણિક વલણો દોર્યા છે. "Google" થીમ શરૂઆતમાં પ્રભુત્વ ધરાવતી હતી (કદાચ મુખ્યત્વે SEOને કારણે), પરંતુ વર્ષોથી તેનું વજન ઘટી રહ્યું છે. જાવાસ્ક્રિપ્ટ એક લોકપ્રિય વિષય છે અને ધીમે ધીમે વિકાસ કરવાનું ચાલુ રાખે છે, પરંતુ તાજેતરના વર્ષોમાં જ મશીન લર્નિંગ ઝડપથી લોકપ્રિયતા મેળવવાનું શરૂ થયું છે. બીજી તરફ, Linux સમગ્ર દાયકા દરમિયાન સમાન રીતે સુસંગત રહ્યું છે.

અલબત્ત, કયા વિષયો વધુ વાચક પ્રવૃત્તિને આકર્ષે છે તેમાં મને રસ પડ્યો. મેં દરેક વિષયમાં જોવાયા, મતો અને ટિપ્પણીઓની સરેરાશ સંખ્યાની ગણતરી કરી. શું થયું તે અહીં છે:

• સૌથી વધુ જોવાયેલા વિષયો: arduino, વેબ ડિઝાઇન, વેબ ડેવલપમેન્ટ, ડાયજેસ્ટ, લિંક્સ, css, html, html5, nginx, અલ્ગોરિધમ્સ.
• સૌથી વધુ "ગમતા" વિષયો: vkontakte, humor, jquery, opera, c, html, વેબ ડેવલપમેન્ટ, html5, css, વેબ ડિઝાઇન.
• સૌથી વધુ ચર્ચિત વિષયો: opera, skype, freelance, vkontakte, ubuntu, work, nokia, nginx, arduino, firefox.

જો કે, હું વિષયોની સરખામણી કરી રહ્યો છું, તેથી તમે તેને આવર્તન દ્વારા રેન્ક આપી શકો છો (અને પરિણામોની સરખામણી 2013 ના સમાન લેખ).

• હેબ્રના અસ્તિત્વના તમામ વર્ષો માટે, સૌથી વધુ લોકપ્રિય ટૅગ્સ (ઉતરતા ક્રમમાં) ગૂગલ, એન્ડ્રોઇડ, જાવાસ્ક્રિપ્ટ, માઇક્રોસોફ્ટ, લિનક્સ, php, એપલ, જાવા, પાયથોન, પ્રોગ્રામિંગ, સ્ટાર્ટઅપ્સ, ડેવલપમેન્ટ, આઇઓએસ, સ્ટાર્ટઅપ, સોશિયલ નેટવર્ક્સ છે.
• 2017 માં, જાવાસ્ક્રિપ્ટ, પાયથોન, જાવા, એન્ડ્રોઇડ, ડેવલપમેન્ટ, લિનક્સ, સી++, પ્રોગ્રામિંગ, php, c#, ios, મશીન લર્નિંગ, માહિતી સુરક્ષા, માઇક્રોસોફ્ટ, રિએક્ટ સૌથી વધુ લોકપ્રિય હતા.

આ રેટિંગ્સની તુલના કરતી વખતે, કોઈ ધ્યાન આપી શકે છે, ઉદાહરણ તરીકે, પાયથોનની વિજયી કૂચ અને php ના લુપ્ત થવા પર અથવા સ્ટાર્ટઅપ વિષયોના "સૂર્યાસ્ત" અને મશીન લર્નિંગના ઉદય તરફ.

Habré પરના તમામ ટૅગ્સમાં આવા સ્પષ્ટ વિષયોનું રંગ નથી. ઉદાહરણ તરીકે, અહીં એક ડઝન ટૅગ્સ છે જે ફક્ત એક જ વાર મળ્યા હતા, પરંતુ તે મને રમુજી લાગ્યું. તેથી: "વિચાર એ પ્રગતિનું ચાલક બળ છે", "ફ્લોપી ડિસ્ક ઇમેજમાંથી બુટ", "આયોવા સ્ટેટ", "ડ્રામા", "સુપરલેશ", "સ્ટીમ એન્જિન", "શનિવારે કરવા માટેની વસ્તુઓ", "મારી પાસે છે. માંસ ગ્રાઇન્ડરમાં શિયાળ", "એ હંમેશની જેમ બહાર આવ્યું", "અમે રમુજી ટૅગ્સ સાથે આવી શક્યા નહીં". આવા લેખોનો વિષય નક્કી કરવા માટે, ટૅગ્સ પૂરતા નથી - તમારે લેખોના પાઠો પર વિષયોનું મોડેલિંગ કરવું પડશે.

લેખોની સામગ્રીનું વધુ વિગતવાર વિશ્લેષણ આગામી પોસ્ટમાં હશે. પ્રથમ, હું એક મોડેલ બનાવવા જઈ રહ્યો છું જે તેની સામગ્રીના આધારે લેખ માટે પૃષ્ઠ જોવાયાની સંખ્યાની આગાહી કરે છે. બીજું, હું ન્યુરલ નેટવર્કને હેબ્રના લેખકો જેવી જ શૈલીમાં ટેક્સ્ટ જનરેટ કરવા શીખવવા માંગુ છું. તો સબ્સ્ક્રાઇબ કરો 🙂

PS અને અહીં બીપ છે ડેટાસેટ.

સોર્સ: www.habr.com