როგორ გავაანალიზე Habr, ნაწილი 1: ტენდენციები

როდესაც საახალწლო ოლივიე დასრულდა, მე არაფერი მქონდა გასაკეთებელი და გადავწყვიტე ყველა სტატია Habrahabr-დან (და მასთან დაკავშირებული პლატფორმებიდან) გადმომეწერა კომპიუტერში და გამომეკვლია.

იყო რამდენიმე საინტერესო ამბავი. პირველი მათგანი არის სტატიების ფორმატისა და თემების განვითარება საიტის არსებობის 12 წლის განმავლობაში. მაგალითად, ზოგიერთი თემის დინამიკა საკმაოდ საჩვენებელია. გაგრძელება - ჭრის ქვეშ.

გარჩევის პროცესი

იმის გასაგებად, თუ როგორ განვითარდა ჰაბრი, საჭირო იყო მისი ყველა სტატიის გავლა და მათგან მეტა-ინფორმაციის (მაგალითად, თარიღების) ამოღება. შემოვლითი გზა ადვილი იყო, რადგან ყველა სტატიის ბმულები ჰგავს "habrahabr.ru/post/337722/" და ნომრები მოცემულია მკაცრად თანმიმდევრობით. იმის ცოდნა, რომ ბოლო პოსტს აქვს 350 ათასზე ოდნავ ნაკლები რიცხვი, მე უბრალოდ გადავხედე ყველა შესაძლო დოკუმენტის ID-ს მარყუჟში (პითონის კოდი):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

ფუნქცია download_document ცდილობს გვერდის ჩატვირთვას შესაბამისი id-ით და ცდილობს მნიშვნელოვანი ინფორმაციის ამოღებას html სტრუქტურიდან.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

ანალიზის პროცესში რამდენიმე ახალი რამ აღმოვაჩინე.

ჯერ ერთი, ისინი ამბობენ, რომ პროცესორზე მეტი პროცესების შექმნა, ვიდრე ბირთვებია, უსარგებლოა. მაგრამ ჩემს შემთხვევაში აღმოჩნდა, რომ შემზღუდველი რესურსი არ არის პროცესორი, არამედ ქსელი და 100 პროცესი უფრო სწრაფად მუშაობს ვიდრე 4 ან, ვთქვათ, 20.

მეორეც, ზოგიერთ პოსტში იყო სპეციალური სიმბოლოების კომბინაციები - მაგალითად, ევფემიზმები, როგორიცაა "%&#@". აღმოჩნდა რომ html.parser, რომელიც პირველად გამოვიყენე, რეაგირებს კომბინაციაზე &# მტკივნეულად, html ერთეულის დასაწყისად მიგვაჩნია. მე უკვე ვაპირებდი შავი მაგიის გაკეთებას, მაგრამ ფორუმმა შემოგვთავაზა, რომ შეგიძლიათ უბრალოდ შეცვალოთ პარსერი.

მესამე, მე მოვახერხე ყველა პუბლიკაციის განტვირთვა, გარდა სამისა. 65927, 162075 და 275987 ნომრიანი დოკუმენტები მყისიერად წაიშალა ჩემი ანტივირუსით. ეს არის სტატიები, შესაბამისად, ჯავასკრიპტის ჯაჭვის შესახებ, რომელიც ჩამოტვირთავს მავნე pdf-ს, SMS გამოსასყიდ პროგრამას ბრაუზერის დანამატების ნაკრების სახით და CrashSafari.com საიტის შესახებ, რომელიც აგზავნის iPhone-ებს გადატვირთვაში. ანტივირუსმა აღმოაჩინა კიდევ ერთი სტატია მოგვიანებით, სისტემის სკანირების დროს: განათავსეთ 338586 სკრიპტების შესახებ ცხოველების მაღაზიის ვებსაიტზე, რომლებიც იყენებენ მომხმარებლის პროცესორს კრიპტოვალუტის მოსაპოვებლად. ასე რომ, ჩვენ შეგვიძლია მივიჩნიოთ, რომ ანტივირუსის მუშაობა საკმაოდ ადეკვატურია.

„ლაივ“ სტატიები პოტენციური მაქსიმუმის მხოლოდ ნახევარი აღმოჩნდა - 166307 ცალი. დანარჩენის შესახებ ჰაბრი იძლევა ვარიანტებს "გვერდი მოძველებულია, წაშლილია ან საერთოდ არ არსებობდა". ისე, ყველაფერი შეიძლება მოხდეს.

სტატიების ატვირთვას მოჰყვა ტექნიკური სამუშაოები: მაგალითად, გამოქვეყნების თარიღები უნდა გადაკეთებულიყო ფორმატიდან "'21 დეკემბერი 2006 წლის 10:47 საათზე" სტანდარტზე. datetime, ხოლო "12,8k" ნახვა - 12800 წელს. ამ ეტაპზე კიდევ რამდენიმე ინციდენტი გამოვიდა. ყველაზე სასაცილო ხმების დათვლასთან და მონაცემთა ტიპებთან არის დაკავშირებული: ზოგიერთ ძველ პოსტს ჰქონდა int overflow და თითოეულმა მიიღო 65535 ხმა.

შედეგად, სტატიების ტექსტებმა (სურათების გარეშე) აიღო 1.5 გიგაბაიტი, კომენტარები მეტაინფორმაციით - კიდევ 3 და დაახლოებით ასი მეგაბაიტი - მეტა-ინფორმაცია სტატიების შესახებ. ამის სრული შენახვა შესაძლებელია RAM-ში, რაც სასიამოვნო სიურპრიზი იყო ჩემთვის.

სტატიების ანალიზი დავიწყე არა თავად ტექსტებიდან, არამედ მეტაინფორმაციიდან: თარიღები, ტეგები, ჰაბები, ნახვები და მოწონებები. აღმოჩნდა, რომ მას ბევრის თქმა შეეძლო.

ჰაბრაჰაბრის განვითარების ტენდენციები

სტატიები საიტზე ქვეყნდება 2006 წლიდან; ყველაზე ინტენსიურად - 2008-2016 წლებში.

რამდენად აქტიურად იკითხებოდა ეს სტატიები სხვადასხვა დროს, არც ისე ადვილი დასაფასებელია. 2012 წლის და უფრო ახალგაზრდების ტექსტებმა მეტი კომენტარი და რეიტინგი მიიღო, მაგრამ ახალ ტექსტებს მეტი ნახვა და სანიშნე აქვს. ეს მეტრიკა ერთნაირად მოიქცა (განახევრდა) მხოლოდ ერთხელ, 2015 წელს. შესაძლოა, ეკონომიკური და პოლიტიკური კრიზისის პირობებში, მკითხველთა ყურადღება IT ბლოგებიდან უფრო მტკივნეულ საკითხებზე გადაიტანა.

თავად სტატიების გარდა, მათზე მეტი კომენტარი გადმოვწერე. 6 მილიონი კომენტარი იყო, თუმცა მათგან 240 ათასი აიკრძალა („მოფრინდა უცხოპლანეტელი და გამოაქვეყნა ეს წარწერა აქ“). კომენტარების სასარგებლო თვისება ის არის, რომ მათ აქვთ დროის შტამპი. კომენტარების დროის შესწავლით, უხეშად მიხვდებით, როდის იკითხება საერთოდ სტატიები.

აღმოჩნდა, რომ სტატიების უმეტესობა სადღაც დილის 10-დან საღამოს 20-მდე იწერება და კომენტირებულიც, ე.ი. ჩვეულებრივ მოსკოვის სამუშაო დღეს. ეს შეიძლება ნიშნავდეს, რომ Habr იკითხება პროფესიული მიზნებისთვის და ეს არის კარგი გზა სამსახურში გაჭიანურებისთვის. სხვათა შორის, დღის დროის ეს განაწილება სტაბილურია ჰაბრის დაარსებიდან დღემდე.

თუმცა, კომენტარის დროის შტამპის მთავარი უპირატესობა არ არის დღის დრო, არამედ სტატიის „აქტიური ცხოვრების“ ხანგრძლივობა. მე გამოვთვალე, როგორ ნაწილდება დრო სტატიის გამოქვეყნებიდან მის კომენტარამდე. აღმოჩნდა, რომ ახლა მედიანური კომენტარი (მწვანე ხაზი) ​​მოდის დაახლოებით 20 საათში, ე.ი. გამოქვეყნებიდან პირველ დღეს, საშუალოდ, სტატიის ყველა კომენტარის ნახევარზე ცოტა მეტი რჩება. და ორ დღეში ისინი ტოვებენ ყველა კომენტარის 75%. ამავდროულად, ადრეული სტატიები კიდევ უფრო სწრაფად იკითხებოდა - მაგალითად, 2010 წელს კომენტარების ნახევარი პირველი 6 საათის განმავლობაში მოვიდა.

ჩემთვის მოულოდნელი იყო, რომ კომენტარები გახანგრძლივდა: კომენტარში სიმბოლოების საშუალო რაოდენობა თითქმის გაორმაგდა ჰაბრის სიცოცხლის მანძილზე!

უფრო მარტივი გამოხმაურება ვიდრე კომენტარები არის ხმები. ბევრი სხვა რესურსისგან განსხვავებით, Habré-ზე შეგიძლიათ განათავსოთ არა მხოლოდ პლიუსები, არამედ მინუსებიც. თუმცა, მკითხველი არც ისე ხშირად იყენებს ბოლო შესაძლებლობას: მოწონების ამჟამინდელი წილი ყველა მიღებულ ხმათა დაახლოებით 15%-ია. ადრე მეტი იყო, მაგრამ დროთა განმავლობაში მკითხველი უფრო კეთილი გახდა.

თავად ტექსტები დროთა განმავლობაში შეიცვალა. მაგალითად, ტექსტის ტიპიური სიგრძე არ წყვეტს სტაბილურად ზრდას საიტის გაშვებისთანავე, მიუხედავად კრიზისისა. ათწლეულში ტექსტები თითქმის ათჯერ გაგრძელდა!

შეიცვალა ტექსტების სტილიც (პირველი მიახლოებით). ჰაბრის არსებობის პირველ წლებში, მაგალითად, გაიზარდა კოდის და რიცხვების წილი ტექსტებში:

საიტის საერთო დინამიკის გააზრების შემდეგ, გადავწყვიტე გამეზომა, თუ როგორ შეიცვალა სხვადასხვა თემების პოპულარობა. თემები შეიძლება ავტომატურად შეირჩეს ტექსტებიდან, მაგრამ დამწყებთათვის, თქვენ არ შეგიძლიათ ხელახლა გამოიგონოთ ბორბალი, არამედ გამოიყენოთ მზა ტეგები, რომლებიც დამაგრებულია თითოეული სტატიის ავტორების მიერ. მე დავხატე ოთხი ტიპიური ტენდენცია სქემაზე. "გუგლის" თემა თავდაპირველად დომინირებდა (შესაძლოა ძირითადად SEO-ის გამო), მაგრამ წლების განმავლობაში წონაში იკლებს. Javascript პოპულარული თემა იყო და ნელ-ნელა იზრდება, მაგრამ მანქანათმცოდნეობამ სწრაფად მოიპოვა პოპულარობა მხოლოდ ბოლო წლებში. Linux, მეორე მხრივ, თანაბრად აქტუალური დარჩა ათწლეულის განმავლობაში.

რა თქმა უნდა, დავინტერესდი, რა თემები იზიდავს უფრო მეტ მკითხველს. მე გამოვთვალე ნახვების, ხმების და კომენტარების მედიანური რაოდენობა თითოეულ თემაზე. აი რა მოხდა:

• ყველაზე ნახული თემები: arduino, ვებ დიზაინი, ვებ განვითარება, დაიჯესტი, ბმულები, css, html, html5, nginx, ალგორითმები.
• ყველაზე "მოწონებული" თემები: vkontakte, იუმორი, jquery, opera, c, html, ვებ განვითარება, html5, css, ვებ დიზაინი.
• ყველაზე განხილული თემები: ოპერა, სკაიპი, თავისუფალი, vkontakte, ubuntu, სამუშაო, nokia, nginx, arduino, firefox.

სხვათა შორის, რადგან თემებს ვადარებ, შეგიძლიათ მათი სიხშირის მიხედვით (და შეადაროთ შედეგები) მსგავსი სტატია 2013 წლიდან).

• Habr-ის არსებობის მთელი წლების განმავლობაში, ყველაზე პოპულარული ტეგები (კლებადობით) არის google, android, javascript, microsoft, linux, php, apple, java, python, პროგრამირება, სტარტაპები, განვითარება, ios, startup, სოციალური ქსელები.
• 2017 წელს ყველაზე პოპულარული იყო javascript, python, java, android, დეველოპმენტი, ლინუქსი, c++, პროგრამირება, php, c#, ios, მანქანური სწავლება, ინფორმაციის უსაფრთხოება, microsoft, react.

ამ რეიტინგების შედარებისას შეიძლება ყურადღება მიაქციოთ, მაგალითად, Python-ის გამარჯვებულ მსვლელობას და php-ის გადაშენებას, ან სტარტაპ თემების „მზის ჩასვლას“ და მანქანათმცოდნეობის აღზევებას.

Habré-ზე ყველა ტეგს არ აქვს ასეთი აშკარა თემატური შეღებვა. მაგალითად, აქ არის ათეული ტეგი, რომლებიც მხოლოდ ერთხელ შეხვდნენ, მაგრამ უბრალოდ სასაცილო მომეჩვენა. ასე რომ: „იდეა არის პროგრესის მამოძრავებელი ძალა“, „ჩატვირთვა ფლოპი დისკის სურათიდან“, „აიოვას შტატი“, „დრამა“, „სუპერალეში“, „ორთქლის ძრავა“, „შაბათს გასაკეთებელი საქმეები“, „მე მაქვს მელა ხორცსაკეპ მანქანაში“, „აი, როგორც ყოველთვის“, „სასაცილო ტეგები ვერ მოვიფიქრეთ“. ასეთი სტატიების თემის დასადგენად, ტეგები საკმარისი არ არის - თქვენ მოგიწევთ სტატიების ტექსტებზე თემატური მოდელირების განხორციელება.

სტატიების შინაარსის უფრო დეტალური ანალიზი იქნება მომდევნო პოსტში. პირველ რიგში, მე ვაპირებ ავაშენო მოდელი, რომელიც პროგნოზირებს სტატიის გვერდის ნახვების რაოდენობას მისი შინაარსიდან გამომდინარე. მეორეც, მინდა ვასწავლო ნერვულ ქსელს ტექსტების გენერირება იმავე სტილით, როგორც Habr-ის ავტორები. ასე რომ გამოიწერეთ 🙂

PS და აქ არის სიგნალი მონაცემთა ნაკრები.

წყარო: www.habr.com