Хабрастатистика: изследване на най- и най-малко посещаваните секции на сайта

Хей Хабр.

В предишна част Трафикът на Habr беше анализиран според основните параметри - броя на статиите, техните прегледи и оценки. Неразгледан обаче остана въпросът за популярността на секциите на сайта. Стана интересно да разгледаме това по-подробно и да намерим най-популярните и най-непопулярните хъбове. И накрая, ще разгледам по-подробно ефекта на geektimes, завършвайки с нова селекция от най-добрите статии, базирани на нови класации.

За тези, които се интересуват от случилото се, продължението е под разрез.

Още веднъж напомням, че статистиката и рейтингите не са официални, нямам вътрешна информация. Също така не е гарантирано, че някъде не съм сбъркал или съм пропуснал нещо. Но все пак мисля, че се получи интересно. Първо ще започнем с кода; тези, които не се интересуват от това, могат да пропуснат първите секции.

Събиране на данни

В първата версия на парсера бяха взети предвид само броят гледания, коментарите и оценките на статиите. Това вече е добре, но не ви позволява да правите по-сложни заявки. Време е да анализирате тематичните раздели на сайта; това ще ви позволи да направите доста интересни изследвания, например, вижте как популярността на секцията „C++“ се е променила в продължение на няколко години.

Анализаторът на статии е подобрен, сега връща хъбовете, към които принадлежи статията, както и псевдонима на автора и неговия рейтинг (тук също могат да се правят много интересни неща, но това ще дойде по-късно). Данните се записват в csv файл, който изглежда по следния начин:

2018-12-18T12:43Z,https://habr.com/ru/post/433550/,"Мессенджер Slack — причины выбора, косяки при внедрении и особенности сервиса, облегчающие жизнь",votes:7,votesplus:8,votesmin:1,bookmarks:32,
views:8300,comments:10,user:ReDisque,karma:5,subscribers:2,hubs:productpm+soft
...

Ще получим списък с основните тематични центрове на сайта.

def get_as_str(link: str) -> Str:
    try:
        r = requests.get(link)
        return Str(r.text)
    except Exception as e:
        return Str("")

def get_hubs():
    hubs = []
    for p in range(1, 12):
        page_html = get_as_str("https://habr.com/ru/hubs/page%d/" % p)
        # page_html = get_as_str("https://habr.com/ru/hubs/geektimes/page%d/" % p)  # Geektimes
        # page_html = get_as_str("https://habr.com/ru/hubs/develop/page%d/" % p)  # Develop
        # page_html = get_as_str("https://habr.com/ru/hubs/admin/page%d" % p)  # Admin
        for hub in page_html.split("media-obj media-obj_hub"):
            info = Str(hub).find_between('"https://habr.com/ru/hub', 'list-snippet__tags') 
            if "*</span>" in info:
                hub_name = info.find_between('/', '/"')
                if len(hub_name) > 0 and len(hub_name) < 32:
                    hubs.append(hub_name)
    print(hubs)

Функцията find_between и класът Str избират низ между два тагова, използвах ги по-рано. Тематичните центрове са маркирани със "*", за да могат лесно да бъдат маркирани, а също така можете да премахнете коментарите от съответните редове, за да получите секции от други категории.

Резултатът от функцията get_hubs е доста впечатляващ списък, който запазваме като речник. Специално представям списъка в неговата цялост, за да можете да прецените обема му.

hubs_profile = {'infosecurity', 'programming', 'webdev', 'python', 'sys_admin', 'it-infrastructure', 'devops', 'javascript', 'open_source', 'network_technologies', 'gamedev', 'cpp', 'machine_learning', 'pm', 'hr_management', 'linux', 'analysis_design', 'ui', 'net', 'hi', 'maths', 'mobile_dev', 'productpm', 'win_dev', 'it_testing', 'dev_management', 'algorithms', 'go', 'php', 'csharp', 'nix', 'data_visualization', 'web_testing', 's_admin', 'crazydev', 'data_mining', 'bigdata', 'c', 'java', 'usability', 'instant_messaging', 'gtd', 'system_programming', 'ios_dev', 'oop', 'nginx', 'kubernetes', 'sql', '3d_graphics', 'css', 'geo', 'image_processing', 'controllers', 'game_design', 'html5', 'community_management', 'electronics', 'android_dev', 'crypto', 'netdev', 'cisconetworks', 'db_admins', 'funcprog', 'wireless', 'dwh', 'linux_dev', 'assembler', 'reactjs', 'sales', 'microservices', 'search_technologies', 'compilers', 'virtualization', 'client_side_optimization', 'distributed_systems', 'api', 'media_management', 'complete_code', 'typescript', 'postgresql', 'rust', 'agile', 'refactoring', 'parallel_programming', 'mssql', 'game_promotion', 'robo_dev', 'reverse-engineering', 'web_analytics', 'unity', 'symfony', 'build_automation', 'swift', 'raspberrypi', 'web_design', 'kotlin', 'debug', 'pay_system', 'apps_design', 'git', 'shells', 'laravel', 'mobile_testing', 'openstreetmap', 'lua', 'vs', 'yii', 'sport_programming', 'service_desk', 'itstandarts', 'nodejs', 'data_warehouse', 'ctf', 'erp', 'video', 'mobileanalytics', 'ipv6', 'virus', 'crm', 'backup', 'mesh_networking', 'cad_cam', 'patents', 'cloud_computing', 'growthhacking', 'iot_dev', 'server_side_optimization', 'latex', 'natural_language_processing', 'scala', 'unreal_engine', 'mongodb', 'delphi',  'industrial_control_system', 'r', 'fpga', 'oracle', 'arduino', 'magento', 'ruby', 'nosql', 'flutter', 'xml', 'apache', 'sveltejs', 'devmail', 'ecommerce_development', 'opendata', 'Hadoop', 'yandex_api', 'game_monetization', 'ror', 'graph_design', 'scada', 'mobile_monetization', 'sqlite', 'accessibility', 'saas', 'helpdesk', 'matlab', 'julia', 'aws', 'data_recovery', 'erlang', 'angular', 'osx_dev', 'dns', 'dart', 'vector_graphics', 'asp', 'domains', 'cvs', 'asterisk', 'iis', 'it_monetization', 'localization', 'objectivec', 'IPFS', 'jquery', 'lisp', 'arvrdev', 'powershell', 'd', 'conversion', 'animation', 'webgl', 'wordpress', 'elm', 'qt_software', 'google_api', 'groovy_grails', 'Sailfish_dev', 'Atlassian', 'desktop_environment', 'game_testing', 'mysql', 'ecm', 'cms', 'Xamarin', 'haskell', 'prototyping', 'sw', 'django', 'gradle', 'billing', 'tdd', 'openshift', 'canvas', 'map_api', 'vuejs', 'data_compression', 'tizen_dev', 'iptv', 'mono', 'labview', 'perl', 'AJAX', 'ms_access', 'gpgpu', 'infolust', 'microformats', 'facebook_api', 'vba', 'twitter_api', 'twisted', 'phalcon', 'joomla', 'action_script', 'flex', 'gtk', 'meteorjs', 'iconoskaz', 'cobol', 'cocoa', 'fortran', 'uml', 'codeigniter', 'prolog', 'mercurial', 'drupal', 'wp_dev', 'smallbasic', 'webassembly', 'cubrid', 'fido', 'bada_dev', 'cgi', 'extjs', 'zend_framework', 'typography', 'UEFI', 'geo_systems', 'vim', 'creative_commons', 'modx', 'derbyjs', 'xcode', 'greasemonkey', 'i2p', 'flash_platform', 'coffeescript', 'fsharp', 'clojure', 'puppet', 'forth', 'processing_lang', 'firebird', 'javame_dev', 'cakephp', 'google_cloud_vision_api', 'kohanaphp', 'elixirphoenix', 'eclipse', 'xslt', 'smalltalk', 'googlecloud', 'gae', 'mootools', 'emacs', 'flask', 'gwt', 'web_monetization', 'circuit-design', 'office365dev', 'haxe', 'doctrine', 'typo3', 'regex', 'solidity', 'brainfuck', 'sphinx', 'san', 'vk_api', 'ecommerce'}

За сравнение, секциите на geektimes изглеждат по-скромни:

hubs_gt = {'popular_science', 'history', 'soft', 'lifehacks', 'health', 'finance', 'artificial_intelligence', 'itcompanies', 'DIY', 'energy', 'transport', 'gadgets', 'social_networks', 'space', 'futurenow', 'it_bigraphy', 'antikvariat', 'games', 'hardware', 'learning_languages', 'urban', 'brain', 'internet_of_things', 'easyelectronics', 'cellular', 'physics', 'cryptocurrency', 'interviews', 'biotech', 'network_hardware', 'autogadgets', 'lasers', 'sound', 'home_automation', 'smartphones', 'statistics', 'robot', 'cpu', 'video_tech', 'Ecology', 'presentation', 'desktops', 'wearable_electronics', 'quantum', 'notebooks', 'cyberpunk', 'Peripheral', 'demoscene', 'copyright', 'astronomy', 'arvr', 'medgadgets', '3d-printers', 'Chemistry', 'storages', 'sci-fi', 'logic_games', 'office', 'tablets', 'displays', 'video_conferencing', 'videocards', 'photo', 'multicopters', 'supercomputers', 'telemedicine', 'cybersport', 'nano', 'crowdsourcing', 'infographics'}

Останалите главини бяха запазени по същия начин. Сега е лесно да напишете функция, която връща резултата, независимо дали статията принадлежи на geektimes или център на профили.

def is_geektimes(hubs: List) -> bool:
    return len(set(hubs) & hubs_gt) > 0

def is_geektimes_only(hubs: List) -> bool:
    return is_geektimes(hubs) is True and is_profile(hubs) is False

def is_profile(hubs: List) -> bool:
    return len(set(hubs) & hubs_profile) > 0

Подобни функции са направени и за други секции („разработка“, „администрация“ и др.).

Обработване

Време е да започнем да анализираме. Зареждаме набора от данни и обработваме данните от центъра.

def to_list(s: str) -> List[str]:
    # "user:popular_science+astronomy" => [popular_science, astronomy]
    return s.split(':')[1].split('+')

def to_date(dt: datetime) -> datetime.date:
    return dt.date()

df = pd.read_csv("habr_2019.csv", sep=',', encoding='utf-8', error_bad_lines=True, quotechar='"', comment='#')
dates = pd.to_datetime(df['datetime'], format='%Y-%m-%dT%H:%MZ')
dates += datetime.timedelta(hours=3)
df['date'] = dates.map(to_date, na_action=None)
hubs = df["hubs"].map(to_list, na_action=None)
df['hubs'] = hubs
df['is_profile'] = hubs.map(is_profile, na_action=None)
df['is_geektimes'] = hubs.map(is_geektimes, na_action=None)
df['is_geektimes_only'] = hubs.map(is_geektimes_only, na_action=None)
df['is_admin'] = hubs.map(is_admin, na_action=None)
df['is_develop'] = hubs.map(is_develop, na_action=None)

Сега можем да групираме данните по дни и да покажем броя на публикациите за различни центрове.

g = df.groupby(['date'])
days_count = g.size().reset_index(name='counts')
year_days = days_count['date'].values
grouped = g.sum().reset_index()
profile_per_day_avg = grouped['is_profile'].rolling(window=20, min_periods=1).mean()
geektimes_per_day_avg = grouped['is_geektimes'].rolling(window=20, min_periods=1).mean()
geektimesonly_per_day_avg = grouped['is_geektimes_only'].rolling(window=20, min_periods=1).mean()
admin_per_day_avg = grouped['is_admin'].rolling(window=20, min_periods=1).mean()
develop_per_day_avg = grouped['is_develop'].rolling(window=20, min_periods=1).mean()

Ние показваме броя на публикуваните статии с помощта на Matplotlib:

Разделих статиите „geektimes“ и „geektimes only“ в диаграмата, защото Една статия може да принадлежи към двата раздела едновременно (например „Направи си сам“ + „микроконтролери“ + „C++“). Използвах обозначението „профил“, за да подчертая профилни статии в сайта, въпреки че може би английският термин профил за това не е напълно правилен.

В предишната част попитахме за „ефекта на geektimes“, свързан с промяната в правилата за плащане за статии за geektimes от това лято. Нека да покажем отделно статиите на geektimes:

df_gt = df[(df['is_geektimes_only'] == True)]
group_gt = df_gt.groupby(['date'])
days_count_gt = group_gt.size().reset_index(name='counts')
grouped = group_gt.sum().reset_index()
year_days_gt = days_count_gt['date'].values
view_gt_per_day_avg = grouped['views'].rolling(window=20, min_periods=1).mean()

Резултатът е интересен. Приблизителното съотношение на гледанията на статиите в geektimes спрямо общия брой е някъде около 1:5. Но докато общият брой гледания се колебаеше забележимо, гледането на статиите за „развлечение“ остава приблизително на същото ниво.

Можете също така да забележите, че общият брой гледания на статии в секцията „geektimes“ все още е спаднал след промяна на правилата, но „на око“, с не повече от 5% от общите стойности.

Интересно е да се види средният брой гледания на статия:

За „развлекателни“ статии е с около 40% над средното. Това вероятно не е изненадващо. Провалът в началото на април не ми е ясен, може би това се е случило, или е някаква грешка при разбора, или може би някой от авторите на geektimes е отишъл на почивка ;).

Между другото, графиката показва още два забележими пика в броя на гледанията на статии - Нова година и майски празници.

Хъбове

Нека да преминем към обещания анализ на хъбовете. Нека изброим 20-те най-добри хъба по брой гледания:

hubs_info = []
for hub_name in hubs_all:
    mask = df['hubs'].apply(lambda x: hub_name in x)
    df_hub = df[mask]

    count, views = df_hub.shape[0], df_hub['views'].sum()
    hubs_info.append((hub_name, count, views))

# Draw hubs
hubs_top = sorted(hubs_info, key=lambda v: v[2], reverse=True)[:20]
top_views = list(map(lambda x: x[2], hubs_top))
top_names = list(map(lambda x: x[0], hubs_top))

plt.rcParams["figure.figsize"] = (8, 6)
plt.bar(range(0, len(top_views)), top_views)
plt.xticks(range(0, len(top_names)), top_names, rotation=90)
plt.ticklabel_format(style='plain', axis='y')
plt.tight_layout()
plt.show()

Резултати:

Изненадващо, най-популярен център по отношение на гледанията е „Информационна сигурност“, като в топ 5 на лидерите влизат още „Програмиране“ и „Популярна наука“.

Antitop заема Gtk и Cocoa.

Ще ви кажа една тайна, горните главини също се виждат тук, въпреки че броят на гледанията не е показан там.

Оценка

И накрая, обещаната оценка. Използвайки данни от анализ на хъбове, можем да покажем най-популярните статии за най-популярните хъбове за тази 2019 г.

Информационна сигурност

• Как не работих в Сбербанк една година 304000 гледания, 599 коментара, рейтинг +457.0/-14.0
• Изхвърлените интелигентни крушки са ценен източник на лична информация 232000 гледания, 147 коментара, рейтинг +75.0/-11.0
• Измамници и цифрови подписи - всичко е много лошо 176000 гледания, 778 коментара, рейтинг +356.0/-0.0
• Как Мегафон заспа на мобилни абонаменти 166000 гледания, 676 коментара, рейтинг +624.0/-2.0
• Хакването на VK, двуфакторното удостоверяване няма да спести 148000 гледания, 332 коментара, рейтинг +124.0/-17.0
• Как браузърът помага на другаря майор 132000 гледания, 321 коментара, рейтинг +246.0/-19.0
• Най-голямото изхвърляне в историята: 2,7 милиарда акаунта, от които 773 милиона са уникални. 123000 гледания, 154 коментара, рейтинг +86.0/-5.0
• Скъпа, убиваме интернет 121000 гледания, 933 коментара, рейтинг +392.0/-83.0
• „Мобилно съдържание“ е безплатно, без SMS и регистрации. Подробности за измама от Мегафон 114000 гледания, 478 коментара, рейтинг +488.0/-8.0
• Порт скенер в личния акаунт на Ростелеком 111000 гледания, 194 коментара, рейтинг +300.0/-8.0

Програмиране

• За един човек 167000 гледания, 249 коментара, рейтинг +239.0/-33.0
• Колкото по-скоро забравите ООП, толкова по-добре за вас и вашите програми 129000 гледания, 1271 коментара, рейтинг +131.0/-63.0
• Защо старшите разработчици не могат да си намерят работа 119000 гледания, 901 коментара, рейтинг +151.0/-14.0
• Това не е ли място за стари хора? Програмиране след тридесет и пет 116000 гледания, 649 коментара, рейтинг +222.0/-16.0
• Новите езици за програмиране тихо убиват връзката ни с реалността 106000 гледания, 764 коментара, рейтинг +164.0/-52.0
• Какво научих по трудния начин (30 години разработка на софтуер) 101000 гледания, 128 коментара, рейтинг +178.0/-9.0
• Най-редките и скъпи езици за програмиране 82900 гледания, 119 коментара, рейтинг +38.0/-10.0
• Курс от лекции по JavaScript и Node.js в KPI 80300 гледания, 14 коментара, рейтинг +34.0/-2.0
• ИТ термини, като се използва пример за процеса на отглеждане на картофи 78000 гледания, 86 коментара, рейтинг +84.0/-14.0
• 256 реда чист C++: писане на ray tracer от нулата за няколко часа 77600 гледания, 124 коментара, рейтинг +241.0/-0.0

Популярна наука

• Какво пуши дизайнерът: необичайни огнестрелни оръжия 236000 гледания, 123 коментара, рейтинг +119.0/-9.0
• Учени откриха най-старото живо гръбначно животно на Земята 234000 гледания, 212 коментара, рейтинг +82.0/-14.0
• Сериалът "Чернобил": гледайте и мислете 173000 гледания, 803 коментара, рейтинг +164.0/-25.0
• 12-годишен тийнейджър извърши реакция на ядрен синтез в домашната си лаборатория. 145000 гледания, 280 коментара, рейтинг +126.0/-29.0
• Приказката за сплавната роза и падналата Кренка 134000 гледания, 244 коментара, рейтинг +217.0/-1.0
• Увеличете го! Съвременно увеличаване на резолюцията 134000 гледания, 235 коментара, рейтинг +377.0/-1.0
• Софтуерът за Boeing 737 Max е написан от външни изпълнители, които печелят $9 на час. 126000 гледания, 560 коментара, рейтинг +153.0/-6.0
• Не се нервирайте, не бързайте, не прекъсвайте: историята на една трагедия 121000 гледания, 384 коментара, рейтинг +242.0/-4.0
• Математиците са открили идеалния начин за умножаване на числа 108000 гледания, 222 коментара, рейтинг +173.0/-10.0
• Новите езици за програмиране тихо убиват връзката ни с реалността 106000 гледания, 764 коментара, рейтинг +164.0/-52.0

кариера

• Как не работих в Сбербанк една година 304000 гледания, 599 коментара, рейтинг +457.0/-14.0
• Съсипвам живота на разработчиците с прегледите на кода си и съжалявам 187000 гледания, 21 коментара, рейтинг +37.0/-3.0
• Крал на развитието 179000 гледания, 668 коментара, рейтинг +315.0/-60.0
• За един човек 167000 гледания, 249 коментара, рейтинг +239.0/-33.0
• Пенсионирайте се на 22 158000 гледания, 927 коментара, рейтинг +259.0/-100.0
• Как да смените крушка на работното си място, без да ви уволнят? 139000 гледания, 762 коментара, рейтинг +200.0/-20.0
• Иновация на руски 128000 гледания, 612 коментара, рейтинг +480.0/-33.0
• Защо старшите разработчици не могат да си намерят работа 119000 гледания, 901 коментара, рейтинг +151.0/-14.0
• „Изгорели“ служители: има ли изход? 117000 гледания, 398 коментара, рейтинг +210.0/-14.0
• Това не е ли място за стари хора? Програмиране след тридесет и пет 116000 гледания, 649 коментара, рейтинг +222.0/-16.0

Законодателство в ИТ

• Измамници и цифрови подписи - всичко е много лошо 176000 гледания, 778 коментара, рейтинг +356.0/-0.0
• Как Мегафон заспа на мобилни абонаменти 166000 гледания, 676 коментара, рейтинг +624.0/-2.0
• Иновация на руски 128000 гледания, 612 коментара, рейтинг +480.0/-33.0
• „Мобилно съдържание“ е безплатно, без SMS и регистрации. Подробности за измама от Мегафон 114000 гледания, 478 коментара, рейтинг +488.0/-8.0
• Как казахстанските власти се опитват да прикрият неизпълнението на сертификата 111000 гледания, 77 коментара, рейтинг +122.0/-14.0
• Как Protonmail е блокиран в Русия 102000 гледания, 398 коментара, рейтинг +418.0/-7.0
• Законът за изолация на Runet беше приет от Държавната дума на три четения 88200 гледания, 878 коментара, рейтинг +73.0/-18.0
• Как програмист избра банка и чете договори 87200 гледания, 611 коментара, рейтинг +166.0/-9.0
• Министерството на телекомуникациите и масовите комуникации одобри законопроекта за изолиране на RuNet 83600 гледания, 364 коментара, рейтинг +79.0/-9.0
• Подробен отговор на коментара, както и малко за живота на доставчиците в Руската федерация 74700 гледания, 389 коментара, рейтинг +290.0/-1.0

Уеб разработка

• Това не е ли място за стари хора? Програмиране след тридесет и пет 116000 гледания, 649 коментара, рейтинг +222.0/-16.0
• Как да правим уебсайтове през 2019 г 110000 гледания, 278 коментара, рейтинг +233.0/-11.0
• Научаване на Docker, част 1: Основите 91300 гледания, 24 коментара, рейтинг +52.0/-10.0
• Курс от лекции по JavaScript и Node.js в KPI 80300 гледания, 14 коментара, рейтинг +34.0/-2.0
• Стажант Вася и неговите истории за API идемпотентност 68900 гледания, 160 коментара, рейтинг +216.0/-3.0
• Разбирането на обединенията е нарушено. Това определено не е пресечна точка на кръгове, честно казано 65900 гледания, 223 коментара, рейтинг +138.0/-41.0
• Защо не трябва да си губите времето в създаване на нишови тематични уебсайтове 62700 гледания, 243 коментара, рейтинг +179.0/-13.0
• Създаване на модерно уеб приложение от нулата 62200 гледания, 122 коментара, рейтинг +56.0/-8.0
• Черен ден за Vue.js 60800 гледания, 133 коментара, рейтинг +77.0/-6.0
• Защо съвременната уеб разработка е толкова сложна? Част 1 57700 гледания, 319 коментара, рейтинг +101.0/-6.0

GTK

И накрая, така че никой да не се обиди, ще дам рейтинга на най-малко посещавания център „gtk“. В рамките на една година той беше публикуван един Статията, която също „автоматично“ заема първия ред на рейтинга.

• Използване на GtkApplication. функции за изобразяване на librsvg 1700 гледания, 9 коментара, рейтинг +9.0/-1.0

Заключение

Няма да има заключение. Приятно четене на всички.

Източник: www.habr.com