내가 Habr을 분석한 방법, 1부: 추세

신년 올리비에가 끝나면 할 일이 없어 하브라하브르(및 관련 플랫폼)의 모든 기사를 내 컴퓨터에 다운로드하고 탐색하기로 했습니다.

몇 가지 흥미로운 이야기가 있었습니다. 그 중 첫 번째는 사이트가 존재한 지 12년 동안 기사의 형식과 주제를 발전시킨 것입니다. 예를 들어, 일부 주제의 역학은 매우 시사적입니다. 계속 - 컷 아래.

구문 분석 프로세스

Habr이 어떻게 발전했는지 이해하려면 그의 모든 기사를 살펴보고 그로부터 메타 정보(예: 날짜)를 추출해야 했습니다. 모든 기사에 대한 링크가 "habrahabr.ru/post/337722/"처럼 보이고 번호가 순서대로 엄격하게 제공되기 때문에 우회가 쉬웠습니다. 마지막 게시물의 숫자가 350보다 약간 적다는 것을 알고 루프(Python 코드)에서 가능한 모든 문서 ID를 검토했습니다.

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

기능 download_document 해당 ID로 페이지를 로드하려고 시도하고 html 구조에서 의미 있는 정보를 추출하려고 시도합니다.

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

파싱 ​​과정에서 몇 가지 새로운 사실을 발견했습니다.

첫째, 그들은 프로세서에 있는 코어보다 더 많은 프로세스를 만드는 것은 쓸모가 없다고 말합니다. 하지만 제 경우에는 제한 리소스가 프로세서가 아니라 네트워크이고 100개의 프로세스가 4개 또는 20개보다 빠르게 작동한다는 것이 밝혀졌습니다.

둘째, 일부 게시물에는 "%&#@"와 같은 완곡어법과 같은 특수 문자 조합이 있었습니다. 그것은 밝혀졌다 html.parser내가 먼저 사용한 , 조합에 반응 &# html 엔터티의 시작을 고려하면 고통스럽습니다. 나는 이미 흑 마법을 할 예정 이었지만 포럼에서는 파서를 변경할 수 있다고 제안했습니다.

셋째, 세 가지를 제외한 모든 출판물을 언로드했습니다. 번호가 65927, 162075 및 275987인 문서가 내 바이러스 백신에 의해 즉시 삭제되었습니다. 이들은 각각 악성 PDF를 다운로드하는 자바스크립트 체인, 브라우저 플러그인 세트 형태의 SMS 랜섬웨어, iPhone을 재부팅하도록 보내는 CrashSafari.com 사이트에 대한 기사입니다. 바이러스 백신은 나중에 시스템 스캔 중에 또 다른 기사를 발견했습니다. 사용자의 프로세서를 사용하여 암호 화폐를 채굴하는 애완 동물 상점 웹 사이트의 스크립트에 대한 게시물 338586입니다. 따라서 바이러스 백신의 작업이 상당히 적절하다고 생각할 수 있습니다.

"라이브" 기사는 잠재적 최대치인 166307개의 절반에 불과한 것으로 밝혀졌습니다. 나머지에 대해 Habr은 "페이지가 오래되었거나 삭제되었거나 전혀 존재하지 않았습니다"라는 옵션을 제공합니다. 글쎄요, 무슨 일이든 일어날 수 있습니다.

기사 업로드 후 기술 작업이 이어졌습니다. 예를 들어 게시 날짜를 "'21 December 2006 at 10:47 am" 형식에서 표준으로 변환해야 했습니다. datetime, 및 "12,8k" 조회수 - 12800에서. 이 단계에서 몇 가지 사건이 더 나왔습니다. 가장 재미있는 것은 투표 수 및 데이터 유형과 관련이 있습니다. 일부 오래된 게시물에는 int 오버플로가 있었고 각각 65535표를 받았습니다.

결과적으로 기사의 텍스트 (사진 제외)는 1.5GB, 메타 정보가 포함 된 댓글-다른 3, 약 XNUMXMB-기사에 대한 메타 정보가 필요했습니다. 이것은 RAM에 완전히 보관할 수 있는데, 이는 저에게 즐거운 놀라움이었습니다.

텍스트 자체가 아니라 날짜, 태그, 허브, 보기 및 좋아요와 같은 메타 정보에서 기사 분석을 시작했습니다. 그녀가 많은 것을 말할 수 있다는 것이 밝혀졌습니다.

Habrahabr 개발 동향

사이트의 기사는 2006년부터 게시되었습니다. 가장 집중적으로 - 2008-2016.

이러한 기사가 서로 다른 시간에 얼마나 적극적으로 읽혔는지 평가하기가 쉽지 않습니다. 2012년 이하의 텍스트는 더 많은 댓글과 평가를 받았지만 최신 텍스트에는 더 많은 조회수와 북마크가 있습니다. 이러한 메트릭은 2015년에 한 번만 동일한 방식(절반)으로 작동했습니다. 아마도 경제 및 정치 위기 상황에서 독자들의 관심은 IT 블로그에서 더 고통스러운 문제로 옮겨갔습니다.

기사 자체 외에도 더 많은 댓글을 다운로드했습니다. 6만 개의 댓글이 있었지만 그 중 240만 개가 차단되었습니다("UFO가 날아와 여기에 이 ​​비문을 게시했습니다"). 댓글의 유용한 속성은 타임스탬프가 있다는 것입니다. 댓글 시간을 연구하면 기사가 언제 읽히는지 대략적으로 이해할 수 있습니다.

대부분의 기사는 오전 10시에서 오후 20시 사이에 작성되고 댓글이 달린 것으로 나타났습니다. 전형적인 모스크바 근무일에. 이것은 Habr이 전문적인 목적으로 읽히고 이것이 직장에서 미루는 좋은 방법임을 의미할 수 있습니다. 그건 그렇고, 하루 중 이러한 시간 분포는 Habr의 기초부터 현재까지 안정적입니다.

그러나 댓글 타임스탬프의 주요 이점은 시간이 아니라 기사의 "활성 수명" 기간입니다. 기사 게시에서 댓글까지 시간이 어떻게 분배되는지 계산했습니다. 이제 중간 댓글(녹색 선)이 약 20시간 후에 나오는 것으로 나타났습니다. 게시 후 첫날 평균적으로 기사에 대한 모든 댓글의 절반 이상이 남습니다. 그리고 이틀 만에 전체 댓글의 75%를 남깁니다. 동시에 이전 기사는 훨씬 더 빨리 읽혔습니다. 예를 들어 2010년에는 처음 6시간 동안 댓글의 절반이 나왔습니다.

댓글이 길어졌다는 사실에 놀랐습니다. 댓글의 평균 문자 수가 Habr의 수명 동안 거의 두 배로 늘어났습니다!

댓글보다 쉬운 피드백은 투표입니다. 다른 많은 리소스와 달리 Habré에는 플러스뿐만 아니라 마이너스도 넣을 수 있습니다. 그러나 독자는 마지막 기회를 그렇게 자주 사용하지 않습니다. 현재 싫어하는 비율은 전체 투표의 약 15%입니다. 더 많았지 만 시간이 지남에 따라 독자는 더 친절 해졌습니다.

텍스트 자체는 시간이 지남에 따라 변경되었습니다. 예를 들어, 텍스트의 일반적인 길이는 위기에도 불구하고 사이트가 시작된 직후부터 꾸준히 증가하는 것을 멈추지 않습니다. XNUMX년 동안 텍스트는 거의 XNUMX배 더 길어졌습니다!

텍스트의 스타일(첫 번째 근사치로)도 변경되었습니다. 예를 들어 Habr이 존재한 첫 몇 년 동안 텍스트에서 코드와 숫자의 점유율이 증가했습니다.

사이트의 전반적인 역학을 이해한 후 다양한 주제의 인기도가 어떻게 변했는지 측정하기로 했습니다. 텍스트에서 주제를 자동으로 선택할 수 있지만 처음에는 바퀴를 재발 명할 수 없지만 각 기사의 작성자가 부착한 기성품 태그를 사용하십시오. 차트에 네 가지 전형적인 추세를 그렸습니다. 처음에는 "Google" 테마가 우세했지만(아마도 주로 SEO 때문일 것임) 수년에 걸쳐 무게가 줄었습니다. Javascript는 인기 있는 주제였으며 계속해서 천천히 성장하고 있지만 머신 러닝은 최근 몇 년 사이에야 빠르게 인기를 얻기 시작했습니다. 반면 Linux는 지난 XNUMX년 동안 똑같이 관련성을 유지했습니다.

물론 어떤 주제가 더 많은 독자 활동을 유도하는지에 관심이 생겼습니다. 각 주제에 대한 조회수, 투표수 및 댓글 수의 중앙값을 계산했습니다. 일어난 일은 다음과 같습니다.

• 가장 많이 본 주제: arduino, 웹 디자인, 웹 개발, 다이제스트, 링크, css, html, html5, nginx, 알고리즘.
• 가장 좋아하는 주제: vkontakte, 유머, jquery, 오페라, c, html, 웹 개발, html5, css, 웹 디자인.
• 가장 많이 논의된 주제: 오페라, 스카이프, 프리랜서, vkontakte, 우분투, 작업, 노키아, nginx, arduino, 파이어폭스.

그건 그렇고, 주제를 비교하고 있으므로 빈도별로 순위를 매길 수 있습니다. 2013년 비슷한 글).

• Habr이 존재하는 동안 가장 인기 있는 태그(내림차순)는 google, android, javascript, microsoft, linux, php, apple, java, python, 프로그래밍, 신생 기업, 개발, ios, 신생 기업, 소셜 네트워크입니다.
• 2017년에 가장 인기 있었던 것은 javascript, python, java, android, development, linux, c++, programming, php, c#, ios, machine learning, information security, microsoft, react

이러한 평가를 비교할 때 예를 들어 Python의 승리 행진과 php의 소멸 또는 시작 주제의 "일몰"과 기계 학습의 부상에 주목할 수 있습니다.

Habré의 모든 태그가 이렇게 뚜렷한 주제별 색상을 가지고 있는 것은 아닙니다. 예를 들어, 한 번만 만난 XNUMX개의 태그가 있지만 나에게는 그저 재미있어 보였습니다. 그래서 "아이디어는 발전의 원동력", "플로피 디스크 이미지에서 부팅", "아이오와 주", "드라마", "슈퍼레쉬", "스팀 엔진", "토요일에 할 일", "나는 가지고 있다" 고기 분쇄기 속의 여우", "언제나 그랬던 것처럼 밝혀졌다", "재미있는 꼬리표를 생각해 내지 못했다". 이러한 기사의 주제를 결정하려면 태그만으로는 충분하지 않습니다. 기사의 텍스트에 대해 주제별 모델링을 수행해야 합니다.

기사 내용에 대한 자세한 분석은 다음 포스트에서 하겠습니다. 먼저 콘텐츠를 기반으로 기사의 페이지 조회수를 예측하는 모델을 구축하겠습니다. 둘째, Habr의 저자와 동일한 스타일로 텍스트를 생성하도록 신경망을 가르치고 싶습니다. 그래서 구독 🙂

PS 그리고 여기 신호음이 있습니다 데이터세트.

출처 : habr.com