Habr を解析した方法、パート 1: 傾向

新年のオリヴィエが終わったとき、私は何もすることがなかったので、ハブラハブ (および関連プラットフォーム) からすべての記事をコンピューターにダウンロードして探索することにしました。

興味深い話がいくつかありました。 12 つ目は、サイトの XNUMX 年間にわたる記事の形式とトピックの開発です。 たとえば、いくつかのトピックのダイナミクスは非常に示唆的です。 続き - カットの下。

解析プロセス

ハブルがどのように発展したかを理解するには、彼のすべての記事に目を通し、そこからメタ情報 (日付など) を抽出する必要がありました。 すべての記事へのリンクは「habrahabr.ru/post/337722/」のように見え、番号は厳密に順序付けされているため、バイパスは簡単でした。 最後の投稿の番号が 350 よりわずかに小さいことがわかったので、考えられるすべてのドキュメント ID をループで調べました (Python コード)。

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

機能 download_document 対応する ID を持つページをロードし、HTML 構造から意味のある情報を抽出しようとします。

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

解析の過程で、いくつかの新しいことを発見しました。

まず、プロセッサ内のコア数よりも多くのプロセスを作成しても無駄だということです。 しかし、私の場合、リソースを制限しているのはプロセッサではなくネットワークであり、100 個のプロセスは 4 個、たとえば 20 個のプロセスよりも高速に動作することがわかりました。

次に、一部の投稿には特殊文字の組み合わせが含まれていました。たとえば、「%&#@」のような婉曲表現です。 それは明らかになった html.parser最初に使用した は、組み合わせに反応します &# これが HTML エンティティの始まりであることを考えると、残念です。 私はすでに黒魔術を行うつもりでしたが、フォーラムではパーサーを変更するだけでよいと提案されました。

第三に、65927 冊を除いてすべての出版物をアンロードすることができました。 番号 162075、275987、および 338586 のドキュメントは、ウイルス対策プログラムによって即座に削除されました。 これらはそれぞれ、悪意のある PDF をダウンロードする JavaScript チェーン、ブラウザ プラグインのセットの形式の SMS ランサムウェア、iPhone を再起動させる CrashSafari.com サイトに関する記事です。 その後、アンチウイルスはシステム スキャン中に別の記事を発見しました。投稿 XNUMX は、ユーザーのプロセッサを使用して暗号通貨を採掘するペット ストアの Web サイト上のスクリプトに関するものです。 したがって、ウイルス対策の機能は十分であると考えられます。

「ライブ」記事は、潜在的な最大数である 166307 件の半分にすぎないことが判明しました。 残りについて、Habr 氏は「ページが古い、削除された、またはまったく存在しなかった」という選択肢を与えています。 まあ、何でも起こります。

記事のアップロードに続いて技術的な作業が行われました。たとえば、出版日を「21 年 2006 月 10 日午前 47 時 XNUMX 分」という形式から標準形式に変換する必要がありました。 datetime、および「12,8k」ビュー - 12800。この段階で、さらにいくつかのインシデントが明らかになりました。 最も面白いのは、投票数とデータ型に関係するものです。古い投稿には int オーバーフローがあり、それぞれ 65535 票を受け取りました。

その結果、記事のテキスト (画像なし) で 1.5 メガバイト、メタ情報を含むコメントでさらに 3 メガバイト、記事に関するメタ情報で約 XNUMX メガバイトが必要になりました。 これは完全に RAM に保存できるので、私にとっては嬉しい驚きでした。

私は記事の分析をテキストそのものからではなく、日付、タグ、ハブ、閲覧数、いいねなどのメタ情報から始めました。 彼女は多くのことを話すことができることがわかりました。

ハブラハブルの開発動向

このサイトの記事は 2006 年から公開されています。 最も集中的に行われたのは 2008 年から 2016 年です。

これらの記事がさまざまな時期にどれだけ活発に読まれたかを評価するのはそれほど簡単ではありません。 2012 年以前のテキストにはより多くのコメントと評価が含まれていますが、新しいテキストほど閲覧数とブックマーク数が多くなります。 これらの指標が同じように動作 (半減) したのは、2015 年の XNUMX 回だけです。 おそらく、経済的、政治的危機の状況で、読者の関心は IT ブログから、より痛みを伴う問題へと移っているのでしょう。

記事自体に加えて、さらに多くのコメントをダウンロードしました。 コメントは6万件あったが、そのうち240万件が禁止された（「UFOが飛来して、この碑文をここに公開した」）。 コメントの便利な特性は、コメントにタイムスタンプがあることです。 コメントの時間を調査することで、記事がいつ読まれるかを大まかに把握できます。

ほとんどの記事は、午前 10 時から午後 20 時までの間、つまり、執筆とコメントの両方が行われていることが判明しました。 モスクワの典型的な勤務日。 これは、ハブルが専門的な目的で読まれていること、そしてこれが仕事を先延ばしにする良い方法であることを意味している可能性があります。 ちなみに、この時刻分布はハブル創設当初から現在に至るまで安定しています。

ただし、コメントのタイムスタンプの主な利点は、時刻ではなく、記事の「有効期間」の期間です。 記事の公開からコメントまでの時間配分を計算してみました。 現在、コメントの中央値 (緑の線) は約 20 時間以内に到着することがわかりました。 公開後の初日には、平均して、記事に対する全コメントの半分強が残されます。 そして 75 日間で、全コメントの 2010% が残されます。 同時に、以前の記事はさらに速く読まれました。たとえば、6 年には、コメントの半分が最初の XNUMX 時間以内に届きました。

コメントが長くなったのには驚きました。コメントの平均文字数は、ハブルの生涯でほぼ XNUMX 倍になりました。

コメントよりも簡単なフィードバックは投票です。 他の多くのリソースとは異なり、Habré ではプラスだけでなくマイナスも入力できます。 しかし、読者は最後の機会をあまり利用しません。現在の嫌いの割合は全投票数の約 15% です。 以前はもっとありましたが、時間が経つにつれて、読者はより親切になりました。

テキスト自体は時代とともに変化してきました。 たとえば、典型的なテキストの長さは、危機にもかかわらず、サイトの立ち上げ当初から着実に増加を止めません。 XNUMX 年間で、テキストはほぼ XNUMX 倍の長さになりました。

テキストのスタイルも (一次近似的には) 変更されました。 たとえば、ハブルが存在してから最初の数年間は、テキスト内のコードと数字の割合が増加しました。

サイト全体のダイナミクスを理解した後、さまざまなトピックの人気がどのように変化したかを測定することにしました。 トピックはテキストから自動的に選択できますが、まず最初に、車輪の再発明はできず、各記事の著者によって付けられた既成のタグを使用します。 代表的なXNUMXつのトレンドをチャートに描いてみました。 「Google」テーマは当初（おそらく主に SEO による）優勢でしたが、長年にわたってその比重を失いつつあります。 Javascript は人気のトピックであり、ゆっくりと成長を続けていますが、機械学習が急速に普及し始めたのはここ数年のことです。 一方、Linux は XNUMX 年間を通じて同様に関連性を保ち続けています。

もちろん、どのようなトピックがより多くの読者の活動を惹きつけるのかに興味を持ちました。 各トピックの閲覧数、投票数、コメント数の中央値を計算しました。 何が起こったかは次のとおりです。

• 最も閲覧されているトピック: Arduino、Web デザイン、Web 開発、ダイジェスト、リンク、CSS、HTML、HTML5、nginx、アルゴリズム。
• 最も「いいね」されたトピック: vkontakte、ユーモア、jquery、opera、c、html、web 開発、html5、css、web デザイン。
• 最も議論されているトピック: オペラ、スカイプ、フリーランス、vkontakte、ubuntu、仕事、nokia、nginx、arduino、firefox。

ちなみに、トピックを比較しているので、頻度でランク付けすることもできます (結果を次のように比較することもできます) 2013年の同様の記事).

• Habr が存在して以来、最も人気のあるタグ (降順) は、google、android、javascript、microsoft、linux、php、apple、java、python、プログラミング、スタートアップ、開発、ios、スタートアップ、ソーシャル ネットワークです。
• 2017 年に最も人気があったのは、JavaScript、Python、Java、Android、開発、Linux、C++、プログラミング、PHP、C#、iOS、機械学習、情報セキュリティ、Microsoft、React でした。

これらの評価を比較するとき、たとえば、Python の勝利と PHP の消滅、またはスタートアップ関連のトピックの「沈没」と機械学習の隆盛に注目することができます。

Habré のすべてのタグに、これほど明白なテーマカラーが設定されているわけではありません。 たとえば、ここには一度だけ出会ったが、私には面白いと思われた十数個のタグがあります。 つまり、「アイデアは進歩の原動力である」、「フロッピー ディスク イメージから起動する」、「アイオワ州」、「ドラマ」、「スーパーアリーシュ」、「蒸気機関」、「土曜日にやるべきこと」、「私は持っている」肉挽き器に入ったキツネ」、「いつも通りの結果になった」、「面白いタグが思いつかなかった」。 このような記事の主題を決定するには、タグだけでは十分ではありません。記事のテキストに対してテーマのモデリングを実行する必要があります。

記事内容の詳しい分析は次回の投稿で。 まず、記事の内容に基づいて記事のページビュー数を予測するモデルを構築します。 次に、Habr の作者と同じスタイルでテキストを生成するようにニューラル ネットワークを教えたいと考えています。 だから購読してください 🙂

PS そして、これがビープ音です データセット.

出所： habr.com