この記事では、インターネット、集中型および分散型ネットワークの発展の歴史と展望、そしてその結果として次世代の分散型ネットワークの可能なアーキテクチャについての私の考えを紹介します。

インターネットに問題があります

私が初めてインターネットに出会ったのは 2000 年でした。 もちろん、これは最初からではありません。ネットワークはそれ以前からすでに存在していましたが、その時代はインターネットの最初の全盛期と呼ぶことができます。 World Wide Web は、ティム バーナーズ リーの独創的な発明であり、古典的な標準形式の web1.0 です。 ハイパーリンクで相互にリンクしている多くのサイトやページ。 一見したところ、アーキテクチャは他の独創的なものと同様にシンプルです。 分散型で無料。 したい - ハイパーリンクをたどって他の人のサイトに移動します。 私は、自分の記事、写真、プログラム、興味のあるサイトへのハイパーリンクなど、自分にとって興味深いものを公開する独自の Web サイトを作成したいと考えています。 そして他の人が私にリンクを投稿します。

牧歌的な絵のように見えるでしょうか？ しかし、すべてがどのように終わったかはすでにご存知です。

ページが多すぎて、情報を検索するのが非常に困難になっています。 著者が規定したハイパーリンクでは、この膨大な情報を構造化することはできません。 最初は手動でディレクトリが埋められ、その後、巧妙なヒューリスティックなランキング アルゴリズムを使用し始めた巨大な検索エンジンが登場しました。 ウェブサイトは作成されては放棄され、情報は複製され、歪められました。 インターネットは急速に商業化され、理想的な学術ネットワークから遠ざかっていきました。 マークアップ言語はすぐにフォーマット言語になりました。 広告、不快で迷惑なバナー、検索エンジンを宣伝したり欺いたりするためのテクノロジー、つまり SEO が登場しました。 ネットワークは急速に情報のゴミで詰まり始めました。 ハイパーリンクは論理的なコミュニケーションのツールではなくなり、プロモーションのツールになりました。 Web サイトはそれ自体を閉じて、公開された「ページ」から封印された「アプリケーション」に変わり、収入を生み出す唯一の手段になりました。

それでも「何かがおかしい」という思いはありました。 ギョロ目の外観の原始的なホームページから、点滅するバナーでいっぱいの「メガポータル」まで、さまざまなサイトが多数あります。 たとえ同じトピックを扱っているサイトであっても、それらのサイトにはまったく関連性はなく、それぞれに独自のデザイン、独自の構造、煩わしいバナー、不十分な機能の検索、ダウンロードの問題があります（そうです、オフラインで情報を入手したかったのです）。 当時でさえ、インターネットは、あらゆる種類の見掛け倒しが有益なコンテンツに釘付けにされている、ある種のテレビに変わり始めていました。
分散化は悪夢になりました。

なんでしょう？

逆説的ですが、それでも、Web 2.0 や P2P についてまだ知らなかったユーザーとしての私には、分散化は必要ありませんでした。 当時の曇りのない考えを思い出して、私は必要だったという結論に達しました... 統合データベース！ このようなクエリでは、ランキング アルゴリズムに最適な結果ではなく、すべての結果が返されます。 これらすべての結果が、多数のヴァシャ・パプキンの目を見張るような自作のデザインではなく、私自身の統一デザインによって均一にデザインされ、様式化されるものです。 オフラインに保存しておけば、明日サイトが消えて情報が永久に失われることを心配する必要はありません。 コメントやタグなどの情報を入力できるもの。 私自身の個人的なアルゴリズムで検索、並べ替え、フィルタリングできるもの。

Web 2.0 とソーシャル ネットワーク

一方、Web 2.0 の概念がこの分野に登場しました。 2005 年にティム・オライリーによって「ネットワークの相互作用を考慮に入れ、より多くの人が使用するほど優れたシステムを設計するための手法」として定式化され、Web コンテンツの集団的な作成と編集にユーザーが積極的に関与することを暗示しています。 誇張することなく、この概念の頂点であり勝利はソーシャル ネットワークでした。 数十億人のユーザーを接続し、数百ペタバイトのデータを保存する巨大なプラットフォーム。

私たちはソーシャルネットワークで何を得たのでしょうか？

• インターフェースの統合。 ユーザーは、さまざまな目を引くデザインを作成するすべての機会を必要としているわけではないことがわかりました。 すべてのユーザーのすべてのページが同じデザインになるため、これは誰にとっても適しており、さらに便利です。 内容が違うだけです。
• 機能の統合。 さまざまなスクリプトはすべて不要であることが判明しました。 「フィード」、友達、アルバム...ソーシャルネットワークが存在する間、その機能は多かれ少なかれ安定しており、変更される可能性はほとんどありません。結局のところ、機能は人々の活動の種類によって決まり、人々は実質的に変わりません。 。
• 単一のデータベース。 多くの異なるサイトを操作するよりも、このようなデータベースを操作する方がはるかに便利であることが判明しました。 検索が非常に簡単になりました。 緩やかに関連するさまざまなページを継続的にスキャンし、すべてをキャッシュし、複雑なヒューリスティック アルゴリズムを使用してランク付けするのではなく、既知の構造を持つ単一のデータベースに対する比較的単純な統合クエリです。
• フィードバック インターフェイス - いいねと再投稿。 通常のウェブでは、同じ Google が検索結果のリンクをたどった後にユーザーからフィードバックを得ることができませんでした。 ソーシャルネットワークでは、このつながりはシンプルで自然であることが判明しました。

何を失ったの？ 私たちは分散化、つまり自由を失いました。 現在、私たちのデータは私たちのものではないと考えられています。 もっと前に自分のコンピュータ上にでもホームページを開設できたとしても、今では私たちはすべてのデータをインターネットの巨人に渡しています。

さらに、インターネットの発展に伴い政府や企業もインターネットに関心を持つようになり、政治的な検閲や著作権制限の問題が生じました。 コンテンツがソーシャル ネットワークのルールに準拠していない場合、ソーシャル ネットワーク上の当社のページは禁止され、削除される場合があります。 不注意な投稿に対しては、行政責任、さらには刑事責任が問われます。

そして今、私たちはもう一度考えています。分散化に戻すべきではないでしょうか? しかし、最初の試みの欠点を取り除き、別の形で？

ピアツーピアネットワーク

最初の p2p ネットワークは Web 2.0 のずっと前に登場し、Web の発展と並行して発展しました。 p2p の主な古典的なアプリケーションはファイル共有です。 最初のネットワークは音楽の交換のために開発されました。 最初のネットワーク (Napster など) は基本的に集中型であったため、著作権所有者によってすぐに閉鎖されました。 追随者たちは分散化の道をたどりました。 2000 年には ED2K (最初の eDokney クライアント) と Gnutella プロトコルが登場し、2001 年には FastTrack プロトコル (KaZaA クライアント) が登場しました。 徐々に分散化の度合いが高まり、テクノロジーが向上しました。 「ダウンロード キュー」システムは torrent に置き換えられ、分散ハッシュ テーブル (DHT) の概念が登場しました。 州の規制が厳しくなるにつれて、参加者の匿名性の需要が高まっています。 Freenet ネットワークは 2000 年から開発され、I2003P は 2 年から開発され、RetroShare プロジェクトは 2006 年に開始されました。 WASTE、MUTE、TurtleF2F、RShare、PerfectDark、ARES、Gnutella2、GNUNet、IPFS、ZeroNet、Tribbler など、以前から存在していたものとすでに消滅し、現在稼働しているものを含め、数多くの p2p ネットワークを挙げることができます。 それらの多く。 それらは違う。 目的もデザインもまったく異なります...おそらく、これらすべての名前に精通していない人も多いでしょう。 これだけではありません。

ただし、p2p ネットワークには多くの欠点があります。 それぞれの特定のプロトコルやクライアント実装に固有の技術的な欠点に加えて、たとえば、検索の複雑さという非常に一般的な欠点に注意することができます (つまり、Web 1.0 で遭遇したすべてのものですが、さらに複雑なバージョンで)。 ここには、どこにでもある即時検索を備えた Google はありません。 また、ファイル共有ネットワークではファイル名やメタ情報による検索が引き続き使用できるとしても、たとえばオニオン ネットワークや i2p オーバーレイ ネットワークで何かを見つけることは、不可能ではないにしても、非常に困難です。

一般に、古典的なインターネットに例えると、ほとんどの分散型ネットワークは FTP レベルのどこかで止まっています。 FTP しか存在しないインターネットを想像してみてください。最新のサイトも Web2.0 も Youtube もありません...これはほぼ分散型ネットワークの状態です。 そして、個人が何かを変えようと試みているにもかかわらず、これまでのところほとんど変化はありません。

コンテンツ

このパズルのもう 2 つの重要な部分であるコンテンツに目を向けましょう。 コンテンツはあらゆるインターネット リソース、特に分散型リソースの主な問題です。 どこから入手できますか? もちろん、少数の愛好家に頼ることもできますが (既存の PXNUMXP ネットワークで起こっていることと同じです)、その場合、ネットワークの開発には非常に時間がかかり、そこに含まれるコンテンツはほとんどなくなります。

通常のインターネットを使用するということは、コンテンツを検索して学習することを意味します。 時々 - 保存します (コンテンツが興味深く役立つものであれば、多くの人、特にダイヤルアップの時代にインターネットにアクセスしていた人たち (私を含む) は、迷子にならないように慎重にオフラインで保存します。なぜなら、インターネットはモノだからです。私たちの制御を超えて、今日はサイトがありますが、明日はサイトがありません、今日は YouTube にビデオがありますが、明日には削除されます、などです。

そして、トレント (私たちは p2p ネットワークというよりも単なる配信手段として認識しています) の場合、一般的に保存が暗黙的に行われます。 ちなみに、これは torrent の問題の XNUMX つです。一度ダウンロードしたファイルは、使いやすい場所に移動するのが難しく (原則として、ディストリビューションを手動で再生成する必要があります)、名前を変更することは絶対にできません (ハードリンクすることもできますが、これについて知っている人はほとんどいません)。

一般に、多くの人が何らかの方法でコンテンツを保存します。 彼の今後の運命はどうなるのか？ 通常、保存されたファイルはディスク上のどこか、ダウンロードなどのフォルダー、一般ヒープに置かれ、他の何千ものファイルとともにそこに置かれます。 これは悪いことであり、ユーザー自身にとっても悪いことです。 インターネットに検索エンジンがある場合、ユーザーのローカル コンピューターには同様のものはありません。 ユーザーがきちんとしていて、「受信した」ダウンロード ファイルを分類することに慣れているのであれば、それは良いことです。 でも、誰もがそうなわけではありません...

実際、今では何も節約せず、すべてをオンラインに頼っている人がたくさんいます。 ただし、p2p ネットワークでは、コンテンツがユーザーのデバイスにローカルに保存され、他の参加者に配布されることが想定されています。 両方のカテゴリーのユーザーが習慣を変えることなく分散型ネットワークに参加でき、さらには生活を楽にするソリューションを見つけることは可能でしょうか?

アイデアは非常にシンプルです。ユーザーにとって便利で透過的で、セマンティックなメタ情報を使用して、共通のヒープではなく、特定の構造でスマートに保存できる、通常のインターネットからコンテンツを保存する手段を作成したらどうなるでしょうか。さらに構造化すると同時に、保存されたコンテンツを分散型ネットに配布する可能性はありますか?

まずは節約から始めましょう

天気予報や飛行機のスケジュールを確認するためのインターネットの実用的な使用については考慮しません。 私たちは、記事 (ソーシャル ネットワークからのツイートや投稿から、ハブレのような大規模な記事まで)、本、画像、プログラム、オーディオおよびビデオの記録など、自己完結型で多かれ少なかれ不変のオブジェクトにもっと興味を持っています。 情報は主にどこから得られますか? 通常はこれ

• ソーシャルネットワーク（さまざまなニュース、小さなメモ - 「ツイート」、写真、音声、ビデオ）
• テーマ別リソース (Habr など) に関する記事。 優れたリソースはそれほど多くありません。通常、これらのリソースもソーシャル ネットワークの原理に基づいて構築されています。
• ニュースサイト

原則として、「いいね」、「リポスト」、「ソーシャルネットワークでの共有」などの標準機能があります。

いくつか想像してみましょう ブラウザプラグイン、これは、私たちが気に入ったもの、再投稿したもの、「お気に入り」に保存したものすべてを特別に保存します (または、サイトにいいね/再投稿/ブックマーク機能がない場合は、ブラウザーのメニューに表示される特別なプラグイン ボタンをクリックしました)。 主なアイデアは、これまでに何百万回もそうしてきたように、単にあなたがそれを気に入っているということです。システムは記事、写真、またはビデオを特別なオフライン ストレージに保存し、その記事または写真が利用可能になり、分散型クライアント インターフェイス、そして最も分散型のネットワークです。 私の意見では、それは非常に便利です。 不必要なアクションはなく、多くの問題を一度に解決します。

• 紛失または削除される可能性のある貴重なコンテンツの保存
• 分散型ネットワークの急速な充満
• さまざまなソースからのコンテンツの集約 (数十のインターネット リソースに登録でき、すべての「いいね!」/再投稿は単一のローカル データベースに流れ込みます)
• 興味のあるコンテンツを次のように構成する вашим ルール

明らかに、ブラウザのプラグインは各サイトの構造に合わせて設定する必要があります (これは非常に現実的です。Youtube、Twitter、VK などのコンテンツを保存するためのプラグインがすでに存在します)。 個人用プラグインを作成することが合理的であるサイトはそれほど多くありません。 原則として、これらは一般的なソーシャル ネットワーク (その数は XNUMX を超えることはほとんどありません) と、Habr のような多数の高品質のテーマ サイト (これらもいくつかあります) です。 オープンソース コードと仕様を使用すると、テンプレートに基づいた新しいプラグインの開発にそれほど時間はかかりません。 他のサイトの場合は、ユニバーサル保存ボタンを使用して、ページ全体を mhtml で保存できます (最初に広告のページを消去した後など)。

次に構造化について

「スマート」な保存とは、コンテンツのソース (URL)、事前に設定された一連の「いいね！」、タグ、コメント、それらの識別子などのメタ情報を少なくとも含めて保存することを意味します。 結局のところ、通常の保存中に、この情報は失われます... ソースは、直接 URL としてだけでなく、セマンティック コンポーネントとしても理解できます。たとえば、ソーシャル ネットワーク上のグループや再投稿を行ったユーザーなどです。 プラグインは、この情報を自動構造化とタグ付けに使用できるほど賢明です。 また、ユーザー自身がいつでも保存されたコンテンツに何らかのメタ情報を追加できることを理解する必要があります。そのためには、最も便利なインターフェイス ツールが提供されるべきです (これを行う方法については、私はかなり多くのアイデアを持っています)。

したがって、ユーザーのローカル ファイルの構造化と整理の問題は解決されます。 これは、p2p がなくても使用できる既製の特典です。 何を、どこに、どのようなコンテキストで保存したかを把握し、小規模な研究を行うことを可能にする、ある種のオフライン データベースです。 たとえば、あなたと同じ投稿に最も「いいね！」をした外部ソーシャル ネットワークのユーザーを見つけます。 これを明示的に許可しているソーシャル ネットワークがどれだけあるでしょうか?

2 つのブラウザ プラグインだけでは十分ではないことは、ここですでに言及しておく必要があります。 システムの XNUMX 番目に重要なコンポーネントは分散ネットワーク サービスです。これはバックグラウンドで実行され、PXNUMXP ネットワーク自体 (ネットワークからのリクエストとクライアントからのリクエスト) とプラグインを使用した新しいコンテンツの保存の両方に対応します。 このサービスはプラグインと連携して、コンテンツを適切な場所に配置し、ハッシュを計算し (おそらく、そのようなコンテンツが以前に保存されているかどうかを判断し)、必要なメタ情報をローカル データベースに追加します。

興味深いのは、システムが p2p なしでもこの形式ですでに有用であるということです。 たとえば、多くの人は、Web から興味深いコンテンツを Evernote に追加する Web クリッパーを使用しています。 提案されたアーキテクチャは、このようなクリッパーの拡張バージョンです。

そして最後に、P2P交換

最も優れている点は、情報とメタ情報 (Web から取得した情報と自分自身の情報の両方) を交換できることです。 ソーシャル ネットワークの概念は、p2p アーキテクチャに完全に移行します。 ソーシャルネットワークとp2pはお互いのために作られているように見えると言えます。 分散型ネットワークは理想的にはソーシャルネットワークとして構築されるべきであり、そうして初めて効果的に機能します。 「友達」、「グループ」 - これらは安定した接続が必要な同じ仲間であり、これらは自然なソース、つまりユーザーの共通の利益から得られます。

分散型ネットワークでコンテンツを保存および配布する原理は、通常のインターネットからコンテンツを保存 (キャプチャ) する原理と完全に同じです。 ネットワークからコンテンツを使用する (つまり、それを保存した) 場合、その特定のコンテンツを受信するために必要なリソース (ディスクとチャネル) を誰でも使用できます。

いいね — 最もシンプルな保存および共有ツール。 外部インターネット上であろうと分散型ネットワーク内であろうと、私がそのコンテンツを気に入った場合、それはそのコンテンツが気に入っていることを意味します。そうであれば、そのコンテンツをローカルに保管し、分散型ネットワーク内の他の参加者に配布する準備ができています。

• コンテンツは「失われる」ことはありません。 ローカルに保存されるようになったので、誰かが削除したりブロックしたりすることを心配することなく、後でいつでも戻ることができます。
• (即時または後で) 分類したり、タグ付けしたり、コメントしたり、他のコンテンツと関連付けたり、一般的にそれを使って何らかの意味のあることを行うことができます。これを「メタ情報生成」と呼びましょう。
• このメタ情報を他のネットワーク メンバーと共有できます
• 自分のメタ情報を他のメンバーのメタ情報と同期できます

おそらく、嫌いなものを放棄することも論理的だと思われます。コンテンツが気に入らない場合、そのコンテンツを配布するためにストレージ用のディスク領域やインターネット チャネルを無駄にしたくないと考えるのは非常に論理的です。 したがって、嫌いは分散化にあまり有機的に適合しません（ただし、場合によっては適合することもあります） 役に立つかもしれない).

時には「嫌い」なものをそのままにしておく必要もあります。 「must」という言葉があります:)
«ブックマーク」（または「お気に入り」） - コンテンツに対する親近感を表明しませんが、ローカルのブックマーク データベースに保存します。 「お気に入り」という言葉は意味的にはあまり適切ではありませんが（これには「いいね！」とそれに続く分類があります）、「ブックマーク」は非常に適切です。 「ブックマーク」内のコンテンツも配布されます。あなたがそれを「必要とする」（つまり、何らかの方法で「使用する」）場合、他の誰かがそれを「必要とする」可能性があるのは当然です。 これを行うためにあなたのリソースを活用してみてはいかがでしょうか?

関数 "друзья」。 これらは同僚であり、同様の興味を持つ人々であり、したがって興味深いコンテンツを持っている可能性が最も高い人々です。 分散型ネットワークでは、これは主に、友人からのニュース フィードを購読し、友人が保存したコンテンツのカタログ (アルバム) にアクセスすることを意味します。

同様の機能「グループ「 - ある種の集合フィード、フォーラム、または購読できるもの - そしてそれは、グループのすべての資料を受け入れて配布することを意味します。 おそらく、大規模なフォーラムのような「グループ」は階層的であるべきです。これにより、情報の流れを制限し、あまり興味のないものを受け入れたり配布したりしないだけでなく、グループのコンテンツをより適切に構造化することができます。

残りすべて

分散型アーキテクチャは常に集中型アーキテクチャよりも複雑であることに注意してください。 集中型リソースでは、サーバー コードの厳密な指示があります。 分散型では、多くの対等な参加者間で交渉する必要があります。 もちろん、これは暗号技術、ブロックチェーン、および主に暗号通貨を中心に開発されたその他の成果なしには実現できません。

ネットワーク参加者が相互に形成する、ある種の暗号による相互信頼評価が必要になる場合があると思います。 このアーキテクチャにより、特定のクラウド内に存在するボットネットと効果的に対抗できるようになり、たとえば、ボットネット自体の評価を相互に高めることができるようになります。 私は、技術的に優れた企業やボットネット ファームがそのような分散型ネットワークの制御を掌握しないことを本当に望んでいます。 そのため、その主なリソースは、他の生きている人々にとって興味深く役立つコンテンツを作成および構築できる生きている人々です。

私はまた、そのようなネットワークが文明を進歩へと導くことを望んでいます。 このテーマに関してはたくさんのアイデアがありますが、それはこの記事の範囲には当てはまりません。 私は科学的、技術的、医学的など、ある意味でそれを言うだけです。 コンテンツはエンターテイメントよりも優先されるべきであり、これにはある種の節度が必要になります。 分散型ネットワーク自体のモデレーションは簡単なタスクではありませんが、解決することはできます (ただし、ここでの「モデレーション」という言葉は完全に間違っており、外部的にも内部的にも、プロセスの本質をまったく反映していません...そしてこのプロセスを何と呼ぶのかさえ思いつきませんでした)。

組み込みの手段 (i2p や Retroshare など) と、すべてのトラフィックを TOR または VPN 経由で渡すことの両方によって、匿名性を確保する必要性については、おそらく言及する必要はないでしょう。

そして最後に、ソフトウェア アーキテクチャ (記事の図に概略的に描かれています) です。 すでに述べたように、システムの最初のコンポーネントは、メタ情報を含むコンテンツをキャプチャするブラウザ プラグインです。 2 番目に重要なコンポーネントは pXNUMXp サービスで、バックグラウンド (「バックエンド」) で実行されます。 ネットワークの動作は、ブラウザが実行されているかどうかに依存しないことは明らかです。 XNUMX 番目のコンポーネントはクライアント ソフトウェア、つまりフロントエンドです。 これは、ローカル Web サービス (この場合、ユーザーはお気に入りのブラウザを離れることなく分散ネットワークで作業できます)、または特定の OS (Windows、Linux、MacOS、Andriod、iOS、等。）。 すべてのフロントエンド オプションが同時に存在するというアイデアが気に入っています。 同時に、これにはより厳密なバックエンド アーキテクチャが必要になります。

この記事には含まれていない側面が他にもたくさんあります。 既存のファイル ストレージのディストリビューションに接続する (つまり、すでに数テラバイトのポンプ データがあり、クライアントにそれをスキャンさせ、ハッシュを取得させ、ネットワーク内にあるものと比較してディストリビューションに参加させる場合)同時に、自分自身のファイルに関するメタ情報（通常の名前、説明、評価、レビューなど）の受信、メタ情報の外部ソース（Libgen データベースなど）の接続、他の人の暗号化されたコンテンツを保存するためのディスク領域のオプションの使用（ Freenet の）、既存の分散型ネットワークとの統合アーキテクチャ（これは通常、暗い森です）、メディア ハッシュのアイデア（メディアの比較を可能にする写真、音声、ビデオなどのメディア コンテンツに対する特別な知覚ハッシュの使用）サイズや解像度などが異なる、同じ意味のファイルなど）など。

記事の簡単な要約

1. 分散型ネットワークには、検索とランキングを備えた Google はありませんが、実際の人々のコミュニティが存在します。 フィードバック メカニズム (いいね、再投稿など) とソーシャル グラフ (友人、コミュニティなど) を備えたソーシャル ネットワークは、分散型ネットワークの理想的なアプリケーション層モデルです。
2. この記事で私が提案する主なアイデアは、いいね/再投稿を設定したときに、通常のインターネットから興味深いコンテンツを自動的に保存することです。 これは、p2p を使用せずに、興味深い情報の個人アーカイブを維持するだけで便利です。
3. このコンテンツは、分散型ネットワークに自動的に埋められることもあります
4. 興味深いコンテンツを自動的に保存する原理は、最も分散化されたネットワークのいいね/再投稿でも機能します

出所： habr.com