在本文中，我将向您介绍我对互联网发展的历史和前景、中心化和去中心化网络以及下一代去中心化网络的可能架构的想法。
互联网出了点问题
我第一次接触互联网是在2000年。 当然，这还远远不是一开始——网络在此之前就已经存在，但那段时间可以称为互联网的第一个全盛时期。 万维网是 Tim Berners-Lee 的巧妙发明，是经典规范形式的 web1.0。 许多网站和页面通过超链接相互链接。 乍一看，这个架构很简单，就像所有巧妙的东西一样： 去中心化和自由。 我想 - 我通过超链接访问其他人的网站； 我想创建自己的网站，在上面发布我感兴趣的内容 - 例如，我的文章、照片、程序、我感兴趣的网站的超链接。 还有其他人发布链接给我。
这看起来像一幅田园诗般的图画吗？ 但你已经知道这一切是如何结束的。
页面太多，搜索信息已经成为一项非常不简单的任务。 作者指定的超链接根本无法构建如此大量的信息。 首先是手动填充的目录，然后是巨型搜索引擎开始使用巧妙的启发式排名算法。 网站被创建和废弃，信息被复制和扭曲。 互联网正在迅速商业化，并且离理想的学术网络越来越远。 标记语言很快成为一种格式化语言。 广告出现了，令人讨厌的烦人的横幅和一种用于推广和欺骗搜索引擎的技术 - SEO。 网络很快就被信息垃圾堵塞了。 超链接不再是逻辑沟通的工具，而是成为促销的工具。 网站自我封闭，从开放的“页面”变成了封闭的“应用程序”，成为唯一的创收手段。
即便如此，我还是有一种想法：“这里有些不对劲。” 一堆不同的网站，从带有瞪眼外观的原始主页，到充斥着闪烁横幅的“大型门户”。 即使这些网站属于同一主题，它们也根本不相关，每个网站都有自己的设计、自己的结构、烦人的横幅、功能不佳的搜索、下载问题（是的，我想离线获取信息）。 即使在那时，互联网也开始变成某种电视，各种金属丝都被钉在有用的内容上。
权力下放已成为一场噩梦。
你想要什么？
这很矛盾，但即便如此，在还不了解 Web 2.0 或 p2p 的情况下，我作为一个用户，也不需要去中心化！ 回想起当时我头脑清醒的想法，我得出的结论是我需要…… 统一数据库！ 这样的查询将返回所有结果，而不是最适合排名算法的结果。 所有这些结果都将由我自己的统一设计统一设计和风格化，而不是由众多 Vasya Pupkins 令人翻白眼的自制设计。 一个可以离线保存的网站，不用担心明天该网站就会消失，信息将永远丢失。 我可以在其中输入我的信息，例如评论和标签。 我可以使用自己的个人算法进行搜索、排序和过滤。
Web 2.0 和社交网络
与此同时，Web 2.0的概念进入了舞台。 Tim O'Reilly 于 2005 年提出“一种设计系统的技术，通过考虑网络交互，使用的人越多，系统就会变得越好”，这意味着用户积极参与 Web 内容的集体创建和编辑。 毫不夸张地说，这个概念的顶峰和胜利就是社交网络。 连接数十亿用户并存储数百 PB 数据的巨型平台。
我们在社交网络上得到了什么？
- 接口统一； 事实证明，用户并不需要所有的机会来创造各种引人注目的设计； 所有用户的所有页面都采用相同的设计，适合所有人，甚至方便； 只是内容不同而已。
- 功能统一； 事实证明，所有各种脚本都是不必要的。 “信息流”、好友、相册……在社交网络存在期间，它们的功能或多或少是稳定的，不太可能改变：毕竟功能是由人们的活动类型决定的，而人们几乎不会改变。
- 单一数据库； 事实证明，使用这样的数据库比使用许多不同的站点要方便得多； 搜索变得更加容易。 不是连续扫描各种松散相关的页面，全部缓存，使用复杂的启发式算法进行排名 - 对具有已知结构的单个数据库进行相对简单的统一查询。
- 反馈界面——点赞和转发； 在常规网络上，同一谷歌在点击搜索结果中的链接后无法获得用户的反馈。 在社交网络上，这种联系变得简单而自然。
我们失去了什么？ 我们失去了权力下放，这意味着自由。 人们相信我们的数据现在不属于我们。 如果早些时候我们甚至可以在自己的计算机上放置一个主页，那么现在我们将所有数据都提供给互联网巨头。
此外，随着互联网的发展，政府和企业对它产生了兴趣，这引发了政治审查和版权限制的问题。 如果内容不符合社交网络的任何规则，我们在社交网络上的页面可能会被禁止和删除； 对于粗心的职位 - 承担行政甚至刑事责任。
现在我们又在思考：我们不应该回归去中心化吗？ 但以不同的形式，避免第一次尝试的缺点？
点对点网络
第一个 p2p 网络早在 Web 2.0 之前就出现了，并且与 Web 的发展并行发展。 p2p的主要经典应用是文件共享； 第一个网络是为了交换音乐而开发的。 第一个网络（例如 Napster）本质上是中心化的，因此它们很快就被版权所有者关闭。 追随者走的是权力下放的道路。 2000 年，出现了 ED2K（第一个 eDokney 客户端）和 Gnutella 协议，2001 年出现了 FastTrack 协议（KaZaA 客户端）。 逐渐地，权力下放的程度增加了，技术得到了改进。 “下载队列”系统被种子所取代，分布式哈希表（DHT）的概念出现了。 随着各国收紧政策，参与者的匿名性变得越来越重要。 Freenet网络自2000年开始开发，I2003P自2年开始开发，RetroShare项目于2006年启动。 我们可以提到许多 p2p 网络，包括以前存在的和已经消失的，并且目前正在运行：WASTE、MUTE、TurtleF2F、RShare、PerfectDark、ARES、Gnutella2、GNUNet、IPFS、ZeroNet、Tribbler 等等。 很多。 他们是不同的。 非常不同——无论是在目的上还是在设计上……可能你们中的许多人甚至不熟悉所有这些名字。 这还不是全部。
然而，p2p 网络有很多缺点。 除了每个特定协议和客户端实现所固有的技术缺点之外，我们还可以注意到一个相当普遍的缺点 - 搜索的复杂性（即 Web 1.0 遇到的所有内容，但在更复杂的版本中）。 这里没有无处不在、即时搜索的谷歌。 如果对于文件共享网络，您仍然可以使用文件名或元信息进行搜索，那么在洋葱或 i2p 覆盖网络中查找某些内容即使不是不可能，也是非常困难的。
一般来说，如果我们与经典互联网进行类比，那么大多数去中心化网络都停留在 FTP 级别的某个地方。 想象一个互联网，其中除了 FTP 之外什么都没有：没有现代站点，没有 web2.0，没有 Youtube...这大约是去中心化网络的状态。 尽管个人试图改变一些事情，但迄今为止几乎没有什么改变。
内容
让我们转向这个难题的另一个重要部分——内容。 内容是任何互联网资源的主要问题，尤其是去中心化的资源。 从哪里得到它？ 当然，你可以依靠少数爱好者（就像现有的p2p网络一样），但是网络的发展将相当漫长，而且内容也很少。
使用常规互联网意味着搜索和研究内容。 有时 - 保存（如果内容有趣且有用，那么很多人，尤其是那些在拨号时代上网的人 - 包括我 - 会谨慎地离线保存，以免迷失；因为互联网是一个东西我们无法控制，今天该网站存在，明天就没有，今天 YouTube 上有一个视频 - 明天它将被删除，等等。
对于 torrent（我们认为它更多地只是一种传输方式，而不是 p2p 网络），通常意味着节省。 顺便说一句，这是种子的问题之一：下载一次的文件很难移动到更方便使用的地方（通常，您需要手动重新生成发行版）并且绝对不能重命名（你可以硬链接它，但很少有人知道这一点）。
一般来说，许多人以一种或另一种方式保存内容。 他未来的命运又会如何呢？ 通常，保存的文件最终位于磁盘上的某个位置，在一般堆中的“下载”等文件夹中，并与数千个其他文件一起躺在那里。 这很糟糕——而且对用户本身也很糟糕。 如果互联网有搜索引擎，那么用户的本地计算机就没有类似的东西。 如果用户整洁并习惯于对“传入”下载的文件进行排序，那就太好了。 但不是每个人都是这样的...
事实上，现在有很多人不存任何东西，而是完全依赖网络。 但在 p2p 网络中，假设内容存储在用户设备本地并分发给其他参与者。 是否有可能找到一种解决方案，让两类用户都能够参与去中心化网络而不改变他们的习惯，而且让他们的生活变得更轻松？
这个想法很简单：如果我们制定一种方法来保存来自常规互联网的内容，对用户来说方便且透明，并且智能保存 - 使用语义元信息，而不是在公共堆中，而是在特定的结构中进一步结构化的可能性，同时将保存的内容分发到分散的网络？
让我们从保存开始
我们不会考虑利用互联网来查看天气预报或航班时刻表的功利性用途。 我们对自给自足且或多或少不可变的对象更感兴趣——文章（从社交网络的推文/帖子到大型文章，比如哈布雷）、书籍、图像、程序、音频和视频记录。 信息主要来自哪里？ 通常这个
- 社交网络（各种新闻、小笔记 - “推文”、图片、音频和视频）
- 有关主题资源的文章（例如 Habr）； 好的资源不多，通常这些资源也是基于社交网络的原理构建的
- 新闻网站
一般来说，有一些标准功能：“喜欢”、“转发”、“在社交网络上分享”等。
让我们想象一些 浏览器插件，这将专门保存我们喜欢、转发、保存在“收藏夹”中的所有内容（或单击浏览器菜单中显示的特殊插件按钮 - 如果该网站没有喜欢/转发/书签功能）。 主要思想是，您只是喜欢它 - 就像您以前做过一百万次一样，系统将文章、图片或视频保存在特殊的离线存储中，并且该文章或图片变得可用 - 并供您通过去中心化的客户端界面，并且在最去中心化的网络中！ 在我看来，这是非常方便的。 没有任何不必要的动作，我们一次性解决了很多问题：
- 保留可能丢失或删除的有价值的内容
- 去中心化网络的快速填充
- 聚合不同来源的内容（您可以在数十个互联网资源中注册，所有点赞/转发都将流入单个本地数据库）
- 根据以下内容构建您感兴趣的内容 您的 规则
显然，浏览器插件必须针对每个站点的结构进行配置（这是相当现实的 - 已经有用于保存来自 Youtube、Twitter、VK 等内容的插件）。 没有那么多网站适合制作个人插件。 一般来说，这些都是常见的社交网络（几乎不超过十几个）和一些高质量的主题网站，如 Habr（也有一些）。 有了开源代码和规范，基于模板开发新插件应该不会花费太多时间。 对于其他网站，您可以使用通用保存按钮，该按钮会将整个页面保存为 mhtml - 可能是在首先清除页面广告之后。
现在关于结构
我所说的“智能”保存是指至少保存元信息：内容来源（URL）、一组先前设置的喜欢、标签、评论、它们的标识符等。 毕竟，在正常保存过程中，这些信息会丢失……源不仅可以理解为直接 URL，还可以理解为语义组件：例如，社交网络上的群组或转发的用户。 该插件可以足够智能，可以使用此信息进行自动结构化和标记。 另外，应该理解的是，用户自己总是可以向保存的内容添加一些元信息，为此目的应该提供最方便的界面工具（我对如何做到这一点有很多想法）。
因此，解决了构建和组织用户本地文件的问题。 这是一个现成的好处，即使没有任何 p2p 也可以使用。 只是某种离线数据库，它知道我们保存了什么、在哪里以及在什么背景下保存，并允许我们进行小型研究。 例如，查找外部社交网络中最喜欢与您相同的帖子的用户。 有多少社交网络明确允许这样做？
这里应该已经提到，一个浏览器插件肯定是不够的。 该系统的第二个最重要的组件是去中心化网络服务，它在后台运行，并为 p2p 网络本身（来自网络的请求和来自客户端的请求）以及使用插件保存新内容提供服务。 该服务与插件一起工作，将内容放置在正确的位置，计算哈希值（并可能确定此类内容之前已保存），并将必要的元信息添加到本地数据库。
有趣的是，系统在这种形式下已经很有用了，不需要任何 p2p。 例如，许多人使用网络剪辑器将有趣的内容从网络添加到 Evernote。 所提出的架构是这种限幅器的扩展版本。
最后，p2p交换
最好的部分是信息和元信息（都是从网络和您自己捕获的）可以交换。 社交网络的概念完美地转移到了 p2p 架构中。 可以说，社交网络和p2p似乎是天生的一对。 理想情况下，任何去中心化网络都应该构建为社交网络，只有这样它才能有效运作。 “朋友”、“群组”——这些是应该与之建立稳定联系的同龄人，它们取自自然来源——用户的共同兴趣。
在去中心化网络中保存和分发内容的原理与从常规互联网保存（捕获）内容的原理完全相同。 如果您使用网络中的某些内容（因此已保存它），那么任何人都可以使用您接收此特定内容所需的资源（磁盘和通道）。
喜欢 — 最简单的保存和共享工具。 如果我喜欢它——无论是在外部互联网上还是在去中心化网络内部——这意味着我喜欢该内容，如果是这样，那么我准备将其保留在本地并将其分发给去中心化网络中的其他参与者。
- 内容不会“丢失”； 它现在保存在本地，我可以稍后随时返回，而不必担心有人删除或阻止它
- 我可以（立即或稍后）对它进行分类、标记、评论、将其与其他内容关联起来，并且通常用它做一些有意义的事情——我们称之为“元信息生成”。
- 我可以与其他网络成员共享此元信息
- 我可以将我的元信息与其他成员的元信息同步
也许，放弃不喜欢似乎也是合乎逻辑的：如果我不喜欢该内容，那么我不想浪费我的磁盘空间用于存储和我的互联网渠道来分发该内容，这是很合乎逻辑的。 因此，厌恶与去中心化并不能有机地契合（尽管有时确实如此） ).
有时你需要保留你“不喜欢”的东西。 有一个词叫“必须”:)
«书签”（或“收藏夹”）- 我不表达对内容的喜爱，但我将其保存在本地书签数据库中。 “收藏夹”这个词的含义不太合适（为此有“喜欢”及其随后的分类），但“书签”非常合适。 “书签”中的内容也是分布式的——如果您“需要”它（即，您以一种或另一种方式“使用”它），那么其他人可能“需要”它是合乎逻辑的。 为什么不利用你的资源来做到这一点呢？
功能 ”朋友”。 这些人是同行、具有相似兴趣的人，因此最有可能拥有有趣的内容。 在去中心化网络上，这主要意味着订阅朋友的新闻源并访问他们保存的内容目录（专辑）。
类似于函数“群体“ - 某种集体提要，或论坛，或者你也可以订阅的东西 - 这意味着接受所有小组的材料并分发它们。 也许“群组”，如大型论坛，应该是分层的 - 这将允许更好地构建群组内容，并限制信息流，并且不接受/分发您不太感兴趣的内容。
其他的
应该指出的是，去中心化架构总是比中心化架构更复杂。 在集中式资源中，服务器代码有严格的规定。 在去中心化的情况下，需要在许多平等的参与者之间进行谈判。 当然，这离不开密码学、区块链等主要基于加密货币发展起来的成果。
我认为可能需要网络参与者彼此形成某种加密的相互信任评级。 该架构应该能够有效地对抗僵尸网络，僵尸网络存在于某个云中，例如可以相互提高自己的评级。 我真的希望拥有技术优势的企业和僵尸网络农场不要夺取对这样一个去中心化网络的控制权； 因此它的主要资源是能够生产和构建对其他活着的人来说有趣且有用的内容的活着的人。
我也希望有这样一个网络能够推动文明走向进步。 关于这个主题，我有很多想法，但是，这些想法不属于本文的范围。 我只会说以某种方式科学、技术、医学等。 内容应优先于娱乐，这需要某种程度的节制。 去中心化网络的审核本身是一项不平凡的任务，但它是可以解决的（但是，这里的“审核”这个词是完全不正确的，根本没有反映该过程的本质 - 无论是外部还是内部......并且我什至想不出这个过程可以被称为什么）。
可能没有必要提及通过内置方式（如 i2p 或 Retroshare）以及通过 TOR 或 VPN 传递所有流量来确保匿名性的需要。
最后是软件架构（在本文的图片中示意性绘制）。 正如已经提到的，系统的第一个组件是一个浏览器插件，它捕获带有元信息的内容。 第二个最重要的组件是 p2p 服务，它在后台（“后端”）运行。 网络的运行显然不应该依赖于浏览器是否运行。 第三个组件是客户端软件——前端。 这可以是本地 Web 服务（在这种情况下，用户将能够在不离开他最喜欢的浏览器的情况下使用去中心化网络），也可以是针对特定操作系统（Windows、Linux、MacOS、Andriod、iOS、 ETC。）。 我喜欢所有前端选项同时存在的想法。 同时，这将需要更严格的后端架构。
还有很多方面没有包含在本文中。 连接到现有文件存储的分发（即，当您已经有几 TB 的泵送数据时，您让客户端扫描它，获取哈希值，将它们与网络内部的内容进行比较并加入分发，同时时间获取有关自己文件的元信息 - 正常名称、描述、评级、评论等）、连接外部元信息源（例如 Libgen 数据库）、可选使用磁盘空间来存储其他人的加密内容（如 Freenet 中） ），与现有去中心化网络的集成架构（这是一个完全黑暗的森林），媒体哈希的思想（对媒体内容 - 图片，音频和视频使用特殊的感知哈希，这将允许您比较媒体文件含义相同，但大小、分辨率等不同）等等。
文章简要摘要
1. 在去中心化网络中，没有谷歌的搜索和排名——但有一个由真人组成的社区。 具有反馈机制（点赞、转发……）和社交图谱（朋友、社区……）的社交网络是去中心化网络的理想应用层模型
2. 我在本文中提出的主要思想是，当您设置点赞/转发时，自动保存来自常规互联网的有趣内容； 这在没有 p2p 的情况下很有用，只需维护有趣信息的个人档案
3.该内容还可以自动填充去中心化网络
4、自动保存有趣内容的原理也适用于最去中心化网络中的点赞/转发
来源： habr.com