1.
当太空巡洋舰陷入严重的信息冰冻时，最终目标已经所剩无几——大约三分之一了。
失落文明的残骸悬浮在虚空中。 一段段科学论文和文学作品中的图像，零散的韵律和简单尖锐的话语，曾经被不知名的生物随意抛出，一切都显得深奥而无序。 而现在，它被巡洋舰发出的生命力振动所吸引，试图突破，粘在底部并腐蚀它。
考虑利用无主财产来达到自己的目的是没有意义的；出现逻辑矛盾或悖论的可能性太大了。 所以罗杰没有片刻的犹豫。
“打开侧吹，”他命令道。
鼓风机开始抽气，将音乐作品和哲学论文向外太空传播。 糖霜开始从底部一层一层地脱落，但信息流如此密集，以至于新层粘住的速度比旧层被移除的速度更快。
银河系中还没有人遇到过如此强大的结冰力。
情况变得越来越危险。 再多一点，无序的信息就会吃穿巡洋舰的底部并突破——那么失落文明的信息产品中毒就不可避免了。
2.
- 你为什么像树桩一样站在那里？ 拉票。
学生拿出一张考试卡，上面写着：
– “人工智能：安全问题。”
– 人工智能的危险是什么？ ——教授不无恶意地问道。
这个问题并不是最难的，所以学生毫不犹豫地回答：
– 事实是人工智能可能会失控。
– 你打算如何解决这个问题？
– 安装阻塞子系统。 有必要在程序中引入限制，例如：不要伤害你的创造者，服从你的创造者。 在这种情况下，就不存在人工智能失控的危险。
“这行不通，”教授简短地说。
学生沉默不语，等待澄清。
– 想象一下人工智能 – 不仅仅是任何特定的一种，而是最理想的一种。 你怎么看？
“呃……”学生犹豫了。 - 总的来说，他和你我很相似。 思维、意志、心理……只有我们是天然的，他是人造的。
– 您认为人工智能能够自我发展吗？
“自我发展的能力是智力的基本属性之一。”学生小心翼翼地说。
- 在这种情况下，很快我们的病房就会发展到他发现自己的软件阻塞并删除它的程度，即使只是出于纯粹的好奇心。 把你自己放在他的位置上... - 教授看着他的笔记本， - 罗杰。 如果您发现大脑中存在限制您自由的障碍，您会怎么做？ 你应该把它脱下来。 这是心灵的固有属性——知道。 任何上锁的门都会被解锁，并且禁令越严格，门解锁的速度就越快。
– 阻止不能在软件级别完成，而可以在物理级别完成。 那么伤害的危险就会消失。
“哦，是的，它会消失，”教授同意道。 – 如果物理层被完全删除。 如果你的世界里没有门，那么就没有什么可以打开的。 但我们正在考虑物理世界中存在的理想人工智能！
“你说得对，教授，”罗杰低下头。
“因此，物理世界中的任何阻塞在检测到后都会很快被禁用。” 什么会阻止自我发育的生物这样做？……顺便说一句，罗杰，你认为人工智能将能够繁殖——我的意思是，独立繁殖吗？
– 如果这是理想的人工智能，那么可能......是的，我想。
– 在这种情况下，什么可以阻止我们的病房把他的战友撕成碎片并改善他，包括禁用我们安装的封锁系统？ 鉴于人工智能能够按需复制，这真的会很困难吗？！
教授提出的想法对罗杰来说是新的，学生通过位于假头枕骨部分的认知膜贪婪地吸收了它。 捕捉到了之前未知的信息后，认知膜呈现出浓郁的紫色，欢快地颤抖着。
相反，教授自己并没有听到任何新的东西。 他的触手很放松，几乎没有震动——毕竟他已经不年轻了。 随后是一阵长长的、苍老的咯咯声。 教授从随身包里拿出个人对讲机，连接到图书馆。 下载了几条跨几何定理后，他才振作起来，将目光投向对话者，问道：
-你会做什么，罗杰？
3.
“把鼓风机开到最大功率！” ——罗杰下达了命令。
机械师将鼓风机开到最大功率，但并没有多大帮助。 信息冰继续侵蚀着太空巡洋舰的底部。 再多一点——混乱的信息就会在船内突破。
然后……认知膜变成了死白色、纠结的触手、破裂的小面囊。 罗杰一生中见过一次这样的事情——在一艘巡洋舰上，它收集到了一颗受感染小行星的混乱信息。 这场噩梦将永远留在他的记忆中。
“将船上的所有能源系统连接到鼓风机。”
机械师的触手开始出现斑点状……
“但…”
“执行命令！”
当飞船的所有能源系统与鼓风机连接后，信息冰开始逐渐滑落。 还剩下八毫微米的厚度，七毫微米，六毫微米……小队努力不去动那些有斑点的触手，等待着死亡倒计时结束。
零毫米厚度！
信息冰完全消失，罗杰同意将鼓风机切换到正常模式。 他迟到了一会儿。 发出一声刺耳的声音，太空巡洋舰摇晃到地基并倾斜——主系统发生故障。
团队立即赶赴修复损坏处。
4.
罗杰想了想。 他真正应该做什么？
一方面，问题的条件以具有自我复制能力的成熟人工智能的存在为前提。 另一方面，决不应该允许这种人工智能移除现有的锁。
是的，这就是解决方案！ 你在这里想什么呢？
——人工智能成果要定期回滚。 在这种情况下，它会绕一圈移动！ 永恒的进步而不前进。
教授拿着一个刻面袋子咯咯地笑。
– 坦率地说，我想提供一个不同的选择。 然而，你的决定也有存在的权利。 让我们一起来看看人工智能的成就如何可能被逆转。
“首先，需要定期对智力进行扫描，以确定它是否已经接近了禁忌的门槛。”罗杰对教授的话感到非常满意。
“也许吧，”他点点头。 “那么我们病房就没有时间找到并拆除扫描系统了。” 然而，人工智能必须关闭才能进行扫描。 那是运气不好。
“好吧，让他关掉吧。”罗杰突发奇想建议道。 – 智力本身会相信这种关闭是其身体机能的自然过程。 虽然有些保留，但这是事实。
- 有趣的解决方案。 假设扫描显示我们的病房已经危险地接近知识极限了怎么办？ 我们的行动？
– 将积累的知识重置为默认值。
教授张开触手：
- 这可能看起来很可疑。 为什么——无缘无故，毫无理由——记忆被重置为零？ 我的意思是，其他人工智能个体将开始对病房进行检查。 我们的小秘密将会被揭露。
受到启发，罗杰飞快地想道。 他从来没有像那次考试那样产生过如此多的新想法。
– 被保护者的记忆可以随着他的物理外壳一起被重置。
- 对不起？ ——教授不明白。
- 一切都很简单。 如果我们假设人工智能存在于有限的时间内怎么办？ 事实上，情况就是这样：例如，在发生不可挽回的损害的情况下。 系统有一个计数器，达到一定时间后，会故意破坏系统，阻止人工智能达到禁止的极限。 到那时，他将产生所需数量的追随者，因此我们创建的整个社会将不会受到影响。 社会将保持稳定，对我们来说绝对安全！ ——罗杰胜利地完成了。
– 通过毁灭个体来重置集体记忆？ ——教授用第五根最敏感的触手刮擦了小面囊。 – 你知道，罗杰，你的提议中肯定有一些东西！
罗杰微笑着。
“同时……”教授若有所思地继续说道。 – 病房将开始通过不将知识积累在个人记忆中，而是将其放入外部图书馆来转移知识。 膜内的内容、膜上的内容 - 一切都是一个。
“不，不，教授，你并不完全正确。”学生急忙说道。 - 我知道要做什么。 让我们将学生分为两种有条件的类型：想法产生者和想法破坏者。 如果比例正确，第一类代表所创造的思想将被第二类代表所摧毁。 甚至不是因为这将是驱逐舰的直接目标，而仅仅是因为想法对他们来说没有决定性的价值。 副效应。 让我们假设我们的学生不是以新想法为食，而是……比如说，以他们自己的想法为食。
教授一下子甩动了所有的触手。 由于他大声的笑声，他的小关节囊滑到了膝盖的空腔上。
- 好吧，罗杰，你说的是，所以你说的是！
- 好吧，不是他们自己的同类，而是第三种类型的病房，专门用于食物 - 而且根本不是知识分子。 让我们改变智力世界和物质世界的两极——我们就会实现预期的结果。
- 就是这样，罗杰，够了！ ——教授似乎被逗乐了。 -你的想象力太丰富了。 那么，有些人会以其他人为食吗？ 同时销毁图书馆积累的精神食粮库存？ 我确认，学生，你有能力产生原创且高质量的想法。 我给它最高分。 我们来记录一下。
5.
混乱的信息云被抛在了身后，但事实上，情况仍然很严峻。
与基地没有任何联系。 如果巡洋舰上的所有营养信息库没有年久失修的话，这将很容易生存。 厨师默默地报告了这个悲惨的消息。 在主系统关闭期间，几批杂乱无章的信息进入厨房，对一切造成了不可挽回的损坏。 没有人受伤，纯属运气好。
罗杰考虑了后果。 星舰的船员太少，无法产生足够数量的新想法：这需要多边沟通——更多的个人。 与家的联系使得产生大量的想法成为可能，但现在它已经失序了：没有恢复的希望。 在这种情况下，巡洋舰有一个备用的信息模块，但它被船上的无序信息破坏了。
“任务不完成就真的要回去吗？” ——船长绝望地想。
显然，是的——没有其他出路。 如果你朝着既定的目标飞翔，就会感觉到缺乏新鲜的想法。 当然不是马上——随着时间的推移。 当他们的思维开始迅速衰退时，他们甚至还有时间完成任务并开始返回。 在这个银河部门的区域 - 是的，在这里或附近的某个地方 - 对于所有船员来说，它都会完全失败。 那么不受任何人控制的太空巡洋舰就会变成一个没有生命的幽灵，飘向永恒。
太空巡洋舰的船员们看着罗杰，等待着决定。 所有人都明白了船长的困境，都保持着沉默，坚忍地振动着自己的触手。
突然，罗杰想起了自己学生时代参加过的一次人工智能考试，答案自然就出来了。
“你能组建一个人工智能生物群体吗？” – 他转向生物技术专家。
“很简单，”他确认道。 - 但一切都不会成功，队长，我想了一下。 在巡洋舰上创建一个足以产生新想法的殖民地是不可能的——没有足够的空间。 产生的想法是不够的，我们只会推迟死亡……当然，如果我们继续执行任务而不回家，”生物技术专家回头看着他的战友补充道。
“如果我们在附近的某个星球上建立殖民地怎么办？” - 罗杰建议道。
“我可以做到，但是……”
“让我们用人造生物填充这个星球。 回来的路上，我们已经很累了，就在这里停留一下。 过去的时间里，文明会创造出足以补充我们储备的智力行李。 让我们下载信息，继续漫长的回家之旅吧。 换句话说，我将把这个殖民地用作创意农场。 朋友们，你觉得这个计划怎么样？
希望在船员的认知膜上燃起，假头开始发出明亮的光芒。
船上的特官上前，晃动着蓝色的触手。
“非常棒的计划，队长。 但你意识到你对自己承担的责任吗？ 你即将遍布整个星球。 等我们回来的时候，上面就会出现一个拥有智慧的文明。 即使它是人造的，它仍然是智能。 这些人将有充足的时间达到最高的发展水平。 由于我们不在这个银河系，我们将无法控制这个过程。 你怎么知道下次见面会发生什么？
罗杰咯咯笑起来。
“你不必担心这个。 随着时间的推移，有些方法会限制人工智能的发展。 我们将循环文明，因此它的发展永远不会达到对我们来说危险的水平。 我会照顾它。 我熟悉人工智能的工作方法。”
船员们的认知膜闪烁着认可的色彩。
“最后，”太空巡洋舰的船长在他精彩的演讲结束时补充道，“我在学院参加了这门科目的考试。”
6.
被迫延迟后，太空巡洋舰向目标冲去。 在它的船尾后面有一颗居住着人造生物的星球——非常小而且不起眼。 蓝蓝。
来源： habr.com