1.
當太空巡洋艦遭遇嚴重資訊的凍結時，距離最終目標已經所剩無幾了——大約完成了三分之一。
失落文明的殘骸懸浮在虛空中。 一段科學論文和文學作品中的圖像，零散的韻律和簡單尖銳的文字，曾經被不知名的生物隨意扔出，一切都顯得深奧而無序。 而現在，它被巡洋艦發出的生命力振動所吸引，試圖突破，黏在底部並腐蝕它。
考慮利用無主財產來達到自己的目的是沒有意義的；出現邏輯矛盾或悖論的可能性太大了。 所以羅傑沒有片刻的猶豫。
「打開側吹，」他命令道。
鼓風機開始抽氣，將音樂作品和哲學論文向外太空傳播。 糖霜開始從底層一層一層地脫落，但訊息流如此密集，以至於新層黏住的速度比舊層被移除的速度更快。
銀河系中還沒有人遇過如此強大的結冰力。
情況變得越來越危險。 再多一點，無序的資訊就會吃穿巡洋艦的底部並突破——那麼失落文明的資訊產品中毒就不可避免了。
2.
- 為什麼你像樹樁一樣站在那裡？ 拉票。
學生拿出一張考試卡，上面寫著：
– “人工智慧：安全問題。”
– 人工智慧的危險是什麼？ ——教授不無惡意地問。
這個問題不是最難的，所以學生毫不猶豫地回答：
– 事實是人工智慧可能會失控。
– 你打算如何解決這個問題？
– 安裝阻塞子系統。 有必要在程序中引入限制，例如：不要傷害你的創造者，服從你的創造者。 在這種情況下，就不存在人工智慧失控的危險。
「這行不通，」教授簡短地說。
學生沉默不語，等待澄清。
– 想像人工智慧 – 不只是任何特定的一種，而是最理想的一種。 你怎麼看？
「呃……」學生猶豫了一下。 - 總的來說，他和你我很相似。 思維、意志、心理……只有我們是天然的，祂是人造的。
– 您認為人工智慧能夠自我發展嗎？
「自我發展的能力是智力的基本屬性之一。」學生小心翼翼地說。
- 在這種情況下，很快我們的病房就會發展到他發現自己的軟體阻塞並刪除它的程度，即使只是出於純粹的好奇心。 把你自己放在他的位置上... - 教授看著他的筆記本， - 羅傑。 如果您發現大腦中存在限制您自由的障礙，您會怎麼做？ 你應該把它脫下來。 這是心靈的固有屬性－知道。 任何上鎖的門都會解鎖，並且禁令越嚴格，門解鎖的速度就越快。
– 阻止無法在軟體層級完成，而可以在實體層級完成。 那麼傷害的危險就會消失。
「哦，是的，它會消失，」教授同意道。 – 如果物理層被完全刪除。 如果你的世界裡沒有門，那就沒有什麼可以打開的。 但我們正在考慮物理世界中存在的理想人工智慧！
「你說得對，教授，」羅傑低下頭。
“因此，物理世界中的任何阻塞在檢測到後都會很快被禁用。” 什麼會阻止自我發育的生物這樣做？…順便說一句，羅傑，你認為人工智慧將能夠繁殖－我的意思是，獨立繁殖嗎？
– 如果這是理想的人工智慧，那麼可能......是的，我想。
– 在這種情況下，什麼可以阻止我們的病房把他的戰友撕成碎片並改善他，包括禁用我們安裝的封鎖系統？ 鑑於人工智慧能夠按需複製，這真的會很困難嗎？！
教授提出的想法對羅傑來說是新的，學生透過位於假頭枕骨部分的認知膜貪婪地吸收了它。 捕捉了先前未知的訊息後，認知膜呈現出濃鬱的紫色，歡快地顫抖著。
相反，教授自己並沒有聽到任何新的東西。 他的觸手很放鬆，幾乎沒有震動——畢竟他已經不年輕了。 隨後是一陣長長的、蒼老的咯咯聲。 教授從隨身包包拿出個人對講機，連接到圖書館。 下載了幾個跨幾何定理後，他振作起來，將目光投向對話者，問道：
-你會做什麼，羅傑？
3.
「把鼓風機開到最大功率！” ——羅傑下達了命令。
機械師將鼓風機開到最大功率，但並沒有太大幫助。 資訊冰繼續侵蝕太空巡洋艦的底部。 再多一點——混亂的訊息就會在船內突破。
然後……認知膜變成了死白色、糾結的觸手、破裂的小面囊。 羅傑一生中見過一次這樣的事——在一艘巡洋艦上，它收集了一顆受感染小行星的混亂訊息。 這場惡夢將永遠留在他的記憶中。
“將船上的所有能源系統連接到鼓風機。”
機械師的觸手開始出現斑點狀…
“但…”
“執行命令！”
當太空船的所有能源系統與鼓風機連接後，資訊冰開始逐漸滑落。 還剩下八毫微米的厚度，七毫微米，六毫微米……小隊努力不去動那些有斑點的觸手，等待死亡倒數結束。
零毫米厚度！
資訊冰完全消失，羅傑同意將鼓風機切換到正常模式。 他遲到了一會兒。 發出一聲刺耳的聲音，太空巡洋艦搖晃到地基並傾斜——主系統發生故障。
團隊立即趕赴修復損壞處。
4.
羅傑想了想。 他真正該做什麼？
一方面，問題的條件以具有自我複製能力的成熟人工智慧的存在為前提。 另一方面，絕不應該允許這種人工智慧移除現有的鎖。
是的，這就是解決方案！ 你在這裡想什麼呢？
——人工智慧成果要定期回滾。 在這種情況下，它會繞一圈移動！ 永恆的進步而不前進。
教授拿著一個刻面袋子咯咯地笑。
– 坦白說，我想提供一個不同的選擇。 然而，你的決定也有存在的權利。 讓我們一起來看看人工智慧的成就如何可能被逆轉。
「首先，需要定期對智力進行掃描，以確定它是否已經接近了禁忌的門檻。」羅傑對教授的話感到非常滿意。
「也許吧，」他點點頭。 “那麼我們病房就沒有時間找到並拆除掃描系統了。” 然而，人工智慧必須關閉才能進行掃描。 那是運氣不好。
「好吧，讓他關掉吧。」羅傑突發奇想建議。 – 智力本身會相信這種關閉是其身體機能的自然過程。 雖然有些保留，但這是事實。
- 有趣的解決方案。 假設掃描顯示我們的病房已經危險地接近知識極限了怎麼辦？ 我們的行動？
– 將累積的知識重設為預設值。
教授張開觸手：
- 這可能看起來很可疑。 為什麼──無緣無故，毫無理由──記憶被重置為零？ 我的意思是，其他人工智慧個體將開始對病房進行檢查。 我們的小秘密將會被揭露。
受到啟發，羅傑飛快地想道。 他從來沒有像那次考試那樣產生過如此多的新想法。
– 被保護者的記憶可以隨著他的實體外殼一起被重置。
- 對不起？ ——教授不明白。
- 一切都很簡單。 如果我們假設人工智慧存在於有限的時間內呢？ 事實上，情況就是這樣：例如，在發生不可挽回的損害的情況下。 系統有一個計數器，達到一定時間後，會故意破壞系統，阻止人工智慧達到禁止的極限。 到那時，他將產生所需數量的追隨者，因此我們創建的整個社會將不會受到影響。 社會將保持穩定，對我們絕對安全！ ——羅傑勝利地完成了。
– 透過毀滅個體來重置集體記憶？ ——教授用第五根最敏感的觸手刮擦了小面囊。 – 你知道，羅傑，你的提議中肯定有一些東西！
羅傑微笑著。
「同時……」教授若有所思地繼續說。 – 病房將開始透過不將知識累積在個人記憶中，而是放入外部圖書館來轉移知識。 膜內的內容、膜上的內容 - 一切都是一個。
「不，不，教授，你並不完全正確。」學生急忙說。 - 我知道要做什麼。 讓我們將學生分為兩種有條件的類型：想法產生者和想法破壞者。 如果比例正確，第一類代表所創造的思想將被第二類代表所摧毀。 甚至不是因為這將是驅逐艦的直接目標，而只是因為想法對他們來說沒有決定性的價值。 副效應。 讓我們假設我們的學生不是以新想法為食，而是…比如說，以他們自己的想法為食。
教授一下子甩動了所有的觸手。 由於他大聲的笑聲，他的小關節囊滑到了膝蓋的空洞上。
- 好吧，羅傑，你說的是，所以你說的是！
- 好吧，不是他們自己的同類，而是第三種類型的病房，專門用於食物 - 而且根本不是知識分子。 讓我們改變智力世界和物質世界的兩極——我們就會實現預期的結果。
- 就是這樣，羅傑，夠了！ ——教授似乎被逗樂了。 -你的想像力太豐富了。 那麼，有些人會以其他人為食嗎？ 同時銷毀圖書館累積的精神食糧庫存？ 我確認，學生，你有能力產生原創且高品質的想法。 我給它最高分。 我們來記錄一下。
5.
混亂的訊息雲被拋在了身後，但事實上，情況仍然很嚴峻。
與基地沒有任何關聯。 如果巡洋艦上的所有營養資訊庫沒有年久失修的話，這將很容易生存。 廚師默默地報告了這個悲慘的消息。 在主系統關閉期間，幾批雜亂無章的資訊進入廚房，對一切造成了不可挽回的損壞。 沒有人受傷，純屬運氣好。
羅傑考慮了後果。 星艦的船員太少，無法產生足夠數量的新想法：這需要多邊溝通──更多的個人。 與家的聯繫使得產生大量的想法成為可能，但現在它已經失序了：沒有恢復的希望。 在這種情況下，巡洋艦有一個備用的資訊模組，但它被船上的無序資訊破壞了。
“任務不完成就真的要回去嗎？” ——船長絕望地想。
顯然，是的——沒有其他出路。 如果你朝著既定的目標飛翔，你會感覺到缺乏新鮮的想法。 當然不是馬上——隨著時間的推移。 當他們的思維開始迅速衰退時，他們甚至有時間完成任務並開始返回。 在這個銀河部門的區域 - 是的，在這裡或附近的某個地方 - 對於所有船員來說，它都會完全失敗。 那麼不受任何人控制的太空巡洋艦就會變成一個沒有生命的幽靈，飄向永恆。
太空巡洋艦的船員們看著羅傑，等待決定。 所有人都明白了船長的困境，都保持著沉默，堅忍地振動著自己的觸手。
突然，羅傑想起了學生時代參加過的人工智慧考試，答案自然就出來了。
“你能組成一個人工智慧生物群體嗎？” – 他轉向生物技術專家。
「很簡單，」他確認。 - 但一切都不會成功，隊長，我想了一下。 在巡洋艦上創建一個足以產生新想法的殖民地是不可能的——沒有足夠的空間。 產生的想法是不夠的，我們只會推遲死亡……當然，如果我們繼續執行任務而不回家，」生物技術專家回頭看著他的戰友補充道。
“如果我們在附近的某個星球上建立殖民地怎麼辦？” - 羅傑建議。
“我可以做到，但是…”
「讓我們用人造生物填滿這個星球。 回來的路上，我們已經很累了，就在這裡停留一下。 在過去的時間裡，文明會創造出足以補充我們儲備的智性行李。 讓我們下載訊息，繼續漫長的回家之旅。 換句話說，我將把這個殖民地用作創意農場。 朋友們，你們覺得這個計畫怎麼樣？
希望在船員的認知膜上燃起，假頭開始發出明亮的光芒。
船上的特官上前，晃動著藍色的觸手。
「非常棒的計劃，隊長。 但你意識到你對自己所承擔的責任嗎？ 你即將遍佈整個星球。 等我們回來的時候，上面就會出現一個擁有智慧的文明。 即使它是人造的，它仍然是智慧。 這些人將有充足的時間達到最高的發展水準。 由於我們不在這個銀河系，我們將無法控制這個過程。 你怎麼知道下次見面會發生什麼事？
羅傑咯咯笑起來。
「你不必擔心這個。 隨著時間的推移，有些方法會限制人工智慧的發展。 我們將循環文明，因此它的發展永遠不會達到對我們來說危險的程度。 我會照顧它。 我熟悉人工智慧的工作方法。”
船員們的認知膜閃爍著認可的色彩。
“最後，”太空巡洋艦的船長在他精彩的演講結束時補充道，“我在學院參加了這門科目的考試。”
6.
被迫延遲後，太空巡洋艦向目標衝去。 在它的船尾後面有一顆居住著人造生物的星球——非常小而且不起眼。 藍藍。
來源： www.habr.com