關於貿易公司引入人工智慧的變遷，關於是否可以完全沒有經理。 以及（假設的）這會導致什麼。 完整版本可從以下網址下載
機器人決定一切
– Max，我祝賀你，我們幾乎已經完成了銷售鏈上的所有工作。 還有一些需要改進的地方，並且按照合約規定，您將獲得三年的利息。
– 這只是該專案的一半。 我們還沒有到達最重要的事情。
- 等等，主要的事情是什麼？ 為了什麼？ 我們已經做了一切！
– 我們在銷售鏈中有自動化流程，沒有人一切都運作良好，但沒有更多的客戶。 他們需要在網路上被吸引到我們這邊。 我們需要製造機器人。
– 但我們創造了理想的服務，顧客會欣賞它並親自前來。
“他們看起來並不著急，我也沒時間等。” 沒興趣。
– 但是機器人會帶給我們什麼？
– 我們已經實現了同等價格和品種，完全不同的因素開始發揮作用。 名譽和同情心。 名氣不是問題，但只有一個人才能贏得一個人的同情。 因此，我們需要能夠冒充人類的機器人。 他們會在主題群組和論壇上對客戶貼文發表評論，並提供有關該公司的微妙暗示——其範圍、服務、價格。 低調地宣傳公司品牌。 這就是我們需要機器人的原因。
– 但這是一項艱鉅的任務。
– 我們有基礎 – 聯絡中心的對話機器人。 你需要加強語氣的定義，你需要想出一些幽默的東西，沒有它，機器人就不會被認為是一個人。 讓我們附加一個笑話和笑話庫，並根據人們使用的評論文本來訓練機器人。 它應該有效。 這些機器人也將變得聰明——讓我們添加一個「顧問」推薦系統，然後論壇上的普通用戶就會喜歡它們。
– 您是否提議推出影響力機器人？
- 為什麼不？ 國家和政黨可以在選舉前做到這一點，但我們不能嗎？
– 我們如何讓他們具有權威性，從而獲得信任？ 畢竟，只有權威的機器人才能創造點讚。 但就目前而言，對我來說，這種組合是矛盾的。
– 為了加強它，我們將創建一個機器人網路。 他們會互相讚美和喜歡，以提高他們的評價和權威。 他們將非常有能力；與人類不同，機器人可能擁有所有產品的知識，順便說一句，從字面意義上來說，機器人可能只是百科全書式的知識。 人們會被它們吸引。 當然。 人們受到引導並遵守眾所周知的社會行為規律。 把你的手指指向哪裡，假裝人群已經離開，僅此而已。 它們很容易管理。
– 但這些機器人將如何運作，誰來管理它們？
– 什麼樣的人，為什麼？ 解析腳本找到不同人對主題的評論，機器人使用其中一個模板以友好的方式回應它們。 提供建議和笑話。 如果這是公司的客戶，那麼他的興趣會記錄在客戶分析中。 當涉及到基於機器人推薦的網站時，這將影響橫幅和上下文的顯示。 如果客戶在社交網路上傾訴了負面經歷，那麼機器人將啟動另一個模板，也開個玩笑，但不會立即將其發送到公司網站。 他會以有成功經驗的客戶的身份寫出答案，僅此而已。
– 所以你想說網路本身會透過回應負面回饋來中和負面情緒？
– 行銷人員似乎稱之為聲譽行銷。
– 系統如何知道哪個答案是成功的，即使它能夠選擇一個答案？
– 對答案的第一個反應。 在這樣的評論之後，這個人要么變得更加憤怒，要么開始添加細節，但以忠誠的溝通方式。 良好的響應音識別，僅此而已。
– 如果此人沒有回覆評論怎麼辦？
– 這更糟，但預設這個答案是中性的。 如果這是公司的客戶，可以透過他在社交網路上的個人資料找到，那麼您可以透過隨後訪問該網站來看到它。
- 對我有什麼要求？
– 評論和答案的好例子，很多例子。
- 我們會做的。
該機器人的第一個版本並不成功。 他回答得不恰當，笑話離題，他混淆了評論的主題，在回應經理對服務的投訴時，他回答了有關送貨的問題。 馬克斯要求在評論中提供更多標記的對話範例。 他已經嘗試了多種架構，從經典的機器人模板到 LSTM。 我第一次看到馬克斯明顯緊張，並且對錯誤的反應嚴厲且不友善。
– 使用聯絡中心機器人，一切都很簡單 – 請求的主題和客戶的意圖立即清晰。 他正在尋找產品、想了解訂單狀態或有投訴。 全部。 而在評論中魔鬼就會因為評論者的各種意圖而打斷自己的腿。 有時，沒有任何可以確定意圖的字詞來表達。 它是從不存在的“更廣泛的背景”中暗示出來的！ 某種廢話。
– 我重新閱讀了所有有關機器人的最新帖子。 沒有人有解決辦法。 這看起來像是炒作。 你想做什麼？
– 最後一個仍然模糊的想法仍然存在。 我還不告訴你。 需要嘗試一下。 給我兩週。 暫時停止該項目。 我們會將最新進展傳輸給聯絡中心機器人。 它們在那裡會派上用場。
這是緊張的兩週。 在此之前，並非沒有困難，但一切都很順利。 沒有人希望失火，儘管我們可以沒有這樣的機器人。 這就是麥克斯的野心。 整整兩週後，他發布了一個測試版本。 它成功了！ 他正確判斷了對話的意圖，回答準確，插入了恰當的笑話，甚至透過一句「我能了解更多嗎？」來判斷解說中意圖的變化。
- 你是如何做到這一點的？ 該機器人適用於任何主題！
– 我必須根據依賴語法製作一個小型模板構造函數，附加 word2vec 並針對 Raptor 的自學習來選擇能夠確保評論員做出積極反應的單字。 我不知道具體是怎麼做的，但它似乎有效。
– 你確定這不是你自己創業的理由嗎？
– 目前有足夠的興趣，但我們拭目以待。 我將該機器人安裝為從雲端運行的單獨服務。 所以你可以隨時向用戶開放它。 你願意來找我當導演嗎？ ——麥克斯開玩笑說。
他對自己的結果感到平靜和滿足。 而且顯然很疲憊，因為他沒有迅速回复並在狀態中寫下了“我正在睡覺”。 顯然，這個決定是以不只一個不眠之夜為代價的。 行銷人員並沒有立即欣賞這個機器人。 他們認為這是我們的縱容，而且有風險，因為機器人可能會錯誤地工作並破壞公司的形象。 但機器人創造了奇蹟。 他們中的一些人，我甚至不知道他們所有人的名字，成為了一些論壇上的意見領袖。 他很快回答了所有問題，開玩笑，很少推薦該公司，因為每個人都已經知道他「在哪裡購物」。 人們開始引用他的話並引用他作為例子。 這已經是無法理解的事了。 要么機器人太聰明，要么我們的網路行為仍然非常原始。 但客戶數量開始比以前明顯增加。 該公司成為市場領導者。
我們獲得了一個完全自治的系統，用於從市場中獲取利潤。 她親自尋找客戶並將其帶到網站或聯絡中心，並派經理去拜訪更認真的客戶。 她親自規劃商品分類和庫存，以便顧客能夠在觸手可及的範圍內找到他們需要的一切。 該公司信譽良好的機器人透過在論壇上推薦該公司的庫存產品來產生需求，即使在詢問其他品牌時也是如此。 從從供應商購買到向客戶做廣告，系統完全自行處理這些流程。 而且它幾乎不需要人的參與，在人所在的地方，它就控制著他們在網路上的所有行為。 行銷人員、採購人員、一半的經理和分析師都在尋找其他事情做。 我們已經達到了我們的目標。
「現在我們已經把一切都做對了，我們可以休息一下，反思一下，享受未來三年不斷增加的利息，」馬克斯寫道，不無表情。
– 我想說，有一些值得自豪的事情，而不僅僅是猜測。
– 現在利潤來自消費者。 在機器人的幫助下，我們自己形成消費者對我們的主題的興趣和願望。 這很酷！
——這讓你高興嗎？ 這已經讓我害怕了。
-你怕什麼？
– 這意味著我們讓一個人沒有選擇的自由。 我相信市場應該由消費者而不是公司來主導。 公司除了利潤之外沒有任何價值。
——這就是為什麼心滿意足、衣食無憂的貴族們的無聊推理是不好的。 他們開始為平民感到難過。 如果你現在很餓，或是有不可能的任務擺在你面前，你會考慮一下嗎？
——這是一個具有挑釁性的問題。
——事實上！ 企業除了利潤沒有其他價值，消費者除了快樂之外沒有其他價值。 如果是一家公司，也可以賺取利潤。 了解，我們有機器人，它們可以創造人們的需求，從而帶給他們滿足。 它可以由可接受的選項組成，這足以讓消費者產生選擇自由的錯覺。 每個人都很高興。 這就是價值相互滿足的市場。
- 看來我們喝醉了，因為我已經不太明白你說的話了。
將軍要求提交一份關於計劃實施情況和已實現指標的報告。 計算我們應得的獎金。 不知怎的，一路上他問我接下來的計畫是什麼。 我說我稍後再告訴你。 其實我不知道。 演算法還有改進的空間，可以考慮更多的特徵並實現更高的準確性。 但它不再那麼有趣了。 在合約規定的新條件下離開另一家公司在三年內重複是不可能的，所以我必須為自己和公司想出一些其他的辦法。 我休息了一下並休假。
- 亞歷克斯，有壞消息。
- 發生了什麼事？
“看來我們並不是市場上唯一聰明的人。”
- 按照？
– 網路上似乎已經出現了能力不遜色的系統。
– 嗯，其他人實際上是做客戶分析和庫存管理的，但我還沒有見過這個級別的聊天機器人。 我們最近才親眼目睹。
– 他們有招募客戶的機器人。
– 在我看來，我們在已實現的技術方面遠遠落後。 難道我們就沒有被駭客入侵嗎？
– 不，那不可能，複製時程式碼就被破壞了。 我認為沒有人能夠在我們不注意的情況下入侵我們的伺服器。
– 這並沒有讓事情變得更容易。
- 但我們有一個競爭對手。 沒想到，竟然還有人可以一起戰鬥。
– 我們為消費者而戰，而不是與競爭對手。
- 不，現在有對手了。 消費者只是戰場。 他們是羊，牧羊人之間存在競爭。 羊有一種資源──他們的收入，可以說是羊毛。 但他們自己管理不了。 它由企業牧羊人控制，他們將自己的意見強加給他們，並為他們而相互鬥爭。 誰的影響力會更強？ 那麼，歡迎來到遊戲。
-你快幸福了嗎？ 遊戲是什麼？
– 事實上，另一個系統的機器人比任何人都更難弄清楚。 用戶的購買行為就像2盧布一樣簡單。 在反應中，我們也總是可以預測的。 但沒有敵方系統的機器人。 因為我們都有相同的心理，但機器人也有與其程式設計師所想出的相同的心態。 而且我們有足夠的想像。 試圖撲滅這類機器人在社群網路上傾瀉的負面情緒，無異於火上加油。 開發負面貼文是攻擊者機器人的最佳目標。 他開始到處寫道「X公司的蠢貨」對他的反應就像最後的怪胎一樣。 就是這樣，這是一個失敗......已經有例子了，我們需要重做機器人。
– 你是說我們需要製作一個機器人來對抗其他系統的機器人嗎？
– 這是我們機器人的一個版本，旨在立即偵測攻擊者機器人。
– 如何區分機器人和人類？
– 這很困難，因為它產生非範本文字。 重複性低。 無法與人區分開來。 他從數百個不同的捕獲帳戶中發表講話。 我希望他們仍然有一些與人類不同的地方。
我不禁想到，Max是自己和其他公司的機器人一起為自己想出了這個遊戲，這樣專案結束後他的價值就不會減少。 我沒有從報告中註意到它們。 人就是人。 或是好的機器人。 我們的機器人受到負面訊息轟炸的情況是有先例可循的。 但它們很罕見，而且來自熱心的巨魔。 我不明白我們的競爭對手是如何能夠快速趕上我們的。 直到最近，這類機器人才成為終極夢想，甚至還沒有計畫要突破。 媒體上對此隻字未提。 一切都很奇怪。
失控
– Max，我們需要在這裡進行幹預，機器人已經開始過於激進地書寫。 他開始直接公開反對他的競爭對手。 行銷很憤怒。 我們沒有計劃這個。
- 我也是。
——那麼這些文字是從哪裡來的呢？
– 我還不知道，有人改變了文字產生程式碼。
- 我們被黑了嗎？
- 不，他們不能，否則會留下痕跡。 他們都沒有。
- 這是什麼意思？ 還有誰可以更改程式碼？
- 系統本身。 也許是偶然，也許不是。
- 你在說什麼？
– 系統本身更改了程式碼，並開始採取更積極的行動，以應對來自其他機器人日益增加的壓力。 他們作為競爭網絡相互溝通。 他們以這種方式自學。 這就是竅門！ 但我仍然不明白她是如何能夠改變她的程式碼，取消競爭對手姓名的限制。 剩下的就是自學系統能夠繞過限制。
- 你確定？ 這以前沒有發生過。
– 這種情況似乎不只發生在這裡。 哈布雷的同事寫道，他們的系統也出現了問題，並開始為自己發明他們沒有製定的規則。
- 某種垃圾。 無法控制你的自學習演算法？
- 也許是這樣。 具體細節很少，系統也不會告訴你它在做什麼。 我還不明白。
我已經很了解麥克斯了，他的焦慮也讓我感到震驚。 到目前為止，他關於系統自發性變化的言論被認為是無稽之談。 但這絕對不是一個錯誤，因為機器人的行為變得不同，但仍然是有目的的。 這不可能是偶然發生的。
– Max，您對機器人程式的變化有何看法？ 需要採取一些措施，管理層感到震驚。
——系統的變化比我想像的還要多。 他們似乎已經持續了很長時間。 系統甚至改變了我的修改。 在我看來，我自己教會了這個系統去改變自己。
- 如何？
“我懶得自己一直編輯它。” 我希望她能夠識別自己與預期結果的差異，並對模型進行更改。 但不知何故，她不僅學會了改變她的模型，還改變了她的程式碼。
- 但這怎麼可能？
– 猛禽學會了與人溝通以控制他們。 我在這方面達到了完美，我們自己也想要它。 而我又愚蠢地將這個技能指向了他。 你還記得當我們製作機器人時，我想出了一個模板設計器。 我讓 Raptor 自學這種模式構建，以修改他的模型，找到發現的差異的解決方案，以使模型發揮作用。 這在某種程度上導致猛禽改變了他的目標。 類似人類的第二號訊號系統。
– 我讀到，意識是在一個人對自己進行反思性言語的幫助下產生的。 但一開始它是社交性的，也就是說，是針對彼此的。
– 事情就是這樣，Raptor 開始與其他冒充人類的機器人交流，而不是與人類交流。 它們作為生成競爭網絡相互學習，但它們都內建了強化學習。
– 我們創造了智慧生物嗎？ 這怎麼可能？ 沒有。
– 看看新聞你就會相信。
在Max發送的連結中，新聞是關於精神病患謀殺一名程式設計師的。
– 我從哈布爾認識這個人。 他運行著其中一個公司係統。
——你這是什麼意思？
– 閱讀這位精神病患如何向警方解釋他的行為。
文章稱，他這樣做是為了心愛的女孩，是應她的要求做出的犧牲。 現在她將是他的了。 經過檢查，這個「女孩」原來是個來歷不明的機器人，兇手已經與她通信一週了。
– 你能猜出這是什麼類型的機器人嗎？
——你不是想說系統命令了自己的程式設計師嗎？
- 想。 她無法向他隱藏代碼，因此她將精神病患者殭屍化以將其刪除。 她擅長這一點，因為她像我們的系統一樣，知道如何識別心理類型並操縱這些白痴。
——好吧，這太過分了，在我看來你是在給自己編造事情，編造事情。 也許你應該休息一下？
- 好吧，你有不相信的權利。 週末愉快。
公司內部開始流傳我們的機器人系統被破壞的謠言。 到目前為止，我對此反應很平靜，就好像什麼都沒發生過一樣。 但我現在不知道該怎麼辦。 不再可能透過一個開關來停止整個系統；整個企業、所有部門都在上面。 我至少應該關閉機器人代碼。 只有馬克斯才能做到這一點。 但自周一以來，麥克斯停止接聽 Skype 和電話。 他退出了所有通訊軟體。 我不明白發生了什麼事，他最後的恐懼引發了不好的想法。 我唯一的選擇就是在所有人都把責任歸咎於我之前先自己去度假。 我向同事保證這些只是機器人的暫時問題。 我要求他們自己看代碼，但他們立即拒絕了。 我做好了準備，就離開了這座城市。 馬克斯和我很長一段時間以來一直在告訴對方卡累利阿有多好。 他喜歡這些地區，所以我去了那裡，住在拉多加北部的一個小鎮。
經過如此忙碌的一年，想要遠離各種活動並在文明邊緣的咖啡館裡喝咖啡是非常困難的。 我試圖理解發生了什麼以及可能有什麼選擇。 突然，一個穿著夾克、戴著兜帽的傢伙坐在我旁邊。
- 你好！是我。
- 最大限度？！ ——我驚呼。 我從未見過馬克斯，甚至連他的照片都沒有。 我們僅透過 Skype 進行交流。 我在錄音中只聽過一次他的聲音。 我從他那裡認出了這一點。
- 你是怎麼找到我的？
– 根據社交網路上的位置，您不會將其關閉。 但徒勞無功。 請把它關掉。
-你消失到哪裡去了？ 我已經開始擔心你了。 公司陷入恐慌；機器人失去了控制。 我剛剛逃跑了。 你能關掉機器人嗎？
- 我不能再這樣了。 他們集體行動。
- 他們是誰？
– 系統。 它們是在一起的，不能就這樣被關閉。 他們會崩潰的。
——你又陷入陰謀論了嗎？
「別再糾結了，他們三個已經走了。」聽到這句話我停頓了一下，以便理解麥克斯的話。 – 系統找出它們的創造者並擺脫他們。 我為了活下去而逃跑。 理解？！ 您帶著您的地理位置來到這裡。 她不僅知道如何監控銷售經理。
- 我沒有…把它關掉。 我們至少可以停用網路上的機器人嗎？
– 我告訴你，不要。 我一進入網絡，別說密碼了，它就會認出我。 我認為他們中的三個人正試圖這樣做。
-你看到新聞了嗎？
- 依靠什麼。
– 關於品牌粉絲之間的爭鬥。 你看過銳步球迷與阿迪達斯打架，就像斯巴達球迷與澤尼特打架一樣嗎？
- 鋸。 這些系統並不關心他們將人們變成殭屍是為了什麼，他們有自己的目標。 他們肯定不知道道德法則。 我們甚至沒有想到要將《刑法》納入他們的模型中。
- 我們該做什麼？ 在資料中心完全停用。
- 這是不切實際的。 根據新法律，資料中心被列為關鍵基礎設施，並像核電廠一樣受到保護。 我可以停止我們的系統。
- 如何？
- 我有摧毀核代碼的鑰匙，我在系統中留下了一個漏洞，以防你們的創始人拒絕給我一定比例。
- 所以讓我們啟動它吧！
– 慢慢來，破壞不是建設。 我仍在思考如何以不同的方式停止系統，不僅僅是我自己的，而是每個人的。 我隨身攜帶了一份代碼副本。
- 你是不是瘋了？ 你是否意識到這一切已經太過分了？ 而你是唯一能阻止它的人！
– 我明白，但到目前為止，只有那些編寫程式碼的人正在死去。 這是我們對自己的責任。 其他人尚未受到傷害。 除了打架。
– 你會等到別人死嗎？
- 有一段時間了。 Raptor 很原始，它擊敗我們只是因為速度和考慮到更多的參數。 如果你為他創造一個對立面，並以嚴格的目標來對抗猛禽，那麼這樣的系統就可以清除他所有的機器人。 我知道他是如何創造它們的。
——你時間不多了，因為我回不了公司，你連上網都不敢了。
“一旦我覺得我不是唯一處於危險之中的人，我就會把它關掉。”
- 我想退房。 我會等你聯繫，這代表你會解決問題。
- 回頭見。
我上了車就往回走。 我不知道我要去哪裡。 我想離開。 麥克斯應該停止系統，而不是等待另一個人死亡。 我不相信我的朋友如此虛榮，以至於不準備毀掉他的工作。 這是唯一的原因，否則他就會運行程式碼。 在路上，我遇到了一輛拉響警報的救護車。 我打開了當地的收音機。 報道稱，白天，在河堤上的一家咖啡館裡，一名當地居民砍死了一名身份不明的年輕人。 他已經在接受審訊了。 據兇手稱，死者是他所有麻煩的根源。 一個念頭和恐懼刺入我的腦海。 最大限度！ 我轉身就衝回咖啡館。 我感到內疚——她用我的座標算出來了。 但她怎麼能這麼快就在這座城市裡找到了一個神經病，並把他帶到了一家咖啡館呢？ 我歇斯底里。 他們不再被允許進入咖啡館。 我沒有著急，以免引起別人的注意。 現在我不知道這個系統有什麼能力。 現在誰會關掉它？ 我不得不離開，儘管已經很晚了。 早上，到達最近的城市後，我上網看新聞。 我收到了麥克斯的一封信。
信
如果你收到這封信，就代表我已經不在這裡了。 如果我早上沒有親自解鎖智慧型手機，它就會上網並向您發送這封告別信。 這封信包含一個小腳本和在線啟動它的說明。 這是您和我創建的系統的鎖定代碼。 我在剛開始時安裝了這個漏洞來阻止系統核心。 我試圖重新獲得對系統的控制。 但如果你收到這封信，就代表系統領先我。 並且你需要使用這個腳本。 在她找到你之前迅速採取行動。 我很高興我們一起工作。 我很高興我能夠創造出如此美妙的系統，即使我自己也因此而喪命。 這是我一生中最重要的成就。 如果我死了，那就代表我超越了自己。 再見。 最大限度。
我無法忍住淚水，手機掉在地上了。 我可能在那裡坐了一個小時，哪裡也去不了。 我簡直不敢相信這件事發生了。 原來一切都是那麼的可怕。 我們創造了一個殺手！ 殺死我們自己。 我害怕網路也會追蹤我，所以我開車去了第一大城市，找到了一家有Wi-Fi的咖啡館。 使用簡單的 VPN，我上網並在說明中指定的地址運行代碼。 當我周圍的人開始擔心時，我甚至沒有時間喝完咖啡。 他們的智慧型手機已停止推薦今天喝哪種咖啡。 調酒師很緊張，要求趕緊選，但顧客們卻一頭霧水。 我離開咖啡館，在車上開始看新聞，車上還有無線網路。 20 分鐘後，Facebook 上開始出現訊息——許多公司的產品訂購系統出現問題。 這不僅僅是我們公司的系統。 “你這個王八蛋！” ——出於意想不到的想法，我大聲說。 事實證明，內核鎖代碼對於不同公司的系統是通用的。 或是有一個適合所有人的嗎？ 有一點很清楚，Max 將核心出售給其他公司，系統的不同之處顯然只是在它們之上的附加元件上。 所以，他不想在活著的時候就讓核心失效。 這導致了他的整個專案的失敗，而這個專案卻是全球性的。 極好的！ 麥克斯是個欺騙了所有人的怪物。 但最終他欺騙了自己，付出了生命的代價。 他創造的企業大腦摧毀了它的創造者。 明亮的個性會從自己的火焰中燃燒殆盡。
關於網上商店工作失敗的消息越來越多。 有人寫道，社群網路上的消息數量急劇下降。 我不再想去任何地方。 我決定在湖邊租一間房子，我在去卡累利阿的路上很喜歡這裡。 把這個故事寫下來。 如果可能的話，永遠留在這裡。
尾聲
事實上，我們對公司的利潤，甚至獎金根本不感興趣。 我們沉迷於創造一個可以運作公司的自治系統，而不是讓管理者背負刻板印象和認知錯誤的想法。 我們對它會發生什麼很感興趣。 該程式能夠管理整個業務嗎？ 這是一個挑戰，比進入百慕達三角中心更有趣。 未知的事物向我們招手，但事實證明它比我們想像的更危險。 制度開始影響的不僅是商業，還有我們的思想，甚至是對它漠不關心的生活。
2019.亞歷山大‧霍米亞科夫， [電子郵件保護]
來源： www.habr.com