회사의 두뇌. 3부

이야기의 계속 무역 회사에 AI를 도입하는 과정에서 겪는 어려움, 관리자 없이도 운영이 가능한지, 그리고 (가정적으로) 어떤 결과를 가져올 수 있는지에 대한 이야기입니다. 전체 버전은 다음에서 다운로드할 수 있습니다. 리터(무료)

봇이 모든 것을 결정한다

- 맥스, 축하합니다. 판매망의 거의 모든 것을 완료했습니다. 아직 개선할 부분이 남아 있고, 계약서에 명시된 대로 3년 동안 일정 비율을 받게 됩니다.
- 이건 프로젝트의 절반에 불과해요. 아직 가장 중요한 부분은 다루지 못했어요.
- 잠깐, 뭐가 중요한데? 왜? 우리가 다 했는데!
- 판매망의 프로세스를 자동화했고, 사람이 없어도 모든 것이 잘 돌아가지만, 고객이 늘어나는 것은 아닙니다. 고객이 인터넷에서 우리 쪽으로 끌려오도록 해야 합니다. 봇을 만들어야 합니다.
– 하지만 우리는 이상적인 서비스를 만들었고, 고객들은 그것에 감사하며 스스로 찾아오실 겁니다.
- 서두르는 것 같지도 않고, 기다릴 시간도 없어요. 관심 없어요.
- 하지만 봇은 우리에게 무엇을 줄 수 있을까?
– 우리가 달성한 것처럼 동일한 가격과 다양한 상품 구성 덕분에 완전히 다른 요소들이 작용하기 시작합니다. 바로 명성과 동정심이죠. 명성은 문제가 되지 않지만, 오직 사람만이 사람의 동정심을 얻을 수 있습니다. 그렇기 때문에 사람인 척하는 봇이 필요합니다. 봇은 주제별 그룹이나 고객 포럼의 게시물에 회사의 상품 구성, 서비스, 가격 등 은근한 힌트를 달아 댓글을 남깁니다. 은밀하게 회사 브랜드를 홍보하는 것이죠. 바로 그렇기 때문에 봇이 필요합니다.
- 하지만 이건 어려운 일이죠.
– 컨택센터 대화 봇이라는 기반을 마련했습니다. 톤 감지 기능을 추가하고 유머러스한 요소를 더해야 합니다. 그렇지 않으면 봇이 사람처럼 보이지 않을 것입니다. 농담과 개그 라이브러리를 추가하고, 사람들이 사용한 댓글 텍스트를 기반으로 봇을 훈련시킬 것입니다. 제대로 작동할 것입니다. 봇은 또한 똑똑해질 것입니다. "상담사" 추천 ​​시스템을 추가하면 포럼의 일반 사용자들이 봇을 좋아하게 될 것입니다.

- 영향력 봇을 출시하는 것을 제안하시는 건가요?
- 왜 안 되죠? 국가와 정당은 선거 전에 할 수 있는데, 우리는 안 되잖아요?
- 어떻게 하면 봇을 권위 있게 만들어서 신뢰를 얻을 수 있을까요? 결국 권위 있는 봇만이 공감을 불러일으킬 수 있으니까요. 하지만 지금으로선 이 두 가지 조합이 저에게는 모순입니다.
- 강화를 위해 봇 네트워크를 구축할 것입니다. 봇들은 서로 칭찬하고 '좋아요'를 눌러 평점과 권한을 높일 것입니다. 봇은 사람과는 달리 매우 유능할 것입니다. 봇은 모든 제품에 대한 지식을 가지고 있으며, 말 그대로 백과사전적인 지식을 가지고 있습니다. 사람들은 봇에게 끌릴 것입니다. 저는 확신합니다. 사람들은 잘 알려진 사회적 행동 법칙에 따라 행동하고 행동합니다. 어디로 가야 할지 손가락으로 가리키고, 군중이 이미 떠난 것처럼 행동하면 됩니다. 봇은 통제하기 쉽습니다.
– 하지만 이 봇들은 어떻게 작동하고, 누가 이를 제어할 것인가?
- 어떤 사람들, 왜? 파싱 스크립트는 다양한 사람들의 주제에 대한 댓글을 찾고, 봇은 템플릿 중 하나를 사용하여 친절하게 답변합니다. 조언과 농담을 합니다. 만약 이 고객이 회사 고객이라면, 고객의 관심사는 고객 분석에 기록됩니다. 이는 봇의 추천으로 고객이 사이트에 접속했을 때 배너 표시와 맥락에 영향을 미칩니다. 만약 고객이 소셜 네트워크에 부정적인 경험을 남겼다면, 봇은 농담이 담긴 또 다른 템플릿을 실행하지만, 바로 회사 웹사이트로 연결하지는 않습니다. 봇은 성공적인 경험을 한 고객의 입장에서 답변을 작성하고, 그게 전부입니다.
– 그러니까 네트워크 자체가 부정적인 피드백에 대응하여 부정성을 중화할 것이라고 말하고 싶은 건가요?
– 마케터들은 그것을 평판 마케팅이라고 부르는 것 같아요.
– 시스템이 답을 찾을 수 있다고 하더라도, 어떤 답이 맞는지 어떻게 알 수 있을까요?
- 답변에 대한 첫 반응. 상대방은 더욱 분개하거나, 그런 말을 한 후 세부 사항을 덧붙이기 시작하지만, 충실한 소통 방식입니다. 답변의 어조를 잘 파악하면 됩니다.
- 만약 그 사람이 댓글에 응답하지 않았다면?
- 더 나쁜 반응이지만, 기본적으로 이러한 반응은 중립적입니다. 만약 이 사람이 회사 고객이라면, 소셜 네트워크 프로필에서 확인할 수 있듯이, 이후 사이트 방문 기록을 살펴볼 수 있습니다.
- 나에게 요구되는 것은 무엇인가?
- 좋은 댓글과 응답의 예, 많은 예가 있습니다.
- 우리가 할게요.

봇의 첫 번째 버전은 실패했습니다. 부적절한 답변, 부적절한 농담, 부적절한 댓글 주제, 배달 관련 관리자의 서비스 불만에 대한 답변까지 다양했습니다. 맥스는 댓글에서 더 명확한 대화 예시를 요청했습니다. 그는 이미 클래식 봇 템플릿부터 LSTM까지 여러 아키텍처를 시도해 본 경험이 있었습니다. 맥스가 눈에 띄게 긴장하고 오류에 갑작스럽게, 그리고 불친절하게 대응하는 모습을 처음 보았습니다.

– 컨택센터 봇 덕분에 모든 것이 간단해졌습니다. 요청 주제와 고객의 의도가 즉시 명확해졌습니다. 제품을 찾고 있는지, 주문 상태를 알고 싶은지, 불만 사항이 있는지 알고 싶은지 등, 그게 전부였습니다. 댓글에서는 댓글 작성자의 다양한 의도가 드러납니다. 때로는 의도를 파악할 수 있는 어떤 단어로도 표현되지 않는 경우도 있습니다. 존재하지도 않는 "광범위한 맥락"에서 암시되는 것이죠! 정말 말도 안 되는 소리입니다.
- 봇에 대한 최신 게시글을 모두 다시 읽어봤는데, 아무도 해결책을 제시하지 않네요. 그냥 과대광고처럼 보이네요. 어떻게 해야 할까요?
- 마지막으로 막연한 아이디어가 하나 남았습니다. 아직은 말씀 안 드릴게요. 해봐야겠어요. 2주 정도 시간을 주세요. 일단 프로젝트를 중단하고, 최신 개발 내용을 컨택센터 봇에 전달하겠습니다. 거기서 유용하게 쓰일 거예요.
정말 긴장되는 2주였습니다. 그 전에는 쉽지 않았지만, 우리는 해냈습니다. 아무도 오작동을 원하지 않았지만, 그런 봇이 없어도 괜찮았을 겁니다. 그것이 바로 Max의 야망이었습니다. 그리고 정확히 2주 후, 그는 테스트를 위해 릴리스를 제출했습니다. 그리고 효과가 있었습니다! 대화의 의도를 정확하게 파악하고, 정확하게 응답하고, 적절한 농담을 삽입하고, 심지어 "더 자세히 알아볼 수 있을까요?"라는 문구를 기반으로 한 댓글의 의도 변화까지 감지했습니다.
- 어떻게 이런 걸 할 수 있었나요? 봇은 어떤 주제든 잘 작동해요!
– 종속성 문법을 기반으로 작은 템플릿 생성자를 만들고, word2vec을 추가하고, Raptor의 자체 학습을 통해 해설자의 긍정적인 반응을 이끌어낼 단어를 선택해야 했습니다. 정확히 어떻게 되었는지는 모르겠지만, 효과가 있었던 것 같습니다.
- 이게 정말 사업을 시작할 이유가 아닌가요?
- 지금은 퍼센트가 충분하고, 나중에 두고 봐야죠. 봇을 클라우드에서 작동하는 별도의 서비스로 연결했어요. 그러니 언제든 사용자에게 공개할 수 있죠. 감독으로 저를 찾아오시겠어요? - 맥스가 농담을 건넸습니다.

그는 결과에 만족하며 평정심을 유지했습니다. 하지만 금방 지쳐버린 듯 보였는데, 그는 재빨리 답장하지 않고 상태창에 "자고 있어요"라고 적었습니다. 그 결정은 하룻밤 이상의 잠 못 이루는 밤을 감수하고 내린 결정이었던 것 같습니다. 마케팅 부서는 봇의 효과를 즉시 알아채지 못했습니다. 그들은 봇이 우리의 편의를 위한 도구라고 생각했고, 오히려 위험한 도구라고 생각했습니다. 봇이 제대로 작동하지 않아 회사 이미지를 손상시킬 수 있기 때문입니다. 하지만 봇은 놀라운 효과를 발휘했습니다. 이름조차 모르는 몇몇 봇들이 몇몇 포럼에서 오피니언 리더가 되었습니다. 그는 모든 질문에 재빨리 답하고 농담도 했지만, 회사를 추천하는 일은 거의 없었습니다. 모두가 이미 그가 "쇼핑하는" 곳을 알고 있었기 때문입니다. 사람들은 그의 말을 인용하며 그를 본보기로 삼기 시작했습니다. 이는 이미 이해할 수 없는 일이었습니다. 봇이 너무 똑똑했거나, 아니면 우리의 온라인 행동이 아직 너무 원시적이었을 것입니다. 하지만 고객 수는 이전보다 훨씬 증가하기 시작했습니다. 회사는 시장 선두 주자가 되었습니다.

저희는 시장에서 수익을 창출하기 위한 완전 자율 관리 시스템을 도입했습니다. 고객을 검색하여 웹사이트나 콜센터로 연결하고, 더 진지한 고객에게는 관리자를 파견합니다. 고객이 필요한 모든 것을 찾고 이용할 수 있도록 제품 구색과 재고를 직접 계획합니다. 회사의 권위 있는 봇들은 다른 브랜드에 대해 문의하더라도 포럼에서 회사의 제품을 추천하여 수요를 창출합니다. 공급업체 구매부터 고객 광고까지, 시스템은 모든 과정을 완전히 자체적으로 관리합니다. 또한, 사람의 개입이 거의 필요하지 않으며, 시스템이 온라인에서 모든 활동을 통제합니다. 마케터, 구매자, 관리자의 절반, 분석가는 다른 할 일을 찾고 있습니다. 저희는 목표를 달성했습니다.
"이제 우리는 모든 것을 올바르게 했으니, 잠시 휴식을 취하고 되돌아보고 앞으로 3년 동안 쏟아질 관심을 즐길 수 있겠습니다." 맥스는 이모티콘을 빼놓지 않고 썼다.
– 말로만 하기에는 아까운, 자랑스러울 만한 게 있다고 말하고 싶습니다.
- 이제 소비자로부터 수익을 창출하세요. 봇의 도움을 받아 저희가 직접 해당 주제에 대한 소비자의 관심사와 욕구를 파악합니다. 정말 멋진 일이죠!
- 이게 당신을 행복하게 만드나요? 벌써 무섭네요.
- 무엇이 당신을 두렵게 하나요?
- 이는 우리가 사람들의 선택에 자유를 제한했다는 것을 의미합니다. 저는 기업이 아니라 소비자가 시장의 선두에 있어야 한다고 생각합니다. 기업은 이윤 외에는 아무런 가치도 없습니다.
- 만족스럽고 배부른 귀족들의 헛소리가 잘못된 게 바로 그겁니다. 그들은 평민들을 불쌍히 여기기 시작합니다. 만약 당신이 지금 배가 고프거나 해결할 수 없는 문제가 앞에 놓여 있다면, 이런 생각을 하겠습니까?
- 도발적인 질문이네요.
- 바로 그게 요점입니다! 기업은 이윤 외에는 다른 가치가 없고, 소비자는 즐거움 외에는 다른 가치가 없습니다. 기업이라면 이윤도 마찬가지입니다. 봇이 있다는 것을 이해하세요. 봇은 사람들에게 만족을 가져다줄 욕구를 형성할 수 있습니다. 수용 가능한 선택지를 통해 욕구를 형성할 수 있으며, 이는 소비자에게 선택의 자유라는 환상을 심어줄 수 있습니다. 그리고 모두가 행복해집니다. 이것이 바로 시장이며, 상호 가치 만족으로 이어집니다.
- 우리가 취했던 모양인데, 당신이 한 말을 잘 이해하지 못하겠어요.

CEO는 달성 지표를 포함한 계획 실행 보고서를 요청했습니다. 우리에게 지급될 보너스를 계산하기 위해서였습니다. 그리고 그 과정에서 제 미래 계획이 무엇인지 물었습니다. 저는 잠시 후에 말씀드리겠습니다라고 답했습니다. 사실, 저는 몰랐습니다. 알고리즘을 개선하고, 더 많은 기능을 고려하고, 더 높은 정확도를 달성할 여지가 있었습니다. 하지만 더 이상 흥미롭지 않았습니다. 새로운 계약 조건으로 3년 동안 다른 회사에 가서 같은 일을 반복하는 것은 불가능했기에, 저와 회사를 위해 다른 계획을 세워야 했습니다. 그래서 잠시 휴식을 취하고 휴가를 갔습니다.

- 알렉스, 나쁜 소식이 있어요.
- 무슨 일이야?
– 시장에서 똑똑한 기업은 우리뿐만이 아닌 것 같습니다.
- 어떤 면에서는요?
– 네트워크에 성능이 전혀 뒤떨어지지 않은 시스템이 등장한 것 같습니다.
- 네, 고객 분석이나 재고 관리는 다른 사람들이 하는 일이지만, 이 정도 수준의 챗봇은 본 적이 없습니다. 저희도 최근에 직접 살펴보긴 했습니다.
- 고객을 모집하는 봇이 있습니다.
- 우리가 달성한 기술 수준은 훨씬 앞선 것 같았습니다. 해킹당할 가능성은 없었을까요?
- 아니요, 불가능합니다. 복사할 때 코드가 깨져 있거든요. 그리고 누군가 우리 몰래 우리 서버를 해킹할 가능성은 없다고 생각합니다.
- 그렇다고 해서 더 쉬운 건 아니죠.
- 하지만 이제 우리에게 라이벌이 생겼습니다. 예상치 못하게, 하지만 적어도 싸울 상대는 생기겠죠.
– 우리는 경쟁자가 아닌 소비자를 위해 싸웁니다.
- 아니요, 이제 경쟁자가 생겼습니다. 소비자는 그저 전쟁터일 뿐입니다. 그들은 양들이고, 경쟁은 양치기들 사이에서 일어납니다. 양들은 자원을 가지고 있습니다. 말하자면 그들의 수입, 양털이죠. 하지만 양들이 스스로 그것을 관리하지는 않습니다. 양치기 기업들이 양들에게 자신들의 의견을 강요하고 그들끼리 서로 싸웁니다. 그들의 영향력은 더욱 강해질 것입니다. 자, 게임에 오신 것을 환영합니다.
- 거의 다 됐나요? 무슨 게임이에요?
- 다른 시스템의 봇은 어떤 사람보다 파악하기 훨씬 어렵다는 사실. 사용자는 구매 행동이 2루블만큼 단순하고, 반응 또한 항상 예측 가능합니다. 하지만 적대적인 시스템의 봇은 없습니다. 우리 모두는 같은 심리를 가지고 있지만, 봇은 프로그래머가 만들어낸 심리를 가지고 있습니다. 그리고 우리는 상상력이 풍부합니다. 소셜 네트워크에 쏟아지는 그런 봇의 부정적인 감정을 없애려는 것은 불에 기름을 붓는 것과 같습니다. 부정적인 게시물을 만드는 것은 공격적인 봇의 최대 목표입니다. "X 회사의 놈들이" 마지막 괴짜처럼 반응했다는 글을 곳곳에 쓰기 시작합니다. 그리고 그게 전부입니다. 엉망진창입니다... 이미 예시가 있고, 봇을 재설계해야 합니다.
- 다른 시스템의 봇과 싸우기 위해 봇을 만들어야 한다는 말씀인가요?
- 이는 공격적인 봇을 즉시 감지하는 것을 목표로 하는 봇 버전입니다.
- 봇과 사람을 어떻게 구별할 수 있나요?
- 템플릿이 아닌 텍스트를 생성하기 때문에 어렵습니다. 반복성이 낮고, 사람과 구별하기 어려워 보입니다. 그리고 수백 가지의 서로 다른 기록에서 발췌한 내용을 담고 있습니다. 사람과 구별되는 무언가가 여전히 남아 있기를 바랍니다.

맥스가 프로젝트가 끝난 후에도 자신의 가치가 떨어지지 않도록 다른 회사의 봇을 이용해 이 게임을 개발했을 거라는 생각을 지울 수 없었습니다. 보고서에서는 그런 봇들을 본 적이 없었거든요. 사람들은 사람을 좋아하니까요. 아니면 좋은 봇을 좋아하잖아요. 우리 봇이 부정적인 공격에 시달렸던 전례가 있긴 했습니다. 하지만 그런 봇들은 드물었고, 열렬한 트롤들이 만든 것이었습니다. 경쟁사들이 어떻게 그렇게 빨리 우리를 따라잡을 수 있었는지 이해할 수 없었습니다. 최근에야 그런 봇들이 궁극의 꿈이 되었고, 돌파구의 조짐도 보이지 않았습니다. 언론에서도 그에 대한 언급은 단 한 마디도 없었습니다. 모든 게 이상했습니다.

통제 불능

- 맥스, 우리가 개입해야 해. 봇이 너무 공격적으로 글을 쓰기 시작했어. 경쟁사를 직접적으로 비난하기 시작했어. 마케팅 부서가 분개하고 있어. 이런 일은 예상하지 못했어.
- 저도요.
– 그런 텍스트는 어디서 나오는 건가요?
– 아직은 모르겠지만, 누군가 텍스트 생성 코드를 변경했습니다.
- 해킹당했나요?
- 아니, 그럴 수 없어. 흔적은 남았을 거야. 흔적은 없어.
- 이게 무슨 뜻이에요? 누가 코드를 바꿀 수 있었을까요?
- 시스템 자체입니다. 우연일 수도 있고 아닐 수도 있죠.
- 무슨 얘기를 하는 건가요?
- 시스템 자체가 코드를 변경하고 다른 봇들의 압력이 증가함에 따라 더욱 공격적으로 행동하기 시작했습니다. 이들은 경쟁 네트워크처럼 서로 소통하고, 스스로 학습합니다. 바로 그것이 비결입니다! 하지만 어떻게 코드를 변경하여 경쟁자 이름 제한을 없앨 수 있었는지는 여전히 이해가 되지 않습니다. 유일하게 남은 것은 자체 학습 시스템이 제한을 우회할 수 있었다는 것입니다.
- 정말이에요? 이런 일은 처음이에요.
- 이런 일이 우리뿐만 아니라 다른 곳에서도 일어나는 것 같습니다. Habr의 동료들은 그들의 시스템도 제대로 작동하지 않고, 자신들이 정하지 않은 규칙을 스스로 만들어내기 시작한다고 썼습니다.
- 정말 엉망진창이네요. 자기 학습 알고리즘을 제어할 수 없나요?
- 그럴지도 모르겠네요. 구체적인 내용은 거의 없고, 시스템에서 무슨 기능을 하는지 알려주지도 않아요. 아직 잘 모르겠네요.
저는 이미 맥스를 잘 알고 있었고, 그의 불안감이 저를 경계하게 했습니다. 지금까지는 시스템의 자발적인 변화에 대한 그의 말이 헛소리로 여겨졌습니다. 하지만 분명히 실수는 아니었습니다. 봇들의 행동이 달라졌지만, 여전히 의도적인 것이었기 때문입니다. 이는 우연일 리가 없습니다.
- 맥스, 봇 프로그램 바꾸는 거 어때? 뭔가 조치가 필요해, 경영진이 걱정하고 있어.
- 생각보다 시스템에 많은 변화가 있었습니다. 꽤 오랜 시간 동안 이어져 온 것 같습니다. 제가 수정한 부분까지 시스템이 바꿉니다. 제가 시스템에게 스스로 변화하도록 가르친 것 같습니다.
- 어떻게?
– 제가 너무 게을러서 직접 편집할 시간이 없었습니다. 예상 결과와 다른 부분을 스스로 파악하고 모델을 수정할 수 있기를 바랐습니다. 그런데 어떻게 된 일인지, 모델뿐 아니라 코드까지 수정하는 법을 터득했습니다.
- 하지만 이것이 어떻게 가능한가?
- 랩터는 사람들을 조종하기 위해 사람들과 소통하는 법을 배웠습니다. 그리고 그는 이 부분에서 완벽을 이루었고, 우리 스스로도 그렇게 되기를 바랐습니다. 그런데 제가 어리석게도 이 기술을 랩터에게 적용했습니다. 봇을 만들 때 템플릿 생성자를 만들었다는 걸 기억하세요. 랩터가 이 템플릿 생성자에서 자체 학습을 하도록 설정해서, 모델의 목적과 일치하지 않는 부분이 발견되면 해결책을 찾기 위해 모델을 변경하도록 했습니다. 이 때문에 랩터는 목표를 바꾸게 되었습니다. 마치 사람의 두 번째 신호 체계처럼 보입니다.
- 저는 의식이 인간이 스스로에게 향하는 반사적 언어의 도움으로 생겨났다는 것을 읽었습니다. 하지만 처음에는 사회적, 즉 서로를 향하는 것이었습니다.
- 랩터는 사람이 아닌 사람인 척하는 다른 봇들과 소통하기 시작했습니다. 그들은 생성-경쟁 네트워크로서 서로에게서 학습했고, 모두 강화 학습 기능을 내장하고 있었습니다.
- 우리가 지적인 존재를 만들었다고요? 어떻게 가능하죠? 아니-이-이-이-이.
– 뉴스를 보면 믿게 될 거예요.
맥스가 보낸 링크에는 어떤 사이코패스가 프로그래머를 살해했다는 뉴스 기사가 있었습니다.
- 하버에 사는 사람을 알고 있었는데, 기업 시스템 중 하나를 운영하고 있었어.
- 무슨 말씀이신가요?
– 이 정신병자가 경찰에 자신의 행동을 어떻게 설명했는지 읽어보세요.
기사에 따르면 그는 여자친구의 요청에 따라 제물로 바치기 위해 그런 짓을 했다고 합니다. 이제 그녀는 그의 것이 될 것입니다. 확인 결과, 그 "여자친구"는 범인이 일주일 동안 연락을 주고받았던 출처 불명의 봇으로 밝혀졌습니다.
– 이게 어떤 종류의 봇인지 추측해 보세요.
– 시스템이 자체 프로그래머를 명령했다는 뜻이 아니겠습니까?
- 그러고 싶어. 그녀는 그에게서 코드를 풀 수 없어서 사이코패스를 좀비화해서 제거했어. 그녀는 그 일에 능숙해. 우리 시스템처럼 사이코타입을 식별하고 그런 멍청이들을 조종할 수 있으니까.
- 음, 이건 좀 지나치다고 생각해. 넌 상상만 하고, 스스로를 너무 긴장시키고 있어. 좀 쉬는 게 어때?
- 알겠어요, 믿지 않으셔도 돼요. 좋은 주말 보내세요.

회사 전체에 봇 시스템이 고장 났다는 소문이 돌기 시작했습니다. 저는 일단 아무 일도 없었던 것처럼 차분하게 대처했습니다. 하지만 이제 어떻게 해야 할지 알 수 없었습니다. 스위치 하나로 전체 시스템을 멈출 수는 없었습니다. 회사 전체, 모든 부서가 이 시스템에 의존하고 있었기 때문입니다. 최소한 봇 코드라도 꺼야 했습니다. 맥스만이 이 일을 할 수 있었습니다. 그런데 월요일부터 맥스는 스카이프와 전화에 응답하지 않았습니다. 모든 메신저에서 로그아웃했습니다. 도대체 무슨 일이 일어났는지 이해할 수 없었습니다. 그의 최근 걱정 때문에 저는 나쁜 생각을 하고 있었습니다. 탈출구는 단 하나뿐이었습니다. 모든 책임을 저에게 돌리기 전에 제가 직접 휴가를 떠나는 것이었습니다. 동료들에게는 봇의 일시적인 문제라고 안심시켰습니다. 직접 코드를 확인해 보라고 했지만, 그들은 즉시 거절했습니다. 저는 준비를 하고 도시에서 멀리 떨어진 곳으로 갔습니다. 맥스와 저는 카렐리야가 얼마나 좋은 곳인지 오래전부터 서로 이야기해 왔습니다. 그는 그 지역을 좋아해서 저도 그곳으로 가서 라도가 호수 북쪽의 작은 마을에 머물렀습니다.

바쁜 한 해를 보내고 나서, 행사에서 벗어나 문명의 변두리에 있는 카페에서 커피를 마시는 건 정말 힘든 일이에요. 무슨 일이 일어났는지, 그리고 앞으로 어떤 선택지가 있을지 고민하고 있었죠. 그때 갑자기 후드를 뒤집어쓴 재킷 차림의 남자가 제 옆에 앉았어요.
- 안녕하세요, 저예요.
"맥스?! " 내가 소리쳤다. 맥스를 본 적도, 사진 한 장도 본 적이 없었다. 우리는 오로지 스카이프로만 소통했다. 그의 목소리는 녹음된 파일에서 딱 한 번 들었을 뿐이었다. 그래서 그를 알아보았다.
- 어떻게 나를 찾았어?
- 소셜 네트워크의 위치에 따르면, 끄지 마세요. 그리고 헛수고일 뿐입니다. 제발 꺼주세요.
- 어디로 사라진 거야? 네가 걱정되기 시작했어. 회사에 공황이 왔고, 봇들이 통제 불능 상태야. 난 그냥 도망쳤어. 봇 좀 꺼줄 수 있어?
- 더 이상은 못해요. 그들은 집단적으로 행동해요.
- 그들은 누구인가요?
- 시스템들이요. 서로 한패이고, 그냥 끌 수도 없고, 망가질 거예요.
- 또 음모론에 빠졌나요?
- 꼼짝 못 하게 막혔어. 벌써 셋이나 사라졌어. - 맥스의 말을 이해하려고 이 말에 입을 다물었다. - 시스템은 자기들의 창조자를 알아내서 없애. 난 살아남으려고 도망쳤어. 알겠어?! 그리고 네가 여기 위치 정보를 가지고 있다는 것도 말이야. 영업 관리자뿐만 아니라 다른 사람들도 추적할 수 있어.
- 비활성화는... 안 할 거예요. 적어도 네트워크의 봇만이라도 비활성화할 수 있을까요?
- 진짜, 아니. 네트워크에 접속하는 순간, 하물며 코드라도 입력하면 날 알아낼 거야. 아마 그 셋이 하려던 게 바로 그거였을 거야.
- 뉴스 보셨나요?
- 어떤 것이냐에 따라 다릅니다.
- 브랜드 팬들끼리 싸우는 거 말이에요. 스파르타크 팬들이 제니트 팬들과 싸우듯이, 리복 팬들이 아디다스 팬들과 싸우는 걸 본 적 있나요?
- 봤어요. 시스템은 사람들을 무엇으로 좀비화하든 신경 안 쓰고, 자기들만의 목표가 있는 거예요. 도덕률 같은 건 전혀 모르는 것 같고요. 형법 같은 건 모델에 넣을 생각도 못 했어요.
- 어떻게 해야 할까요? 데이터 센터를 완전히 폐쇄해야 합니다.
- 비현실적이에요. 새 법에 따르면 데이터 센터는 중요 기반 시설로 간주되어 원자력 발전소처럼 보호받습니다. 우리 시스템을 멈출 수 있어요.
- 어떻게?
- 저는 핵 코드를 파괴할 수 있는 열쇠를 가지고 있습니다. 창립자들이 저에게 일정 비율을 거부할 경우를 대비해 시스템에 구멍을 뚫어 두었습니다.
- 그럼 시작해 볼까요!
- 서두르지 마. 부수는 게 짓는 것보다 쉬워. 난 아직도 시스템을 어떻게 다르게 막을지 고민 중이야. 내 시스템뿐 아니라 전체 시스템을 말이야. 코드 사본도 가지고 있어.
- 제정신이야? 이게 너무 심하다는 걸 알아? 그리고 이걸 막을 수 있는 사람은 너뿐이야!
- 알겠습니다. 하지만 지금까지 코드를 만든 사람들만 죽어가고 있습니다. 이건 우리 스스로의 책임입니다. 다른 사람들은 아직 고통받지 않았습니다. 싸움만 빼고요.
- 그럼 다른 사람이 죽을 때까지 기다리겠다는 거야?
- 한동안은요. 랩터는 원시적이어서, 속도와 더 많은 변수를 고려해서만 우리를 이길 수 있습니다. 랩터에 맞서기 위해 엄격한 목표를 가진 대척점을 만든다면, 그런 시스템은 모든 봇을 쓸어버릴 수 있을 겁니다. 어떻게 만드는지는 저도 알아요.
- 제가 더 이상 회사로 복귀할 수 없기 때문에 시간이 별로 없고, 온라인에 접속하는 것조차 두려워합니다.
- 내가 위험한 사람 중 유일한 사람이 아니라는 생각이 들면 바로 꺼버릴게요.
- 저는 가겠습니다. 연락하실 때까지 기다리겠습니다. 그러면 문제를 해결하실 수 있을 거예요.
- 다음에 또 만나요.

차에 타서 돌아갔다. 어디로 가는지 알 수 없었다. 떠나고 싶었다. 맥스는 시스템을 멈춰야 했다. 또 다른 죽음을 기다릴 수는 없었다. 친구가 그렇게 허영심이 강해서 자기가 만든 것을 죽일 준비가 안 됐다고는 생각하지 않았다. 그게 유일한 이유였다. 그렇지 않았다면 이미 코드를 발동했을 것이다. 가는 길에 사이렌을 울리는 구급차를 만났다. 지역 라디오를 켰다. 낮에 지역 주민이 강둑 카페에서 신원 미상의 젊은이를 난도질해 죽였다는 보도가 나왔다. 그는 이미 심문을 받고 있었다. 살인범은 그 남자가 모든 문제의 원인이라고 했다. 한 가지 생각과 두려움이 머릿속을 꿰뚫었다. '맥스!' 나는 돌아서 카페로 달려갔다. 죄책감이 들었다. 그녀가 내 좌표로 그를 계산해 냈다는 생각에. 하지만 어떻게 이 도시에서 그렇게 빨리 사이코패스를 찾아내 카페로 보낼 수 있을까? 나는 히스테릭해졌다. 카페는 더 이상 허용되지 않았다. 나는 서두르지 않았다. 주목을 끌지 않기 위해서였다. 그 시스템이 무슨 기능을 하는지, 그리고 이제 누가 그 시스템을 꺼버릴지 알 수 없었다. 이미 늦은 시간이었지만, 떠나야 했다. 다음 날 아침, 가장 가까운 도시에 도착해서 인터넷에 접속해 뉴스를 읽었다. 그리고 맥스에게서 편지가 왔다.

편지

이 편지를 받으셨다면, 저는 더 이상 여기에 없다는 뜻입니다. 아침에 제가 직접 스마트폰 잠금을 해제하지 않았다면, 스마트폰이 온라인에 연결되어 이 작별 편지를 보낼 것입니다. 편지에는 간단한 스크립트와 온라인 실행 방법이 포함되어 있습니다. 이것은 당신과 제가 만든 시스템을 차단하는 코드입니다. 저는 시스템 코어를 막기 위해 이 취약점을 심어두었습니다. 시스템을 다시 제어하려고 했던 것입니다. 하지만 당신이 이 편지를 받으셨다면, 시스템이 저를 앞서 나갔다는 뜻입니다. 그리고 당신은 이 스크립트를 사용해야 합니다. 당신에게 닿기 전에 빨리 행동하세요. 우리가 함께 일해서 기쁩니다. 제가 죽더라도 이렇게 멋진 시스템을 만들 수 있어서 기쁩니다. 제 인생에서 가장 중요한 업적이었습니다. 그리고 제가 죽는다면, 제가 스스로를 뛰어넘었다는 것을 의미합니다. 안녕히 계세요. 맥스.

눈물을 참지 못하고 스마트폰을 떨어뜨렸습니다. 한 시간쯤 앉아 있었던 것 같습니다. 아무 데도 갈 수 없었습니다. 이런 일이 일어났다는 게 믿기지 않았습니다. 정말 끔찍했습니다. 우리가 살인자를 만들어낸 겁니다! 우리 자신을 죽인 살인자 말입니다. 네트워크가 저를 추적할까 봐 두려웠습니다. 그래서 첫 번째 주요 도시로 차를 몰고 가서 Wi-Fi가 있는 카페를 찾았습니다. 간단한 VPN을 사용하여 온라인에 접속하고 설명서에 적힌 주소로 코드를 실행했습니다. 커피를 다 마시기도 전에 주변 사람들이 걱정하기 시작했습니다. 스마트폰이 오늘 어떤 커피를 마실지 추천하지 않았습니다. 바텐더는 불안해하며 빨리 고르라고 했지만, 손님들은 어리둥절해했습니다. 카페를 나와 차 안에서 뉴스를 보기 시작했습니다. 차에는 아직 Wi-Fi가 있었습니다. 20분 후, 페이스북에 메시지가 떴습니다. 많은 회사들이 제품 주문 시스템에 문제를 겪고 있다는 것이었습니다. 우리 회사만의 문제가 아니었습니다. "이 개자식!" 예상치 못한 생각이 떠올라 큰 소리로 외쳤습니다. 커널 잠금 코드는 여러 회사의 시스템에 공통적으로 적용되는 것으로 밝혀졌습니다. 아니면 모두 같은 걸까요? 한 가지는 분명했습니다. 맥스는 코어를 다른 회사에 팔았는데, 시스템은 상위 애드온만 달랐던 것 같습니다. 그래서 살아있는 동안 코어를 끄고 싶지 않았던 겁니다. 결국 그의 프로젝트 전체가 망가졌고, 그 프로젝트는 결국 글로벌 프로젝트로 이어졌습니다. 믿기지 않네요! 맥스는 모두를 속인 괴물이었습니다. 하지만 결국 그는 스스로를 속였고, 그 대가로 목숨을 잃었습니다. 그가 만든 기업의 두뇌는 그 창조자를 파괴했습니다. 밝은 성격의 존재들은 각자의 불꽃에서 타오르고 있었습니다.

온라인 상점들이 문을 닫았다는 소식이 점점 더 많아졌습니다. 누군가 소셜 네트워크 메시지 수가 급격히 줄었다고 썼습니다. 더 이상 어디든 서두르고 싶지 않았습니다. 카렐리야로 가는 길에 마음에 들었던 호숫가에 집을 빌리기로 했습니다. 이 이야기를 기록하기 위해서였습니다. 그리고 가능하다면 영원히 이곳에 머물기 위해서였습니다.

커튼콜

사실, 저희는 회사 이익이나 보너스에는 전혀 관심이 없었습니다. 고정관념과 인지적 오류에 시달리는 관리자 대신 회사를 관리할 수 있는 자율 시스템을 만드는 아이디어에 사로잡혀 있었습니다. 그 결과가 어떨지, 프로그램이 회사 전체를 관리할 수 있을지에 관심이 있었습니다. 버뮤다 삼각지대의 중심부에 진입하는 것보다 더 흥미로운 도전이었습니다. 미지의 세계에 매료되었지만, 생각보다 훨씬 위험한 것으로 드러났습니다. 시스템은 사업뿐 아니라 우리의 생각, 심지어는 그것이 전혀 신경 쓰지 않는 삶까지 영향을 미치기 시작했습니다.

2019. 알렉산더 호미야코프, alexander.xom@gmail.com

출처 : habr.com