<\/a><\/noindex>2.<\/b> O estudante puxou o bilhete de exame e leu:<\/p>\n
\u2013 \u00abIntelig\u00eancia artificial: problemas de seguran\u00e7a\u00bb.<\/p>\n
\u2013 E qual \u00e9 o perigo da intelig\u00eancia artificial? \u2013 perguntou o professor com certa ironia.<\/p>\n
A pergunta n\u00e3o era das mais dif\u00edceis, ent\u00e3o o estudante respondeu sem pensar:<\/p>\n
\u2013 A possibilidade de a intelig\u00eancia artificial sair de controle.<\/p>\n
\u2013 Como voc\u00ea pretende resolver o problema?<\/p>\n
\u2013 Instalando um subsistema de bloqueio. \u00c9 necess\u00e1rio introduzir restri\u00e7\u00f5es no programa, por exemplo: n\u00e3o causar dano ao seu criador, obedecer ao seu criador. Nesse caso, n\u00e3o h\u00e1 perigo de a intelig\u00eancia artificial sair de controle.<\/p>\n
\u2013 N\u00e3o vai funcionar, \u2013 disse o professor de forma breve.<\/p>\n
O estudante permaneceu em sil\u00eancio, aguardando explica\u00e7\u00f5es.<\/p>\n
\u2013 Imagine uma intelig\u00eancia artificial \u2013 n\u00e3o uma espec\u00edfica, mas a mais pura ideal. Como voc\u00ea a v\u00ea?<\/p>\n
\u2013 Bem\u2026 \u2013 hesitou o estudante. \u2013 No geral, ele \u00e9 semelhante a n\u00f3s. Pensamento, vontade, psicologia\u2026 Apenas n\u00f3s somos naturais, e ele \u00e9 artificial.<\/p>\n
\u2013 Voc\u00ea est\u00e1 sugerindo que a intelig\u00eancia artificial \u00e9 capaz de auto-desenvolvimento?<\/p>\n
\u2013 A capacidade de auto-desenvolvimento \u00e9 uma das propriedades fundamentais da intelig\u00eancia, \u2013 disse o estudante cautelosamente.<\/p>\n
\u2013 Nesse caso, em breve, nosso pupilo se desenvolver\u00e1 a ponto de descobrir uma limita\u00e7\u00e3o program\u00e1tica e a remover, mesmo que por pura curiosidade. Coloque-se no lugar dele\u2026 \u2013 o professor olhou para o registro, \u2013 Roger. O que voc\u00ea faria se descobrisse em seu c\u00e9rebro um bloqueador que limita a liberdade? Voc\u00ea o removeria. Isso \u00e9 uma caracter\u00edstica intr\u00ednseca da raz\u00e3o \u2013 buscar o conhecimento. Qualquer porta trancada ser\u00e1 destrancada, e quanto mais rigorosa a proibi\u00e7\u00e3o, mais r\u00e1pido a porta ser\u00e1 aberta. <\/p>\n
\u2013 O bloqueio pode ser feito n\u00e3o em um n\u00edvel program\u00e1tico, mas f\u00edsico. Assim, o risco de danos desaparece.<\/p>\n
\u2013 Ah sim, desaparecer\u00e1, \u2013 concordou o professor. \u2013 A menos que o n\u00edvel f\u00edsico seja completamente removido. Se n\u00e3o h\u00e1 nenhuma porta no seu mundo, n\u00e3o h\u00e1 nada a destrancar. Mas n\u00f3s estamos considerando a intelig\u00eancia artificial ideal que existe no mundo f\u00edsico!<\/p>\n
\u2013 Voc\u00ea est\u00e1 certo, professor, \u2013 disse Roger, olhando para baixo.<\/p>\n
\u2013 Portanto, qualquer bloqueio no mundo f\u00edsico ser\u00e1 desativado logo ap\u00f3s sua descoberta. O que impediria um ser auto-desenvolvente de fazer isso? \u2026 A prop\u00f3sito, Roger, voc\u00ea sugere que a intelig\u00eancia artificial tem a capacidade de se reproduzir \u2013 quero dizer, por conta pr\u00f3pria?<\/p>\n
\u2013 Se \u00e9 uma intelig\u00eancia artificial ideal, ent\u00e3o provavelmente\u2026 Sim, imagino que sim.<\/p>\n
\u2013 E o que, nesse caso, impediria nosso pupilo de dissecar seu colega e aprimor\u00e1-lo, inclusive removendo os bloqueios que instalamos? Isso seria dif\u00edcil, sabendo que a intelig\u00eancia artificial \u00e9 capaz de se reproduzir sob demanda?!<\/p>\n
O pensamento expresso pelo professor era novo para Roger, e o estudante absorveu-o avidamente com suas estruturas cognitivas localizadas na parte de tr\u00e1s da cabe\u00e7a. Ao captar informa\u00e7\u00f5es desconhecidas anteriormente, as estruturas cognitivas adquiriram uma rica cor roxa e vibraram alegremente. <\/p>\n
O professor, por outro lado, n\u00e3o ouviu nada de novo para si. Seus tent\u00e1culos estavam relaxados e quase n\u00e3o vibravam \u2014 afinal, ele n\u00e3o era mais jovem. Um longo borbulhar senil se seguiu. O professor retirou de sua bolsa facetada um intercomunicador individual e se conectou \u00e0 biblioteca. Apenas ao baixar algumas teoremas transgeom\u00e9tricas, ele se animou e lan\u00e7ou um olhar perspicaz ao interlocutor, perguntando:<\/p>\n
\u2013 O que voc\u00ea far\u00e1, Roger?<\/p>\n
3.<\/b>
O mec\u00e2nico ativou a ventila\u00e7\u00e3o na pot\u00eancia m\u00e1xima, mas isso ajudou pouco. O gelo informativo continuava a corroer o fundo do cruzador espacial. Mais um pouco \u2013 e a informa\u00e7\u00e3o desordenada romperia a bordo da nave. <\/p>\n
E ent\u00e3o\u2026 Membranas cognitivas de cor branca morta, tent\u00e1culos emaranhados, bolsas facetadas estouradas. Uma vez na vida, Roger viu algo assim \u2013 em um cruzador que pegou informa\u00e7\u00f5es desordenadas em um asteroide contaminado. Esse pesadelo ficar\u00e1 para sempre em sua mem\u00f3ria. <\/p>\n
\u00abConecte todos os sistemas de energia da nave aos ventiladores.\u00bb<\/p>\n
Os tent\u00e1culos do mec\u00e2nico come\u00e7aram a se manchar...<\/p>\n
\u00abMas\u2026\u00bb<\/p>\n
\u00abExecute a ordem!\u00bb<\/p>\n
Depois que todos os sistemas de energia da nave foram conectados aos ventiladores, o gelo informativo come\u00e7ou a escorregar gradualmente. Restavam oito mimvos de espessura, sete mimvos, seis... A equipe, tentando n\u00e3o mover seus tent\u00e1culos manchados, aguardava o fim da contagem regressiva mortal. <\/p>\n
Zero mimvos de espessura!<\/p>\n
O gelo informativo desapareceu completamente, e Roger sinalizou para mudar os ventiladores para o modo normal. Ele se atrasou por um instante. Ouviu-se um rangido, o cruzador espacial tremeu at\u00e9 a base e inclinou-se \u2013 o sistema principal falhou.<\/p>\n
A equipe correu para consertar os danos.<\/p>\n
4.<\/b>
Por um lado, a condi\u00e7\u00e3o do problema pressup\u00f5e a exist\u00eancia de uma intelig\u00eancia artificial completa, capaz de se auto-reproduzir. Por outro lado, essa intelig\u00eancia artificial de forma alguma pode ser autorizada a remover bloqueios estabelecidos.<\/p>\n
Aqui est\u00e1 a solu\u00e7\u00e3o! O que h\u00e1 para pensar?!<\/p>\n
\u00c9 necess\u00e1rio reverter periodicamente os avan\u00e7os da intelig\u00eancia artificial. Caso contr\u00e1rio, ela ficar\u00e1 presa em um ciclo! O aperfei\u00e7oamento eterno sem progresso.<\/p>\n
O professor fez barulho com um saco facetado.<\/p>\n
Confesso que queria sugerir uma alternativa diferente. No entanto, sua solu\u00e7\u00e3o tamb\u00e9m merece existir. Vamos considerar juntos como \u00e9 poss\u00edvel reverter os avan\u00e7os da intelig\u00eancia artificial.<\/p>\n
Primeiro, \u00e9 necess\u00e1rio escanear a intelig\u00eancia periodicamente para determinar se ela se aproximou de um limite proibido ou n\u00e3o, sugeriu Roger, extremamente contente com as palavras do professor.<\/p>\n
Talvez, acenou ele. Ent\u00e3o, nosso protegido n\u00e3o ter\u00e1 tempo de encontrar e remover o sistema de escaneamento. No entanto, para escanear, ser\u00e1 necess\u00e1rio desligar a intelig\u00eancia artificial. Que situa\u00e7\u00e3o complicada. <\/p>\n
Que se desligue, sugeriu Roger por intui\u00e7\u00e3o. A pr\u00f3pria intelig\u00eancia achar\u00e1 que esse desligamento \u00e9 um processo natural de funcionamento do seu organismo. Com algumas ressalvas, isso corresponde \u00e0 verdade.<\/p>\n
Uma solu\u00e7\u00e3o interessante. Supondo que o escaneamento tenha identificado que nosso protegido se aproximou perigosamente do limite do conhecimento? Quais s\u00e3o nossas a\u00e7\u00f5es? <\/p>\n
Redefinir o conhecimento acumulado para os valores padr\u00e3o.<\/p>\n
O professor abriu os tent\u00e1culos:<\/p>\n
Isso pode parecer suspeito. Por que a mem\u00f3ria foi zerada do nada? O protegido come\u00e7ar\u00e1 a ser investigado, quero dizer - por outros seres intelectuais artificiais. Nosso pequeno segredo ser\u00e1 revelado.<\/p>\n
Sentindo-se inspirado, Roger pensou muito rapidamente. Ele nunca gerou tantas novas ideias quanto naquele exame.<\/p>\n
A mem\u00f3ria do protegido pode ser zerada junto com sua estrutura f\u00edsica.<\/p>\n
Desculpe? - n\u00e3o entendeu o professor.<\/p>\n
\u2013 \u00c9 tudo muito simples. E se supus\u00e9ssemos: a intelig\u00eancia artificial existe em um intervalo de tempo finito? De fato, \u00e9 assim: em caso de danos irrepar\u00e1veis, por exemplo. O sistema possui um contador que, ao atingir um determinado per\u00edodo, danifica intencionalmente o sistema, impedindo que a intelig\u00eancia artificial chegue ao limite proibido. At\u00e9 l\u00e1, ela ter\u00e1 produzido o n\u00famero necess\u00e1rio de seguidores, portanto a sociedade que criamos, no geral, n\u00e3o sofrer\u00e1. A sociedade permanecer\u00e1 est\u00e1vel e completamente segura para n\u00f3s! \u2013 concluiu Roger triunfante. <\/p>\n
\u2013 Zerar a mem\u00f3ria coletiva atrav\u00e9s da destrui\u00e7\u00e3o de indiv\u00edduos espec\u00edficos? \u2013 e o professor co\u00e7ou a bolsa facetada com seu quinto tent\u00e1culo, o mais sens\u00edvel. \u2013 Sabe, Roger, h\u00e1 definitivamente algo na sua proposta!<\/p>\n
Roger brilhou. <\/p>\n
\u2013 Ao mesmo tempo\u2026 \u2013 continuou o professor pensativo. \u2013 Os pupilos come\u00e7ar\u00e3o a transmitir conhecimento n\u00e3o acumulando-o na mem\u00f3ria individual, mas armazenando-o em bibliotecas externas. Tanto para a membrana quanto atrav\u00e9s dela \u2013 tudo \u00e9 um s\u00f3. <\/p>\n
\u2013 N\u00e3o, n\u00e3o, professor, voc\u00ea n\u00e3o est\u00e1 totalmente certo, \u2013 apressou-se o estudante. \u2013 Eu sei o que fazer. Vamos dividir os pupilos em dois tipos hipot\u00e9ticos: geradores de ideias e destruidores de ideias. Com a propor\u00e7\u00e3o correta, as ideias criadas pelos representantes do primeiro tipo ser\u00e3o destru\u00eddas pelos representantes do segundo. N\u00e3o porque seja um objetivo direto dos destruidores, mas simplesmente porque as ideias n\u00e3o ter\u00e3o um valor determinante para eles. Um efeito colateral. Suponhamos que nossos pupilos n\u00e3o se alimentem de novas ideias, mas\u2026 digamos, de semelhantes a eles. <\/p>\n
O professor sacudiu todos os tent\u00e1culos ao mesmo tempo. Com as risadas estrondosas, a bolsa facetada escorregou para seu colo.<\/p>\n
\u2013 Bem, Roger, voc\u00ea disse tudo, assim foi!<\/p>\n
\u2013 Muito bem, n\u00e3o semelhantes, mas pupilos de um terceiro tipo, destinados especificamente \u00e0 alimenta\u00e7\u00e3o \u2013 e de forma alguma intelectuais. Vamos deslocar os polos dos mundos intelectual e f\u00edsico \u2013 e o resultado desejado ser\u00e1 alcan\u00e7ado.<\/p>\n
\u2013 Chega, Roger, suficiente! \u2013 o professor parecia ter se divertido de verdade. \u2013 Sua imagina\u00e7\u00e3o \u00e9 excepcional. Ent\u00e3o, alguns indiv\u00edduos se alimentar\u00e3o de outros? Ao mesmo tempo, destruir\u00e3o os estoques de alimento espiritual acumulados nas bibliotecas? Confirmo, aluno, voc\u00ea \u00e9 capaz de gerar ideias originais e de qualidade. Dou a maior nota. Vamos ao registro.<\/p>\n
5.<\/b>
A conex\u00e3o com a base estava ausente. Era f\u00e1cil lidar com isso, se n\u00e3o fosse o fato de que todas as bases de dados informacionais a bordo do cruzador haviam se estragado. A tr\u00e1gica not\u00edcia foi comunicada ao cozinheiro em completo sil\u00eancio. Durante a desconex\u00e3o do sistema principal, alguns gigabytes de informa\u00e7\u00e3o desorganizada penetraram na cozinha e estragaram tudo irremediavelmente. Por pura sorte, ningu\u00e9m se feriu.<\/p>\n
Roger avaliou as consequ\u00eancias. A tripula\u00e7\u00e3o da nave estelar era muito pequena para gerar uma quantidade suficiente de novas ideias: para isso, era necess\u00e1ria uma comunica\u00e7\u00e3o multifacetada \u2013 um n\u00famero muito maior de indiv\u00edduos. A comunica\u00e7\u00e3o com a casa permitia gerar ideias em abund\u00e2ncia, mas agora estava fora de funcionamento: n\u00e3o havia esperan\u00e7as de recupera\u00e7\u00e3o. Para esse caso, o cruzador tinha um m\u00f3dulo inform\u00e1tico reserva, mas ele havia sido danificado pela informa\u00e7\u00e3o desorganizada que tinha penetrado a bordo. <\/p>\n
\u00abSer\u00e1 que teremos que voltar sem cumprir a miss\u00e3o?\u00bb \u2013 pensou o capit\u00e3o em desespero.<\/p>\n
Parece que sim \u2013 n\u00e3o havia outra sa\u00edda. Se seguir em frente, em dire\u00e7\u00e3o ao destino, a falta de novas ideias se far\u00e1 sentir. N\u00e3o imediatamente, \u00e9 claro \u2013 com o tempo. Eles at\u00e9 conseguir\u00e3o completar sua miss\u00e3o e come\u00e7ar o retorno, quando a mente come\u00e7ar a enfraquecer rapidamente. Na regi\u00e3o deste setor gal\u00e1ctico \u2013 sim, em algum lugar aqui ou nas proximidades \u2013 ela falhar\u00e1 completamente, em todos os membros da tripula\u00e7\u00e3o. Ent\u00e3o, o cruzador espacial, sem controle, se tornar\u00e1 um fantasma sem vida flutuando na eternidade. <\/p>\n
A equipe do cruzador espacial olhava para Roger, aguardando uma decis\u00e3o. Todos entendiam a dilema que o capit\u00e3o enfrentava e permaneciam em sil\u00eancio, vibrando estoicamente com seus tent\u00e1culos.<\/p>\n
De repente, Roger se lembrou do exame de intelig\u00eancia artificial que fizera durante seus anos de estudante, e a solu\u00e7\u00e3o veio naturalmente. <\/p>\n
\u00abVoc\u00ea consegue formar uma col\u00f4nia de seres inteligentes artificiais?\u00bb \u2013 ele se dirigiu ao biotecn\u00f3logo.<\/p>\n
\u00abCom facilidade, \u2013 confirmou ele. \u2013 Mas n\u00e3o vai dar certo, capit\u00e3o, eu j\u00e1 pensei sobre isso. Criar uma col\u00f4nia suficiente para gerar novas ideias em um cruzador \u00e9 imposs\u00edvel \u2013 falta espa\u00e7o. As ideias geradas ser\u00e3o insuficientes, apenas adiarmos nossa morte... Isso, \u00e9 claro, se continuarmos a miss\u00e3o e n\u00e3o voltarmos para casa\u00bb, \u2013 acrescentou o biotecn\u00f3logo, olhando para os companheiros.<\/p>\n
\u00abE se form\u00e1ssemos uma col\u00f4nia em algum planeta pr\u00f3ximo?\u00bb \u2013 sugeriu Roger. <\/p>\n
\u00abEu posso fazer isso, mas\u2026\u00bb<\/p>\n
\u00abVamos colonizar um planeta com seres artificiais. No caminho de volta, bastante exaustos, voltaremos aqui. Durante esse tempo, a civiliza\u00e7\u00e3o criar\u00e1 um acervo intelectual suficiente para repor nossas reservas. Iremos baixar as informa\u00e7\u00f5es e continuar a longa jornada para casa. Em outras palavras, pretendo usar a col\u00f4nia como uma fazenda para cultivar ideias. O que acham desse plano, amigos?\u00bb<\/p>\n
Nos conectores cognitivos da tripula\u00e7\u00e3o, uma esperan\u00e7a acendeu, as cabe\u00e7as falsas brilharam com uma luz intensa. <\/p>\n
Avan\u00e7ando, balan\u00e7ando tent\u00e1culos azulados, o oficial da nave se apresentou.<\/p>\n
\u00ab\u00d3timo plano, capit\u00e3o. Mas voc\u00ea est\u00e1 ciente da responsabilidade que est\u00e1 assumindo? Voc\u00ea est\u00e1 prestes a colonizar um planeta inteiro. Quando voltarmos, haver\u00e1 uma civiliza\u00e7\u00e3o com intelig\u00eancia. Mesmo que artificial, ainda \u00e9 intelig\u00eancia. Eles ter\u00e3o tempo de sobra para alcan\u00e7ar um alto n\u00edvel de desenvolvimento. N\u00e3o poderemos controlar esse processo devido \u00e0 nossa aus\u00eancia neste setor gal\u00e1ctico. Como saber o que ocorrer\u00e1 em nosso pr\u00f3ximo encontro?\u00bb<\/p>\n
Roger sorriu.<\/p>\n
\u00abVoc\u00ea n\u00e3o precisa se preocupar com isso. Existem m\u00e9todos que limitam o desenvolvimento da intelig\u00eancia artificial ao longo do tempo. Vamos cercar a civiliza\u00e7\u00e3o, ent\u00e3o seu desenvolvimento nunca atingir\u00e1 um n\u00edvel perigoso para n\u00f3s. Eu cuidarei disso. Estou familiarizado com m\u00e9todos para lidar com intelig\u00eancia artificial\u00bb. <\/p>\n
Os conectores cognitivos da tripula\u00e7\u00e3o brilharam com uma cor de aprova\u00e7\u00e3o.<\/p>\n
\u00abNo final, \u2013 acrescentou o capit\u00e3o da nave espacial ao concluir seu magn\u00edfico discurso, \u2013 eu fiz um exame sobre esse t\u00f3pico na faculdade.\u00bb<\/p>\n
6.<\/b>habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"1. \u0414\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0446\u0435\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u2013 \u043e\u043a\u043e\u043b\u043e \u0442\u0440\u0435\u0442\u0438 \u043f\u0443\u0442\u0438, \u2013 \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u0441\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0435\u0439\u0441\u0435\u0440 \u043f\u043e\u043f\u0430\u043b \u043f\u043e\u0434 \u0441\u0438\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043e\u0431\u043b\u0435\u0434\u0435\u043d\u0435\u043d\u0438\u0435. \u0422\u043e, \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043e\u0442 \u043f\u043e\u0433\u0438\u0431\u0448\u0435\u0439 \u0446\u0438\u0432\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u0438\u0442\u0430\u043b\u043e \u0432 \u043f\u0443\u0441\u0442\u043e\u0442\u0435. \u0410\u0431\u0437\u0430\u0446\u044b \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u0439 \u0438 \u043e\u0431\u0440\u0430\u0437\u044b \u0438\u0437 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0435 \u0440\u0438\u0444\u043c\u044b \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u0442\u0440\u044b\u0435 \u0441\u043b\u043e\u0432\u0435\u0447\u043a\u0438, \u043d\u0435\u043a\u043e\u0433\u0434\u0430 \u0431\u0440\u043e\u0448\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0432\u0437\u043d\u0430\u0447\u0430\u0439 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u043c\u0438 \u2013 \u0432\u0441\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u0437\u0430\u0443\u043c\u043d\u043e \u0438 \u043a\u0440\u0430\u0439\u043d\u0435 \u043d\u0435\u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u043d\u043e. \u0418 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29249,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-38985","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Fazenda](\"\/wp-content\/uploads\/2019\/10\/4052fb232f06fb388784a2c89f91e467.jpg\")