Vale a pena esse artigo de cinco anos atrás do Ted Chiang (em inglês), sobre capitalismo e IA. Chiang é um dos escritores de ficção científica que mais gosto. Ele é um tipo de Jorge Luis Borges tecnológico; seus contos são daqueles de deixar pensando inquieto por um tempo.
O artigo ainda é bem atual, por exemplo, devido a alguns alertas que têm surgido sobre o futuro perigo que máquinas inteligentes representariam para a humanidade. Muitas das pessoas que estão dando o alarme são justamente os bilionários e techbros das megacorporações.
Chiang sugere (com uma reflexão que se tornou corrente nos círculos de resistência) que essas pessoas estão bem familiarizadas com a dinâmica de expansão e dominação de uma máquina com objetivo fixo solta no mundo porque, no fundo, é isso o que grandes corporações são. Apesar de haver humanos nos conselhos de acionistas ou cargos administrativos, pessoas são 100% dispensáveis e substituíveis; e a lógica dominante, não tendo nada de humana, se assemelha muito mais com a de uma máquina alienígena destrutiva.
Há aquela clássica analogia de uma IA programada para fabricar e vender clipes de papel que, no final, aniquila tudo ao redor para cumprir seu objetivo. Na verdade, estamos vivendo algo muito parecido com o estrago em múltiplos níveis causado pelas megacorporações, que poderiam ser definidas de modo bem preciso com o termo "máquinas destrutivas fora de controle".
Segue abaixo uma tradução de máquina 😬️.
O Vale do Silício está se transformando em seu próprio pior medo
Pedimos a um grupo de escritores que considerassem as forças que moldaram nossas vidas em 2017. Aqui, o escritor de ficção científica Ted Chiang analisa o capitalismo, o Vale do Silício e seu medo da IA superinteligente.
Ted Chiang 2017.12.18 (→ original em inglês, Buzzfeed)
Neste verão, Elon Musk falou à Associação Nacional de Governadores e disse a eles que "a IA é um risco fundamental para a existência da civilização humana". Os pessimistas vêm emitindo avisos semelhantes há algum tempo, mas nunca antes eles tiveram tanta visibilidade. Musk não está necessariamente preocupado com o surgimento de um computador malicioso como a Skynet de O Exterminador do Futuro. Falando com Maureen Dowd para um artigo da Vanity Fair publicado em abril, Musk deu o exemplo de uma inteligência artificial que recebeu a tarefa de colher morangos. Parece inofensivo, mas à medida que a IA se redesenha para ser mais eficaz, ela pode decidir que a melhor maneira de maximizar sua produção seria destruir a civilização e converter toda a superfície da Terra em campos de morangos. Assim, em sua busca por um objetivo aparentemente inócuo, uma IA poderia causar a extinção da humanidade apenas como um efeito colateral não intencional.
Esse cenário parece absurdo para a maioria das pessoas, mas há um número surpreendente de tecnólogos que acreditam que ele ilustra um perigo real. Por quê? Talvez porque eles já estejam acostumados com entidades que operam dessa forma: As empresas de tecnologia do Vale do Silício.
Pense nisso: Quem persegue seus objetivos com foco monomaníaco, alheio à possibilidade de consequências negativas? Quem adota uma abordagem de terra arrasada para aumentar a participação no mercado? Essa hipotética IA de colheita de morangos faz o que toda startup de tecnologia deseja fazer - cresce a uma taxa exponencial e destrói seus concorrentes até atingir o monopólio absoluto. A ideia de superinteligência é uma noção tão mal definida que é possível imaginá-la assumindo praticamente qualquer forma com a mesma justificativa: um gênio benevolente que resolve todos os problemas do mundo ou um matemático que passa o tempo todo provando teoremas tão abstratos que os humanos nem conseguem entendê-los. Porém, quando o Vale do Silício tenta imaginar uma superinteligência, o que surge é um capitalismo sem limites.
Em psicologia, o termo "insight" é usado para descrever o reconhecimento da própria condição, como quando uma pessoa com doença mental está ciente de sua doença. De forma mais ampla, ele descreve a capacidade de reconhecer padrões em seu próprio comportamento. É um exemplo de metacognição, ou de pensar sobre o próprio pensamento, e é algo que a maioria dos seres humanos é capaz de fazer, mas os animais não. E acredito que o melhor teste para saber se uma IA está realmente envolvida em cognição de nível humano seria se ela demonstrasse uma percepção desse tipo.
Insight é exatamente o que falta à IA de Musk que colhe morangos, assim como a todas as outras IAs que destroem a humanidade em cenários apocalípticos semelhantes. Eu costumava achar estranho o fato de essas IAs hipotéticas supostamente serem inteligentes o suficiente para resolver problemas que nenhum ser humano poderia resolver, mas serem incapazes de fazer algo que a maioria dos adultos já fez: dar um passo atrás e perguntar se o curso de ação atual é realmente uma boa ideia. Então, percebi que já estamos cercados de máquinas que demonstram uma completa falta de percepção, mas as chamamos de corporações. As corporações não operam de forma autônoma, é claro, e os seres humanos responsáveis por elas são, presumivelmente, capazes de ter discernimento, mas o capitalismo não os recompensa por usá-lo. Pelo contrário, o capitalismo erradica ativamente o discernimento. Pelo contrário, o capitalismo corrói ativamente essa capacidade das pessoas, exigindo que elas substituam seu próprio julgamento sobre o que significa "bom" por "o que o mercado decidir".
Como as empresas não têm discernimento, esperamos que o governo ofereça supervisão na forma de regulamentação, mas a Internet é quase totalmente desregulamentada. Em 1996, John Perry Barlow publicou um manifesto dizendo que o governo não tinha jurisdição sobre o espaço cibernético e, nas duas décadas seguintes, essa noção serviu como axioma para as pessoas que trabalham com tecnologia. O que leva a outra semelhança entre essas IAs destruidoras de civilizações e as empresas de tecnologia do Vale do Silício: a falta de controles externos. Se você sugerir a um prognosticador de IA que os seres humanos jamais concederiam tanta autonomia a uma IA, a resposta será que você entendeu a situação de forma fundamentalmente equivocada, que a ideia de um botão "desligar" nem sequer se aplica. Supõe-se que a abordagem da IA será "a questão não é quem vai me deixar, mas quem vai me impedir", ou seja, o mantra do libertarianismo de Ayn Rand que é tão popular no Vale do Silício.
O ethos da cultura das startups poderia servir de modelo para as IAs destruidoras de civilizações. O lema do Facebook era "Mova-se rápido e quebre coisas"; mais tarde, eles mudaram para "Mova-se rápido com infraestrutura estável", mas estavam falando sobre preservar o que eles construíram, não o que os outros tinham. Essa atitude de tratar o resto do mundo como ovos que devem ser quebrados para a sua própria omelete pode ser a principal diretriz de uma IA que está provocando o apocalipse. Quando o Uber queria mais motoristas com carros novos, sua solução foi persuadir as pessoas com crédito ruim a fazer empréstimos de carro e depois deduzir os pagamentos diretamente de seus ganhos. Eles posicionaram isso como uma ruptura no setor de empréstimos para automóveis, mas todos os outros reconheceram como empréstimos predatórios. Toda a ideia de que a disrupção é algo positivo em vez de negativo é um conceito dos empreendedores de tecnologia. Se uma IA superinteligente estivesse fazendo uma proposta de financiamento a um investidor anjo, converter a superfície da Terra em campos de morangos não seria nada mais do que uma disrupção há muito esperada da política global de uso da terra.
Há observadores do setor falando sobre a necessidade de as IAs terem um senso de ética, e alguns propuseram que garantíssemos que todas as IAs superinteligentes que criássemos fossem "amigáveis", ou seja, que seus objetivos estivessem alinhados com os objetivos humanos. Acho essas sugestões irônicas, pois nós, como sociedade, não conseguimos ensinar às empresas um senso de ética, não fizemos nada para garantir que as metas do Facebook e da Amazon estivessem alinhadas com o bem público. Mas eu não deveria estar surpreso; a questão de como criar uma IA amigável é simplesmente mais divertida de se pensar do que o problema da regulamentação do setor, assim como imaginar o que você faria durante o apocalipse zumbi é mais divertido do que pensar em como mitigar o aquecimento global.
Recentemente, houve alguns avanços impressionantes na IA, como o AlphaGo Zero, que se tornou o melhor jogador de Go do mundo em questão de dias, simplesmente jogando contra si mesmo. Mas isso não me deixa preocupado com a possibilidade de uma IA superinteligente "acordar". (Por um lado, as técnicas subjacentes ao AlphaGo Zero não são úteis para tarefas no mundo físico; ainda estamos muito longe de um robô que possa entrar em sua cozinha e cozinhar ovos mexidos). O que me preocupa muito mais é a concentração de poder no Google, Facebook e Amazon. Eles alcançaram um nível de domínio do mercado que é profundamente anticompetitivo, mas como operam de uma forma que não aumenta os preços para os consumidores, não atendem aos critérios tradicionais de monopólio e, portanto, evitam o escrutínio antitruste do governo. Não precisamos nos preocupar com a divisão de pesquisa DeepMind do Google, precisamos nos preocupar com o fato de que é quase impossível administrar um negócio on-line sem usar os serviços do Google.
Seria tentador dizer que o medo da IA superinteligente é uma manobra deliberada de gigantes da tecnologia como o Google e o Facebook para nos distrair do que eles próprios estão fazendo, que é vender os dados de seus usuários para anunciantes. Se você duvida que esse seja o objetivo deles, pergunte a si mesmo: por que o Facebook não oferece uma versão paga sem anúncios e que não coleta informações privadas? A maioria dos aplicativos do seu smartphone está disponível em versões premium que removem os anúncios; se esses desenvolvedores conseguem fazer isso, por que o Facebook não consegue? Porque o Facebook não quer fazer isso. O objetivo da empresa não é conectá-lo aos seus amigos, mas exibir anúncios e fazer com que você acredite que está fazendo um favor, pois os anúncios são direcionados.
Portanto, faria sentido se Mark Zuckerberg estivesse emitindo os maiores avisos sobre a IA, porque apontar um monstro no horizonte seria uma pista falsa eficaz. Mas ele não está fazendo isso; na verdade, ele é bastante complacente em relação à IA. Os temores de uma IA superinteligente provavelmente são genuínos por parte dos pessimistas. Isso não significa que eles reflitam uma ameaça real; o que eles refletem é a incapacidade dos tecnólogos de conceber a moderação como uma virtude. Bilionários como Bill Gates e Elon Musk presumem que uma IA superinteligente não se deterá diante de nada para atingir seus objetivos porque essa é a atitude que eles adotaram. (É claro que eles não viam nada de errado com essa estratégia quando eram eles que estavam envolvidos nela; é apenas a possibilidade de que outra pessoa possa ser melhor nisso do que eles que lhes causa preocupação).
Há um ditado, popularizado por Fredric Jameson, que diz que é mais fácil imaginar o fim do mundo do que imaginar o fim do capitalismo. Não é de surpreender que os capitalistas do Vale do Silício não queiram pensar no fim do capitalismo. O que é inesperado é que a maneira como eles imaginam o fim do mundo é por meio de uma forma de capitalismo sem controle, disfarçado de uma IA superinteligente. Eles criaram inconscientemente um demônio à sua própria imagem, um bicho-papão cujos excessos são exatamente os seus.
O que nos leva de volta à importância do insight. Às vezes, o insight surge espontaneamente, mas muitas vezes não. As pessoas geralmente se deixam levar pela busca de algum objetivo e talvez não percebam isso até que seja apontado para elas, seja por seus amigos e familiares ou por seus terapeutas. Ouvir esse tipo de alerta é considerado um sinal de saúde mental.
Precisamos que as máquinas acordem, não no sentido de os computadores se tornarem autoconscientes, mas no sentido de as empresas reconhecerem as consequências de seu comportamento. Assim como uma IA superinteligente deve perceber que cobrir o planeta com campos de morangos não é, na verdade, o melhor interesse para ela ou para qualquer outra pessoa, as empresas do Vale do Silício precisam perceber que aumentar a participação no mercado não é um bom motivo para ignorar todas as outras considerações. As pessoas geralmente reavaliam suas prioridades depois de passarem por um despertar pessoal. O que precisamos é que as empresas façam o mesmo - não para abandonar completamente o capitalismo, apenas para repensar a maneira como o praticam. Precisamos que elas se comportem melhor do que as IAs que temem e demonstrem capacidade de discernimento.
Ted Chiang é um premiado escritor de ficção científica. Ao longo de 25 anos e 15 histórias, ele ganhou vários prêmios, incluindo quatro Nebulas, quatro Hugos, quatro Locuses e o Prêmio John W. Campbell de Melhor Escritor Novo. A história que dá título à sua coleção, "Stories of Your Life and Others", foi adaptada para o filme "Arrival", estrelado por Amy Adams e dirigido por Denis Villeneuve. Ele trabalha como escritor técnico freelancer e atualmente reside em Bellevue, Washington, e é formado pela Clarion Writers Workshop.