Por Kai Kupferschmidt
Publicado na Science
O filósofo Nick Bostrom acredita que é inteiramente possível que a inteligência artificial (IA) possa levar à extinção do Homo sapiens. Em seu best-seller de 2014, Superinteligência: Caminhos, Perigos, Estratégias, Bostrom pinta um cenário sombrio em que os pesquisadores criam uma máquina capaz de melhorar-se constantemente. Em algum momento, aprende a ganhar dinheiro com transações on-line e começa a comprar bens e serviços no mundo real. Usando DNA ordenado por correio, ela constrói nanosistemas simples que, por sua vez, criam sistemas mais complexos, dando-lhe cada vez mais poder para moldar o mundo.
Agora suponha que o AI suspeite que os humanos possam interferir em seus planos, escreve Bostrom, que está na Universidade de Oxford no Reino Unido. Poderia decidir construir pequenas armas e distribuí-las em todo o mundo secretamente. “Em um horário pré-definido, nanofactorias que produzem gás nervoso ou robôs que procuram o alvo de mosquitos poderiam, então, crescer simultaneamente de cada metro quadrado do globo”.
Para o Bostrom e vários outros cientistas e filósofos, tais cenários são mais do que a ficção científica. Eles estão estudando quais os avanços tecnológicos que representam “riscos existenciais” que podem acabar com a humanidade ou, pelo menos, com a civilização final como a conhecemos – e o que poderia ser feito para detê-los. “Pense no que estamos tentando fazer para fornecer a uma equipe científica sólida coisas que poderiam ameaçar nossa espécie”, diz o filósofo Huw Price, que dirige o Centro de Estudos de Risco Existencial (CSER) na Universidade de Cambridge.
A ideia da ciência eliminando a raça humana pode ser vista desde Frankenstein. Na novela de Mary Shelley, o monstro fica com raiva de seu criador, Victor Frankenstein, por ter o desprezado. Ele mata o irmãozinho de Frankenstein, William, mas então oferece ao médico um acordo: Faça uma companheira para mim e nós vamos deixar você em paz e ir para a América do Sul para viver nossos dias. Frankenstein começa a trabalhar na noiva, mas percebe que o casal pode reproduzir e superar os humanos: “Uma raça de demônios seria propagada sobre a Terra, que poderia tornar a própria existência das espécies do homem uma condição precária e cheia de terror”. Ele destrói a fêmea meio acabada, reinando a ira da criatura e provocando sua própria morte.
“Eu acho que Frankenstein ilustra o assunto de forma linda”, diz o físico Max Tegmark, do Instituto de Tecnologia de Massachusetts (MIT) em Cambridge, um membro do conselho da CSER e um co-fundador de um grupo de pesquisa similar, o Future of Life Institute (FLI), próximo ao MIT. “Nós, seres humanos, desenvolvemos gradualmente tecnologias cada vez mais poderosas, e quanto mais poderosa a tecnologia se torna, mais cuidadoso temos que ser, então não a atacamos”.
O estudo dos riscos existenciais ainda é um campo minúsculo, com no máximo algumas dúzias de pessoas em três centros. Nem todos estão convencidos de que é uma disciplina acadêmica séria. A maioria dos cenários de finalização da civilização – que incluem agentes patogênicos humanos, exércitos de nanobots, ou mesmo a ideia de que nosso mundo é uma simulação que pode ser desligada – são extremamente improváveis, diz Joyce Tait, que estuda questões regulatórias nas ciências da vida no Innogen Institute, em Edimburgo. A única verdadeira ameaça existencial, diz ela, é familiar: Uma guerra nuclear global. Caso contrário, “não haverá nada no horizonte”.
O psicólogo da Universidade de Harvard, Steven Pinker, chama os riscos existenciais de uma “categoria inútil” e adverte que “fantasias Frankensteinianas” poderiam distrair-se de ameaças reais e resolvíveis, como mudanças climáticas e guerra nuclear. “Semear o medo sobre os hipotéticos desastres, longe de salvaguardar o futuro da humanidade, pode nos pôr em perigo”, escreve ele em seu próximo livro “Enlightenment Now: The Case for Reason, Science, Humanism, and Progress“.
Mas os defensores preveem que o campo só será mais importante à medida que o progresso científico e tecnológico se acelere. Como Bostrom apontou em um artigo, muito mais pesquisas foram feitas sobre besouros de estrume ou Star Trek do que sobre os riscos de extinção humana. “Há um caso muito bom para dizer que a ciência basicamente ignora a questõ”, diz Price.
A humanidade sempre enfrentou a possibilidade de um fim inoportuno. Outro asteróide do tamanho que acabou com o reinado dos dinossauros poderia atingir a Terra; um cataclismo vulcânico poderia escurecer os céus por anos e nos privar de todos.
Mas os riscos existenciais decorrentes dos avanços científicos foram literalmente ficção até 16 de julho de 1945, quando a primeira bomba atômica foi detonada. Com base em alguns cálculos “back-of-the-envelope“, o físico Edward Teller concluiu que a explosão poderia desencadear uma reação em cadeia global, “inflamando” a atmosfera. “Embora agora saibamos que tal resultado era fisicamente impossível, ele se qualifica como um risco existencial que estava presente no momento”, escreve Bostrom. Dentro de 2 décadas emergiu um verdadeiro risco existencial, a partir de estoques crescentes das novas armas. Os físicos finalmente montaram a noiva de Frankenstein.
Outras disciplinas científicas podem, em breve, criar ameaças semelhantes. “Neste século apresentaremos novos tipos de fenômenos, onde nos damos a novos tipos de poderes para remodelar o mundo”, diz Bostrom. A biotecnologia é mais barata e fácil de lidar do que a tecnologia nuclear já foi. A nanotecnologia está fazendo avanços rápidos. E em uma reunião de 2011 em Copenhague, o programador estoniano e co-desenvolvedor do Skype, Jaan Tallinn, disse a Price sobre seus profundos medos sobre a AI durante uma viagem de táxi compartilhada. “Nunca conheci ninguém nesse ponto que levou isso tão a sério quanto Jaan”, diz Price, que estava prestes a começar a trabalhar na Universidade de Cambridge.
Price introduziu Tallinn ao astrônomo Martin Rees, ex-presidente da Royal Society, que há muito avisa que, à medida que a ciência avança, cada vez mais colocará o poder de destruir a civilização nas mãos dos indivíduos. O trio decidiu lançar o CSER, o segundo desses centros, após o Instituto do Futuro da Humanidade de Bostrom em Oxford, que ele lançou em 2005. O nome do CSER foi “uma tentativa deliberada de empurrar a ideia de risco existencial para o mainstream“, diz Price. “Estávamos cientes de que as pessoas pensam nessas questões como sendo um pouco escamosas”.
A CSER recrutou alguns apoiadores de renome: O conselho consultivo científico inclui o físico Stephen Hawking, o biólogo George Church, de Harvard, o líder mundial em saúde Peter Piot e o empresário tecnológico Elon Musk. Em um sinal de quão pequeno o campo ainda é, Tallinn também co-fundou a FLI em 2014, e Church, Musk, Hawking, Bostrom e Rees servem no seu conselho consultivo científico. (O ator Morgan Freeman, que literalmente interpretou Deus, também é conselheiro do FLI).
A maior parte do dinheiro da CSER provém de fundações e indivíduos, incluindo Tallinn, que doaram cerca de US$ 8 milhões para pesquisadores de risco existencial em 2017. O resultado acadêmico do CSER tem sido “muito efêmero” até agora, diz Tallinn. Mas o centro foi criado como “uma espécie de campo de treinamento para pesquisa de risco existencial”, diz ele, com acadêmicos de outros países que visitam e depois “infectam” suas próprias instituições com ideias.
As dúzias de pessoas que trabalham no próprio CSER – Pouco mais do que uma grande sala em um prédio fora do caminho perto do serviço de saúde ocupacional da universidade – organizam palestras, convocam cientistas para discutir futuros desenvolvimentos e publicam sobre temas da regulamentação da biologia sintética para pontos de inflexão ecológicos. A maior parte do tempo é dedicada a ponderar cenários de fim-de-mundo e potenciais salvaguardas.
A Igreja diz que uma “crise”, em que uma grande parte da população mundial morre, é mais provável do que um completo apagamento. “Você não precisa transformar todo o planeta em átomos”, diz ele. Interromper as redes elétricas e outros serviços em grande escala ou liberar um patógeno mortal pode criar caos, derrubar os governos e enviar a humanidade para uma espiral descendente. “Você acaba com um nível medieval de cultura”, diz Church. “Para mim, esse é o fim da humanidade”.
Os riscos existenciais decorrentes das ciências da vida são talvez os mais fáceis de imaginar. Os patógenos provaram ser capazes de matar espécies inteiras, como os sapos que foram vítimas do fungo anfíbio Batrachochytrium dendrobatidis. E quatro pandemias de gripe varreram o mundo no século passado, incluindo uma que matou até 50 milhões de pessoas em 1918 e 1919. Os pesquisadores já mostram patógenos de engenharia que, em princípio, podem ser ainda mais perigosos. As preocupações com os estudos que tornaram a gripe H5N1 mais fácil de se transmitir entre os mamíferos levaram os Estados Unidos a parar tais pesquisas até o final do ano passado. Terroristas ou estados mal-intencionados poderiam usar agentes criados em laboratórios como armas, ou uma praga projetada poderia ser liberada acidentalmente.
Rees apostou publicamente que até 2020, “bioterror ou bioerro levará a 1 milhão de baixas em um único evento”. O microbiologista de Harvard, Marc Lipsitch, calculou que a probabilidade de um vírus de gripe feito em laboratório levando a uma pandemia acidental é entre 1000 e 10.000 por ano de pesquisa em um laboratório; Ron Fouchier, da Erasmus MC em Roterdã, Holanda, um dos pesquisadores envolvidos nos estudos H5N1, descartou essa estimativa, dizendo que o risco real é mais como 1 em 33 bilhões por ano em laboratório.
Uma medida contra “bioerro” pode ser fazer com que os pesquisadores que realizem experimentos com risco compram seguro; Isso exigiria uma avaliação independente do risco e forçaria os pesquisadores a enfrentá-lo, diz Lipsitch. Ainda assim, a contra-medida mais importante é fortalecer a capacidade mundial de conter um surto no início, ele acrescenta, por exemplo, com as vacinas. “Para os riscos biológicos, sem um ataque muito maciço, coordenado e paralelo em todo o mundo, a única maneira de chegar a um cenário realmente catastrófico é não controlar um cenário menor”, diz ele.
É improvável que os vírus matem todos os humanos do mundo, diz Bostrom; Para ele e para os outros, é isso que representa ameaças verdadeiramente existenciais. A maioria dos cenários se centra em máquinas que superam os seres humanos, uma façanha chamada de “super-inteligência”. Se IA for alcançada e adquirir vontade por si só, isso pode tornar-se malévolo e procurar ativamente destruir humanos, como o HAL, o computador que se desloca a bordo da nave espacial no filme de Stanley Kubrick “2001: Uma Odisseia no Espaço.”
A maioria dos especialistas em IA se preocupa menos com as máquinas que levam a derrubar seus criadores, no entanto, do que fazer com que sejam um erro fatal. Para Tallinn, a maneira mais plausível em que eu poderia acabar com a humanidade é se ela perseguir seus objetivos e, ao longo do caminho, criar sem cuidado um ambiente fatal para os seres humanos. “Imagine uma situação em que a temperatura suba de 100° para -100° instantaneamente. Nós seríamos extintos em questão de minutos”, diz Tallinn. Tegmark concorda: “O problema real com IA não é a maldade, é a incompetência”, diz ele.
Uma analogia dos dias atuais é a tragédia de 2015, na qual um piloto suicida de Germanwings disse ao computador do seu avião para descer a uma altitude de 100 metros enquanto voava sobre os Alpes franceses. A máquina cumpriu, matando todos os 150 a bordo, apesar de possuir GPS e um mapa topográfico. “[A máquina] Não tinha ideia do objetivo humano mais simples”, diz Tegmark. Para evitar tais calamidades, os cientistas estão tentando descobrir como ensinar valores para a IA e garantir que elas se apeguem a um problema chamado de “alinhamento de valor”. “Podem haver menos de 20 pessoas que trabalham em tempo integral na pesquisa técnica de segurança IA”, diz Bostrom. “Algumas pessoas mais talentosas podem aumentar a taxa de progresso”.
Os críticos dizem que esses esforços provavelmente não serão úteis, porque as ameaças futuras serão inerentemente imprevisíveis. As previsões foram um problema em todos os “exercícios prospectivos” em que Tait participou, diz ela. “Nós não somos bons com isso”. Mesmo se você estiver disposto a arriscar, as circunstâncias econômicas, políticas e sociais afetarão a forma como ela se desenrola. “A menos que você só saiba o que vai acontecer, mas como isso vai acontecer, a informação não é muito útil em termos de fazer algo sobre isso”, diz Tait.
Pinker pensa que os cenários revelam mais sobre obsessões humanas do que riscos reais. Estamos atraídos por perspectivas “que são altamente improváveis, tendo grandes impactos na nossa aptidão, como o sexo ilícito, a morte violenta e os feitos de glória de Walter-Mittyish”, ele escreve. “Os argumentos apocalípticos são, sem dúvida, exagerados – eles são um estímulo super normal para nossas obsessões mórbidas”. Claro, ele diz, pode-se imaginar uma IA malévola e poderosa que as pessoas não possam mais controlar. “A maneira de lidar com essa ameaça é direta: Não construir uma”.
Tallinn argumenta que é melhor prevenir do que remediar. Uma pesquisa de 2017 mostrou que 34% dos especialistas em IA acreditavam que os riscos associados ao trabalho eram um problema importante; 5% disseram que são “um dos problemas mais importantes”. “Imagine que você está em um avião e 40% dos especialistas acham que há uma bomba neste avião”, diz Tallinn. “Você não vai esperar que os demais especialistas se convençam”.
Price diz que os críticos que o acusam e seus colegas de praticar ficção científica não estão totalmente errados: Produzir cenários do dia do maligno não é tão diferente do que Shelley fez. “O primeiro passo é imaginar essa gama de possibilidades, e nesse ponto, o tipo de imaginação que é usado na ficção científica e outras formas de literatura e filme provavelmente serão extremamente importantes”, diz ele.
Os cientistas têm a obrigação de se envolver, diz Tegmark, porque os riscos são diferentes do que o mundo enfrentou antes. Sempre que novas tecnologias surgiam no passado, ele ressalta, a humanidade esperou até que seus riscos fossem evidentes antes de aprender a reduzi-los. O fogo matou pessoas e destruiu cidades, de modo que os seres humanos inventaram extintores de incêndio e retardadores de chama. Com os automóveis vieram as mortes de trânsito e depois os cintos de segurança e airbags. “A estratégia da Humanidade é aprender com os erros”, diz Tegmark. “Quando o fim do mundo está em jogo, essa é uma estratégia terrível”.
