Por Ashutosh Jogaleka
Publicado na Curious Wavefunction
Em 1995, apenas um ano antes de sua morte, Carl Sagan publicou o best-seller chamado “O Mundo Assombrado pelos Demônios”, onde lamentava sobre a crescente invasão da pseudociência na mente das pessoas. Era um volume eloquente e amplo, Sagan falou principalmente das besteiras pseudocientíficas óbvias, como abduções alienígenas, psicocinese e astrologia. Mas ele também era um observador astuto da natureza humana, e foi bem educado na área de humanidades. Sua ampla compreensão dos seres humanos levou-o a escrever o seguinte parágrafo que foi inocuamente enterrado no meio do segundo capítulo.
“Tenho um pressentimento sobre a América do Norte dos tempos de meus filhos ou de meus netos – quando os Estados Unidos serão uma economia de serviços e informações; quando quase todas as principais indústrias manufatureiras terão fugido para outros países; quando tremendos poderes tecnológicos estarão nas mãos de uns poucos, e nenhum representante do interesse público poder· sequer compreender do que se trata; quando as pessoas terão perdido a capacidade de estabelecer seus próprios compromissos ou questionar compreensivelmente os das autoridades; quando, agarrando os cristais e consultando nervosamente os horóscopos, com as nossas faculdades críticas em decadência, incapazes de distinguir entre o que nos dá prazer e o que é verdade, voltaremos a escorregar, quase sem notar, para a superstição e a escuridão”.
Como se essas palavras não fossem ameaçadoras o suficiente, Sagan continua sua indagação apenas uma página adiante com outro parágrafo que é presumivelmente projetado para reduzir-nos a uma massa de pessoas assustadas e choramingonas.
“Minha preocupação é que, especialmente com a proximidade do fim do milênio, a pseudociência e a superstição parecerão mais sedutoras a cada novo ano, o canto de sereia do irracional mais sonoro e atraente. Onde o escutamos antes? Sempre que nossos preconceitos étnicos ou nacionais são despertados, nos tempos de escassez, em meio a desafios auto-estima ou coragem nacional, quando sofremos com nosso diminuto lugar e finalidade no Cosmos, ou quando o fanatismo ferve ao nosso redor – então, hábitos de pensamento conhecidos de eras passadas procuram se apoderar dos controles. A chama da vela escorre. Seu pequeno lago de luz tremula. A escuridão se avoluma. Os demônios começam a se agitar”.
O que é impressionante sobre esta escrita é a sua presciência quase clarividente. As frases “notícias falsas” e “mundo pós-factual” não foram utilizadas durante os tempos de Sagan, mas ele usou-as indiretamente e claramente quando ele fala sobre pessoas que são “incapazes de distinguir entre o que é real e o que é bom”. E o aumento do preconceito nacionalista parece ter ocorrido quase exatamente como ele descreveu. Também é interessante como a previsão da terceirização das fábricas na qual Sagan se refere, reflete às preocupações de tantas pessoas que votaram em Trump. A diferença é que Sagan não estava mirando nos imigrantes, na política partidária, na China ou em fatores semelhantes; ele estava simplesmente vendo o desaparecimento da manufatura como uma consequência essencial do seu compromisso com a ascensão da economia da informação. Estamos agora agudamente vivendo essa troca que nos custou muito.
Uma coisa que é difícil dizer é se Sagan também estava antecipando o impacto da tecnologia sobre o deslocamento de empregos. A automação já tinha ocorrido em torno dos anos 90 e o computador estava se tornando uma força a ser enfrentada, entretanto, ele fala sobre o reconhecimento de imagens e o impacto posterior da aprendizagem de máquinas em torno destas tarefas estava em seus dias incipientes. Sagan não sabia sobre estes campos: no entanto, a marcha da tecnologia também alimenta a sua preocupação com as pessoas descendo gradualmente na ignorância porque não podem compreender o mundo em torno deles, assim como a compreensão tecnológica permanece nas mãos de uns poucos privilegiados.
Em termos de pessoas “perderem a capacidade de definir seus próprios compromissos ou questionar a autoridade”, considere muitos de nós que não sabemos ou até mesmo negligenciamos a ciência e a tecnologia que está por trás de uma aprendizagem profunda, das alterações climáticas, da edição de genoma ou até mesmo dos nossos smarthphones. E, no entanto estas ferramentas tecnológicas são sutilmente inseri-das em praticamente todos os aspectos da vida, e em breve haverá um momento em que nenhuma parte da nossa existência diária estará intocável por eles. No entanto, haverá um tempo um tempo em que usaremos essas tecnologias sem entendê-las, essencialmente, protegendo-as com as nossas vidas e trocando-as por nossas liberdades e a busca da felicidade. Então, se algo der errado, como inevitavelmente acontece com qualquer sistema complexo, estaremos em apuros por causa de nossa falta de compreensão. Não só haverá caos em toda parte, mas como nós, inconscientemente, usamos a tecnologia como uma caixa preta, não teríamos o primeiro indício sobre como corrigi-la.
Igualmente problemático é o paradoxo em que a tecnologia se torna mais amigável, torna-se cada vez mais fácil aplicá-la sem entender seus pontos fortes e limitações. Vinte anos atrás, ferramentas de software, por exemplo, no campo da TI, eram de posse restrita aos especialistas. Mas interfaces gráficas de usuário, marketing e o poder de computação barato colocou estes softwares disponíveis para qualquer um que não seja especialista, através da internet. Apesar de isto ter levado a uma democratização útil destas ferramentas, isto também levou a um abuso e uma banalização das mesmas. Por exemplo, a maioria destas técnicas têm sido utilizadas sem uma compreensão adequada de estatística, não só levando a resultados incorretos sendo publicados, mas também a um desperdício de recursos e tempo nas indústrias farmacêuticas e de biotecnologia sempre amarrado em tempo.
Este mesmo paradoxo é agora vai ser a base da aprendizagem profunda e da Inteligência artificial (IA) que são muito mais sensacionalistas e consequentes do que a concepção de medicamentos assistida por computador. Recentemente, o cientista da computação Andrew Ng, de Stanford, entusiasticamente defendeu que as técnicas de IA serão ensinadas a milhões de pessoas. Ng e outros colegas estão bem-intencionados, mas o que não é discutido é o potencial catastrófico que poderia surgir ao colocar ferramentas imperfeitas nas mãos de milhões de pessoas que não entendem como elas funcionam. Estas pessoas, de repente, podem começar a aplicar tais ferramentas a aspectos importantes de nossas vidas. Para ilustrar a utilidade da educação em larga escala na aprendizagem profunda, Ng dá o exemplo de como o surgimento de instalações elétricas comerciais de repente levou a uma demanda por um grande número de engenheiros elétricos. A diferença foi que a eletricidade era muito mais determinista e bem entendida em relação à IA. Se alguma coisa desse errado, boa parte das pessoas sabia como corrigir tal coisa, porque tinham conhecimento o suficiente sobre o comportamento dos elétrons, fiação e circuitos.
O problema com muitos algoritmos de inteligência artificial, como redes neurais, é que não só eles são caixas pretas, mas a sua utilidade exata ainda é desconhecida. Na verdade, a IA é um campo tão incipiente que até mesmo os especialistas não entendem totalmente seus domínios de aplicabilidade, por isso é demasiado precipitado dizer que as pessoas que adquirem diplomas em IA em um semestre ou dois vai fazer algo significativo na área. Eu preferiria ter um pequeno número de especialistas em desenvolver e utilizar a tecnologia imperfeita do que milhões adotando tecnologias que são testadas, especialmente quando estas estão sendo usadas não apenas em nossas vidas diárias, mas em serviços críticos, como saúde, transporte e serviços bancários.
Sagan ainda aponta que as pessoa que estão no poder já não são mais políticos, mas tecnocratas. Ambos os tecnocratas do governo e do Vale do Silício já assumiram muitos aspectos de nossas vidas, mas sua influência parece demasiado apertado. Uma história pouco apreciada a partir do caso recente do escândalo do Memorando do Google foi escrita pela jornalista Elaine Ou, que se concentrou em um aspecto muito diferente do incidente; a forma como ele aponta para a elite tecnológica, digerindo e debatendo com base em suas próprias preferências sociais e políticas. Ou, como se segue:
“Suprimir o debate intelectual nos campi universitários muito ruim. Fazer o mesmo no Vale do Silício, que tem, essencialmente, tornado-se uma escola de acabamento para universidades de elite, agrava o problema. Seus engenheiros constroem produtos que potencialmente moldam nossas vidas digitais. No Google, eles supervisionam um algoritmo de busca que procura resultados superficiais “autoritário” e rebaixam conteúdo de baixa qualidade. Este algoritmo é ajustado por uma equipe interna de avaliadores. Se a empresa silencia dissidências dentro de suas próprias fileiras, por que devemos confiar nela para gerir o nosso acesso à informação?”
A ideia de que o acesso tecnológico pode ser controlado pelas preferências políticas ou morais de uma minoria autonomeada pode ser profundamente perturbadora. Quando a política é incorporado à tecnologia em si, você não pode realmente mudar de canal ou até mudar toda a base tecnológica, algo que é quase impossível de realizar em uma época de oligopólios. Este é um resultado que até mesmo o proponente mais entusiástico de tecnologia da informação deve se preocupar, assim como, certamente, cada libertário civil. Mesmo Carl Sagan provavelmente não estaria pensando sobre isso quando se referia a “tremendos poderes tecnológicos nas mãos de uns poucos”.
O medo real é que a ignorância nascida do controle tecnológico será tão sutil, gradual e onipresente que nos fará deslizar para trás, “quase sem perceber”, e não em superstição e escuridão, mas em uma falsa sensação de segurança, autoimportância e conectividade. Nesse sentido, isto se assemelha muito à situação em “The Matrix”. Os políticos têm usado suas estratégias por eras, mas, ceder tais estratégias para máquinas poderosas que irão nos envolver em seu abraço binário será o capítulo final. Dar às pessoas a ilusão de liberdade funciona melhor do que quaisquer esforços reais de conter liberdade. O controle perfeito funciona quando aqueles que são controlados continuam a acreditar o contrário. Podemos ser governados por demônios que podem vir disfarçados como deuses.
