Por Jonathan Jarry
Publicado na McGill University
Eu quero que o efeito Dunning-Kruger seja real. Descrito pela primeira vez em um estudo seminal de 1999 de David Dunning e Justin Kruger, esse efeito tem sido o queridinho dos jornalistas que querem explicar por que as pessoas burras não sabem que são burras. Há até um vídeo de um pastiche fantástico da famosa ária de Turandot, Nessun dorma, explicando o efeito Dunning-Kruger. “Eles não sabem”, o cantor de ópera grita no clímax, “que não sabem”.
Eu estava planejando escrever um artigo muito curto sobre o efeito Dunning-Kruger e parecia que isso ia ser bem fácil. Aqui está o efeito, como foi descoberto, o que significa. Fim da história.
Mas, ao verificar a literatura acadêmica, dúvidas começaram a surgir. Enquanto tentava entender as críticas que haviam sido feitas ao estudo original, as coisas se complicaram e muito. Conversei com algumas pessoas com mentalidade estatística, entrei em contato até com o Dr. Dunning, e tentei entender se nosso cérebro era realmente tendencioso a exagerar nossa competência em atividades nas quais somos péssimos… ou se o efeito que amamos era apenas uma miragem produzida pela maneira peculiar de como brincamos com números.
Temos exagerado nossa confiança no efeito Dunning-Kruger?
Um efeito mal compreendido
O erro mais importante que as pessoas cometem sobre o efeito Dunning-Kruger, de acordo com o Dr. Dunning, tem a ver com quem é vítima dele. “O efeito é sobre nós, não sobre eles”, escreveu-me ele. “A lição do efeito sempre foi sobre como devemos ser humildes e cautelosos com nós mesmos”. O efeito Dunning-Kruger não tem a ver com pessoas burras. Ele é principalmente sobre todos nós, quando se trata de coisas nas quais não somos muito competentes.
Em suma, o efeito Dunning-Kruger foi originalmente definido como um viés em nosso pensamento. Se eu sou péssimo em gramática e recebo instruções para responder a um questionário testando meu conhecimento da gramática, esse viés em meu pensamento me levaria, de acordo com a teoria, a acreditar que obteria uma pontuação mais alta do que realmente teria. E se eu for excelente na gramática, o efeito dita que eu provavelmente subestimaria um pouco o quão bem eu me sairia. Eu poderia prever que obteria uma pontuação de 70%, enquanto minha pontuação real seria de 90%. Mas se minha pontuação real fosse de 15% (porque sou péssimo em gramática), poderia pensar mais de mim mesmo e prever uma pontuação de 60%. Essa discrepância é o efeito, e acredita-se que seja devido a um problema específico da capacidade de nosso cérebro de avaliar suas habilidades.
Foi isso que os alunos participantes passaram no projeto de pesquisa de Dunning e Kruger no final dos anos 1990. Houve avaliações de gramática, humor e raciocínio lógico. Todos foram questionados sobre o quão bem eles achavam que se saíram e todos também foram avaliados objetivamente, e os dois fatores e seus resultados foram comparados.
Desde então, muitos estudos têm sido realizados relatando esse efeito em outras áreas do conhecimento. O Dr. Dunning me disse que acredita que o efeito “tem mais a ver com estar mal informado do que desinformado”. Se me perguntam o ponto de ebulição do mercúrio, fica claro que meu cérebro não tem a resposta. Mas se me perguntarem qual é a capital da Escócia, posso pensar que sei o suficiente para dizer Glasgow, mas descobri recentemente que é Edimburgo. Isso é a desinformação apertando o botão de confiança em meu cérebro.
Então, caso encerrado, certo? Pelo contrário. Em 2016 e 2017, dois estudos foram publicados em um periódico de matemática chamado Numeracy. Neles, os autores argumentaram que o efeito Dunning-Kruger era uma “miragem”. E eu tendo a concordar.
O efeito está no ruído
Os dois estudos, do Dr. Ed Nuhfer et. al., argumentaram que o efeito Dunning-Kruger poderia ser replicado usando dados aleatórios. “Todos nós acreditávamos que o estudo [de 1999] era válido”, disse o Dr. Nuhfer por e-mail. “O raciocínio e o argumento simplesmente faziam muito sentido. Nunca decidimos contestá-lo; éramos até fãs daquele periódico”. Mas nos próprios estudos do Dr. Nuhfer, que usaram dados gerados por computador e resultados de pessoas reais submetidas a um teste de alfabetização científica, sua equipe refutou a afirmação de que a maioria das pessoas não qualificadas não tem conhecimento disso (“um pequeno número sim: vimos sobre 5-6% que se encaixam em nossos dados”) e, em vez disso, mostraram que tanto os especialistas quanto os novatos subestimam e superestimam suas habilidades com a mesma frequência. “É que os especialistas fazem isso em uma gama mais estreita”, escreveu ele para mim.
Envolver meu cérebro em torno de tudo isso levou semanas. Recrutei uma equipe de marido e mulher, Dr. Patrick E. McKnight (do Departamento de Psicologia da Universidade George Mason e também do conselho consultivo da Sense About Science e STATS.org) e Dr. Simone C. McKnight (de Global Systems Technologies, Inc.), para me ajudar a entender o que estava acontecendo. Patrick McKnight não apenas acreditava na existência do efeito Dunning-Kruger: ele o estava ensinando para alertar seus alunos a estarem atentos ao que realmente sabiam em comparação com o que pensavam que sabiam. Mas depois de replicar as descobertas do Dr. Nuhfer usando uma plataforma diferente (a linguagem de computação estatística R em vez do Microsoft Excel de Nuhfer), ele se convenceu de que o efeito era apenas um artefato (um tipo de erro de observação) de como o que estava sendo analisado era de fato analisado.
Tivemos longas conversas sobre isso. Como cético, sou facilmente seduzido por histórias do tipo “tudo o que você sabe sobre isso está errado”. Esse é o meu viés. Para superar isso, continuei bancando o advogado do diabo com os McKnights para ter certeza de que não estávamos esquecendo de nada. Cada vez que eu sentia meu entendimento se cristalizar, a dúvida surgia no dia seguinte e minha discussão com os McKnights era retomada.
Finalmente cheguei a um ponto em que tinha quase certeza de que o efeito Dunning-Kruger não havia mostrado ser um viés em nosso pensamento, mas apenas um artefato. Aqui está a explicação mais simples que tenho de por que o efeito parece ser real.
Para que um efeito da psicologia humana seja real, ele não pode ser replicado rigorosamente por meio de ruído aleatório. Se o cérebro humano estava predisposto a escolher cara quando uma moeda é jogada, você poderia comparar isso com as previsões aleatórias (cara ou coroa) feitas por um computador e ver o viés. Um humano teria mais caras do que o computador, porque o computador está fazendo apostas aleatórias, enquanto o humano é tendencioso para caras. Com o efeito Dunning-Kruger, esse não é o caso. Os dados aleatórios realmente imitam o efeito muito bem.
O efeito, conforme descrito originalmente em 1999, faz uso de um tipo de gráfico muito peculiar. “Este gráfico, até onde sei, é bastante incomum para a maioria das áreas da ciência”, disse-me Patrick McKnight. No experimento original, os alunos fizeram um teste e foram solicitados a adivinhar sua pontuação. Portanto, cada aluno tinha dois dados: a pontuação que pensavam ter obtido (autoavaliação) e a pontuação que efetivamente obteve (desempenho). Para visualizar esses resultados, Dunning e Kruger separaram todos em quatro grupos: aqueles que tiveram desempenho nos 25% inferiores, aqueles que obtiveram pontuação nos 25% superiores e dois grupos entre os outros dois. Para cada grupo, a pontuação média de desempenho e a pontuação média autoavaliada foram registradas em um gráfico. Isso resultou no famoso gráfico de Dunning-Kruger.
Analisado dessa forma, parece que os 25% inferiores acharam que se saíram muito melhor do que se saíram, e os 25% mais altos subestimaram seu desempenho. Essa observação foi pensada para estar de acordo com o cérebro humano: os não qualificados não têm consciência disso. Mas se removermos o cérebro humano da equação, obteremos o seguinte:
O gráfico de Dunning-Kruger acima foi criado por Patrick McKnight usando resultados gerados por computador para autoavaliação e desempenho. Os números eram aleatórios. Não havia viés na codificação que levasse esses alunos fictícios a supor que tinham se saído muito bem quando sua pontuação real era muito baixa. No entanto, podemos ver que as duas linhas parecem assustadoramente semelhantes às do experimento seminal de Dunning e Kruger. Uma simulação semelhante foi feita pelo Dr. Phillip Ackerman e colegas três anos após o estudo original de Dunning-Kruger, e os resultados foram semelhantes.
Medir a percepção de alguém sobre qualquer coisa, incluindo suas próprias habilidades, é repleto de dificuldades. Acho que me saí bem no teste de hoje, mas isso poderia mudar drasticamente se o teste fosse feito amanhã, quando meu humor pode estar diferente e minha autoconfiança pode falhar comigo. Essa medida de autoavaliação é, portanto, até certo ponto, não confiável. Esta falta de confiabilidade – às vezes grande, às vezes não – significa que qualquer efeito psicológico verdadeiro que existe será medido como menor no contexto de um experimento. Isso é chamado de atenuação devido à falta de confiabilidade. “Muitos livros, artigos e capítulos destacam o problema com erros de medição e efeitos atenuados”, escreveu Patrick McKnight. Em sua simulação com medições aleatórias, o chamado efeito Dunning-Kruger realmente se torna mais visível à medida que o erro de medição aumenta. “Não temos nenhum exemplo na história das descobertas científicas”, continuou ele, “em que os resultados melhorem com o aumento do erro de medição. Nenhum”.
Quebrando o mantra
Quando coloco o “efeito Dunning-Kruger” no Google Notícias, obtenho mais de 8.500 links altamente acessados de veículos de comunicação como The New York Times, New Scientist e CBC. Muitos simplesmente endossam o efeito como um viés verdadeiro do cérebro, então não é de se admirar que as pessoas não tenham consciência das críticas acadêmicas que surgiram desde que o efeito foi publicado pela primeira vez. Não é apenas Dr. Nuhfer e seus estudos no Numeracia. Outros críticos acadêmicos apontaram para, por exemplo, a regressão à média.
Mas, como Patrick McKnight destaca, a regressão à média ocorre quando a mesma medida é feita ao longo do tempo e acompanhamos sua evolução. Se eu tirar minha temperatura todas as manhãs e um dia aumentar a febre, essa mesma medida (espero) diminuirá no dia seguinte e retornará ao seu valor médio quando minha febre diminuir. Isso é regressão à média. Mas, no contexto do efeito Dunning-Kruger, nada é medido ao longo do tempo, e a autoavaliação e o desempenho são medidos de forma inteiramente diferente; portanto, a regressão à média não deve ser aplicada. A falta de confiabilidade da medição de autoavaliação em si, no entanto, é um forte candidato para explicar uma boa parte do que Dunning, Kruger e outros cientistas que desde então relataram esse efeito em outros contextos estavam realmente descrevendo.
Esta história não acabou. Sem dúvida, haverá mais tinta derramada em revistas acadêmicas sobre esse assunto, o que é uma parte saudável da pesquisa científica, afinal. Estudar prótons e elétrons é relativamente fácil, pois essas partículas não têm uma mente própria; estudar psicologia humana, em comparação, é muito mais difícil porque o número de variáveis que estão sendo manipuladas é incrivelmente alto. Portanto, é realmente fácil que as descobertas da psicologia pareçam reais quando não são.
Existem pessoas burras que não percebem que são burras? Claro, mas nunca foi disso que se tratou o efeito Dunning-Kruger. Existem pessoas que são muito confiantes e arrogantes em sua ignorância? Com certeza, mas também Dunning e Kruger não mediram a confiança ou arrogância em 1999. Existem outros efeitos conhecidos pelos psicólogos, como o viés do excesso de confiança e o viés de ser melhor do que a média (onde a maioria dos motoristas acredita estar bem acima média, o que não faz sentido matemático), portanto, se o efeito Dunning-Kruger for convincentemente mostrado como nada além de uma “miragem”, isso não significa que o cérebro humano é imaculado. E se os pesquisadores continuarem a acreditar no efeito em face em fortes críticas, este não é um exemplo paradoxal do efeito Dunning-Kruger. Nos experimentos clássicos originais, os alunos não receberam nenhum feedback ao fazer sua autoavaliação. É justo dizer que os pesquisadores estão em uma posição diferente agora.
As palavras “efeito Dunning-Kruger” foram usadas como um mantra por jornalistas e céticos durante anos para explicar a estupidez e a incompetência. Pode ser hora de quebrar esse mantra.
