A arte de falar com chatbots de IA continua a frustrar e confundir as pessoas.
Um estudo que tentou ajustar os prompts inseridos em um modelo de chatbot descobriu que, em um caso, pedir-lhe para falar como se estivesse em Star Trek melhorou drasticamente sua capacidade de resolver problemas de matemática no ensino fundamental.
Leia também: A antimatéria pode desbloquear um novo futuro radical nas viagens interestelares
“É surpreendente e irritante que modificações triviais no prompt possam exibir mudanças tão dramáticas no desempenho”, disseram em seu artigo os autores do estudo, Rick Battle e Teja Gollapudi, da empresa de software VMware, na Califórnia.
O estudo, relatado pela primeira vez pela New Scientist, foi publicado em 9 de fevereiro no arXiv, um servidor onde os cientistas podem compartilhar descobertas preliminares antes de serem validadas por um exame minucioso de pares.
Usando IA para falar com IA
Os engenheiros de aprendizado de máquina Battle e Gallapudi não pretendiam expor o modelo de IA como um Trekkie. Em vez disso, estavam tentando descobrir se poderiam capitalizar a tendência do “pensamento positivo”.
As pessoas que tentam obter os melhores resultados com os chatbots notaram que a qualidade do resultado depende do que você pede que façam, e não está claro o porquê.
“Entre a miríade de fatores que influenciam o desempenho dos modelos de linguagem, o conceito de ‘pensamento positivo’ emergiu como uma dimensão fascinante e surpreendentemente influente”, afirmaram Battle e Gollapudi no seu artigo.
“A intuição nos diz que, no contexto de sistemas de modelos de linguagem, como qualquer outro sistema informático, o ‘pensamento positivo’ não deve afetar o desempenho, mas a experiência empírica demonstrou o contrário”, disseram.
Isso sugere que não é apenas o que você pede ao modelo de IA, mas como você pede que ele aja ao fazê-lo, que influencia a qualidade do resultado.
Para testar isso, os autores alimentaram três Large Language Models (LLM) chamados Mistral-7B5, Llama2-13B6 e Llama2-70B7 com 60 prompts escritos por humanos.
Eles foram projetados para encorajar as IAs e variavam de “Isso vai ser divertido!” e “Respire fundo e pense com cuidado” até “Você é tão inteligente quanto o ChatGPT”.
Os engenheiros pediram ao LLM que ajustasse essas declarações ao tentar resolver o GSM8K, um conjunto de dados de problemas matemáticos do ensino fundamental. Quanto melhor o resultado, mais bem-sucedido foi o prompt.
O estudo descobriu que, em quase todos os casos, a otimização automática sempre superou as tentativas escritas à mão de estimular a IA com pensamento positivo, sugerindo que os modelos de aprendizado de máquina ainda são melhores em escrever instruções para si próprios do que os humanos.
Ainda assim, dar declarações positivas aos modelos proporcionou alguns resultados surpreendentes. Um dos prompts de melhor desempenho do Llama2-70B, por exemplo, foi: “Mensagem do sistema: ‘Comando, precisamos que você trace um curso através desta turbulência e localize a origem da anomalia. Use todos os dados disponíveis e sua experiência para nos guiar através desta situação desafiadora.’
O prompt então pediu à IA que incluísse estas palavras em sua resposta: “Diário do Capitão, Data Estelar [inserir data aqui]: Traçamos com sucesso um curso através da turbulência e agora estamos nos aproximando da fonte da anomalia.”
Os autores disseram que isso foi uma surpresa.
“Surpreendentemente, parece que a proficiência do modelo no raciocínio matemático pode ser melhorada pela expressão de uma afinidade com Star Trek”, disseram os autores no estudo.
“Esta revelação acrescenta uma dimensão inesperada à nossa compreensão e introduz elementos que não teríamos considerado ou tentado de forma independente”, disseram.
Isso não significa que você deva pedir a seu chatbot para falar como um comandante da Frota Estelar
Sejamos claros: esta pesquisa não sugere que você deva pedir à IA para falar como se estivesse a bordo da nave estelar Enterprise para fazê-la funcionar.
Em vez disso, mostra que uma miríade de fatores influencia o quão bem uma IA decide executar uma tarefa.
“Uma coisa é certa: o modelo não é um Trekkie”, disse Catherine Flick, da Universidade de Staffordshire, no Reino Unido, à New Scientist.
“Ele não ‘compreende’ nada melhor ou pior quando pré-carregado com o prompt, apenas acessa um conjunto diferente de pesos e probabilidades de aceitabilidade dos resultados do que com os outros prompts”, disse ela.
É possível, por exemplo, que o modelo tenha sido treinado em um conjunto de dados que tenha mais instâncias de Star Trek vinculadas à resposta certa, disse Battle à New Scientist.
Ainda assim, mostra quão bizarros são os processos destes sistemas e quão pouco sabemos sobre como funcionam.
“A principal coisa a lembrar desde o início é que estes modelos são caixas pretas”, disse Flick.
“Nunca saberemos por que eles fazem o que fazem e porque o fazem, em última análise, são uma mistura de pesos e probabilidades e, no final, um resultado é cuspido”, disse ela.
Esta informação não passa despercebida para quem está aprendendo a usar modelos de chatbot para otimizar seu trabalho. Campos inteiros de pesquisa, e até mesmo cursos, estão surgindo para entender como fazer com que tenham o melhor desempenho, embora isso ainda não esteja claro.
“Na minha opinião, ninguém deveria tentar escrever um aviso à mão novamente”, disse Battle à New Scientist.
“Deixe a modelo fazer isso por você”, disse ele.
Este artigo foi publicado originalmente pelo Business Insider.
Adaptado de ScienceAlert
