Um novo estudo conduzido por cientistas da Apple, empresa de tecnologia norte-americana, revelou que os modelos de IA tendem a cometer erros com facilidade, principalmente porque carecem de habilidades básicas de raciocínio lógico.

A IA pode ser confundida por contexto irrelevante

Bots de IA, baseados em grandes modelos de linguagem (LLMs), como os desenvolvidos pela Meta ou OpenAI, executam tarefas simples de maneira bastante confiável. No entanto, à medida que as tarefas se tornam mais complexas ou são enriquecidas com informações irrelevantes, a precisão das respostas pode cair em até 65%.

Esse problema foi particularmente bem ilustrado por uma questão de cálculo que exigia uma compreensão profunda do enunciado. A tarefa, denominada “GSM-Noop” pela equipe de pesquisa, era similar aos problemas de “palavras” de matemática frequentemente apresentados a alunos do ensino fundamental.

O experimento

A solicitação feita à IA começava com informações simples, necessárias para determinar o resultado correto:

Em seguida, os cientistas adicionaram um detalhe irrelevante, que deveria ser ignorado:

Por fim, a IA foi desafiada a responder à pergunta simples:

Tanto o modelo da OpenAI quanto o Llama3-8b da Meta subtraíram, incorretamente, os cinco kiwis menores do total, evidenciando a dificuldade da IA em lidar com informações irrelevantes.