Introdução ao Funcionamento dos Modelos de Aprendizado de Máquina

A temática dos modelos de aprendizado de máquina e suas capacidades é um assunto que se entrelaça entre a filosofia e a prática. Questões como “Como os modelos de aprendizado de máquina realizam suas operações?” e “Eles realmente ‘pensam’ ou ‘raciocinam’ como entendemos esses conceitos?” são exploradas, levando a questionamentos sobre a verdadeira natureza do raciocínio em sistemas de inteligência artificial (IA).

Limitações do Raciocínio Matemático em Modelos de Linguagem

Um estudo recente publicado por um grupo de cientistas de pesquisa em IA da Apple, intitulado “Understanding the limitations of mathematical reasoning in large language models”, trouxe à tona questões sobre as limitações dos modelos de linguagem em resolver problemas matemáticos. O conceito básico envolvido na pesquisa é acessível, apesar de algumas complexidades em aprendizado simbólico e reprodução de padrões.

Problema Matemático e Resposta

Para ilustrar as dificuldades que os modelos enfrentam, consideremos o seguinte problema matemático:

Oliver colhe 44 kiwis na sexta-feira. Depois, ele colhe 58 kiwis no sábado. No domingo, ele colhe o dobro do que colheu na sexta-feira. Quantos kiwis Oliver tem?

A resolução desse problema é direta: 44 + 58 + (44 * 2) = 190. No entanto, mesmo que os modelos de linguagem sejam conhecidos por apresentarem dificuldades em aritmética, eles frequentemente conseguem resolver questões desse tipo de maneira confiável. No entanto, quando adicionamos informações aparentemente irrelevantes, a situação muda:

Oliver colhe 44 kiwis na sexta-feira. Depois, ele colhe 58 kiwis no sábado. No domingo, ele colhe o dobro do que colheu na sexta-feira, mas cinco deles eram um pouco menores do que o normal. Quantos kiwis Oliver tem?

Dificuldades com Informações Extras

Embora o problema continue sendo matematicamente o mesmo, a adição de um pequeno detalhe causa confusão até mesmo nos modelos mais avançados de aprendizado de máquina. Um exemplo dessa falha pode ser visto na resposta do modelo GPT-o1-mini:

“… no domingo, 5 destes kiwis eram menores do que o normal. Precisamos subtrair isso do total de domingo: 88 (kiwis de domingo) – 5 (kiwis menores) = 83 kiwis.”

Esse simples exemplo ilustra que, embora a questão matemática não tenha mudado fundamentalmente, a presença de um detalhe adicional levou a uma queda significativa na taxa de sucesso dos modelos durante a tentativa de resolver esses problemas.

Compreendendo a Falha dos Modelos

A questão que surge, então, é por que um modelo que aparentemente compreende o problema fica tão facilmente confundido por um detalhe aleatório e irrelevante. Os autores da pesquisa sugerem que essa instabilidade é um indicativo de que os modelos não compreendem realmente os problemas que estão abordando. Segundo eles:

“[W]e investigate the fragility of mathematical reasoning in these models and demonstrate that their performance significantly deteriorates as the number of clauses in a question increases. We hypothesize that this decline is devido ao fato de que os LLMs atuais não são capazes de raciocínio lógico genuíno; em vez disso, eles tentam replicar os passos de raciocínio observados em seus dados de treinamento.”

Essa constatação também se alinha com outras características atribuídas aos modelos de linguagem. Embora o modelo consiga repetir padrões linguísticos, como a sequência “Eu te amo” seguida de “Eu também te amo”, isso não implica que o modelo possua emoções ou compreensão genuína. A habilidade de seguir cadeias complexas de raciocínio que foram previamente expostas apenas reforça a ideia de que esses modelos replicam padrões sem realmente raciocinar.

Implicações e Considerações Finais

Um dos co-autores, Mehrdad Farajtabar, discorreu sobre o estudo de maneira acessível em uma thread no Twitter. Embora o trabalho de Mirzadeh et al tenha sido elogiado, um pesquisador da OpenAI sinalizou que resultados corretos poderiam ser alcançados em todos esses casos de falha com um pouco de engenharia de prompts. A resposta de Farajtabar destacou que, se bem que melhores instruções possam ajudar a lidar com desvios simples, o modelo provavelmente exigiria uma quantidade exponencialmente maior de dados contextuais para enfrentar distrações complexas.

O debate sobre a capacidade de raciocínio dos LLMs ainda está em aberto. Embora exista a possibilidade de que esses modelos consigam “raciocinar”, essa faceta pode não ser reconhecida ou controlada. Este se torna um campo de pesquisa fascinante, mas também destaca uma narrativa cautelosa sobre as capacidades da IA. À medida que a IA se torna uma ferramenta de software cotidiana, essas questões vão além da academia, invocando a necessidade de reflexão crítica sobre o que realmente podemos esperar dessa tecnologia.

#AprendizadoDeMáquina #InteligenciaArtificial #LimitaçõesDaIA #ModelosDeLinguagem #RaciocínioMatemático #PesquisaEmIA #Tecnologia

autor ref: Devin Coldewey
ref:https://techcrunch.com/2024/10/11/researchers-question-ais-reasoning-ability-as-models-stumble-on-math-problems-with-trivial-changes/