Desarrollo de un modelo para la medición de la implicación lógica en problemas de matemática elemental
Cargando...
Archivos
Fecha
2024-11
Autores
Título de la revista
Publicado en
Publicado por
URL de la fuente
Enlace a contenidos multimedia
ISSN de la revista
Título del volumen
Resumen
Actualmente, existen modelos de lenguaje integrados en sistemas que pueden superar las capacidades humanas en una variedad de pruebas. Sin embargo, ¿cómo podemos medir la coherencia de estos modelos? En este trabajo, proponemos un enfoque que utiliza la arquitectura de transformers para abordar el problema de la implicación lógica (IL), es decir, determinar qué oraciones se derivan de otras dentro de un texto. Esto se logra mediante el uso de su mecanismo de atención y predicción del siguiente token. Se encontró que, con un modelo muy simple basado en la arquitectura del transformer, es posible la identificación de la IL en problemas de conteo y probabilidad con una precisión del 60 % en una muestra de 95 ejercicios matemáticos de diversos temas. Este método podría contribuir a mejorar la precisión con la que se evalúa la coherencia de los modelos de lenguaje, proporcionando los datos necesarios para realizar un análisis detallado de sus errores y examinar la validez lógica de sus respuestas correctas.
Descripción
Abstract
Today, there are language models built into systems that can outperform human capabilities in a variety of tests. However, how can we measure the coherence of these models? In this work, we propose an approach that uses the transformer architecture to address the problem of logical implication (LI), that is, determining which sentences are derived from others within a text. This is achieved by using its attention mechanism and predicting the next token. It was found that, with a very simple model based on the transformer architecture, the identification of IL in counting and probability problems is possible with an accuracy of 60% in a sample of 95 mathematical exercises on various topics. This method could help improve the precision with which the consistency of language models is evaluated, providing the data necessary to perform a detailed analysis of their errors and examine the logical validity of their correct answers.
Palabras clave
Axiomas e IA, Implicación lógica, IA en matemáticas, Aprendizaje automático, Aprendizaje profundo, Inteligencia artificial, Modelos de lenguaje
Keywords
Axioms and AI, Logical implication, AI in mathematics, Machine learning, Deep learning, Artificial intelligence, Language model