Optimizando la búsqueda semántica en ArXiv: evaluación de modelos LLMs y herramientas de indexación vectorial

Abstract

El objetivo del presente artículo es desarrollar un buscador semántico potenciado por modelos de lenguaje de gran escala (LLMs por sus siglas en inglés) que facilite a los investigadores la exploración eficiente y precisa de artículos relevantes en el repositorio de ArXiv. Para ello, se emplean la base de datos vectoriales Weaviate y la librería Faiss, herramientas de búsqueda vectorial que permiten integrar distintas configuraciones y varias opciones de modelos Sentence Transformers, incluyendo una versión optimizada mediante ajuste fino (fine tuning) con datos provenientes del propio ArXiv. Asimismo, se proponen métricas basadas en frecuencia, puntajes de búsqueda y coincidencia de categorías y subcategorías con el propósito de identificar la combinación más efectiva de herramientas para la búsqueda. Como resultado principal, se encuentra que la configuración vectorial de título y resumen acompañada del modelo all-mpnet-base-v2 ofrece la mayor exactitud en categoría (79,6%), lo cual respalda las especificaciones del modelo respecto a su desempeño en tareas de similitud semántica. La solución propuesta no solo establece un marco reproducible para implementar motores de búsqueda semántica en repositorios académicos, sino que también ofrece una guía de procesamiento optimizada para documentos científicos.