Modelado predictivo en acciones de tutela: Uso de Modelos de Lenguaje de Gran Tamaño (LLM) para la predicción en el sector salud en Colombia
No hay miniatura disponible
Archivos
Fecha
2024-07
Autores
Título de la revista
Publicado en
Publicado por
URL de la fuente
Enlace a contenidos multimedia
ISSN de la revista
Título del volumen
Resumen
Este trabajo explora el uso de diferentes Modelos de Lenguaje de Gran Tamaño (LLM) para la predicción de cobertura y resultado en acciones de tutela en el sector salud en Colombia, con el fin de orientar la gestión de los recursos. Se utilizaron diferentes herramientas, incluyendo Ludwig, para entrenar y evaluar los LLM, LoRA (Low-Rank Adaptation) para el ajuste fino de los LLMs, Hugging Face para aprovechar los modelos preentrenados y personalizarlos y SHAP (SHapley Additive exPlanations) para explicar los modelos y evaluar la importancia de cada palabra en el texto, identificando como contribuyen a las predicciones de resultados en el análisis de la tutela. Los resultados mostraron que el mejor modelo fue BETO: Spanish BERT con una precisión para el target de Cobertura y de Resultado del 78% y 60% respectivamente. Se concluyó que el uso de LLMs, en combinación con herramientas como Ludwig, Hugging Face y SHAP, generan predicciones con alta precisión para la cobertura, sin embargo, no se generaron predicciones con un resultado aceptable para el resultado del fallo de tutela. De manera que, la adopción de estas tecnologías puede optimizar los recursos de los actores del sistema de salud en Colombia. Esta exploración contribuye al campo de la predicción en acciones de tutela en salud, proporcionando un enfoque innovador y costo eficiente para mejorar la gestión de recursos, promoviendo decisiones más informadas y basadas en datos
Descripción
Abstract
This paper explores the use of different Large Language Models (LLMs) for coverage and outcome prediction in guardianship actions in the health sector in Colombia, in order to guide resource management. Different tools were used, including Ludwig, to train and evaluate LLMs, LoRA (Low-Rank Adaptation) for fine-tuning LLMs, Hugging Face to leverage pre-trained models and customize them and SHAP (SHapley Additive exPlanations) to explain the models and evaluate the importance of each word in the text, identifying how they contribute to outcome predictions in guardianship analysis. The results showed that the best model was BETO: Spanish BERT with an accuracy for the Coverage and Outcome target of 78% and 60% respectively. It was concluded that the use of LLMs, in combination with tools such as Ludwig, Hugging Face and SHAP, generate predictions with high accuracy for coverage, however, no predictions were generated with an acceptable result for the outcome of the guardianship ruling. Thus, the adoption of these technologies can optimize the resources of the actors of the health system in Colombia. This exploration contributes to the field of prediction in health guardianship actions, providing an innovative and cost-efficient approach to improve resource management, promoting more informed and data-driven decisions.
Palabras clave
Lenguaje Natural de procesamiento, LLMs, Ajuste fino, Deep Learning
Keywords
Natural Language Processing, LLMs, Fine tuning, Deep Learning