Extracción automática de texto manuscrito en historias clínicas veterinarias mediante modelos de lenguaje grandes (LLMs)

Abstract

Este proyecto presenta una aplicación web desarrollada para extraer texto manuscrito a partir de imágenes de historias clínicas veterinarias. Se construye un sistema eficiente y confiable que permite interpretar historias clínicas escaneadas y transformarlas en texto estructurado. Durante el proceso de desarrollo se evaluaron distintos modelos de lenguaje de gran tamaño (LLMs), incluyendo LLaVA 1.6, Qwen2-VL, MiniCPM-V, los cuales presentaron dificultades en la comprensión del contexto y bajo rendimiento en la interpretación de la información de la historia clínica. Finalmente, se optó por utilizar el modelo GPT-4o de OpenAI, ya que obtuvo los mejores resultados ofreciendo una mayor precisión en la interpretación del contenido y un mejor entendimiento de instrucciones. Para mejorar el rendimiento del modelo, se aplicaron estrategias como la división de las imágenes en dos secciones, aprovechando así la resolución completa de los documentos. Aunque se consideró realizar un proceso de fine-tuning, las restricciones legales y éticas asociadas al manejo de documentos privados impidieron avanzar en esta etapa. Los resultados obtenidos muestran un nivel de precisión aceptable y sientan las bases para futuras mejoras mediante técnicas de entrenamiento más especializadas.