Desarrollo de un sistema a la medida de generación aumentada por recuperación para la consulta interactiva de información especializada de estadística delictiva en Colombia
Cargando...
Archivos
Fecha
2024-12
Autores
Título de la revista
Publicado en
Publicado por
URL de la fuente
Enlace a contenidos multimedia
ISSN de la revista
Título del volumen
Resumen
Los modelos de lenguaje de gran tamaño, o LLMs por sus siglas en inglés, han mostrado capacidades formidables en la generación de texto articulado. Actualmente, son la base de varios tipos de aplicaciones en la escena IA, e.g. chatbots, sistemas QA, recomendadores, etc. Sin embargo, estos LLMs pueden mostrar imprecisiones convincentes sobre temas especializados o recientes, lo que se conoce como ‘alucinaciones’. Por tal motivo, la generación aumentada por recuperación, o RAG por sus siglas en inglés, se ha mostrado útil en la producción de contenido factualmente correcto por parte de los LLMs, al brindarles una base de conocimiento o una ventana contextual verídica, e.g. texto, base de datos, etc. Se desarrolló una aplicación web con los marcos de trabajo Langchain y LangGraph, mediante la cual un usuario hace consultas en lenguaje natural sobre estadística delictiva de Colombia; un modelo como GPT4o interpreta dicha consulta, la traduce en lenguaje SQL, ejecuta la consulta sobre una base de conocimiento especializada construída a partir de sábanas de datos del SIEDCO (Sistema de Información Estadístico, Delincuencial Contravencional y Operativo) de la Policía Nacional de Colombia, recupera la información y la retorna al usuario en forma de gráfico o dataframe, todo lo anterior en una interfaz gráfica sencilla de Streamlit. La aplicación web muestra buenos resultados en general y tiempos de inferencia razonables, con fallos de interpretación ocasionales, permitiendo consultar de una forma interactiva esta información coyuntural de interés general.
Descripción
Abstract
Large Language Models (LLMs) have demonstrated remarkable capabilities in generating articulated text. They currently serve as the backbone of various AI applications—such as chatbots, QA systems, recommendation engines, and more. However, these LLMs can sometimes produce convincingly inaccurate information on specialized or recent topics, a phenomenon known as “hallucinations.” For this reason, Retrieval-Augmented Generation (RAG) has proven useful in ensuring factually accurate content from LLMs by providing them with a reliable knowledge base or contextual window (e.g., text, databases, etc.).
A web application was developed using the Langchain and LangGraph frameworks, allowing users to make natural language queries about crime statistics in Colombia. A model like GPT-4 interprets the query, translates it into SQL, executes it against a specialized knowledge base built from SIEDCO data sheets (the Colombian National Police’s Statistical, Criminal, Contraventional, and Operational Information System), retrieves the information, and returns it to the user in the form of a chart or dataframe—all within a simple Streamlit interface. Overall, the web application delivers good results and reasonable inference times, with occasional interpretation failures, enabling interactive access to this topical information of general interest.
Palabras clave
RAG (Generación Aumentada por Recuperación), LLMs (Modelos de Lenguaje de Gran Tamaño), GPT (Transformador Generativo Pre-entrenado), OpenAI, Langchain, LangGraph, SQL (Lenguaje de Consulta Estructurado), Text-to-SQL (Conversión de Texto a SQL), Streamlit, Estadística delictiva, SIEDCO
Keywords
RAG (Retrieval-Augmented Generation), LLMs (Large Language Models), GPT (Generative Pre-training Transformer), OpenAI, Langchain, LangGraph, SQL (Structured Query Language), Text-to-SQL, Streamlit, Crime statistics, SIEDCO