Optimización del análisis de noticias en el sector turismo en Colombia: Aplicación de modelos de lenguaje de gran tamaño para decisiones estratégicas (2023-2024)

Vista sencilla de ítem
dc.contributor.advisorHortua Orjuela, Hector Javier
dc.contributor.authorRomero Quiroga, Angie Lorena
dc.contributor.authorRodriguez Moreno, Michael Smith
dc.contributor.orcidRomero Quiroga, Angie Lorena [0009-0005-5363-4159]
dc.date.accessioned2024-09-06T19:27:09Z
dc.date.available2024-09-06T19:27:09Z
dc.date.issued2024-06
dc.description.abstractEl turismo en Colombia ha experimentado un notable crecimiento a lo largo de los años, impulsado por las tendencias y destinos populares que atraen a viajeros de todo el mundo. Este dinamismo ha generado un volumen creciente de información, lo que ha suscitado la necesidad de desarrollar un modelo clasificador para identificar el tono positivo o negativo de las noticias de medios de prensa. Utilizando los avances en Deep Learning y el Procesamiento del Lenguaje Natural, se implementó un modelo de clasificación de texto basado en Modelos de Lenguaje de Gran Tamaño (LLM).Para este trabajo, se seleccionaron varios modelos LLM preentrenados de propósito general, optimizados mediante fine tuning de parámetros eficientes (PEFT) usando los adaptadores LoRA, AdaLoRA y IA3. Toda la configuración se hizo en el entorno de Ludwig, reconocido por su eficiencia y fácil configuración a través de YAML. Se encontró que DistilBERT multilingüe logró el mayor rendimiento con el adaptador LoRA, con una accuracy del 87.88% y un ROC AUC del 92.05%. Este enfoque ha permitido una afinación efectiva del modelo para clasificar noticias dentro del ámbito turístico colombiano, un paso crucial para gestionar y analizar grandes volúmenes de datos de manera ágil y optimizada.
dc.description.abstractenglishTourism in Colombia has experienced remarkable growth over the years, driven by trends and popular destinations that attract travelers from all over the world. This dynamism has generated an increasing volume of information, prompting the need to develop a classifier model to identify the positive or negative tone of news media reports. Using advances in Deep Learning and Natural Language Processing, a text classification model based on Large Language Models (LLM) was implemented.For this work, several pre-trained general purpose LLM models were selected, optimized through fine tuning of efficient parameters (PEFT) using LoRA, AdaLoRA and IA3 adapters. All configuration was done in the Ludwig environment, recognized for its efficiency and easy configuration via YAML. It was found that multilingual DistilBERT achieved the highest performance with the LoRA adapter, with an accuracy of 87.88% and an AUC ROC of 92.05%. This approach has allowed an effective tuning of the model to classify news within the Colombian tourism domain, a crucial step to manage and analyze large volumes of data in an agile and optimized way.
dc.identifier.urihttps://hdl.handle.net/20.500.12495/12963
dc.language.isoes
dc.relation.referencesPlan Nacional de Desarrollo 2022-2026: Colombia, Potencia Mundial de la Vida. Departamento Nacional de Planeación, Bogotá(May 2023), https://colaboracion.dnp.gov.co/CDT/Prensa/Publicaciones/plan-nacional-de-desarrollo-2022-2026-colombia-potencia-mundial-de-la-vida.pdf
dc.relation.referencesAkpatsa, S.K., Lei, H., Li, X., Obeng, V.H.K.S., Martey, E.M., Addo, P.C., Fiawoo,D.D.: Online news sentiment classification using distilbert. Journal of Quantum Computing 4(1) (2022
dc.relation.referencesAmat Rodrigo, J.: Calibración de modelos en machine learning. Ciencia de Datos.net (Oct 2020), https://cienciadedatos.net/documentos/py11-calibrar-modelos-machine-learning, ́Ultimo acceso: 6 de junio de 2024
dc.relation.referencesBechara, H., Zhang, R., Yuan, S., Jankin, S.: Applying nlp techniques to classify businesses by their international standard industrial classification (isic) code. 2022 IEEE International Conference on Big Data (Big Data) pp. 3472–3477 (2022).https://doi.org/10.1109/BigData55660.2022.10020787
dc.relation.referencesBiderman, D., Ortiz, J.G., Portes, J., Paul, M., Greengard, P., Jennings, C., King,D., Havens, S., Chiley, V., Frankle, J., et al.: Lora learns less and forgets less. arXiv preprint arXiv:2405.09673 (2024)
dc.relation.referencesBojorquez, D.M.: De redes neuronales recurrentes a modelos de lenguaje: La evolución del pln en la generación de textos. Publicación Semestral• Octubre de 2021• ISNN en trámite (2021)
dc.relation.referencesCañete, J., Chaperon, G., Fuentes, R., Ho, J.H., Kang, H., P´erez, J.: Spanish pretrained bert model and evaluation data. arXiv preprint arXiv:2308.02976 (2023)
dc.relation.referencesClark, K., Luong, M.T., Le, Q.V., Manning, C.D.: Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555 (2020)
dc.relation.referencesCuenca, N.G., Arango, M.C.: An application of machine learning techniques to the prediction of purchase in the tourism sector. Tech. rep., EasyChair (2022)
dc.relation.referencesFazlija, B., Harder, P.: Using financial news sentiment for stock price direction prediction. Mathematics 10(13), 2156 (2022)
dc.relation.referencesFernández, R.: ¿Que son los LLM? https://educaixa.org/documents/10180/83268007/A4_GuiaLLM_educaixa_ESP.pdf/9b77212c-3c38-cd69-9a9f-e9ab699ed9e5?t=1696435824231 (2023), [Online;recuperado el 13-Mayo-2024]
dc.relation.referencesIto Aramendia, A.: L1 and l2 regularization part 2: A complete guide.Medium (Mar 2024), https://medium.com/@alejandro.itoaramendia/ l1-and-l2-regularization-part-2-a-complete-guide-0b16b4ab79ce, Ultimo acceso: 6 de junio de 2024
dc.relation.referencesJeong, C.: Fine-tuning and utilization methods of domain-specific llms. arXiv preprint arXiv:2401.02981 (2024)
dc.relation.referencesKazmi, M.: How is llmops different from mlops?Medium (Jul 2023), https://medium.com/@murtuza753/ how-is-llmops-different-from-mlops-27aa309a18d6, Ultimo acceso: 6 de junio de 2024
dc.relation.referencesLangChain: Introduction to langchain. https://python.langchain.com/v0.1/ docs/get_started/introduction/ (2024), Ultimo acceso: 13 de mayo de 2024
dc.relation.referencesLiu, A.: Intro to llm fine tuning. https://public.websites.umich.edu/~amberljc/file/llm-fine-tuning.pdf (9 2023), Ultimo acceso: 13 de mayo de 2024
dc.relation.referencesLiu, Y.: Explore parameter efficient fine-tuning methods on large language model (2023)
dc.relation.referencesLudwig: Latest updates. https://ludwig.ai/latest/ (2024), Ultimo acceso: 13 de mayo de 2024
dc.relation.referencesMahmud, M.S., Bonny, A.J., Saha, U., Jahan, M., Tuna, Z.F., Marouf,A.A.: Sentiment analysis from user-generated reviews of ride-sharing mobile applications. 2022 6th International Conference on Computing Methodologies and Communication (ICCMC) pp. 738–744 (2022). https://doi.org/10.1109/ICCMC53470.2022.9753947
dc.relation.referencesMajeed, U.: Rag and fine-tuning: Which tool boosts llm applications better? https://datics.ai/rag-and-fine-tuning-which-tool-boosts-llm-applications-better/ (2024), Ultimo acceso: 22 de mayo de 2024
dc.relation.referencesMendez Aguirre, O.A.: Machine Learning Operations aplicado al proceso de desarrollo y aprovisionamiento de modelos. Ph.D. thesis, Universidad Nacional de Colombia
dc.relation.referencesMinaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., Gao, J.: Large language models: A survey. arXiv preprint arXiv:2402.06196 (2024)
dc.relation.referencesMolino, P., Dudin, Y., Miryala, S.S.: Ludwig: a type-based declarative deep learning toolbox. arXiv preprint arXiv:1909.07930 (2019)
dc.relation.referencesMozafari, J., Fatemi, A., Moradi, P.: A method for answer selection using distilbert and important words. In: 2020 6th International Conference on Web Research (ICWR). pp. 72–76. IEEE (2020)
dc.relation.referencesNi, T., Wang, L., Zhang, P., Wang, B., Li, W.: Daily tourist flow forecasting using spca and cnn-lstm neural network. Concurrency and Computation: Practice and Experience 33(5), e5980 (2021)
dc.relation.referencesOpenAI: Introduction to openai platform. https://platform.openai.com/docs/ introduction (2024), Ultimo acceso: 22 de mayo de 2024
dc.relation.referencesPerez Coronell, L.: Análisis del sector turístico de la ciudad de barranquilla aplicando técnicas de aprendizaje automático. CESTA 4(1), 35–40 (2023)
dc.relation.referencesDe la Rosa, J., Ponferrada, E.G., Villegas, P., Salas, P.G.d.P., Romero, M.,Grandury, M.: Bertin: Efficient pre-training of a spanish language model using perplexity sampling. arXiv preprint arXiv:2207.06814 (2022)
dc.relation.referencesRoy, B.K., Pagaldiviti, S.R.: Advancements in arena technology: Enhancing customer experience and employee adaptation in the tourism and hospitality industry. Smart Tourism (2023). https://doi.org/10.54517/st.v4i1.2330
dc.relation.referencesSanh, V., Debut, L., Chaumond, J., Wolf, T.: Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. ArXiv abs/1910.01108 (2019)
dc.relation.referencesSotaquirá, M.: Grandes modelos de lenguaje. https://www.codificandobits.com/ blog/grandes-modelos-de-lenguaje/ (2023), Ultimo acceso: 13 de mayo de 2024
dc.relation.referencesTekgul, H.: Llmops: Operationalizing llms at scale. Arize Blog (May 2023), https: //arize.com/blog-course/llmops-operationalizing-llms-at-scale/, Ultimo acceso: 6 de junio de 2024
dc.relation.referencesTuggener, L., Sager, P., Taoudi-Benchekroun, Y., Grewe, B.F., Stadelmann, T.:So you want your private llm at home?: a survey and benchmark of methods for efficient gpts. In: 11th IEEE Swiss Conference on Data Science (SDS), Zurich,Switzerland, 30-31 May 2024. ZHAW Z¨urcher Hochschule f¨ur Angewandte Wissenschaften (2024)
dc.relation.referencesWang, W., Wei, F., Dong, L., Bao, H., Yang, N., Zhou, M.: Minilm: Deep selfattention distillation for task-agnostic compression of pre-trained transformers. Advances in Neural Information Processing Systems 33, 5776–5788 (2020)
dc.relation.referencesWolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., et al.: Huggingface’s transformers: State-ofthe-art natural language processing. arXiv preprint arXiv:1910.03771 (2019)
dc.relation.referencesZhuo, T.Y., Zebaze, A., Suppattarachai, N., von Werra, L., de Vries, H., Liu,Q., Muennighoff, N.: Astraios: Parameter-efficient instruction tuning code large language models. arXiv preprint arXiv:2401.00788 (2024)
dc.rightsAtribución-NoComercial-CompartirIgual 4.0 Internacional
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.accessrightshttp:/purl.org/coar/access_right/c_abf2/
dc.rights.localAcceso abierto
dc.source.urlhttps://github.com/michaelrodriguezm/Clasificador-De-Noticias
dc.subjectModelos de lenguaje de gran tamaño
dc.subjectAjuste fino
dc.subjectAjuste de parámetros eficiente
dc.subjectPEFT
dc.subject.keywordsLarge language models
dc.subject.keywordsFine tuning
dc.subject.keywordsParameter efficient tuning
dc.subject.keywordsPEFT
dc.titleOptimización del análisis de noticias en el sector turismo en Colombia: Aplicación de modelos de lenguaje de gran tamaño para decisiones estratégicas (2023-2024)
dc.title.translatedOptimization of news analysis in the Colombian tourism sector: Application of large-scale language models for strategic decisions (2023-2024)

Archivos

Bloque original
Mostrando 1 - 1 de 1
No hay miniatura disponible
Nombre:
Trabajo de grado.pdf
Tamaño:
1.68 MB
Formato:
Adobe Portable Document Format
Descargar

Colecciones

Maestría Estadística Aplicada y Ciencia de Datos