LEXIS Blog
Herramientas de investigación legal impulsadas por IA: ¿libres de alucinaciones?
La investigación titulada "¿Libres de Alucinaciones? Evaluación de la Fiabilidad de las Principales Herramientas de Investigación Legal Impulsadas por IA" fue publicada el 6 de junio de 2024 por Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning y Daniel E. Ho, investigadores afiliados a las universidades de Stanford y Yale.
Este estudio ofrece un análisis sistemático de las principales herramientas de inteligencia artificial (IA) para tareas reales de investigación legal, enfocándose en el reto de las alucinaciones en modelos de IA utilizados por proveedores de investigación legal como LexisNexis y Thomson Reuters. El artículo destaca la variabilidad en el rendimiento de los sistemas, cuestiona las afirmaciones de los proveedores sobre citas legales libres de alucinaciones y enfatiza las responsabilidades de los profesionales legales en la supervisión y verificación de las respuestas generadas por IA. Sus conclusiones son aplicables a nivel internacional, incluyendo al caso de Ecuador, donde varias empresas y startups prometen optimizar el tiempo del profesional del derecho con innovadoras soluciones de inteligencia artificial generativa.
¿Qué son las alucinaciones de la inteligencia artificial?
En el entorno de la inteligencia artificial generativa, el término alucinación se refiere a información producida por un chatbot que, a pesar de ser procesada en base a una base de datos específica, presenta datos inexactos, sesgados o erróneos. Un modelo de inteligencia artificial puede generar texto completamente falso, inventando citas, estadísticas, eventos históricos, fuentes o explicaciones científicas. En su artículo “Las alucinaciones en el alucinante mundo de la IA”, Miguel Ángel Trabado describe algunas causas de las alucinaciones:
Una base de datos limitada o sesgada
Un prompt (instrucción dada por el usuario) incorrecto
Un entrenamiento insuficiente del modelo, lo que limita su capacidad para comprender el contexto detrás de un prompt
Funcionalidades clave de las herramientas de IA para el mundo del Derecho
Gracias a los avances tecnológicos en el campo del Derecho, en la actualidad se comercializan varios productos basados en inteligencia artificial generativa. Se resaltan a continuación los siguientes:
Búsqueda y resumen de jurisprudencia: Las herramientas de IA permiten a los abogados buscar y resumir eficientemente jurisprudencia clave para análisis.
Redacción de documentos: Facilitan la redacción de contratos, escritos y opiniones legales mediante plantillas y sugerencias de lenguaje legal relevante.
Análisis legal: Ayudan en el análisis de problemas legales, identificación de estatutos y jurisprudencia relevante, y ofrecen respuestas o conclusiones sobre cuestionamientos legales.
Diligencia debida: Automatizan la revisión de documentos, identifican riesgos y extraen información relevante para agilizar procesos de diligencia debida.
Monitoreo de cumplimiento: Ayudan a las organizaciones a mantenerse al día con regulaciones legales mediante el monitoreo de cambios en leyes, regulaciones y decisiones judiciales.
Investigación legal: Mejoran la investigación legal recuperando documentos relevantes, analizando textos legales y ofreciendo recomendaciones basadas en precedentes y principios legales.
El estudio mencionado cuestiona una realidad importante para los despachos jurídicos que están utilizando los productos mencionados, haciendo un énfasis en los productos de análisis y conversación: ¿qué tan confiables son los chatbots que analizan problemas legales y responden a cuestionamientos jurídicos de los abogados y abogadas?
Conclusiones principales del estudio
Afirmaciones Exageradas sobre Citas Legales Libres de Alucinaciones: El estudio revela que, aunque la generación aumentada por recuperación (RAG por sus siglas en inglés) puede reducir alucinaciones en comparación con chatbots de propósito general, herramientas de investigación legal como las de LexisNexis y Thomson Reuters aún muestran tasas de alucinación entre el 17% y el 33%, desafiando las afirmaciones de los proveedores.
Variabilidad en el Rendimiento del Sistema: Se han identificado diferencias significativas en el rendimiento de las herramientas de IA para investigación legal. LexisNexis's Lexis+ AI fue el sistema de mejor rendimiento, mientras que Thomson Reuters's AI-Assisted Research tuvo una menor precisión y una mayor tasa de alucinaciones.
Necesidad de Evaluación Rigurosa y Transparencia: Se subraya la importancia de evaluaciones rigurosas y transparentes de herramientas de IA en el ámbito legal, destacando la falta de acceso sistemático, detalles limitados de los modelos y la ausencia de resultados de evaluación comparativa en las herramientas actuales.
Responsabilidades de los Profesionales Legales: Se enfatiza el papel crucial de los profesionales legales en supervisar y verificar las conclusiones o ideas generadas por IA para garantizar la precisión y confiabilidad de la información legal generada.
El estudio, cuya publicación ha demostrado ser controversial a nivel internacional, hace un llamado a la evaluación continua, la mejora y la transparencia en el desarrollo y despliegue de herramientas de investigación legal impulsadas por IA para mejorar su efectividad y confiabilidad en la práctica legal.
La realidad en el sector jurídico ecuatoriano: ¿dónde estamos?
La inteligencia artificial generativa ha llegado para quedarse en el campo legal ecuatoriano. Desarrolladores en el campo de Legaltech cada día ofrecen más herramientas basadas en esta tecnología, probando que la inteligencia artificial será una aliada inconfundible y permanente para los abogados. En la actualidad, diversas startups y empresas nacionales ofrecen chatbots que pueden responder consultas jurídicas y resumir documentos, prometiendo ampliar las capacidades de los profesionales del derecho.
¿Dónde está el reto? El principal desafío del actual abogado/a ecuatoriana radica en el discernimiento y criterio de las conclusiones que producen estos productos. La capacidad de seleccionar herramientas que verdaderamente añadan valor a la práctica diaria es fundamental en la adopción de tecnologías Legaltech y constituye una responsabilidad crucial para los abogados contemporáneos.
Si un chatbot de inteligencia artificial genera un alto nivel de alucinaciones y, como consecuencia, aumenta el tiempo dedicado a la verificación y corrección de información, esta herramienta no cumple su propósito y, peor aún, puede comprometer la integridad de los argumentos legales del profesional ecuatoriano.
Ahora más que nunca es importante elegir herramientas Legaltech de calidad. Las herramientas tecnológicas diseñadas para el mercado legal deben demostrar una reducción efectiva del tiempo de investigación, respaldadas por bases de datos actualizadas y completas que garanticen su confiabilidad. De lo contrario demuestran ser un perjuicio para el sector legal y pueden conllevar incluso un peligro de índole penal para los profesionales del derecho.
Las empresas Legaltech tienen la responsabilidad de proporcionar soluciones que realmente optimicen las operaciones de los profesionales legales, demostrando no sólo eficiencia, sino también la mayor precisión posible en sus resultados. Únicamente así evolucionará la práctica legal en Ecuador, y se podrá asegurar un cumplimiento de estándares éticos y profesionales en el ejercicio diario del derecho.
Bibliografía
Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., & Ho, D. E. (2024, junio 6). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Recuperado de https://dho.stanford.edu/wp-content/uploads/Legal_RAG_Hallucinations.pdf
Trabado, A. M. (2024, marzo 25). Las alucinaciones en el alucinante mundo de la IA. Recuperado de https://www.linkedin.com/pulse/las-alucinaciones-en-el-alucinante-mundo-de-la-ia-trabado-ecflf/