La Falsa Dicotomía de la IA: por qué mejores prompts no resuelven el problema de la alucinación

La alucinación es una propiedad, no un error

Los modelos de lenguaje de gran escala son sistemas de predicción estadística. Dado un contexto, calculan la palabra siguiente más probable con base en los patrones observados durante el entrenamiento. Este mecanismo — extraordinariamente poderoso para producir texto fluido — es, por construcción, insensible a la verdad. El modelo no tiene ningún concepto de realidad contra el cual comparar su salida. Produce lo que estadísticamente se parece a lo que vio en los datos de entrenamiento.

Este es el fenómeno denominado alucinación. En los dominios donde lo que importa es la apariencia superficial del texto, las alucinaciones son raras o irrelevantes. En los dominios donde cada afirmación debe ser factualmente correcta bajo pena de daño material — medicina, ingeniería, Derecho —, las alucinaciones son catastróficas.

El aspecto crítico, con frecuencia ignorado: la alucinación no es un error que deba corregirse. Es una propiedad estadística del método. Los modelos más sofisticados reducen su frecuencia. Los modelos entrenados con datos jurídicos reducen su frecuencia. Los mejores prompts reducen su frecuencia. Ninguno de los tres la elimina.

La cuantificación rigurosa fue realizada por Stanford RegLab y el Stanford Institute for Human-Centered AI. El estudio Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, publicado en el Journal of Empirical Legal Studies en 2025, evaluó las tres principales herramientas comerciales de investigación jurídica con IA — todas basadas en retrieval-augmented generation (RAG). Los resultados: Lexis+ AI presentó una tasa de alucinación superior al 17%; Westlaw AI-Assisted Research, superior al 33%. Ninguna eliminó las alucinaciones.

En Brasil, tres casos consolidan el patrón: en abril de 2023, el TSE (Tribunal Superior Electoral) multó a un abogado que presentó un escrito redactado íntegramente por ChatGPT en una solicitud de amicus curiae; en febrero de 2025, el TJSC (Tribunal de Justicia de Santa Catarina) aplicó una multa del 10% sobre el valor de la causa y reportó el caso a la OAB/SC (el colegio de abogados estatal); en octubre de 2025, un juez del TRT-12 (12ª Región del Trabajo) calificó un escrito como "acto procesal inexistente", invocando expresamente la Recomendación 001/2024 de la OAB. Al inicio de 2026, la base de datos internacional AI Hallucination Cases registraba más de 600 casos judiciales con jurisprudencia fabricada, con más de 128 abogados sancionados.

Por qué el RAG por sí solo no resuelve el problema

Cuando el problema de las alucinaciones comenzó a reconocerse como un riesgo operativo serio, la respuesta dominante de los proveedores fue uniforme: grounding mediante retrieval-augmented generation. El RAG, arquitectura introducida en un artículo de NeurIPS 2020, funciona en tres pasos: el sistema recupera documentos relevantes de una base de conocimiento, entrega esos documentos al modelo como contexto, y el modelo genera la respuesta con base en ese contexto enriquecido. La promesa: el modelo ya no necesita alucinar, porque la información correcta está frente a él.

La promesa es parcialmente verdadera y parcialmente engañosa. El RAG reduce la tasa de alucinación respecto de los modelos sin grounding. La reducción es consistente y medible. Pero no llega a cero, y los errores residuales adoptan formas particularmente insidiosas.

Los sistemas RAG todavía producen dos tipos de error. El primero es la alucinación propiamente dicha: el sistema describe el derecho de forma incorrecta a pesar de tener acceso a las fuentes correctas. El segundo es el misgrounding: el sistema describe el derecho correctamente, pero cita como fundamento una fuente que no respalda la afirmación.

El segundo tipo es más peligroso. Una jurisprudencia completamente inventada es, en teoría, verificable — la contraparte o el tribunal descubre que no existe. Una afirmación correcta con una cita misgrounded es mucho más difícil de detectar: la decisión existe, es verificable, pero no dice lo que el sistema afirma que dice. Este error atraviesa el filtro de verificación superficial.

Esta constatación lleva a la pregunta siguiente: si una capa de grounding no resuelve el problema, ¿qué lo resuelve?

Tres puntos de auditoría independientes

La respuesta que emerge tanto de la investigación académica como de la práctica industrial es que una verificación confiable exige intervenciones independientes en múltiples puntos del pipeline. Un único punto de control, por sofisticado que sea, está sujeto a fallas correlacionadas. El principio general, conocido en la ingeniería de sistemas críticos como defensa en profundidad (defense in depth), es el mismo que orienta las arquitecturas de seguridad en la aviación, en la medicina intensiva y en la energía nuclear.

El documento completo desarrolla tres capas de auditoría que deben operar de forma independiente:

Capa 1 — Auditoría de Estrategia. Antes de que se produzca cualquier texto jurídico. Valida la aplicabilidad de los artículos legales al caso, la existencia y pertinencia de los precedentes jurisprudenciales citados, y la coherencia interna de la línea argumentativa. Detecta, en la etapa de planificación, errores que serían costosos de corregir después de producido el texto.

Capa 2 — Validación Estructural. Durante la ejecución del pipeline. Garantiza que el documento en construcción respete las normas procesales aplicables y las listas de verificación obligatorias específicas del tipo de escrito (demanda civil, recurso de apelación, dictamen tributario). Detecta una clase de fallas cuya raíz no es la alucinación, sino la omisión.

Capa 3 — Auditoría Posterior a la Redacción. Después de producido el texto final. Compara, afirmación por afirmación, el texto contra fuentes de autoridad independientes. Incluye la verificación de la existencia de las citas, la verificación del grounding (detecta el error de misgrounding identificado por Stanford), la verificación de la vigencia de las normas, la verificación de la consistencia interna, la conformidad con el plan estratégico, y la señalización explícita de afirmaciones no ancladas.

Human-in-the-Loop arquitectónico, no un disclaimer

La mejor arquitectura de auditoría automatizada todavía es insuficiente para sustituir el criterio humano calificado en un punto crítico: el momento en que el documento se firma y se presenta. Esto no es una limitación de la tecnología — es un principio arquitectónico deliberado.

En su decisión sancionatoria en Mata v. Avianca, el juez P. Kevin Castel fue explícito: "los avances tecnológicos son habituales, y no hay nada intrínsecamente indebido en usar una herramienta de inteligencia artificial confiable como asistencia". Los abogados no fueron sancionados por usar ChatGPT. Fueron sancionados por haber abandonado su papel de guardianes — gatekeeping role — de la exactitud de sus escritos.

El concepto de gatekeeping role es el punto doctrinal que importa. En Johnson v. Dunn (Distrito Norte de Alabama, julio de 2025), el tribunal fue todavía más específico: el abogado cuya firma consta en un escrito es responsable de cada afirmación presentada como verdadera en ese escrito, independientemente de quién la haya redactado originalmente.

En la ingeniería de sistemas de IA, el término Human-in-the-Loop (HITL) designa arquitecturas en las que las decisiones de consecuencia material exigen una intervención humana explícita antes de ejecutarse. En dominios de alta consecuencia — y la abogacía lo es, por todas las métricas relevantes —, el HITL es un requisito innegociable.

Es habitual que los proveedores de IA incluyan, en sus términos de servicio, cláusulas que los eximen de responsabilidad por resultados incorrectos. Esa práctica no cumple con lo que la ingeniería moderna entiende por HITL. El HITL no es un disclaimer legal. Es una propiedad técnica del sistema. Un sistema que simplemente imprime un aviso de "verifique todo" no es HITL. Un sistema que estructura su interfaz, sus metadatos y sus flujos de trabajo para facilitar la revisión humana calificada, sí lo es.

El marco regulatorio brasileño

El principio HITL no es solo una buena práctica de ingeniería. En el contexto brasileño, es una exigencia normativa explícita. La Recomendación CFOAB n.º 001/2024, aprobada en noviembre de 2024, establece textualmente en su ítem 3.3 que "la dependencia excesiva de las herramientas de IA es incompatible con la práctica de la abogacía y no puede sustituir el análisis realizado por el abogado". El ítem 2.2 impone diligencia en la elección del proveedor: verificar contractualmente que proteja la información, adopte medidas de seguridad y prohíba el uso de los datos para entrenar sistemas.

La Resolución CNJ n.º 615/2025, vigente desde julio de 2025, aunque dirigida al Poder Judicial, tiene una relevancia regulatoria indirecta significativa. Establece principios obligatorios para las soluciones de IA en el Poder Judicial: supervisión humana, explicabilidad, clasificación de riesgo, registro en Sinapses, y evaluación de impacto algorítmico para los sistemas de alto riesgo. Los proveedores que operan simultáneamente en el Poder Judicial y en la abogacía privada tienden a alinear sus soluciones con estos estándares — que se convierten, de hecho, en una referencia informal de buenas prácticas sectoriales.

La combinación de estas normas con el Estatuto de la Abogacía (secreto profesional, art. 7, XIX) y con la LGPD (la ley brasileña de protección de datos) permite derivar los requisitos operativos que los sistemas jurídicos corporativos serios deben satisfacer en Brasil: aislamiento lógico de tenants verificable, prohibición de usar datos de clientes para entrenar modelos compartidos, arquitectura de auditoría en múltiples capas independientes, trazabilidad completa por identificador de flujo, mecanismos de señalización explícita de incertidumbres, y transparencia arquitectónica hacia el despacho cliente.

La seguridad no es una feature — es arquitectura

El argumento central puede resumirse en una proposición: la confiabilidad en la IA jurídica corporativa no es una feature que se agrega al producto al final del desarrollo. Es una decisión arquitectónica tomada el primer día.

Esa distinción separa dos filosofías de ingeniería. La primera asume que el modelo subyacente es confiable y trata los errores como casos excepcionales corregibles mediante capas de verificación superficial. La segunda asume que el modelo subyacente va a fallar — no porque esté mal diseñado, sino porque los modelos de lenguaje son sistemas estadísticos insensibles a la verdad — y diseña todo el producto para capturar esos errores antes de que lleguen al abogado revisor.

La primera filosofía produjo Mata v. Avianca, los casos brasileños en el TSE, el TJSC y el TRT-12, y los más de 600 casos documentados internacionalmente. La segunda filosofía produce sistemas que, aunque imperfectos — y ningún sistema será jamás perfecto —, están a la altura del estándar de diligencia que exige la profesión jurídica.

La falsa dicotomía entre la seguridad jurídica y la IA generativa es falsa porque asume que la tecnología sigue siendo la que era en 2023, cuando se falló el caso Mata. La tecnología no es la misma. La arquitectura no es la misma. Los estándares regulatorios no son los mismos. Y las expectativas de la profesión no son las mismas. Lo que permanece es la responsabilidad del abogado — y esa nunca fue objeto de tercerización.