Un conflicto por la custodia y visitas de una mascota en el condado de San Diego derivó en una advertencia judicial sobre los riesgos de confiar en la inteligencia artificial (IA, sistemas algorítmicos generativos aplicados al procesamiento de documentos legales) para fundamentar decisiones legales.

Tras un proceso de apelación, la Corte de Apelaciones del Cuarto Distrito emitió una nota al pie una semana después de la decisión unánime publicada el 5 de marzo, alertando sobre la multiplicación de casos en los que aparecen citas jurídicas inexistentes, generadas como alucinaciones por herramientas de IA, y donde ni el juez ni los abogados percibieron el error en la fase inicial del litigio, lo que revela la magnitud de los desafíos ante el avance de estos sistemas, según informó el medio The San Diego Union-Tribune.

La corte puntualizó: “Como ilustra este caso, es igualmente importante que los funcionarios judiciales y el personal de los tribunales que no utilizan IA generativa verifiquen las citas contenidas en las órdenes propuestas por los abogados”, según recogió el medio The San Diego Union-Tribune.

La controversia entre la propietaria del perro Kyra y su expareja llevó a que la jueza se inclinara por la mujer, basando parte de su fallo en dos precedentes jurídicos citados por la abogada Roxanne Chung Bonar.

Ya en el curso de la apelación, el abogado del exnovio, David Beavans, descubrió que ambos casos presentados como fundamento no existían o eran irrelevantes para la causa: uno era una referencia a un proceso penal ajeno a temas de custodia de animales, el otro correspondía a manutención entre cónyuges y no abordaba bienestar emocional ni estabilidad, conceptos centrales en el litigio.

Según la opinión del tribunal, “no hay dificultad en concluir que es un abuso de discreción por parte de un tribunal basarse materialmente en autoridades ficticias para emitir una decisión u orden”. Sin embargo, la Corte de Apelaciones decidió no revocar la resolución original, argumentando que los abogados debieron detectar el error antes y que el resultado podría haber sido idéntico incluso sin las citas falsas.

El uso creciente de inteligencia artificial en la justicia y sus peligros evidenciados

El número de incidentes en los que la IA introduce datos ficticios en documentos judiciales genera advertencias de las autoridades.

Según The San Diego Union-Tribune, este fenómeno es objeto de seguimiento por organizaciones y ya provocó que la Barra Estatal de California, el colegio profesional de abogados del estado, impusiera su primera sanción disciplinaria a un abogado implicado por el uso indebido de IA.

El año pasado, el presidente del Comité Judicial del Senado, Chuck Grassley, interrogó a jueces federales sobre la aparición de estos errores en sus órdenes. Ambos magistrados informaron que sus equipos habían recurrido a IA generativa durante la redacción de resoluciones.

El mes pasado, la empresa rned Hand anunció el suministro de su tecnología de IA a un grupo selecto de jueces del Tribunal Superior de Los Ángeles, máxima instancia de justicia ordinaria en la región metropolitana, para labores de análisis, investigación y síntesis de información. Un estudio reciente de la Universidad Northwestern reveló que el 60% de los jueces federales encuestados utiliza al menos una herramienta de IA en su trabajo.

La profesora de Derecho de la Universidad de San Diego Judith Lihosit, experta en investigación jurídica y tecnologías de IA, comentó a The San Diego Union-Tribune que la sentencia intentó establecer un equilibrio al subrayar la responsabilidad de los juzgados y de quienes presentan los expedientes.

Lihosit afirmó: “Es responsabilidad del tribunal verificar y comprobar todas estas cosas. Al añadir esa nota, la corte quiso dejar en claro que los jueces deben comprobar no solo su propio uso de IA, sino validar cualquier material presentado ante ellos”.

Sanciones y reconocimiento de fallas en el proceso

Durante la apelación, Bonar defendió la legitimidad de los precedentes citados, aunque luego admitió que recurrió a recursos en línea y herramientas de IA por no disponer de una suscripción de pago a servicios convencionales de investigación legal.

Además, mencionó que recibió el nombre de un supuesto caso a través de un artículo difundido en Reddit. La corte resolvió imponerle una sanción de USD 5.000, señalando que persistió en su error cuando fue confrontada.

En sus declaraciones recogidas por The San Diego Union-Tribune, Beavans sostuvo: “Nunca antes hemos visto casos inventados desde cero” por IA, y advirtió que la habilidad de estas herramientas para fabricar argumentos persuasivos puede engañar incluso a profesionales experimentados.

Limitaciones humanas y tecnológicas en la verificación judicial

Funcionarios del Tribunal Superior de San Diego declararon al medio que tanto abogados como litigantes tienen “una obligación clara y afirmativa” de asegurar la veracidad de sus escritos.

Aun así, admitieron que los tribunales mantienen una “responsabilidad real y continua” para revisar la documentación presentada y tomar medidas razonables que garanticen su exactitud. Reconocen que, en la práctica, dada la enorme cantidad de expedientes diarios, frecuentemente dependen de la corrección de los materiales remitidos por las partes.

El tribunal señaló: “Mientras que la revisión del tribunal es una capa importante de protección y disponemos de herramientas manuales para comprobar citas, por necesidad, salvo advertencia o impugnación, el órgano suele confiar en la exactitud de los materiales presentados”.

Los juzgados californianos exploran herramientas tecnológicas para prevenir este tipo de problemas, aunque el factor costo constituye una limitación considerable. Como subrayó la corte, “ningún sistema —humano o tecnológico— es infalible”.